3.6. Llama モデルに取り込んだコンテンツの照会

手順

1. 新しいノートブックセルで、llama_stack クライアントパッケージをインストールします。

   %pip install llama_stack_client

2. 新しいノートブックセルで、Agent、AgentEventLogger、LlamaStackClient をインポートします。

   from llama_stack_client import Agent, AgentEventLogger, LlamaStackClient

3. 新しいノートブックセルで、デプロイメントエンドポイントを base_url パラメーターに割り当てて、LlamaStackClient インスタンスを作成します。以下に例を示します。

   client = LlamaStackClient(base_url="http://lsd-llama-milvus-service:8321/")

4. 新しいノートブックセルで、利用可能なモデルをリスト表示します。

   models = client.models.list()

5. 登録済みモデルのリストに Llama モデルとエンベディングモデルが含まれていることを確認します。登録済みモデルのリストの例を次に示します。

   [Model(identifier='llama-32-3b-instruct', metadata={}, api_model_type='llm', provider_id='vllm-inference', provider_resource_id='llama-32-3b-instruct', type='model', model_type='llm'),
    Model(identifier='ibm-granite/granite-embedding-125m-english', metadata={'embedding_dimension': 768.0}, api_model_type='embedding', provider_id='sentence-transformers', provider_resource_id='ibm-granite/granite-embedding-125m-english', type='model', model_type='embedding')]

6. 新しいノートブックセルで、登録済みモデルのリストにある最初の LLM を選択します。

   model_id = next(m.identifier for m in models if m.model_type == "llm")

7. 新しいノートブックセルで、ベクトルデータベースを識別する一意の名前である vector_db_id を定義します (例: my_milvus_db)。ベクトルデータベース ID がわからない場合は、管理者に問い合わせてください。

   vector_db_id = "<your vector database ID>"

8. 新しいノートブックセルで、低レベルの RAG ツールを使用して取り込んだコンテンツを照会します。

   # Example RAG query for one-off lookups
   query = "What benefits do the ingested passages provide for retrieval?"
   result = client.tool_runtime.rag_tool.query(
       vector_db_ids=[vector_db_id],
       content=query,
   )
   print("Low-level query result:", result)

9. 新しいノートブックセルで、高レベルのエージェント API を使用して取り込んだコンテンツを照会します。

   # Create an Agent for conversational RAG queries
   agent = Agent(
       client,
       model=model_id,
       instructions="You are a helpful assistant.",
       tools=[
           {
               "name": "builtin::rag/knowledge_search",
               "args": {"vector_db_ids": [vector_db_id]},
           }
       ],
   )
   
   prompt = "How do you do great work?"
   print("Prompt>", prompt)
   
   # Create a session and run a streaming turn
   session_id = agent.create_session("rag_session")
   response = agent.create_turn(
       messages=[{"role": "user", "content": prompt}],
       session_id=session_id,
       stream=True,
   )
   
   # Log and print the agent's response
   for log in AgentEventLogger().log(response):
       log.print()