3.7. Llama Stack の取得用に Docling でドキュメントを準備する

手順

1. 新しいノートブックセルで、llama_stack クライアントパッケージをインストールします。

   %pip install llama_stack_client

   Copy to Clipboard Toggle word wrap

2. 新しいノートブックセルで、Agent、AgentEventLogger、LlamaStackClient をインポートします。

   from llama_stack_client import Agent, AgentEventLogger, LlamaStackClient

   Copy to Clipboard Toggle word wrap

3. 新しいノートブックセルで、デプロイメントエンドポイントを base_url パラメーターに割り当てて、LlamaStackClient インスタンスを作成します。

   client = LlamaStackClient(base_url="<your deployment endpoint>")

   Copy to Clipboard Toggle word wrap

4. 利用可能なモデルをリスト表示します。

   models = client.models.list()

   Copy to Clipboard Toggle word wrap

5. 最初の LLM と最初のエンベディングモデルを選択します。

   model_id = next(m.identifier for m in models if m.model_type == "llm")
   embedding_model = next(m for m in models if m.model_type == "embedding")
   embedding_model_id = embedding_model.identifier
   embedding_dimension = embedding_model.metadata["embedding_dimension"]

   Copy to Clipboard Toggle word wrap

6. 新しいノートブックセルで、次のパラメーターを定義します。

   • vector_db_id: ベクトルデータベースを識別する一意の名前 (例: my_milvus_db)。

   • provider_id: Llama Stack ゲートウェイによって有効化されたコネクターキー。Milvus ベクトルデータベースの場合、このコネクターキーは "milvus" です。利用可能なコネクターをリスト表示することもできます。

     print(client.vector_dbs.list_providers()) # lists available connectors
     
     vector_db_id = "<your vector database ID>"
     provider_id  = "<your provider ID>"

     Copy to Clipboard Toggle word wrap
     重要

     RAG デモリポジトリーのサンプル Docling パイプラインを使用している場合は、パイプラインによってデータベースが自動的に登録されるため、このステップをスキップできます。一方、独自のパイプラインを使用している場合は、データベースを自分で登録する必要があります。

7. 新しいノートブックセルで、エンベディングを保存するためのベクトルデータベースを登録または確認します。

   _ = client.vector_dbs.register(
   vector_db_id=vector_db_id,
   embedding_model=embedding_model_id,
   embedding_dimension=embedding_dimension,
   provider_id=provider_id,
   )
   print(f"Registered vector DB: {vector_db_id}")

   Copy to Clipboard Toggle word wrap
8. OpenShift Web コンソールで、データサイエンスパイプラインのインポート の説明に従って、ドキュメントパイプラインを含む YAML ファイルをデータサイエンスプロジェクトにインポートします。

9. パイプライン実行のタスク実行 の説明に従って、Docling パイプラインを実行するためのパイプライン実行を作成します。このパイプライン実行により、PDF ドキュメントがベクトルデータベースに挿入されます。RAG デモサンプルリポジトリー の Docling パイプラインを実行する場合は、パイプライン実行を開始する前に、オプションで次のパラメーターをカスタマイズできます。

   • base_url: PDF ファイルを取得するベース URL。
   • pdf_filenames: ダウンロードして変換する PDF ファイル名のコンマ区切りリスト。
   • num_workers: 並列ワーカーの数。
   • vector_db_id: Milvus ベクトルデータベースの ID。
   • service_url: Milvus サービスの URL。
   • embed_model_id: 使用するエンベディングモデル。
   • max_tokens: 各チャンクの最大トークン数。
   • use_gpu: GPU アクセラレーションを有効または無効にします。

検証

1. Jupyter ノートブックで、取り込んだコンテンツに関連する質問を LLM に問い合わせます。以下に例を示します。

   from llama_stack_client import Agent, AgentEventLogger
   import uuid
   
   rag_agent = Agent(
       client,
       model=model_id,
       instructions="You are a helpful assistant",
       tools=[
           {
               "name": "builtin::rag/knowledge_search",
               "args": {"vector_db_ids": [vector_db_id]},
           }
       ],
   )
   
   prompt = "What can you tell me about the birth of word processing?"
   print("prompt>", prompt)
   
   session_id = rag_agent.create_session(session_name=f"s{uuid.uuid4().hex}")
   
   response = rag_agent.create_turn(
       messages=[{"role": "user", "content": prompt}],
       session_id=session_id,
       stream=True,
   )
   
   for log in AgentEventLogger().log(response):
       log.print()

   Copy to Clipboard Toggle word wrap

2. ベクトルデータベースからチャンクを照会します。

   query_result = client.vector_io.query(
       vector_db_id=vector_db_id,
       query="what do you know about?",
   )
   print(query_result)

   Copy to Clipboard Toggle word wrap