RAG 작업

프로세스

1. OpenShift 웹 콘솔에 클러스터 관리자로 로그인합니다.
2. 관리자 화면에서 Operator → 설치된 Operator 를 클릭합니다.
3. Red Hat OpenShift AI Operator 를 클릭하여 세부 정보를 엽니다.
4. Data Science Cluster 탭을 클릭합니다.
5. DataScienceClusters 페이지에서 default-dsc 오브젝트를 클릭합니다.

6. YAML 탭을 클릭합니다.

   포함된 YAML 편집기가 열리고 DataScienceCluster 사용자 정의 리소스의 구성이 표시됩니다.

7. YAML 편집기에서 spec.components 섹션을 찾습니다. llamastackoperator 필드가 없는 경우 추가합니다. 그런 다음 managementState 필드를 Managed 로 설정합니다.

   spec:
     components:
       llamastackoperator:
         managementState: Managed

   Copy to Clipboard Toggle word wrap
8. 저장을 클릭하여 변경 사항을 적용합니다.

1. OpenShift 웹 콘솔에서 워크로드 → Pod 를 클릭합니다.
2. 프로젝트 목록에서 redhat-ods-applications 네임스페이스를 선택합니다.
3. app.kubernetes.io/name=llama-stack-operator 레이블이 있고 상태가 Running 인 Pod가 표시되는지 확인합니다.

1. OpenShift AI 대시보드에서 프로젝트 세부 정보 페이지로 이동하여 모델 탭을 클릭합니다.
2. 단일 모델 제공 플랫폼 타일에서 단일 모델 선택을 클릭합니다.

3. 배포 모델 버튼을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

4. 모델의 배포 속성을 구성합니다.

   1. 모델 배포 이름 필드에 배포에 대한 고유한 이름을 입력합니다.
   2. Serving 런타임 필드의 드롭다운 목록에서 KServe에 대한 vLLM NVIDIA GPU 제공 런타임 을 선택합니다.
   3. 배포 모드 필드의 드롭다운 목록에서 Standard 를 선택합니다.
   4. 배포할 모델 서버 복제본 수를 1 로 설정합니다.

   5. 모델 서버 크기 필드의 드롭다운 목록에서 Custom 을 선택합니다.

      • 요청된 CPU 를 하나의 코어 로 설정합니다.
      • 요청된 메모리 를 10GiB 로 설정합니다.
      • CPU 제한을 2 코어 로 설정합니다.
      • 메모리 제한을 14GiB 로 설정합니다.
      • 액셀러레이터 를 NVIDIA GPU 로 설정합니다.
      • 액셀러레이터 수 를 1 로 설정합니다.
   6. 연결 유형에서 드롭다운 목록에서 관련 데이터 연결을 선택합니다.

5. 추가 제공 런타임 인수 필드에서 다음 권장 인수를 지정합니다.

   --dtype=half
   --max-model-len=20000
   --gpu-memory-utilization=0.95
   --enable-chunked-prefill
   --enable-auto-tool-choice
   --tool-call-parser=llama3_json
   --chat-template=/app/data/template/tool_chat_template_llama3.2_json.jinja

   Copy to Clipboard Toggle word wrap

   1. Deploy 를 클릭합니다.

      참고

      모델 배포에는 특히 클러스터에 배포된 첫 번째 모델의 경우 몇 분이 걸릴 수 있습니다. 초기 배포에는 관련 이미지가 다운로드되는 동안 10분 이상 걸릴 수 있습니다.

검증

1. kserve-controller-manager 및 odh-model-controller Pod가 실행 중인지 확인합니다.

   1. 새 터미널 창을 엽니다.
   2. CLI에서 OpenShift 클러스터에 로그인합니다.
   3. OpenShift 웹 콘솔의 오른쪽 상단에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   4. 로그인한 후 토큰 표시를 클릭합니다.

   5. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

   6. 다음 명령을 입력하여 kserve-controller-manager 및 odh-model-controller Pod가 실행 중인지 확인합니다.

      $ oc get pods -n redhat-ods-applications | grep -E 'kserve-controller-manager|odh-model-controller'

      Copy to Clipboard Toggle word wrap

   7. 다음 예와 유사한 출력이 표시되는지 확인합니다.

      kserve-controller-manager-7c865c9c9f-xyz12   1/1     Running   0          4m21s
      odh-model-controller-7b7d5fd9cc-wxy34        1/1     Running   0          3m55s

      Copy to Clipboard Toggle word wrap

   8. kserve-controller-manager 및 odh-model-controller Pod 중 하나가 표시되지 않으면 배포에 문제가 있을 수 있습니다. 또한 Pod가 목록에 표시되지만 Status 가 Running 으로 설정되지 않은 경우 Pod 로그에 오류가 있는지 확인합니다.

      $ oc logs <pod-name> -n redhat-ods-applications

      Copy to Clipboard Toggle word wrap

   9. 유추 서비스의 상태를 확인합니다.

      $ oc get inferenceservice -n llamastack
      $ oc get pods -n <data science project name> | grep llama

      Copy to Clipboard Toggle word wrap

      • 배포는 다음 리소스를 자동으로 생성합니다.

        • ServingRuntime 리소스.
        • InferenceService 리소스, 배포, 포드 및 포드를 가리키는 서비스입니다.

      • 서버가 실행 중인지 확인합니다. 예를 들면 다음과 같습니다.

        $ oc logs llama-32-3b-instruct-predictor-77f6574f76-8nl4r  -n <data science project name>

        Copy to Clipboard Toggle word wrap

        다음 예제 로그와 유사한 출력이 있는지 확인합니다.

        INFO     2025-05-15 11:23:52,750 __main__:498 server: Listening on ['::', '0.0.0.0']:8321
        INFO:     Started server process [1]
        INFO:     Waiting for application startup.
        INFO     2025-05-15 11:23:52,765 __main__:151 server: Starting up
        INFO:     Application startup complete.
        INFO:     Uvicorn running on http://['::', '0.0.0.0']:8321 (Press CTRL+C to quit)

        Copy to Clipboard Toggle word wrap
      • 배포된 모델은 배포된 프로젝트 의 Data Science 프로젝트 세부 정보 페이지의 모델 탭에 표시됩니다.

2. /v1/chat/completions API를 쿼리할 때 Pod 로그에 ConvertTritonGPUToLLVM 오류가 표시되고 vLLM 서버가 500 Internal Server 오류를 재시작하거나 반환하는 경우 다음 해결 방법을 적용합니다.

   모델을 배포하기 전에 배포 대화 상자의 추가 제공 런타임 인수 필드에서 --enable-chunked-prefill 인수 를 제거합니다.

   오류는 다음과 유사합니다.

   /opt/vllm/lib64/python3.12/site-packages/vllm/attention/ops/prefix_prefill.py:36:0: error: Failures have been detected while processing an MLIR pass pipeline
   /opt/vllm/lib64/python3.12/site-packages/vllm/attention/ops/prefix_prefill.py:36:0: note: Pipeline failed while executing [`ConvertTritonGPUToLLVM` on 'builtin.module' operation]: reproducer generated at `std::errs, please share the reproducer above with Triton project.`
   INFO:     10.129.2.8:0 - "POST /v1/chat/completions HTTP/1.1" 500 Internal Server Error

   Copy to Clipboard Toggle word wrap

프로세스

1. 새 터미널 창을 엽니다.

   1. CLI에서 OpenShift 클러스터에 로그인합니다.
   2. OpenShift 웹 콘솔의 오른쪽 상단에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   3. 로그인한 후 토큰 표시를 클릭합니다.

   4. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

2. 모델 배포 중에 토큰 인증이 필요한 경우 토큰을 검색합니다.

   $ export MODEL_TOKEN=$(oc get secret default-name-llama-32-3b-instruct-sa -n <project name> --template={{ .data.token }} | base64 -d)

   Copy to Clipboard Toggle word wrap

3. 모델 끝점 URL을 가져옵니다.

   • 모델 배포 중에 외부 경로를 통해 배포된 모델을 사용할 수 있는 경우 OpenShift AI 대시보드의 모델 배포 페이지에서 끝점 세부 정보를 클릭하여 모델 엔드포인트 URL을 가져옵니다.

   • 또한 모델 배포 중에 토큰 인증이 필요하지 않은 경우 다음 명령을 입력하여 엔드포인트 URL을 검색할 수도 있습니다.

     $ export MODEL_ENDPOINT="https://$(oc get route llama-32-3b-instruct -n <project name> --template={{ .spec.host }})"

     Copy to Clipboard Toggle word wrap

4. 샘플 채팅 완료 요청으로 끝점을 테스트합니다.

   • 모델 배포 중에 토큰 인증 필요 를 활성화하지 않은 경우 채팅 완료 요청을 입력합니다. 예를 들면 다음과 같습니다.

     $ curl -X POST $MODEL_ENDPOINT/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{
      "model": "llama-32-3b-instruct",
      "messages": [
        {
          "role": "user",
          "content": "Hello"
        }
      ]
     }'

     Copy to Clipboard Toggle word wrap

   • 모델 배포 중에 토큰 인증이 필요한 경우 요청에 토큰을 포함합니다. 예를 들면 다음과 같습니다.

     curl -s -k $MODEL_ENDPOINT/v1/chat/completions \
     --header "Authorization: Bearer $MODEL_TOKEN" \
     --header 'Content-Type: application/json' \
     -d '{
       "model": "llama-32-3b-instruct",
       "messages": [
         {
           "role": "user",
           "content": "can you tell me a funny joke?"
         }
       ]
     }' | jq .

     Copy to Clipboard Toggle word wrap
     참고

     -k 플래그는 SSL 확인을 비활성화하고 테스트 환경 또는 자체 서명된 인증서에서만 사용해야 합니다.

프로세스

1. 새 터미널 창을 엽니다.

   1. CLI에서 OpenShift 클러스터에 로그인합니다.
   2. OpenShift 웹 콘솔의 오른쪽 상단에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   3. 로그인한 후 토큰 표시를 클릭합니다.

   4. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

2. 유추 모델 환경 변수를 포함하는 보안을 생성합니다.

   export INFERENCE_MODEL="llama-3-2-3b"
   export VLLM_URL="https://llama-32-3b-instruct-predictor:8443/v1"
   export VLLM_TLS_VERIFY="false" # Use "true" in production!
   export VLLM_API_TOKEN="<token identifier>"
   
   oc create secret generic llama-stack-inference-model-secret \
     --from-literal INFERENCE_MODEL="$INFERENCE_MODEL" \
     --from-literal VLLM_URL="$VLLM_URL" \
     --from-literal VLLM_TLS_VERIFY="$VLLM_TLS_VERIFY" \
     --from-literal VLLM_API_TOKEN="$VLLM_API_TOKEN"

   Copy to Clipboard Toggle word wrap
3. OpenShift 웹 콘솔에 로그인합니다.
4. 왼쪽 탐색에서 관리자 보기를 선택합니다.
5. 빠른 생성 ( ) 아이콘을 클릭한 다음 YAML 가져오기 옵션을 클릭합니다.

6. 표시되는 YAML 편집기에서 다음 예와 유사한 CRD(사용자 정의 리소스 정의)를 생성합니다.

   apiVersion: llamastack.io/v1alpha1
   kind: LlamaStackDistribution
   metadata:
     name: lsd-llama-milvus
   spec:
     replicas: 1
     server:
       containerSpec:
         resources:
           requests:
             cpu: "250m"
             memory: "500Mi"
           limits:
             cpu: "2"
             memory: "12Gi"
         env:
           - name: INFERENCE_MODEL
             valueFrom:
               secretKeyRef:
                 key: INFERENCE_MODEL
                 name: llama-stack-inference-model-secret
           - name: VLLM_URL
             valueFrom:
               secretKeyRef:
                 key: VLLM_URL
                 name: llama-stack-inference-model-secret
           - name: VLLM_TLS_VERIFY
             valueFrom:
               secretKeyRef:
                 key: VLLM_TLS_VERIFY
                 name: llama-stack-inference-model-secret
           - name: VLLM_API_TOKEN
             valueFrom:
               secretKeyRef:
                 key: VLLM_API_TOKEN
                 name: llama-stack-inference-model-secret
           - name: MILVUS_DB_PATH
             value: ~/.llama/milvus.db
           - name: FMS_ORCHESTRATOR_URL
             value: "http://localhost"
         name: llama-stack
         port: 8321
       distribution:
         image: quay.io/opendatahub/llama-stack:odh
       storage:
         size: "5Gi"

   Copy to Clipboard Toggle word wrap
7. 생성을 클릭합니다.

프로세스

1. 새 노트북 셀에서 llama_stack 클라이언트 패키지를 설치합니다.

   %pip install llama_stack

   Copy to Clipboard Toggle word wrap

2. 새로운 노트북 셀에서 RAGDocument 및 L#187aStackClient를 가져옵니다.

   from llama_stack_client import RAGDocument, LlamaStackClient

   Copy to Clipboard Toggle word wrap

3. 새 노트북 셀에서 배포 끝점을 base_url 매개변수에 할당하여 L#178aStackClient 인스턴스를 생성합니다.

   client = LlamaStackClient(base_url="<your deployment endpoint>")

   Copy to Clipboard Toggle word wrap

4. 사용 가능한 모델을 나열합니다.

   # Fetch all registered models
   models = client.models.list()

   Copy to Clipboard Toggle word wrap

5. 등록된 모델 목록에 L#178a 모델 및 포함 모델이 포함되어 있는지 확인합니다. 다음은 등록된 모델 목록의 예입니다.

   [Model(identifier='llama-32-3b-instruct', metadata={}, api_model_type='llm', provider_id='vllm-inference', provider_resource_id='llama-32-3b-instruct', type='model', model_type='llm'),
    Model(identifier='ibm-granite/granite-embedding-125m-english', metadata={'embedding_dimension': 768.0}, api_model_type='embedding', provider_id='sentence-transformers', provider_resource_id='ibm-granite/granite-embedding-125m-english', type='model', model_type='embedding')]

   Copy to Clipboard Toggle word wrap

6. 첫 번째 Cryostat 및 첫 번째 포함 모델을 선택합니다.

   model_id = next(m.identifier for m in models if m.model_type == "llm")
   
   embedding_model = next(m for m in models if m.model_type == "embedding")
   embedding_model_id = embedding_model.identifier
   embedding_dimension = embedding_model.metadata["embedding_dimension"]

   Copy to Clipboard Toggle word wrap

7. 새 노트북 셀에서 다음 매개변수를 정의합니다.

   • vector_db_id: 벡터 데이터베이스를 식별하는 고유 이름입니다(예: my_milvus_db ).

   • provider_id: L#178a Stack 게이트웨이가 활성화된 커넥터 키입니다. Milvus 벡터 데이터베이스의 경우 이 커넥터 키는 "milvus" 입니다. 사용 가능한 커넥터를 나열할 수도 있습니다.

     print(client.vector_dbs.list_providers()) # lists available connectors
     
     vector_db_id = "<your vector database ID>"
     provider_id  = "<your provider ID>"

     Copy to Clipboard Toggle word wrap

8. 새 노트북 셀에서 포함된 항목을 저장할 벡터 데이터베이스를 등록하거나 확인합니다.

   _ = client.vector_dbs.register(
   vector_db_id=vector_db_id,
   embedding_model=embedding_model_id,
   embedding_dimension=embedding_dimension,
   provider_id=provider_id,
   )
   print(f"Registered vector DB: {vector_db_id}")

   Copy to Clipboard Toggle word wrap
   중요

   이 단계를 건너뛰면 결과적으로 벡터 데이터베이스를 벡터 데이터베이스 ID로 등록하지 않으면 벡터 데이터베이스로 텍스트를 수집하려고 하면 오류가 발생합니다.

9. 새 노트북 셀에서 벡터 저장소에 포함할 원시 텍스트를 정의합니다.

   # Example raw text passage
   raw_text = """
   LlamaStack can embed raw text into a vector store for retrieval.
   This example ingests a small passage for demonstration.
   """

   Copy to Clipboard Toggle word wrap

10. 새 노트북 셀에서 RAGDocument 오브젝트를 생성하여 원시 텍스트를 포함합니다.

    document = RAGDocument(
    document_id="raw_text_001",
    content=raw_text,
    mime_type="text/plain",
    metadata={"source": "example_passage"},
    )

    Copy to Clipboard Toggle word wrap

11. 새 노트북 셀에서 원시 텍스트를 수집합니다.

    client.tool_runtime.rag_tool.insert(
        documents=[document],
        vector_db_id=vector_db_id,
        chunk_size_in_tokens=100,
    )
    print("Raw text ingested successfully")

    Copy to Clipboard Toggle word wrap

12. 새로운 노트북 셀에서 HTML 소스에서 RAGDocument를 생성하고 벡터 저장소에 수집합니다.

    source = "https://www.paulgraham.com/greatwork.html"
    print("rag_tool> Ingesting document:", source)
    
    document = RAGDocument(
        document_id="document_1",
        content=source,
        mime_type="text/html",
        metadata={},
    )

    Copy to Clipboard Toggle word wrap

13. 새 노트북 셀에서 벡터 저장소로 콘텐츠를 수집합니다.

    client.tool_runtime.rag_tool.insert(
        documents=[document],
        vector_db_id=vector_db_id,
        chunk_size_in_tokens=50,
    )
    print("Raw text ingested successfully")

    Copy to Clipboard Toggle word wrap

프로세스

1. 새 노트북 셀에서 llama_stack 클라이언트 패키지를 설치합니다.

   %pip install llama_stack_client

   Copy to Clipboard Toggle word wrap

2. 새 노트북 셀에서 에이전트, Agent EventLogger, LDelaya StackClient 가져오기:

   from llama_stack_client import Agent, AgentEventLogger, LlamaStackClient

   Copy to Clipboard Toggle word wrap

3. 새 노트북 셀에서 배포 끝점을 base_url 매개변수에 할당하여 L#178a StackClient 인스턴스를 생성합니다. 예를 들면 다음과 같습니다.

   client = LlamaStackClient(base_url="http://lsd-llama-milvus-service:8321/")

   Copy to Clipboard Toggle word wrap

4. 새 노트북 셀에서 사용 가능한 모델을 나열합니다.

   models = client.models.list()

   Copy to Clipboard Toggle word wrap

5. 등록된 모델 목록에 L#178a 모델 및 포함 모델이 포함되어 있는지 확인합니다. 다음은 등록된 모델 목록의 예입니다.

   [Model(identifier='llama-32-3b-instruct', metadata={}, api_model_type='llm', provider_id='vllm-inference', provider_resource_id='llama-32-3b-instruct', type='model', model_type='llm'),
    Model(identifier='ibm-granite/granite-embedding-125m-english', metadata={'embedding_dimension': 768.0}, api_model_type='embedding', provider_id='sentence-transformers', provider_resource_id='ibm-granite/granite-embedding-125m-english', type='model', model_type='embedding')]

   Copy to Clipboard Toggle word wrap

6. 새 노트북 셀에서 등록된 모델 목록의 첫 번째 Cryostat를 선택합니다.

   model_id = next(m.identifier for m in models if m.model_type == "llm")

   Copy to Clipboard Toggle word wrap

7. 새 노트북 셀에서 vector_db_id 를 정의합니다. 이는 벡터 데이터베이스(예: my_milvus_db )를 식별하는 고유한 이름입니다. 벡터 데이터베이스 ID를 모르는 경우 관리자에게 문의하십시오.

   vector_db_id = "<your vector database ID>"

   Copy to Clipboard Toggle word wrap

8. 새 노트북 셀에서 하위 수준 RAG 도구를 사용하여 수집 한 콘텐츠를 쿼리합니다.

   # Example RAG query for one-off lookups
   query = "What benefits do the ingested passages provide for retrieval?"
   result = client.tool_runtime.rag_tool.query(
       vector_db_ids=[vector_db_id],
       content=query,
   )
   print("Low-level query result:", result)

   Copy to Clipboard Toggle word wrap

9. 새 노트북 셀에서 상위 수준 에이전트 API를 사용하여 수집한 콘텐츠를 쿼리합니다.

   # Create an Agent for conversational RAG queries
   agent = Agent(
       client,
       model=model_id,
       instructions="You are a helpful assistant.",
       tools=[
           {
               "name": "builtin::rag/knowledge_search",
               "args": {"vector_db_ids": [vector_db_id]},
           }
       ],
   )
   
   prompt = "How do you do great work?"
   print("Prompt>", prompt)
   
   # Create a session and run a streaming turn
   session_id = agent.create_session("rag_session")
   response = agent.create_turn(
       messages=[{"role": "user", "content": prompt}],
       session_id=session_id,
       stream=True,
   )
   
   # Log and print the agent's response
   for log in AgentEventLogger().log(response):
       log.print()

   Copy to Clipboard Toggle word wrap

프로세스

1. 새 노트북 셀에서 llama_stack 클라이언트 패키지를 설치합니다.

   %pip install llama_stack_client

   Copy to Clipboard Toggle word wrap

2. 새 노트북 셀에서 에이전트, AgentEventLogger 및 L declarationaStackClient를 가져옵니다.

   from llama_stack_client import Agent, AgentEventLogger, LlamaStackClient

   Copy to Clipboard Toggle word wrap

3. 새 노트북 셀에서 배포 끝점을 base_url 매개변수에 할당하여 L#178aStackClient 인스턴스를 생성합니다.

   client = LlamaStackClient(base_url="<your deployment endpoint>")

   Copy to Clipboard Toggle word wrap

4. 사용 가능한 모델을 나열합니다.

   models = client.models.list()

   Copy to Clipboard Toggle word wrap

5. 첫 번째 Cryostat 및 첫 번째 포함 모델을 선택합니다.

   model_id = next(m.identifier for m in models if m.model_type == "llm")
   embedding_model = next(m for m in models if m.model_type == "embedding")
   embedding_model_id = embedding_model.identifier
   embedding_dimension = embedding_model.metadata["embedding_dimension"]

   Copy to Clipboard Toggle word wrap

6. 새 노트북 셀에서 다음 매개변수를 정의합니다.

   • vector_db_id: 벡터 데이터베이스를 식별하는 고유 이름입니다(예: my_milvus_db ).

   • provider_id: L#178a Stack 게이트웨이가 활성화된 커넥터 키입니다. Milvus 벡터 데이터베이스의 경우 이 커넥터 키는 "milvus" 입니다. 사용 가능한 커넥터를 나열할 수도 있습니다.

     print(client.vector_dbs.list_providers()) # lists available connectors
     
     vector_db_id = "<your vector database ID>"
     provider_id  = "<your provider ID>"

     Copy to Clipboard Toggle word wrap
     중요

     RAG 데모 리포지토리의 샘플 Docling 파이프라인을 사용하는 경우 파이프라인은 데이터베이스를 자동으로 등록하고 이 단계를 건너뛸 수 있습니다. 그러나 자체 파이프라인을 사용하는 경우 데이터베이스를 직접 등록해야 합니다.

7. 새 노트북 셀에서 포함된 항목을 저장할 벡터 데이터베이스를 등록하거나 확인합니다.

   _ = client.vector_dbs.register(
   vector_db_id=vector_db_id,
   embedding_model=embedding_model_id,
   embedding_dimension=embedding_dimension,
   provider_id=provider_id,
   )
   print(f"Registered vector DB: {vector_db_id}")

   Copy to Clipboard Toggle word wrap
8. OpenShift 웹 콘솔에서 데이터 사이언스 파이프라인 가져오기에 설명된 대로 docling 파이프라인이 포함된 YAML 파일을 데이터 사이언스 프로젝트로 가져옵니다.

9. 파이프라인 실행 실행에 설명된 대로 Docling 파이프라인 을 실행하는 파이프라인 실행을 생성합니다. 파이프라인 실행은 CSV 문서를 벡터 데이터베이스에 삽입합니다. RAG 데모 샘플 리포지토리에서 Docling 파이프라인을 실행하는 경우 파이프라인 실행을 시작하기 전에 다음 매개변수를 선택적으로 사용자 지정할 수 있습니다.

   • base_url: PDF 파일을 가져올 기본 URL입니다.
   • pdf_filenames: 다운로드 및 변환할 PDF 파일 이름의 쉼표로 구분된 목록입니다.
   • num_workers: 병렬 작업자 수입니다.
   • vector_db_id: Milvus 벡터 데이터베이스 ID입니다.
   • service_url: Milvus 서비스 URL입니다.
   • embed_model_id: 사용할 포함 모델입니다.
   • max_tokens: 각 청크의 최대 토큰입니다.
   • use_gpu: GPU 가속도를 활성화하거나 비활성화합니다.

검증

1. sendpyter 노트북에서 수집된 콘텐츠와 관련된 질문을 통해 Cryostat를 쿼리합니다. 예를 들면 다음과 같습니다.

   from llama_stack_client import Agent, AgentEventLogger
   import uuid
   
   rag_agent = Agent(
       client,
       model=model_id,
       instructions="You are a helpful assistant",
       tools=[
           {
               "name": "builtin::rag/knowledge_search",
               "args": {"vector_db_ids": [vector_db_id]},
           }
       ],
   )
   
   prompt = "What can you tell me about the birth of word processing?"
   print("prompt>", prompt)
   
   session_id = rag_agent.create_session(session_name=f"s{uuid.uuid4().hex}")
   
   response = rag_agent.create_turn(
       messages=[{"role": "user", "content": prompt}],
       session_id=session_id,
       stream=True,
   )
   
   for log in AgentEventLogger().log(response):
       log.print()

   Copy to Clipboard Toggle word wrap

2. vector 데이터베이스에서 청크를 쿼리합니다.

   query_result = client.vector_io.query(
       vector_db_id=vector_db_id,
       query="what do you know about?",
   )
   print(query_result)

   Copy to Clipboard Toggle word wrap