3.4. LlamaStackDistribution インスタンスのデプロイ

手順

1. 新しいターミナルウィンドウを開きます。

   1. CLI から OpenShift クラスターにログインします。
   2. OpenShift Web コンソールの右上隅で、ユーザー名をクリックし、Copy login command を選択します。
   3. ログイン後、Display token をクリックします。

   4. Log in with this token をコピーし、OpenShift コマンドラインインターフェイス (CLI) に貼り付けます。

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

2. 推論モデルの環境変数を含むシークレットを作成します。

   export INFERENCE_MODEL="llama-3-2-3b"
   export VLLM_URL="https://llama-32-3b-instruct-predictor:8443/v1"
   export VLLM_TLS_VERIFY="false" # Use "true" in production!
   export VLLM_API_TOKEN="<token identifier>"
   
   oc create secret generic llama-stack-inference-model-secret \
     --from-literal INFERENCE_MODEL="$INFERENCE_MODEL" \
     --from-literal VLLM_URL="$VLLM_URL" \
     --from-literal VLLM_TLS_VERIFY="$VLLM_TLS_VERIFY" \
     --from-literal VLLM_API_TOKEN="$VLLM_API_TOKEN"

   Copy to Clipboard Toggle word wrap
3. OpenShift Web コンソールにログインします。
4. 左側のナビゲーションから、Administrator ビューを選択します。
5. Quick Create ( ) アイコンをクリックし、Import YAML オプションをクリックします。

6. 表示される YAML エディターで、次の例のようなカスタムリソース定義 (CRD) を作成します。

   apiVersion: llamastack.io/v1alpha1
   kind: LlamaStackDistribution
   metadata:
     name: lsd-llama-milvus
   spec:
     replicas: 1
     server:
       containerSpec:
         resources:
           requests:
             cpu: "250m"
             memory: "500Mi"
           limits:
             cpu: "2"
             memory: "12Gi"
         env:
           - name: INFERENCE_MODEL
             valueFrom:
               secretKeyRef:
                 key: INFERENCE_MODEL
                 name: llama-stack-inference-model-secret
           - name: VLLM_URL
             valueFrom:
               secretKeyRef:
                 key: VLLM_URL
                 name: llama-stack-inference-model-secret
           - name: VLLM_TLS_VERIFY
             valueFrom:
               secretKeyRef:
                 key: VLLM_TLS_VERIFY
                 name: llama-stack-inference-model-secret
           - name: VLLM_API_TOKEN
             valueFrom:
               secretKeyRef:
                 key: VLLM_API_TOKEN
                 name: llama-stack-inference-model-secret
           - name: MILVUS_DB_PATH
             value: ~/.llama/milvus.db
           - name: FMS_ORCHESTRATOR_URL
             value: "http://localhost"
         name: llama-stack
         port: 8321
       distribution:
         name: rh-dev

   Copy to Clipboard Toggle word wrap
   注記

   rh-dev 値は内部イメージ参照です。LlamaStackDistribution カスタムリソースを作成すると、OpenShift AI Operator は rh-dev を適切なレジストリー内のコンテナーイメージに自動的に解決します。この内部イメージ参照により、カスタムリソースを変更することなく、基になるイメージを更新できます。

7. Create をクリックします。