2.4. Distributed Inference with llm-d を使用したモデルのデプロイ

1. OpenShift AI をインストールします。

   注記

   KServe Serverless は、Distributed Inference with llm-d に使用される Gateway API と競合するため、同じクラスターでは KServe Serverless はサポートされません。代わりに、KServe RawDeployment を使用してください。

2. シングルモデルサービングプラットフォームを有効化します。
3. Kubernetes クラスター上で Distributed Inference with llm-d を有効化します。
4. LLMInferenceService カスタムリソース (CR) を作成します。
5. モデルをデプロイします。

手順

1. OpenShift コンソールにクラスター管理者としてログインします。

2. 次の例に示すように、Data Science Cluster Initialization (DSCI) を作成し、serviceMesh.managementState を removed に設定します。

   serviceMesh:
     ...
     managementState: Removed

   Copy to Clipboard Toggle word wrap

3. kserve と serving に次の情報を設定した Data Science Cluster (DSC) を作成します。

   kserve:
     defaultDeploymentMode: RawDeployment
     managementState: Managed
     ...
     serving:
       ...
       managementState: Removed
       ...

   Copy to Clipboard Toggle word wrap

4. 次の情報を使用して LLMInferenceService CR を作成します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: LLMInferenceService
   metadata:
     name: sample-llm-inference-service
   spec:
     replicas: 2
     model:
       uri: hf://RedHatAI/Qwen3-8B-FP8-dynamic
       name: RedHatAI/Qwen3-8B-FP8-dynamic
     router:
       route: {}
       gateway: {}
       scheduler: {}
       template:
         containers:
         - name: main
           resources:
             limits:
               cpu: '4'
               memory: 32Gi
               nvidia.com/gpu: "1"
             requests:
               cpu: '2'
               memory: 16Gi
               nvidia.com/gpu: "1"

   Copy to Clipboard Toggle word wrap

   推論サービスの spec セクションで次のパラメーターをカスタマイズします。

   • replicas - レプリカの数を指定します。

   • model - モデルの保存方法に基づくモデルへの URI (uri) と、チャット補完リクエストで使用するモデル名 (name) を指定します。

     • S3 バケット: s3://<bucket-name>/<object-key>
     • 永続ボリューム要求 (PVC): pvc://<claim-name>/<pvc-path>
     • OCI コンテナーイメージ: oci://<registry_host>/<org_or_username>/<repository_name><tag_or_digest>
     • HuggingFace: hf://<model>/<optional-hash>
   • router - HTTPRoute とゲートウェイを提供するか、空白のままにして自動的に作成します。
5. ファイルを保存します。