2.4. Distributed Inference with llm-d を使用したモデルのデプロイ

1. OpenShift AI をインストールします。
2. シングルモデルサービングプラットフォームを有効化します。
3. Kubernetes クラスター上で Distributed Inference with llm-d を有効化します。
4. LLMInferenceService カスタムリソース (CR) を作成します。
5. モデルをデプロイします。

手順

1. 開発者として OpenShift コンソールにログインします。

2. 次の情報を使用して LLMInferenceService CR を作成します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: LLMInferenceService
   metadata:
     name: sample-llm-inference-service
   spec:
     replicas: 2
     model:
       uri: hf://RedHatAI/Qwen3-8B-FP8-dynamic
       name: RedHatAI/Qwen3-8B-FP8-dynamic
     router:
       route: {}
       gateway: {}
       scheduler: {}
     template:
       containers:
       - name: main
         resources:
           limits:
             cpu: '4'
             memory: 32Gi
             nvidia.com/gpu: "1"
           requests:
             cpu: '2'
             memory: 16Gi
             nvidia.com/gpu: "1"

   Copy to Clipboard Toggle word wrap

   推論サービスの spec セクションで次のパラメーターをカスタマイズします。

   • replicas - レプリカの数を指定します。

   • model - モデルの保存方法に基づくモデルへの URI (uri) と、チャット補完リクエストで使用するモデル名 (name) を指定します。

     • S3 バケット: s3://<bucket-name>/<object-key>
     • 永続ボリューム要求 (PVC): pvc://<claim-name>/<pvc-path>
     • OCI コンテナーイメージ: oci://<registry_host>/<org_or_username>/<repository_name><tag_or_digest>
     • HuggingFace: hf://<model>/<optional-hash>
   • router - HTTPRoute とゲートウェイを提供するか、空白のままにして自動的に作成します。
3. ファイルを保存します。