非接続環境での Red Hat AI Inference Server のデプロイ

手順

1. 踏み台ホストでシェルプロンプトを開き、非接続のミラーレジストリーを作成します。
2. イメージをミラーリングできるようにする認証情報を設定します。

手順

1. ご使用の環境に対応する次のイメージのバージョンを見つけて、podman を使用してイメージをプルします。

   • Node Feature Discovery (NFD) Operator
   • NVIDIA GPU Operator
   • AI Inference Server

2. 前の手順でプルした NFD Operator、NVIDIA GPU Operator、および AI Inference Server イメージを含む イメージセット設定のカスタムリソース (CR) を作成します。たとえば、次の ImageSetConfiguration CR を imageset-config.yaml ファイルとして保存します。

   apiVersion: mirror.openshift.io/v2alpha1
   kind: ImageSetConfiguration
   mirror:
     operators:
     # Node Feature Discovery (NFD) Operator
     # Helps Openshift detect hardware capabilities like GPUs
     - catalog: registry.redhat.io/openshift4/ose-cluster-nfd-operator:latest
       packages:
         - name: nfd
           defaultChannel: stable
           channels:
             - name: stable
   
     # GPU Operator
     # Manages NVIDIA GPUs on OpenShift
     - catalog: registry.connect.redhat.com/nvidia/gpu-operator-bundle:latest
       packages:
         - name: gpu-operator-certified
           defaultChannel: stable
           channels:
             - name: stable
     additionalImages:
     # Red Hat AI Inference Server image
     - name: registry.redhat.io/rhaiis/vllm-cuda-rhel9:latest
     # Model image
     - name: registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w8a8:1.5

   Copy to Clipboard Toggle word wrap

3. 必要なイメージをミラーレジストリーにミラーリングします。以下のコマンドを実行します。

   $ oc mirror --config imageset-config.yaml docker://<target_mirror_registry_url> --registry-config <path_to_pull_secret_json>

   Copy to Clipboard Toggle word wrap

4. または、クラスターに NFD および NVIDIA GPU Operator がすでにインストールされている場合は、AI Inference Server およびモデルイメージのみを設定する ImageSetConfiguration CR を作成します。

   apiVersion: mirror.openshift.io/v2alpha1
   kind: ImageSetConfiguration
   mirror:
     additionalImages:
     - name: registry.redhat.io/rhaiis/vllm-cuda-rhel9:latest
     - registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w8a8:1.5

   Copy to Clipboard Toggle word wrap
5. 非接続環境でイメージセットをミラーリングします。
6. 更新されたイメージセットを使用するように、非接続クラスターを設定します。

手順

1. Node Feature Discovery Operator の Namespace CR を作成します。

   oc apply -f - <<EOF
   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-nfd
     labels:
       name: openshift-nfd
       openshift.io/cluster-monitoring: "true"
   EOF

   Copy to Clipboard Toggle word wrap

2. OperatorGroup CR を作成します。

   oc apply -f - <<EOF
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     generateName: openshift-nfd-
     name: openshift-nfd
     namespace: openshift-nfd
   spec:
     targetNamespaces:
     - openshift-nfd
   EOF

   Copy to Clipboard Toggle word wrap

3. Subscription CR を作成します。

   oc apply -f - <<EOF
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: nfd
     namespace: openshift-nfd
   spec:
     channel: "stable"
     installPlanApproval: Automatic
     name: nfd
     source: redhat-operators
     sourceNamespace: openshift-marketplace
   EOF

   Copy to Clipboard Toggle word wrap

手順

1. NVIDIA GPU Operator の Namespace CR を作成します。

   oc apply -f - <<EOF
   apiVersion: v1
   kind: Namespace
   metadata:
     name: nvidia-gpu-operator
   EOF

   Copy to Clipboard Toggle word wrap

2. OperatorGroup CR を作成します。

   oc apply -f - <<EOF
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: gpu-operator-certified
     namespace: nvidia-gpu-operator
   spec:
    targetNamespaces:
    - nvidia-gpu-operator
   EOF

   Copy to Clipboard Toggle word wrap

3. Subscription CR を作成します。

   oc apply -f - <<EOF
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: gpu-operator-certified
     namespace: nvidia-gpu-operator
   spec:
     channel: "stable"
     installPlanApproval: Manual
     name: gpu-operator-certified
     source: certified-operators
     sourceNamespace: openshift-marketplace
   EOF

   Copy to Clipboard Toggle word wrap

手順

1. 非接続クラスターで、ネットワークファイルシステム (NFS) を使用して永続ストレージを設定し、設定した永続ストレージでモデルを使用できるようにします。

   注記

   詳細は、NFS を使用した永続ストレージ を参照してください。

2. Deployment カスタムリソース (CR) を作成します。たとえば、次の Deployment CR は、AI Inference Server を使用して CUDA アクセラレーター上で Granite モデルを提供します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: granite
     namespace: rhaiis-namespace
     labels:
       app: granite
   spec:
     replicas: 0
     selector:
       matchLabels:
         app: granite
     template:
       metadata:
         labels:
           app: granite
       spec:
         containers:
           - name: granite
             image: 'registry.redhat.io/rhaiis/vllm-cuda-rhel9@sha256:137ac606b87679c90658985ef1fc9a26a97bb11f622b988fe5125f33e6f35d78'
             imagePullPolicy: IfNotPresent
             command:
               - python
               - '-m'
               - vllm.entrypoints.openai.api_server
             args:
               - '--port=8000'
               - '--model=/mnt/models' 

   1

   
               - '--served-model-name=granite-3.1-2b-instruct-quantized.w8a8'
               - '--tensor-parallel-size=1'
             resources:
               limits:
                 cpu: '10'
                 nvidia.com/gpu: '1'
               requests:
                 cpu: '2'
                 memory: 6Gi
                 nvidia.com/gpu: '1'
             volumeMounts:
               - name: cache-volume
                 mountPath: /mnt/models
               - name: shm
                 mountPath: /dev/shm 

   2

   
         volumes:
           - name: cache-volume
             persistentVolumeClaim:
               claimName: granite-31-w8a8
           - name: shm
             emptyDir:
               medium: Memory
               sizeLimit: 2Gi
         restartPolicy: Always

   Copy to Clipboard Toggle word wrap

   1

   ダウンロードしたモデルは、設定された永続ボリューム内のこのマウントされた場所から利用できるようにしてください。

   2

   NVIDIA Collective Communications Library (NCCL) では、/dev/shm ボリュームマウントが必要です。/dev/shm ボリュームマウントが設定されていない場合、Tensor 並列 vLLM デプロイメントは失敗します。

3. モデル推論用の Service CR を作成します。以下に例を示します。

   apiVersion: v1
   kind: Service
   metadata:
     name: granite
     namespace: rhaiis-namespace
   spec:
     selector:
       app: granite
     ports:
       - protocol: TCP
         port: 80
         targetPort: 8000

   Copy to Clipboard Toggle word wrap

4. オプション: モデルへのパブリックアクセスを有効にするには、Route CR を作成します。以下に例を示します。

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     name: granite
     namespace: rhaiis-namespace
   spec:
     to:
       kind: Service
       name: granite
     port:
       targetPort: 80

   Copy to Clipboard Toggle word wrap

5. 公開されたルートの URL を取得します。

   $ oc get route granite -n rhaiis-namespace -o jsonpath='{.spec.host}'

   Copy to Clipboard Toggle word wrap

   出力例

   granite-rhaiis-namespace.apps.example.com

   Copy to Clipboard Toggle word wrap

6. 次のコマンドを実行してモデルをクエリーします。

   curl -X POST http://granite-rhaiis-namespace.apps.example.com/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "granite-3.1-2b-instruct-quantized.w8a8",
       "messages": [{"role": "user", "content": "What is AI?"}],
       "temperature": 0.1
     }'

   Copy to Clipboard Toggle word wrap