非接続環境での Red Hat AI Inference Server のデプロイ

手順

1. 踏み台ホストでシェルプロンプトを開き、非接続のミラーレジストリーを作成します。
2. イメージをミラーリングできるようにする認証情報を設定します。

手順

1. ご使用の環境に対応する次のイメージのバージョンを見つけて、podman を使用してイメージをプルします。

   • Node Feature Discovery (NFD) Operator
   • NVIDIA GPU Operator
   • AI Inference Server

2. 前の手順でプルした NFD Operator、NVIDIA GPU Operator、および AI Inference Server イメージを含む イメージセット設定のカスタムリソース (CR) を作成します。たとえば、次の ImageSetConfiguration CR には、AMD CPU アーキテクチャーと CUDA アクセラレーターのイメージ仕様が含まれています。

   apiVersion: mirror.openshift.io/v2alpha1
   kind: ImageSetConfiguration
   mirror:
     operators:
     # Node Feature Discovery (NFD) Operator
     # Helps Openshift detect hardware capabilities like GPUs
     - catalog: registry.redhat.io/openshift4/ose-cluster-nfd-operator:latest
       packages:
         - name: nfd
           defaultChannel: stable
           channels:
             - name: stable
   
     # GPU Operator
     # Manages NVIDIA GPUs on OpenShift
     - catalog: registry.connect.redhat.com/nvidia/gpu-operator-bundle:latest
       packages:
         - name: gpu-operator-certified
           defaultChannel: stable
           channels:
             - name: stable
     additionalImages:
       # Red Hat AI Inference Server image
     - name: registry.redhat.io/rhaiis/vllm-cuda-rhel9:latest

   Copy to Clipboard Toggle word wrap

3. または、クラスターに NFD および NVIDIA GPU Operator がすでにインストールされている場合は、AI Inference Server のみを設定する ImageSetConfiguration CR を作成します。

   apiVersion: mirror.openshift.io/v2alpha1
   kind: ImageSetConfiguration
   mirror:
     additionalImages:
     - name: registry.redhat.io/rhaiis/vllm-cuda-rhel9:latest

   Copy to Clipboard Toggle word wrap
4. 非接続環境でイメージセットをミラーリングします。
5. 更新されたイメージセットを使用するように、非接続クラスターを設定します。

手順

1. デフォルトの OperatorHub ソースを無効にします。以下のコマンドを実行します。

   $ oc patch OperatorHub cluster --type json \
       -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

   Copy to Clipboard Toggle word wrap

2. Node Feature Discovery Operator と NVIDIA GPU Operator の Namespace、OperatorGroup、および Subscription CR を適用します。

   1. Namespace CR を作成します。

      oc apply -f - <<EOF
      apiVersion: v1
      kind: Namespace
      metadata:
        name: nvidia-gpu-operator
      ---
      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-nfd
        labels:
          name: openshift-nfd
          openshift.io/cluster-monitoring: "true"
      EOF

      Copy to Clipboard Toggle word wrap

   2. OperatorGroup CR を作成します。

      oc apply -f - <<EOF
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: gpu-operator-certified
        namespace: nvidia-gpu-operator
      spec:
       targetNamespaces:
       - nvidia-gpu-operator
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        generateName: openshift-nfd-
        name: openshift-nfd
        namespace: openshift-nfd
      spec:
        targetNamespaces:
        - openshift-nfd
      EOF

      Copy to Clipboard Toggle word wrap

   3. Subscription CR を作成します。

      oc apply -f - <<EOF
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: gpu-operator-certified
        namespace: nvidia-gpu-operator
      spec:
        channel: "stable"
        installPlanApproval: Manual
        name: gpu-operator-certified
        source: certified-operators
        sourceNamespace: openshift-marketplace
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: nfd
        namespace: openshift-nfd
      spec:
        channel: "stable"
        installPlanApproval: Automatic
        name: nfd
        source: redhat-operators
        sourceNamespace: openshift-marketplace
      EOF

      Copy to Clipboard Toggle word wrap

3. Hugging Face トークンの Secret カスタムリソース (CR) を作成します。

   1. Hugging Face で設定したトークンを使用して HF_TOKEN 変数を設定します。

      $ HF_TOKEN=<your_huggingface_token>

      Copy to Clipboard Toggle word wrap

   2. Red Hat AI Inference Server イメージをデプロイする場所と一致するようにクラスター namespace を設定します。以下に例を示します。

      $ NAMESPACE=rhaiis-namespace

      Copy to Clipboard Toggle word wrap

   3. クラスターに Secret CR を作成します。

      $ oc create secret generic hf-secret --from-literal=HF_TOKEN=$HF_TOKEN -n $NAMESPACE

      Copy to Clipboard Toggle word wrap

手順

1. 非接続の OpenShift Container Platform クラスターで、ネットワークファイルシステム (NFS) を使用して永続ストレージを設定します。

2. Deployment カスタムリソース (CR) を作成します。たとえば、次の Deployment CR は、AI Inference Server を使用して CUDA アクセラレーター上で Granite モデルを提供します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: granite
     namespace: rhaiis-namespace 

   1

   
     labels:
       app: granite
   spec:
     replicas: 0
     selector:
       matchLabels:
         app: granite
     template:
       metadata:
         labels:
           app: granite
       spec:
         containers:
           - name: granite
             image: 'registry.redhat.io/rhaiis/vllm-cuda-rhel9@sha256:137ac606b87679c90658985ef1fc9a26a97bb11f622b988fe5125f33e6f35d78'
             imagePullPolicy: IfNotPresent
             command:
               - python
               - '-m'
               - vllm.entrypoints.openai.api_server
             args:
               - '--port=8000'
               - '--model=/mnt/models'
               - '--served-model-name=granite-3.1-2b-instruct-quantized.w8a8'
               - '--tensor-parallel-size=1'
             resources:
               limits:
                 cpu: '10'
                 nvidia.com/gpu: '1'
               requests:
                 cpu: '2'
                 memory: 6Gi
                 nvidia.com/gpu: '1'
             volumeMounts:
               - name: cache-volume
                 mountPath: /mnt/models
               - name: shm
                 mountPath: /dev/shm 

   2

   
         volumes:
           - name: cache-volume
             persistentVolumeClaim:
               claimName: granite-31-w8a8
           - name: shm
             emptyDir:
               medium: Memory
               sizeLimit: 2Gi
         restartPolicy: Always

   Copy to Clipboard Toggle word wrap

   1

   metadata.namespace 値は、Hugging Face Secret CR を設定する namespace と一致する必要があります。

   2

   NVIDIA Collective Communications Library (NCCL) では、/dev/shm ボリュームマウントが必要です。/dev/shm ボリュームマウントが設定されていない場合、Tensor 並列 vLLM デプロイメントは失敗します。

3. モデル推論用の Service CR を作成します。以下に例を示します。

   apiVersion: v1
   kind: Service
   metadata:
     name: granite
     namespace: rhaiis-namespace
   spec:
     selector:
       app: granite
     ports:
       - protocol: TCP
         port: 80
         targetPort: 8000

   Copy to Clipboard Toggle word wrap

4. オプション: モデルへのパブリックアクセスを有効にするには、Route CR を作成します。以下に例を示します。

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     name: granite
     namespace: rhaiis-namespace
   spec:
     to:
       kind: Service
       name: granite
     port:
       targetPort: 80

   Copy to Clipboard Toggle word wrap

5. 公開されたルートの URL を取得します。

   $ oc get route granite -n rhaiis-namespace -o jsonpath='{.spec.host}'

   Copy to Clipboard Toggle word wrap

   出力例

   granite-rhaiis-namespace.apps.example.com

   Copy to Clipboard Toggle word wrap

6. 次のコマンドを実行してモデルをクエリーします。

   curl -X POST http://granite-rhaiis-namespace.apps.example.com/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "granite-3.1-2b-instruct-quantized.w8a8",
       "messages": [{"role": "user", "content": "What is AI?"}],
       "temperature": 0.1
     }'

   Copy to Clipboard Toggle word wrap