第3章 NVIDIA NIM モデルサービングプラットフォームでのモデルの管理と監視

手順

1. ターミナルウィンドウで、以下の例のように、クラスター管理者として OpenShift CLI にログインします。

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 次の例のような、NVIDIA NIM モデルサービスプラットフォームで選択できるようにするモデル ID を含む ConfigMap オブジェクトを YAML ファイルで定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. Account CR の名前および namespace を確認します。

   oc get account -A

   Copy to Clipboard Toggle word wrap

   次の例のような出力が表示されます。

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. ConfigMap オブジェクトを Account CR と同じ namespace にデプロイします。

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   <configmap-name> は YAML ファイルの名前に、<namespace> は Account CR の namespace に置き換えます。

5. 以前に作成した ConfigMap オブジェクトを、Account CR の spec.modelListConfig セクションに追加します。

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   <account-name> は Account CR の名前に、<configmap-name> は ConfigMap オブジェクトに置き換えます。

6. ConfigMap オブジェクトが Account CR に追加されたことを確認します。

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   以下の出力のように、Account CR の spec.modelListConfig セクションに ConfigMap オブジェクトが表示されます。

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap