第 3 章 在 NVIDIA NIM 模型服务平台上管理和监控模型

流程

1. 在一个终端窗口中，以集群管理员身份登录到 OpenShift CLI，如下例所示：

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 在 YAML 文件中定义 ConfigMap 对象，类似于以下示例中的 ConfigMap 对象，其中包含您要在 NVIDIA NIM 模型服务平台上选择的模型 ID：

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. 确认 帐户 CR 的名称和命名空间 ：

   oc get account -A

   Copy to Clipboard Toggle word wrap

   您会看到类似以下示例的输出：

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. 在与您的帐户 CR 相同的命名空间中部署 ConfigMap 对象：

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   将 <configmap-name > 替换为您的 YAML 文件的名称，将 & lt;namespace > 替换为您的 帐户 CR 的命名空间。

5. 将之前创建的 ConfigMap 对象添加到 Account CR 的 spec.modelListConfig 部分：

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   将 <account-name > 替换为 帐户 CR 的名称，将 & lt;configmap-name& gt; 替换为您的 ConfigMap 对象。

6. 确认 ConfigMap 对象已添加到您的帐户 CR 中 ：

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   您可以在 Account CR 的 spec.modelListConfig 部分看到 ConfigMap 对象，类似于以下输出：

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap