2.19. 关于 NVIDIA NIM 模型服务平台

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，点击 Applications Explore。
2. 在 Explore 页面中，找到 NVIDIA NIM 标题。
3. 在应用程序标题上点 Enable。
4. 输入 NGC API 密钥，然后单击 Submit。

流程

1. 在左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 在 Models 部分中，执行以下操作之一：

   • 在 ​NVIDIA NIM 模型服务平台 标题上，点标题上的 Select NVIDIA NIM，然后点 Deploy model。
   • 如果您之前选择了 NVIDIA NIM 模型服务类型，则 Models 页面会显示右上角的 NVIDIA 模型 服务以及 Deploy model 按钮。要继续，请单击 Deploy model。

   此时会打开 Deploy model 对话框。

5. 配置部署模型的属性，如下所示：

   1. 在 Model deployment name 字段中输入部署的唯一名称。
   2. 从 NVIDIA NIM 列表中，选择您要部署的 NVIDIA NIM 模型。如需更多信息，请参阅支持的模型
   3. 在 NVIDIA NIM 存储大小字段中，指定将创建用于存储 NVIDIA NIM 模型的集群存储 实例的大小。
   4. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
   5. 在 Model server size 列表中选择一个值。

6. 从 Hardware profile 列表中，选择一个硬件配置文件。

   重要

   默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果您启用硬件配置集，则会出现 硬件配置集列表 而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

7. 可选：点 Customize resource requests and limit 并更新以下值：

   1. 在 CPU requests 字段中，指定要与模型服务器一起使用的 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   2. 在 CPU limits 字段中，指定模型服务器使用的最大 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   3. 在 Memory requests 字段中，以 gibibytes (Gi)为模型服务器指定请求的内存。
   4. 在 Memory limits 字段中，以千兆字节(Gi)指定模型服务器的最大内存限值。
8. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

9. 要求对部署的模型对令牌身份验证进行推测请求，请执行以下操作：

   1. 选择 Require token authentication。
   2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。
   3. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。
10. 点 Deploy。

流程

1. 在一个终端窗口中，以集群管理员身份登录到 OpenShift CLI，如下例所示：

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 在 YAML 文件中定义 ConfigMap 对象，类似于以下示例中的 ConfigMap 对象，其中包含您要在 NVIDIA NIM 模型服务平台上选择的模型 ID：

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. 确认 帐户 CR 的名称和命名空间 ：

   oc get account -A

   Copy to Clipboard Toggle word wrap

   您会看到类似以下示例的输出：

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. 在与您的帐户 CR 相同的命名空间中部署 ConfigMap 对象：

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   将 <configmap-name > 替换为您的 YAML 文件的名称，将 & lt;namespace > 替换为您的 帐户 CR 的命名空间。

5. 将之前创建的 ConfigMap 对象添加到 Account CR 的 spec.modelListConfig 部分：

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   将 <account-name > 替换为 帐户 CR 的名称，将 & lt;configmap-name& gt; 替换为您的 ConfigMap 对象。

6. 确认 ConfigMap 对象已添加到您的帐户 CR 中 ：

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   您可以在 Account CR 的 spec.modelListConfig 部分看到 ConfigMap 对象，类似于以下输出：

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science projects。

   Data Science 项目页将打开。

2. 点击包含您要监控的 NIM 模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 点击您要观察的 NIM 模型。

5. 在 NIM Metrics 选项卡中，设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动以查看 NIM 指标的数据图形。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science projects。

   Data Science 项目页将打开。

2. 点击包含您要监控的 NIM 模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 点击您要观察的 NIM 模型。

5. 在 Endpoint performance 选项卡中，设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • refresh interval - 指定指标页面上图形的频率，以显示最新的数据。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动以查看性能指标的数据图形。