3.2. 为现有 NIM 部署启用 NVIDIA NIM 指标

流程

1. 在一个终端窗口中，如果您还没有以集群管理员身份登录到 OpenShift 集群，请登录 OpenShift CLI。

2. 确认与 NIM 部署关联的 ServingRuntime 的名称：

   oc get servingruntime -n <namespace>

   Copy to Clipboard Toggle word wrap

   将 &lt;namespace> 替换为部署 NIM 模型的项目的命名空间。

3. 检查 ServingRuntime 配置中现有的 metadata.annotations 部分：

   oc get servingruntime -n  <namespace> <servingruntime-name> -o json | jq '.metadata.annotations'

   Copy to Clipboard Toggle word wrap

   将 <servingruntime-name> 替换为上一步中的 ServingRuntime 的名称。

4. 执行以下操作之一：

   1. 如果配置中没有 metadata.annotations 部分，请使用所需注解添加部分：

      oc patch servingruntime -n <namespace> <servingruntime-name> --type json --patch \
       '[{"op": "add", "path": "/metadata/annotations", "value": {"runtimes.opendatahub.io/nvidia-nim": "true"}}]'

      Copy to Clipboard Toggle word wrap

      您会看到类似如下的输出：

      servingruntime.serving.kserve.io/nim-serving-runtime patched

      Copy to Clipboard Toggle word wrap

   2. 如果已存在 metadata.annotations 部分，请将所需的注解添加到部分中：

      oc patch servingruntime -n <project-namespace> <runtime-name> --type json --patch \
       '[{"op": "add", "path": "/metadata/annotations/runtimes.opendatahub.io~1nvidia-nim", "value": "true"}]'

      Copy to Clipboard Toggle word wrap

      您会看到类似如下的输出：

      servingruntime.serving.kserve.io/nim-serving-runtime patched

      Copy to Clipboard Toggle word wrap

流程

1. 在一个终端窗口中，如果您还没有以集群管理员身份登录到 OpenShift 集群，请登录 OpenShift CLI。

2. 确认与 NIM 部署关联的 InferenceService 的名称：

   oc get inferenceservice -n <namespace>

   Copy to Clipboard Toggle word wrap

   将 &lt;namespace> 替换为部署 NIM 模型的项目的命名空间。

3. 检查 InferenceService 配置中是否存在现有的 spec.predictor.annotations 部分：

   oc get inferenceservice -n <namespace> <inferenceservice-name> -o json | jq '.spec.predictor.annotations'

   Copy to Clipboard Toggle word wrap

   将 <inferenceservice-name> 替换为上一步中的 InferenceService 的名称。

4. 执行以下操作之一：

   1. 如果配置中不存在 spec.predictor.annotations 部分，请添加这个部分和所需的注解：

      oc patch inferenceservice -n <namespace> <inference-name> --type json --patch \
       '[{"op": "add", "path": "/spec/predictor/annotations", "value": {"prometheus.io/path": "/metrics", "prometheus.io/port": "8000"}}]'

      Copy to Clipboard Toggle word wrap

      您添加的注解会显示在输出中：

      inferenceservice.serving.kserve.io/nim-serving-runtime patched

      Copy to Clipboard Toggle word wrap

   2. 如果已存在 spec.predictor.annotations 部分，请将 Prometheus 注解添加到部分中：

      oc patch inferenceservice -n <namespace> <inference-service-name> --type json --patch \
       '[{"op": "add", "path": "/spec/predictor/annotations/prometheus.io~1path", "value": "/metrics"},
       {"op": "add", "path": "/spec/predictor/annotations/prometheus.io~1port", "value": "8000"}]'

      Copy to Clipboard Toggle word wrap

      您添加的注解会显示在输出中：

      inferenceservice.serving.kserve.io/nim-serving-runtime patched

      Copy to Clipboard Toggle word wrap