管理和监控模型

流程

1. 在 OpenShift AI 仪表板中点 Settings → Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要使用现有运行时（例如，vLLM NVIDIA GPU ServingRuntime for KServe）启动，请点现有运行时旁的操作菜单(WWN)，然后点 Duplicate。
   • 要添加新的自定义运行时，请点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 可选：如果您启动一个新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。
   注意

   在很多情况下，创建自定义运行时需要在 ServingRuntime 规格的 env 部分中添加新或自定义参数。

6. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的自定义运行时会自动启用。显示您在创建运行时时指定的 API 协议。

7. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

流程

1. 以集群管理员身份登录 OpenShift 控制台。
2. 选择部署模型的项目。
3. 在 Administrator 视角中，点击 Home → Search。
4. 从 资源 下拉菜单中，搜索 InferenceService。

5. 在 spec.predictor.annotations 下，使用新超时修改 service.knative.dev/progress-deadline ：

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   Copy to Clipboard Toggle word wrap
   注意

   确保在 spec.predictor.annotations 级别上设置 progress-deadline，以便 KServe InferenceService 可以将 progress-deadline 复制到 KNative Service 对象。

流程

1. 在一个终端窗口中，如果您还没有以集群管理员登录到 OpenShift 集群，请登录 OpenShift CLI，如下例所示：

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 选择或创建用于部署模型的命名空间。例如，运行以下命令来创建 kserve-demo 命名空间：

   oc new-project kserve-demo

   Copy to Clipboard Toggle word wrap

3. （仅从 PVC 部署模型） 在要部署模型的命名空间中为模型存储创建一个 PVC。使用 Filesystem volumeMode 创建存储类，并将这个存储类用于 PVC。存储大小必须大于磁盘上模型文件的大小。例如：

   注意

   如果您已经配置了 PVC 或从 OCI 容器镜像部署模型，您可以跳过此步骤。

   kubectl apply -f -
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: granite-8b-code-base-pvc
   spec:
     accessModes:
       - ReadWriteMany
     volumeMode: Filesystem
     resources:
       requests:
         storage: <model size>
     storageClassName: <storage class>

   Copy to Clipboard Toggle word wrap

   1. 创建 pod，将模型下载到您创建的 PVC。使用存储桶名称、模型路径和凭证更新示例 YAML：

      apiVersion: v1
      kind: Pod
      metadata:
        name: download-granite-8b-code
        labels:
          name: download-granite-8b-code
      spec:
        volumes:
          - name: model-volume
            persistentVolumeClaim:
              claimName: granite-8b-code-base-pvc
        restartPolicy: Never
        initContainers:
          - name: fix-volume-permissions
            image: quay.io/quay/busybox@sha256:92f3298bf80a1ba949140d77987f5de081f010337880cd771f7e7fc928f8c74d
            command: ["sh"]
            args: ["-c", "mkdir -p /mnt/models/$(MODEL_PATH) && chmod -R 777 /mnt/models"] 

      1

      
            volumeMounts:
              - mountPath: "/mnt/models/"
                name: model-volume
            env:
              - name: MODEL_PATH
                value: <model path> 

      2

      
        containers:
          - resources:
              requests:
                memory: 40Gi
            name: download-model
            imagePullPolicy: IfNotPresent
            image: quay.io/opendatahub/kserve-storage-initializer:v0.14 

      3

      
            args:
              - 's3://$(BUCKET_NAME)/$(MODEL_PATH)/'
              - /mnt/models/$(MODEL_PATH)
            env:
              - name: AWS_ACCESS_KEY_ID
                value: <id> 

      4

      
              - name: AWS_SECRET_ACCESS_KEY
                value: <secret> 

      5

      
              - name: BUCKET_NAME
                value: <bucket_name> 

      6

      
              - name: MODEL_PATH
                value: <model path> 

      7

      
              - name: S3_USE_HTTPS
                value: "1"
              - name: AWS_ENDPOINT_URL
                value: <AWS endpoint> 

      8

      
              - name: awsAnonymousCredential
                value: 'false'
              - name: AWS_DEFAULT_REGION
                value: <region> 

      9

      
              - name: S3_VERIFY_SSL
                value: 'true' 

      10

      
            volumeMounts:
              - mountPath: "/mnt/models/"
                name: model-volume

      Copy to Clipboard Toggle word wrap

      1

      只有在 pod 以 root 用户身份运行时，才允许 chmod 操作。如果您没有以 root 身份运行 pod，请从参数中删除'chmod -R 777'。

      2 7

      指定到模型的路径。

      3

      containers.image 的值，位于您的 InferenceService 中。要访问这个值，请运行以下命令： oc get configmap inferenceservice-config -n redhat-ods-operator -oyaml | grep kserve-storage-initializer:

      4

      S3 存储桶的访问密钥 ID。

      5

      S3 存储桶的 secret 访问密钥。

      6

      S3 存储桶的名称。

      8

      S3 存储桶的端点。

      9

      如果使用 AWS S3 存储桶，则 S3 存储桶的区域。如果使用其他 S3 兼容存储，如 ODF 或 Minio，您可以删除 AWS_DEFAULT_REGION 环境变量。

      10

      如果您遇到 SSL 错误，请将 S3_VERIFY_SSL 更改为 false。

4. 在项目命名空间中创建 vllm-multinode-runtime 自定义运行时：

   oc process vllm-multinode-runtime-template -n redhat-ods-applications|oc apply -n kserve-demo -f -

   Copy to Clipboard Toggle word wrap

5. 使用以下 InferenceService 配置部署模型：

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     annotations:
       serving.kserve.io/deploymentMode: RawDeployment
       serving.kserve.io/autoscalerClass: external
     name: <inference service name>
   spec:
     predictor:
       model:
         modelFormat:
           name: vLLM
         runtime: vllm-multinode-runtime
         storageUri: <storage_uri_path> 

   1

   
       workerSpec: {} 

   2

   Copy to Clipboard Toggle word wrap

   1

   根据您的部署方法指定模型的路径：

   • 对于 PVC:pvc://<pvc_name>/<model_path>
   • 对于 OCI 容器镜像 ：oci://<registry_host>/<org_or_username>/<repository_name><tag_or_digest>

   2

   以下配置可以添加到 InferenceService 中：

   • workerSpec.tensorParallelSize ：确定每个节点使用多少个 GPU。head 和 worker 节点部署资源中的 GPU 类型计数会自动更新。确保 workerSpec.tensorParallelSize 的值至少为 1。

   • workerSpec.pipelineParallelSize: 确定使用多少个节点来平衡部署中的模型。此变量代表节点总数，包括头和 worker 节点。确保 workerSpec.pipelineParallelSize 的值至少为 2。不要在生产环境中修改这个值。

     注意

     根据环境和模型大小，您可能需要指定其他参数。

6. 通过应用 InferenceService 配置来部署模型：

   oc apply -f <inference-service-file.yaml>

   Copy to Clipboard Toggle word wrap

1. 登录 OpenShift 控制台。
2. 在 Administrator 视角中，导航到您的项目并找到您的模型的 InferenceService 资源。
3. 点 InferenceService 的名称查看其详情。
4. 选择 YAML 选项卡以打开编辑器。

5. 在 metadata 部分中，在标签 下添加 kueue.x-k8s.io/queue-name 标签。将 <local-queue-name> 替换为目标 LocalQueue 的名称。

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: <model-name>
     namespace: <project-namespace>
     labels:
       kueue.x-k8s.io/queue-name: <local-queue-name>
   ...

   Copy to Clipboard Toggle word wrap
6. 点击 Save。

流程

1. 在一个终端窗口中，以集群管理员身份登录到 OpenShift CLI，如下例所示：

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 在 YAML 文件中定义 ConfigMap 对象，类似于以下示例中的 ConfigMap 对象，其中包含您要在 NVIDIA NIM 模型服务平台上选择的模型 ID：

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. 确认 帐户 CR 的名称和命名空间 ：

   oc get account -A

   Copy to Clipboard Toggle word wrap

   您会看到类似以下示例的输出：

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. 在与您的帐户 CR 相同的命名空间中部署 ConfigMap 对象：

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   将 <configmap-name > 替换为您的 YAML 文件的名称，将 & lt;namespace > 替换为您的 帐户 CR 的命名空间。

5. 将之前创建的 ConfigMap 对象添加到 Account CR 的 spec.modelListConfig 部分：

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   将 <account-name > 替换为 帐户 CR 的名称，将 & lt;configmap-name& gt; 替换为您的 ConfigMap 对象。

6. 确认 ConfigMap 对象已添加到您的帐户 CR 中 ：

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   您可以在 Account CR 的 spec.modelListConfig 部分看到 ConfigMap 对象，类似于以下输出：

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap