服务模型

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，点 Settings → Cluster settings。
2. 找到 Model serving platform 部分。
3. 选择 Multi-model serving 平台 复选框。
4. 点 Save Changes。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要使用现有运行时（如 OpenVINO Model Server runtime）启动，请点现有运行时旁的操作菜单(alsa)，然后点 Duplicate。
   • 要添加新的自定义运行时，请点 Add serving runtime。

3. 在 Select the model service platform this runtime support 列表中，选择 Multi-model serving platform。

   注意

   多型号服务平台只支持 REST 协议。因此，您无法更改 此运行时支持的 Select the API 协议中的默认值。

4. 可选：如果您启动一个新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。此文件可能是您从 kserve/modelmesh-serving 存储库下载的示例运行时之一。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。您粘贴的 YAML 可能会从 kserve/modelmesh-serving 存储库中的一个示例运行时复制。

5. 可选：如果您要在 kserve/modelmesh-serving 仓库中添加其中一个示例运行时，请执行以下修改：

   1. 在 YAML 编辑器中，找到运行时的 kind 字段。将此字段的值更新为 ServingRuntime。
   2. 在 kserve/modelmesh-serving 存储库中的 kustomization.yaml 文件中，记录您要添加的运行时的 newName 和 newTag 值。您将在后续步骤中指定这些值。
   3. 在自定义运行时的 YAML 编辑器中，找到 containers.image 字段。

   4. 根据之前在 kustomization.yaml 文件中记录的值，以 newName:newTag 格式更新 containers.image 字段的值。此时会显示一些示例。

      NVIDIA Triton Inference Server

      image: nvcr.io/nvidia/tritonserver:23.04-py3

      Seldon Python MLServer

      image: seldonio/mlserver:1.3.2

      TorchServe

      image: pytorch/torchserve:0.7.1-cpu

6. 在 metadata.name 字段中，确保您添加的运行时值是唯一的（即，该值与您已添加的运行时不匹配）。

7. 可选： 要为要添加的运行时配置自定义显示名称，请添加 metadata.annotations.openshift.io/display-name 字段并指定值，如下例所示：

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: mlserver-0.x
     annotations:
       openshift.io/display-name: MLServer

   注意

   如果没有为您的运行时配置自定义显示名称，OpenShift AI 会显示 metadata.name 字段的值。

8. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的运行时会自动启用。

9. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加经过测试和验证的运行时，请点 Add serving runtime。

3. 在 Select the model service platform this runtime support 列表中，选择 Multi-model serving platform。

   注意

   多型号服务平台只支持 REST 协议。因此，您无法更改 此运行时支持的 Select the API 协议中的默认值。

4. 点 Start from scratch。

5. 在嵌入的编辑器中直接输入或粘贴以下 YAML 代码。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     annotations:
       enable-route: "true"
     name: modelmesh-triton
     labels:
       opendatahub.io/dashboard: "true"
   spec:
     annotations:
       opendatahub.io/modelServingSupport: '["multi"x`x`]'
       prometheus.kserve.io/path: /metrics
       prometheus.kserve.io/port: "8002"
     builtInAdapter:
       env:
         - name: CONTAINER_MEM_REQ_BYTES
           value: "268435456"
         - name: USE_EMBEDDED_PULLER
           value: "true"
       memBufferBytes: 134217728
       modelLoadingTimeoutMillis: 90000
       runtimeManagementPort: 8001
       serverType: triton
     containers:
       - args:
           - -c
           - 'mkdir -p /models/_triton_models;  chmod 777
             /models/_triton_models;  exec
             tritonserver "--model-repository=/models/_triton_models" "--model-control-mode=explicit" "--strict-model-config=false" "--strict-readiness=false" "--allow-http=true" "--allow-grpc=true"  '
         command:
           - /bin/sh
         image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
         name: triton
         resources:
           limits:
             cpu: "1"
             memory: 2Gi
           requests:
             cpu: "1"
             memory: 2Gi
     grpcDataEndpoint: port:8001
     grpcEndpoint: port:8085
     multiModel: true
     protocolVersions:
       - grpc-v2
       - v2
     supportedModelFormats:
       - autoSelect: true
         name: onnx
         version: "1"
       - autoSelect: true
         name: pytorch
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: tensorrt
         version: "7"
       - autoSelect: false
         name: xgboost
         version: "1"
       - autoSelect: true
         name: python
         version: "1"

6. 在 metadata.name 字段中，确保您添加的运行时值与您已添加的运行时不匹配。

7. 可选： 要为您添加的运行时使用自定义显示名称，请添加 metadata.annotations.openshift.io/display-name 字段并指定一个值，如下例所示：

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: modelmesh-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注意

   如果没有为您的运行时配置自定义显示名称，OpenShift AI 会显示 metadata.name 字段的值。

8. 点 Create。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的运行时会自动启用。

9. 可选： 要编辑运行时，请点击操作菜单(WWN)并选择 Edit。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点您要为其配置模型服务器的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Multi-model 服务平台 标题，点标题上的 Add model server。
   • 如果没有看到任何标题，请点击 Add model server 按钮。

   此时会打开 Add model server 对话框。

5. 在 Model server name 字段中输入模型服务器的唯一名称。

6. 从 Serving runtime 列表中，选择一个在 OpenShift AI 部署中安装并启用的模型运行时。

   注意

   如果您在模型服务器中使用 自定义 模型运行时并希望使用 GPU，您必须确保您的自定义运行时支持 GPU，并被适当配置为使用它们。

7. 在 Number of model replicas to deploy 字段中，指定一个值。
8. 在 Model server size 列表中选择一个值。

9. 可选：如果您在上一步中选择了 Custom，请在 Model server size 部分中配置以下设置以自定义模型服务器：

   1. 在 CPU 请求 字段中，指定要与模型服务器一起使用的 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   2. 在 CPU limit 字段中，指定用于模型服务器的最大 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   3. 在 Memory requested 字段中，以 KB (Gi)为单位为模型服务器指定请求的内存。
   4. 在 Memory limit 字段中，以 KB (Gi)为单位为模型服务器指定最大内存限值。

10. 可选：在 Accelerator 列表中选择一个加速器。

    1. 如果您在上一步中选择了加速器，请指定要使用的加速器数量。
11. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

12. 可选：在 Token authorization 部分，选择 Require token authentication 复选框，以为您的模型服务器进行令牌身份验证。要完成配置令牌身份验证，请执行以下操作：

    1. 在 Service account name 字段中输入要为其生成令牌的服务帐户名称。配置模型服务器时，生成的令牌会被创建并显示在 Token secret 字段中。
    2. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

13. 点击 Add。

    • 您配置的模型服务器会出现在项目的 Models 选项卡中，位于 Models 和 model servers 列表中。
14. 可选： 要更新模型服务器，请点击模型服务器旁边的操作菜单(alsa)，然后选择 Edit model server。

流程

1. 在 OpenShift AI 仪表板中，点 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点您要从中删除模型服务器的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 点您要删除模型服务器的项目旁边的操作菜单(autotune)，然后点 Delete model server。

   此时会打开 Delete model server 对话框。

5. 在文本字段中输入模型服务器的名称，以确认您想要删除它。
6. 点 Delete model server。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。
4. 单击 Deploy model。

5. 配置部署模型的属性，如下所示：

   1. 在 Model name 字段中输入您要部署的模型的唯一名称。

   2. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   3. 要指定您要从 S3 兼容对象存储部署的模型位置，请执行以下一组操作：

      • 使用现有连接

        1. 选择现有连接。
        2. 从 Name 列表中，选择一个您之前定义的连接。
        3. 在 Path 字段中输入在指定数据源中包含模型的文件夹路径。

      • 使用新连接

        1. 要定义模型可访问的新连接，请选择 New connection。

        2. 在 Add connection modal 中，选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

           此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

        3. 输入连接详情字段。

   4. （可选）在 配置参数 部分中自定义运行时参数：

      1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。
      2. 修改 附加环境变量中的值，以在模型环境中定义变量。
   5. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板中点 Model Serving。

   此时会打开 Deployed model 页面。

   对于每个模型，页面会显示模型名称、部署模型的项目、模型使用的模型运行时以及部署状态等详情。

2. 可选： 对于给定模型，点 Inference endpoint 列中的链接来查看部署模型的 inference 端点。

流程

1. 在 OpenShift AI 仪表板中点 Model Serving。

   此时会打开 Deployed model 页面。

2. 点您要更新的部署属性旁的操作菜单 (⋮)，然后点 Edit。

   这会打开 Edit model 对话框。

3. 更新模型的部署属性，如下所示：

   1. 在 Model name 字段中，为您的模型输入一个新的、唯一的名称。
   2. 在 Model servers 列表中，为您的模型选择一个模型服务器。

   3. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   4. （可选）通过指定现有连接或创建新连接来更新连接。
   5. 单击 重新部署。

流程

1. 在 OpenShift AI 仪表板中点 Model serving。

   此时会打开 Deployed model 页面。

2. 点您要删除的部署模型旁的操作菜单 (⋮)，然后点 Delete。

   此时会打开 Delete deployed model 对话框。

3. 在文本字段中输入部署模型的名称，以确认您想要删除它。
4. 点 Delete deployed model。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击包含您要监控的数据科学模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 在您感兴趣的模型服务器所在的行中，点操作菜单(ProductShortName)，然后选择 View model server metrics。

5. 可选：在模型服务器的指标页面中设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动，以每 5 分钟查看 HTTP 请求的数据图形、平均响应时间、CPU 利用率和内存使用率。

流程

1. 在 OpenShift AI 仪表板导航菜单中，选择 Model Serving。
2. 在 Deployed model 页面中，选择您感兴趣的模型。

3. 可选：在 Endpoint performance 选项卡中设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。

流程

1. 启用 single-model 服务平台，如下所示：

   1. 在左侧菜单中，点击 Settings → Cluster settings。
   2. 找到 Model serving platform 部分。
   3. 要为项目启用单型号服务平台，请选择 Single-model serving 平台 复选框。
   4. 点 Save Changes。

2. 为单模型服务平台启用预安装运行时，如下所示：

   1. 在 OpenShift AI 仪表板的左侧菜单中，点 Settings → Serving runtime。

      Serving 运行时 页面会显示预安装的运行时以及您添加的任何自定义运行时。

      有关预安装运行时的更多信息，请参阅支持的运行时。

   2. 将要使用的运行时设置为 Enabled。

      单型号服务平台现在可用于模型部署。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要开始使用现有运行时（例如，KServe 的 TGIS Standalone ServingRuntime），请点现有运行时旁的操作菜单(WWN)，然后点击 Duplicate。
   • 要添加新的自定义运行时，请点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 可选：如果您启动一个新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。
   注意

   在很多情况下，创建自定义运行时需要在 ServingRuntime 规格的 env 部分中添加新或自定义参数。

6. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的自定义运行时会自动启用。显示您在创建运行时时指定的 API 协议。

7. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 点 Start from scratch。

   1. 如果您选择了 REST API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. 如果您选择了 gRPC API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. 在 metadata.name 字段中，确保您添加的运行时值与您已添加的运行时不匹配。

7. 可选： 要为您添加的运行时使用自定义显示名称，请添加 metadata.annotations.openshift.io/display-name 字段并指定一个值，如下例所示：

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注意

   如果没有为您的运行时配置自定义显示名称，OpenShift AI 会显示 metadata.name 字段的值。

8. 点 Create。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的运行时会自动启用。显示您在创建运行时时指定的 API 协议。

9. 可选： 要编辑运行时，请点击操作菜单(WWN)并选择 Edit。

流程

1. 在左侧菜单中，单击 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Single-model 服务平台 标题，请点击 Deploy model on the 标题。
   • 如果没有看到任何标题，请点击 Deploy model 按钮。

   此时会打开 Deploy model 对话框。

5. 在 Model deployment name 字段中输入您要部署的模型的唯一名称。
6. 在 Serving runtime 字段中，选择一个已启用的运行时。
7. 在 Model 框架（名称 - version） 列表中选择一个值。
8. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
9. 在 Model server size 列表中选择一个值。

10. 只有在集群中启用了加速器支持并创建了加速器配置集时，以下选项才可用：

    1. 从 Accelerator 列表中，选择一个加速器。
    2. 如果在上一步中选择了加速器，请在 Number of accelerators 字段中指定要使用的加速器数。
11. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

12. 要要求对部署的模型对 inference 请求进行令牌授权，请执行以下操作：

    1. 选择 Require token authorization。
    2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。

13. 要指定模型的位置，请执行以下操作之一：

    • 使用现有连接

      1. 选择现有连接。
      2. 从 Name 列表中，选择一个您之前定义的连接。

      3. 在 Path 字段中输入在指定数据源中包含模型的文件夹路径。

         重要

         OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

    • 使用新连接

      1. 要定义模型可访问的新连接，请选择 New connection。

         1. 在 Add connection modal 中，选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

            此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

      2. 填写连接详情字段。

         重要

         如果您的连接类型是 S3 兼容对象存储，您必须提供包含您的数据文件的文件夹路径。OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

14. （可选）在 配置参数 部分中自定义运行时参数：

    1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

    2. 修改 附加环境变量中的值，以在模型环境中定义变量。

       Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

       注意

       不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

15. 点 Deploy。

流程

1. 以集群管理员身份登录 OpenShift 控制台。
2. 选择部署模型的项目。
3. 在 Administrator 视角中，点击 Home → Search。
4. 从 资源 下拉菜单中，搜索 InferenceService。

5. 在 spec.predictor.annotations 下，使用新超时修改 service.knative.dev/progress-deadline ：

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   注意

   确保在 spec.predictor.annotations 级别上设置 progress-deadline，以便 KServe InferenceService 可以将 progress-deadline 复制到 KNative Service 对象。

流程

1. 在 OpenShift AI 仪表板中点左侧菜单中的 Model Serving。

   此时会打开 Deployed model 页面。

2. 点击您要自定义的型号名称旁的操作菜单(swig)，然后选择 Edit。

   Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

3. 在 Configuration parameters 部分中自定义运行时参数：

   1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

   2. 修改 附加环境变量中的值，以在模型环境中定义变量。

      注意

      不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

4. 完成自定义运行时参数后，点 Redeploy 以保存和部署模型。

流程

1. 按照以下步骤部署模型，如 在单模式服务平台上部署模型 中所述。
2. 在 Serving runtime 字段中，为 KServe 选择 vLLM ServingRuntime。

3. 如果要部署 meta-llama-3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   –-distributed-executor-backend=mp 

   1

   
   --max-model-len=6144 

   2

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 6144 令牌

4. 如果您要部署 granite-7B-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   1

   将后端设置为分布式模型 worker 的多处理

5. 如果您要部署 granite-20B-code-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   
   –-tensor-parallel-size=4 

   2

   
   --max-model-len=6448 

   3

   1

   将后端设置为分布式模型 worker 的多处理

   2

   在单个节点中分布 4 个 GPU 的干扰

   3

   将模型的最大上下文长度设置为 6448 令牌

6. 如果您要部署 mistral-7B-Instruct-v0.3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   
   --max-model-len=15344 

   2

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 15344 令牌

7. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板中，点 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点包含部署模型的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 在 Models 和 model servers 列表中，展开您的模型部分。

   您的授权令牌显示在 Token secret 字段中的 Token authorization 部分中。

5. 可选： 要复制用于 inference 请求的授权令牌，请点击令牌值旁的 Copy 按钮( )。

流程

1. 在 OpenShift AI 仪表板中点 Model Serving。

   模型的 inference 端点显示在 Inference endpoint 字段中。

2. 根据您要使用模型执行的操作（如果模型支持该操作），复制 inference 端点，然后在 URL 的末尾添加一个路径。
3. 使用端点向部署的模型发出 API 请求。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击包含您要监控的数据科学模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 选择您感兴趣的模型。

5. 在 Endpoint performance 选项卡中，设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动以查看请求数、平均响应时间、CPU 使用率和内存使用率的数据图形。

流程

1. 按照以下步骤部署模型，如 单模型服务平台中的解放模型 中所述。
2. 在 Serving runtime 字段中，为 KServe runtime 选择 vLLM ServingRuntime。

3. 要通过与提示中的 ngrams 匹配 ngrams 来配置 vLLM 模型-serving 运行时，请在 Configuration parameters 部分的 Additional serving runtime 参数 中添加以下参数：

   --speculative-model=[ngram]
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
   --use-v2-block-manager

   1. 将 <NUM_SPECULATIVE_TOKENS&gt; 和 <NGRAM_PROMPT_LOOKUP_MAX > 替换为您自己的值。

      注意

      推断吞吐量因用于使用 n-gram 推测的模型而异。

4. 要使用草案模型为 speculative decoding 配置 vLLM 模型- serving 运行时，请在 配置参数 部分的附加服务 运行时参数下添加以下参数：

   --port=8080
   --served-model-name={{.Name}}
   --distributed-executor-backend=mp
   --model=/mnt/models/<path_to_original_model>
   --speculative-model=/mnt/models/<path_to_speculative_model>
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --use-v2-block-manager

   1. 将 <path_to_speculative_model & gt; 和 <path_to_original_model > 替换为兼容 S3 对象存储上的 speculative 模型和原始模型的路径。
   2. 将 <NUM_SPECULATIVE_TOKENS > 替换为您自己的值。

5. 要为多模式推断配置 vLLM 模型运行时，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --trust-remote-code

   注意

   仅使用来自可信源的模型的 --trust-remote-code 参数。

6. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 根据用于部署模型的运行时，执行以下操作之一：

   • 如果您将预安装的 TGIS Standalone ServingRuntime 用于 KServe 运行时，请复制运行时以创建自定义版本，然后按照此流程的其余部分操作。有关复制预安装的 TGIS 运行时的更多信息，请参阅为单模型服务平台添加自定义模型运行时。

   • 如果您已使用自定义 TGIS 运行时，点运行时旁边的操作菜单(ProductShortName)，然后选择 Edit。

     嵌入的 YAML 编辑器会打开并显示自定义模型服务运行时的内容。

3. 添加或更新 BATCH_SAFETY_MARGIN 环境变量，并将值设置为 30。同样，添加或更新 ESTIMATE_MEMORY_BATCH_SIZE 环境变量，并将值设为 8。

   spec:
     containers:
       env:
       - name: BATCH_SAFETY_MARGIN
         value: 30
       - name: ESTIMATE_MEMORY_BATCH
         value: 8

   注意

   BATCH_SAFETY_MARGIN 参数设置可用 GPU 内存百分比，以保存回安全边缘以避免 OOM 条件。BATCH_SAFETY_MARGIN 的默认值为 20。ESTIMATE_MEMORY_BATCH_SIZE 参数设置内存自动调整算法中使用的批处理大小。ESTIMATE_MEMORY_BATCH_SIZE 的默认值为 16。

4. 点 Update。

   Serving runtime 页面将打开，并显示安装的运行时列表。观察您更新的自定义模型运行时是否显示。

5. 要重新部署模型以使参数更新生效，请执行以下操作：

   1. 在 OpenShift AI 仪表板中点 Model Serving > Deployed Models。
   2. 找到您要重新部署的型号，点模型旁边的操作菜单(&&)，然后选择 Delete。
   3. 重新部署模型，如 在单模式服务平台上部署模型 中所述。

流程

1. 登录到 OpenShift AI。
2. 在 OpenShift AI 仪表板的左侧菜单中，点击 Applications → Explore。
3. 在 Explore 页面中，找到 NVIDIA NIM 标题。
4. 在应用程序标题上点 Enable。
5. 输入 NGC API 密钥，然后单击 Submit。

流程

1. 在左侧菜单中，单击 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 在 Models 部分中，执行以下操作之一：

   • 在 ​NVIDIA NIM 模型服务平台 标题上，点标题上的 Select NVIDIA NIM，然后点 Deploy model。
   • 如果您之前选择了 NVIDIA NIM 模型服务类型，则 Models 页面会显示右上角的 NVIDIA 模型 服务以及 Deploy model 按钮。要继续，请单击 Deploy model。

   此时会打开 Deploy model 对话框。

5. 配置部署模型的属性，如下所示：

   1. 在 Model deployment name 字段中输入部署的唯一名称。
   2. 从 NVIDIA NIM 列表中，选择您要部署的 NVIDIA NIM 模型。如需更多信息，请参阅支持的模型
   3. 在 NVIDIA NIM 存储大小字段中，指定将创建用于存储 NVIDIA NIM 模型的集群存储 实例的大小。
   4. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
   5. 在 Model server size 列表中选择一个值。

   6. 从 Accelerator 列表中，选择一个加速器。

      此时会出现 加速器字段的数量。

   7. 在 Number of accelerators 字段中，指定要使用的加速器数。默认值为 1。
6. 点 Deploy。