2.11. 使用单模式服务平台部署模型

流程

1. 启用 single-model 服务平台，如下所示：

   1. 在左侧菜单中，点击 Settings Cluster settings。
   2. 找到 Model serving platform 部分。
   3. 要为项目启用单型号服务平台，请选择 Single-model serving 平台 复选框。
   4. 点 Save Changes。

2. 为单模型服务平台启用预安装运行时，如下所示：

   1. 在 OpenShift AI 仪表板的左侧菜单中，点 Settings Serving runtime。

      Serving 运行时 页面会显示预安装的运行时以及您添加的任何自定义运行时。

      有关预安装运行时的更多信息，请参阅支持的运行时。

   2. 将要使用的运行时设置为 Enabled。

      单型号服务平台现在可用于模型部署。

流程

1. 在 OpenShift AI 仪表板中点 Settings Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要使用现有运行时（例如，vLLM NVIDIA GPU ServingRuntime for KServe）启动，请点现有运行时旁的操作菜单(WWN)，然后点 Duplicate。
   • 要添加新的自定义运行时，请点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 可选：如果您启动一个新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。
   注意

   在很多情况下，创建自定义运行时需要在 ServingRuntime 规格的 env 部分中添加新或自定义参数。

6. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的自定义运行时会自动启用。显示您在创建运行时时指定的 API 协议。

7. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

流程

1. 在 OpenShift AI 仪表板中点 Settings Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。
5. 点 Start from scratch。

6. 按照以下步骤添加 NVIDIA Triton Inference 服务器 运行时：

   1. 如果您选择了 REST API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

      Copy to Clipboard Toggle word wrap

   2. 如果您选择了 gRPC API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

      Copy to Clipboard Toggle word wrap

7. 按照以下步骤添加 Seldon MLServer 运行时：

   1. 如果您选择了 REST API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: mlserver-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          openshift.io/display-name: Seldon MLServer
          prometheus.kserve.io/port: "8080"
          prometheus.kserve.io/path: /metrics
        containers:
          - name: kserve-container
            image: 'docker.io/seldonio/mlserver@sha256:07890828601515d48c0fb73842aaf197cbcf245a5c855c789e890282b15ce390'
            env:
              - name: MLSERVER_HTTP_PORT
                value: "8080"
              - name: MLSERVER_GRPC_PORT
                value: "9000"
              - name: MODELS_DIR
                value: /mnt/models
            resources:
              requests:
                cpu: "1"
                memory: 2Gi
              limits:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
            securityContext:
              allowPrivilegeEscalation: false
              capabilities:
                drop:
                  - ALL
              privileged: false
              runAsNonRoot: true
        protocolVersions:
          - v2
        multiModel: false
        supportedModelFormats:
          - name: sklearn
            version: "0"
            autoSelect: true
            priority: 2
          - name: sklearn
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "2"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "3"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "4"
            autoSelect: true
            priority: 2
          - name: mlflow
            version: "1"
            autoSelect: true
            priority: 1
          - name: mlflow
            version: "2"
            autoSelect: true
            priority: 1
          - name: catboost
            version: "1"
            autoSelect: true
            priority: 1
          - name: huggingface
            version: "1"
            autoSelect: true
            priority: 1

      Copy to Clipboard Toggle word wrap

   2. 如果您选择了 gRPC API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: mlserver-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          openshift.io/display-name: Seldon MLServer
          prometheus.kserve.io/port: "8080"
          prometheus.kserve.io/path: /metrics
        containers:
          - name: kserve-container
            image: 'docker.io/seldonio/mlserver@sha256:07890828601515d48c0fb73842aaf197cbcf245a5c855c789e890282b15ce390'
            env:
              - name: MLSERVER_HTTP_PORT
                value: "8080"
              - name: MLSERVER_GRPC_PORT
                value: "9000"
              - name: MODELS_DIR
                value: /mnt/models
            resources:
              requests:
                cpu: "1"
                memory: 2Gi
              limits:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            securityContext:
              allowPrivilegeEscalation: false
              capabilities:
                drop:
                  - ALL
              privileged: false
              runAsNonRoot: true
        protocolVersions:
          - v2
        multiModel: false
        supportedModelFormats:
          - name: sklearn
            version: "0"
            autoSelect: true
            priority: 2
          - name: sklearn
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "2"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "3"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "4"
            autoSelect: true
            priority: 2
          - name: mlflow
            version: "1"
            autoSelect: true
            priority: 1
          - name: mlflow
            version: "2"
            autoSelect: true
            priority: 1
          - name: catboost
            version: "1"
            autoSelect: true
            priority: 1
          - name: huggingface
            version: "1"
            autoSelect: true
            priority: 1

      Copy to Clipboard Toggle word wrap
8. 在 metadata.name 字段中，确保您添加的运行时值与您已添加的运行时不匹配。

9. 可选： 要为您添加的运行时使用自定义显示名称，请添加 metadata.annotations.openshift.io/display-name 字段并指定一个值，如下例所示：

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   Copy to Clipboard Toggle word wrap
   注意

   如果没有为您的运行时配置自定义显示名称，OpenShift AI 会显示 metadata.name 字段的值。

10. 点 Create。

    Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的运行时会自动启用。显示您在创建运行时时指定的 API 协议。

11. 可选： 要编辑运行时，请点击操作菜单(WWN)并选择 Edit。

流程

1. 在左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Single-model 服务平台 标题，请点击 Deploy model on the 标题。
   • 如果没有看到任何标题，请点击 Deploy model 按钮。

   此时会打开 Deploy model 对话框。

5. 在 Model deployment name 字段中输入您要部署的模型的唯一名称。
6. 在 Serving runtime 字段中，选择一个已启用的运行时。如果存在项目范围内的运行时，Serving 运行时 列表包含子标题，以区分全局运行时和项目范围内的运行时。
7. 在 Model 框架（名称 - version） 列表中选择一个值。
8. 从 Deployment 模式 列表中，选择 standard 或 advanced。如需有关部署模式的更多信息，请参阅关于 KServe 部署模式。
9. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。

10. 只有在您创建了硬件配置集时，以下选项才可用：

    1. 从 Hardware profile 列表中，选择一个硬件配置文件。如果存在项目范围内的硬件配置文件，则 Hardware profile 列表包含子标题，以区分全局硬件配置文件和项目范围内的硬件配置文件。

       重要

       默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果您启用硬件配置集，则会出现 硬件配置集列表 而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

    2. 可选更改这些默认值，请点 Customize resource requests and limit，并输入新的最小值(request)和最大值(limit)值。硬件配置集指定分配给容器的 CPU 数量和内存量，为两者设置保证最小值(request)和最大值(limit)。
11. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

12. 要求对部署的模型对令牌身份验证进行推测请求，请执行以下操作：

    1. 选择 Require token authentication。
    2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。
    3. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

13. 要指定模型的位置，请执行以下操作之一：

    • 使用现有连接

      1. 选择现有连接。

      2. 从 Name 列表中，选择一个您之前定义的连接。

         1. 对于 S3 兼容对象存储 ：在 Path 字段中输入指定数据源中包含模型的文件夹路径。

            重要

            OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

         2. 对于 Open Container Image 连接 ：在 OCI 存储位置 字段中，输入模型所在的模型 URI。

            注意

            如果您使用现有 S3、URI 或 OCI 数据连接部署注册的模型版本，可能会自动填充一些连接详情。这取决于数据连接的类型以及数据科学项目中可用的匹配连接数量。例如，如果只有一个匹配的连接，则路径、URI、端点、模型 URI、存储桶和区域等字段可能会自动填充。匹配连接将标记为 建议。

    • 使用新连接

      1. 要定义模型可访问的新连接，请选择 New connection。

         1. 在 Add connection modal 中，选择 Connection type。与 OCI 兼容的 registry、S3 兼容对象存储和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

            此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

      2. 填写连接详情字段。

         重要

         如果您的连接类型是 S3 兼容对象存储，您必须提供包含您的数据文件的文件夹路径。OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

14. （可选）在 配置参数 部分中自定义运行时参数：

    1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

    2. 修改 附加环境变量中的值，以在模型环境中定义变量。

       Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

       注意

       不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

15. 点 Deploy。

流程

1. 以集群管理员身份登录 OpenShift 控制台。
2. 选择部署模型的项目。
3. 在 Administrator 视角中，点击 Home Search。
4. 从 资源 下拉菜单中，搜索 InferenceService。

5. 在 spec.predictor.annotations 下，使用新超时修改 service.knative.dev/progress-deadline ：

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   Copy to Clipboard Toggle word wrap
   注意

   确保在 spec.predictor.annotations 级别上设置 progress-deadline，以便 KServe InferenceService 可以将 progress-deadline 复制到 KNative Service 对象。

流程

1. 在 OpenShift AI 仪表板中点 Models Model deployments。

   此时会打开 Model deployments 页面。

2. 点击您要自定义的型号名称旁的操作菜单(swig)，然后选择 Edit。

   Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

3. 在 Configuration parameters 部分中自定义运行时参数：

   1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

   2. 修改 附加环境变量中的值，以在模型环境中定义变量。

      注意

      不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

4. 完成自定义运行时参数后，点 Redeploy 以保存和部署模型。

流程

1. 按照以下步骤部署模型，如 在单模式服务平台上部署模型 中所述。
2. 在 Serving runtime 字段中，为 KServe 选择 vLLM ServingRuntime。

3. 如果要部署 meta-llama-3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   –-distributed-executor-backend=mp 

   1

   
   --max-model-len=6144 

   2

   Copy to Clipboard Toggle word wrap

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 6144 令牌

4. 如果您要部署 granite-7B-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   Copy to Clipboard Toggle word wrap

   1

   将后端设置为分布式模型 worker 的多处理

5. 如果您要部署 granite-20B-code-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   
   –-tensor-parallel-size=4 

   2

   
   --max-model-len=6448 

   3

   Copy to Clipboard Toggle word wrap

   1

   将后端设置为分布式模型 worker 的多处理

   2

   在单个节点中分布 4 个 GPU 的干扰

   3

   将模型的最大上下文长度设置为 6448 令牌

6. 如果您要部署 mistral-7B-Instruct-v0.3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 

   1

   
   --max-model-len=15344 

   2

   Copy to Clipboard Toggle word wrap

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 15344 令牌

7. 点 Deploy。