2.12. 使用单模式服务平台部署模型

流程

1. 启用 single-model 服务平台，如下所示：

   1. 在左侧菜单中，点击 Settings Cluster settings。
   2. 找到 Model serving platform 部分。
   3. 要为项目启用单型号服务平台，请选择 Single-model serving 平台 复选框。
   4. 点 Save Changes。

2. 为单模型服务平台启用预安装运行时，如下所示：

   1. 在 OpenShift AI 仪表板的左侧菜单中，点 Settings Serving runtime。

      Serving 运行时 页面会显示预安装的运行时以及您添加的任何自定义运行时。

      有关预安装运行时的更多信息，请参阅支持的运行时。

   2. 将要使用的运行时设置为 Enabled。

      单型号服务平台现在可用于模型部署。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要开始使用现有运行时（例如，KServe 的 TGIS Standalone ServingRuntime），请点现有运行时旁的操作菜单(WWN)，然后点击 Duplicate。
   • 要添加新的自定义运行时，请点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 可选：如果您启动一个新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。
   注意

   在很多情况下，创建自定义运行时需要在 ServingRuntime 规格的 env 部分中添加新或自定义参数。

6. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的自定义运行时会自动启用。显示您在创建运行时时指定的 API 协议。

7. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

流程

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的模型服务运行时。

2. 点 Add serving runtime。
3. 在 Select the model service platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议中，这个运行时支持 列表，选择 REST 或 gRPC。

5. 点 Start from scratch。

   1. 如果您选择了 REST API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. 如果您选择了 gRPC API 协议，请直接在嵌入的编辑器中输入或粘贴以下 YAML 代码。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. 在 metadata.name 字段中，确保您添加的运行时值与您已添加的运行时不匹配。

7. 可选： 要为您添加的运行时使用自定义显示名称，请添加 metadata.annotations.openshift.io/display-name 字段并指定一个值，如下例所示：

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注意

   如果没有为您的运行时配置自定义显示名称，OpenShift AI 会显示 metadata.name 字段的值。

8. 点 Create。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的运行时会自动启用。显示您在创建运行时时指定的 API 协议。

9. 可选： 要编辑运行时，请点击操作菜单(WWN)并选择 Edit。

流程

1. 在左侧菜单中，单击 Data Science Projects。

   Data Science Projects 页面将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Single-model 服务平台 标题，请点击 Deploy model on the 标题。
   • 如果没有看到任何标题，请点击 Deploy model 按钮。

   此时会打开 Deploy model 对话框。

5. 在 Model deployment name 字段中输入您要部署的模型的唯一名称。
6. 在 Serving runtime 字段中，选择一个已启用的运行时。
7. 在 Model 框架（名称 - version） 列表中选择一个值。
8. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
9. 在 Model server size 列表中选择一个值。

10. 只有在集群中启用了加速器支持并创建了加速器配置集时，以下选项才可用：

    1. 从 Accelerator 列表中，选择一个加速器。
    2. 如果在上一步中选择了加速器，请在 Number of accelerators 字段中指定要使用的加速器数。
11. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

12. 要要求对部署的模型对 inference 请求进行令牌授权，请执行以下操作：

    1. 选择 Require token authorization。
    2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。

13. 要指定模型的位置，请执行以下操作之一：

    • 使用现有连接

      1. 选择现有连接。
      2. 从 Name 列表中，选择一个您之前定义的连接。

      3. 在 Path 字段中输入在指定数据源中包含模型的文件夹路径。

         重要

         OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

    • 使用新连接

      1. 要定义模型可访问的新连接，请选择 New connection。

         1. 在 Add connection modal 中，选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

            此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

      2. 填写连接详情字段。

         重要

         如果您的连接类型是 S3 兼容对象存储，您必须提供包含您的数据文件的文件夹路径。OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

14. （可选）在 配置参数 部分中自定义运行时参数：

    1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

    2. 修改 附加环境变量中的值，以在模型环境中定义变量。

       Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

       注意

       不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

15. 点 Deploy。

流程

1. 以集群管理员身份登录 OpenShift 控制台。
2. 选择部署模型的项目。
3. 在 Administrator 视角中，点击 Home Search。
4. 从 资源 下拉菜单中，搜索 InferenceService。

5. 在 spec.predictor.annotations 下，使用新超时修改 service.knative.dev/progress-deadline ：

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   注意

   确保在 spec.predictor.annotations 级别上设置 progress-deadline，以便 KServe InferenceService 可以将 progress-deadline 复制到 KNative Service 对象。

流程

1. 在 OpenShift AI 仪表板中点左侧菜单中的 Model Serving。

   此时会打开 Deployed model 页面。

2. 点击您要自定义的型号名称旁的操作菜单(swig)，然后选择 Edit。

   Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

3. 在 Configuration parameters 部分中自定义运行时参数：

   1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

   2. 修改 附加环境变量中的值，以在模型环境中定义变量。

      注意

      不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

4. 完成自定义运行时参数后，点 Redeploy 以保存和部署模型。

流程

1. 按照以下步骤部署模型，如 在单模式服务平台上部署模型 中所述。
2. 在 Serving runtime 字段中，为 KServe 选择 vLLM ServingRuntime。

3. 如果要部署 meta-llama-3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   –-distributed-executor-backend=mp 1
   --max-model-len=6144 2

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 6144 令牌

4. 如果您要部署 granite-7B-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 1

   1

   将后端设置为分布式模型 worker 的多处理

5. 如果您要部署 granite-20B-code-instruct 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 1
   –-tensor-parallel-size=4 2
   --max-model-len=6448 3

   1

   将后端设置为分布式模型 worker 的多处理

   2

   在单个节点中分布 4 个 GPU 的干扰

   3

   将模型的最大上下文长度设置为 6448 令牌

6. 如果您要部署 mistral-7B-Instruct-v0.3 模型，请在 Configuration parameters 部分中的 Additional service runtime 参数 中添加以下参数：

   --distributed-executor-backend=mp 1
   --max-model-len=15344 2

   1

   将后端设置为分布式模型 worker 的多处理

   2

   将模型的最大上下文长度设置为 15344 令牌

7. 点 Deploy。