部署模型

流程

1. 在本地机器的终端窗口中，创建一个临时目录来存储模型以及创建 OCI 镜像所需的支持文件：

   cd $(mktemp -d)

2. 在临时目录中创建一个 models 文件夹：

   mkdir -p models/1

   注意

   这个示例命令指定子目录 1，因为 OpenVINO 需要编号的子目录进行建模。如果不使用 OpenVINO，则不需要创建 1 子目录来使用 OCI 容器镜像。

3. 下载模型和支持文件：

   DOWNLOAD_URL=https://github.com/onnx/models/raw/main/validated/vision/classification/mobilenet/model/mobilenetv2-7.onnx
   curl -L $DOWNLOAD_URL -O --output-dir models/1/

4. 使用 tree 命令确认模型文件按预期位于目录结构中：

   tree

   tree 命令应该返回类似以下示例的目录结构：

   .
   ├── Containerfile
   └── models
       └── 1
           └── mobilenetv2-7.onnx

5. 创建名为 Containerfile 的 Docker 文件：

   注意
   • 指定提供 shell 的基础镜像。在以下示例中，ubi9-micro 是基础镜像。您不能指定不提供 shell 的空镜像，如 scratch，因为 KServe 使用 shell 来确保模型文件可以被模型服务器访问。
   • 更改复制的模型文件的所有权，并为 root 组授予读取权限，以确保模型服务器可以访问该文件。OpenShift 使用随机用户 ID 和 root 组 ID 运行容器。

   FROM registry.access.redhat.com/ubi9/ubi-micro:latest
   COPY --chown=0:0 models /models
   RUN chmod -R a=rX /models
   
   # nobody user
   USER 65534

6. 使用 podman build 命令创建 OCI 容器镜像，并将其上传到 registry。以下命令使用 Quay 作为 registry。

   注意

   如果您的存储库是私有的，请确保已向 registry 进行身份验证，然后再上传容器镜像。

   podman build --format=oci -t quay.io/<user_name>/<repository_name>:<tag_name> .
   podman push quay.io/<user_name>/<repository_name>:<tag_name>

流程

1. 在左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Single-model 服务平台 标题，请点击 Deploy model on the 标题。
   • 如果没有看到任何标题，请点击 Deploy model 按钮。

   此时会打开 Deploy model 对话框。

5. 在 Model deployment name 字段中输入您要部署的模型的唯一名称。
6. 在 Serving runtime 字段中，选择一个已启用的运行时。如果存在项目范围内的运行时，Serving 运行时 列表包含子标题，以区分全局运行时和项目范围内的运行时。
7. 在 Model 框架（名称 - version） 列表中选择一个值。
8. 从 Deployment 模式 列表中，选择 standard 或 advanced。如需有关部署模式的更多信息，请参阅关于 KServe 部署模式。
9. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。

10. 只有在您创建了硬件配置集时，以下选项才可用：

    1. 从 Hardware profile 列表中，选择一个硬件配置文件。如果存在项目范围内的硬件配置文件，则 Hardware profile 列表包含子标题，以区分全局硬件配置文件和项目范围内的硬件配置文件。

       重要

       默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果启用了硬件配置文件，则会显示 Hardware 配置集 列表，而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings → Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

    2. 可选更改这些默认值，请点 Customize resource requests and limit，并输入新的最小值(request)和最大值(limit)值。硬件配置集指定分配给容器的 CPU 数量和内存量，为两者设置保证最小值(request)和最大值(limit)。
11. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

12. 要求对部署的模型对令牌身份验证进行推测请求，请执行以下操作：

    1. 选择 Require token authentication。
    2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。
    3. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

13. 要指定模型的位置，请执行以下操作之一：

    • 使用现有连接

      1. 选择现有连接。

      2. 从 Name 列表中，选择一个您之前定义的连接。

         1. 对于 S3 兼容对象存储 ：在 Path 字段中输入指定数据源中包含模型的文件夹路径。

            重要

            OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

         2. 对于 Open Container Image 连接 ：在 OCI 存储位置 字段中，输入模型所在的模型 URI。

            注意

            如果您使用现有 S3、URI 或 OCI 数据连接部署注册的模型版本，可能会自动填充一些连接详情。这取决于数据连接的类型以及数据科学项目中可用的匹配连接数量。例如，如果只有一个匹配的连接，则路径、URI、端点、模型 URI、存储桶和区域等字段可能会自动填充。匹配连接将标记为 建议。

    • 使用新连接

      1. 要定义模型可访问的新连接，请选择 New connection。

         1. 在 Add connection modal 中，选择 Connection type。与 OCI 兼容的 registry、S3 兼容对象存储和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

            此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

      2. 填写连接详情字段。

         重要

         如果您的连接类型是 S3 兼容对象存储，您必须提供包含您的数据文件的文件夹路径。OpenVINO Model Server 运行时对指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

14. （可选）在 配置参数 部分中自定义运行时参数：

    1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。

    2. 修改 附加环境变量中的值，以在模型环境中定义变量。

       Configuration parameters 部分显示预定义的服务运行时参数（若有可用）。

       注意

       不要修改端口或模型服务运行时参数，因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。

15. 点 Deploy。

流程

1. 创建一个项目来部署模型：

   oc new-project oci-model-example

2. 使用 OpenShift AI Applications 项目 kserve-ovms 模板来创建 ServingRuntime 资源，并在新项目中配置 OpenVINO 模型服务器：

   oc process -n redhat-ods-applications -o yaml kserve-ovms | oc apply -f -

3. 验证名为 kserve-ovms 的 ServingRuntime 是否已创建：

   oc get servingruntimes

   该命令应该返回类似如下的输出：

   NAME          DISABLED   MODELTYPE     CONTAINERS         AGE
   kserve-ovms              openvino_ir   kserve-container   1m

4. 根据模型是否存储于私有还是公共 OCI 存储库，创建 InferenceService YAML 资源：

   • 对于存储在公共 OCI 存储库中的模型，创建一个带有以下值的 InferenceService YAML 文件，将 < user_name>、< repository_name>、<tag_name >、< tag_name > 的值替换为特定于您的环境的值：

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it

   • 对于存储在私有 OCI 存储库中的模型，请创建一个 InferenceService YAML 文件，该文件在 spec.predictor.imagePullSecrets 字段中指定您的 pull secret，如下例所示：

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-private-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
         imagePullSecrets: # Specify image pull secrets to use for fetching container images, including OCI model images
         - name: <pull-secret-name>

     创建 InferenceService 资源后，KServe 会部署 storageUri 字段引用的 OCI 镜像中存储的模型。

流程

1. 在左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 在 Models 部分中，执行以下操作之一：

   • 在 ​NVIDIA NIM 模型服务平台 标题上，点标题上的 Select NVIDIA NIM，然后点 Deploy model。
   • 如果您之前选择了 NVIDIA NIM 模型服务类型，则 Models 页面会显示右上角的 NVIDIA 模型 服务以及 Deploy model 按钮。要继续，请单击 Deploy model。

   此时会打开 Deploy model 对话框。

5. 配置部署模型的属性，如下所示：

   1. 在 Model deployment name 字段中输入部署的唯一名称。
   2. 从 NVIDIA NIM 列表中，选择您要部署的 NVIDIA NIM 模型。如需更多信息，请参阅支持的模型

   3. 在 NVIDIA NIM 存储大小字段中，指定将创建用于存储 NVIDIA NIM 模型的集群存储 实例的大小。

      注意

      在 OpenShift AI 中重新定义由 Amazon EBS 支持的 PersistentVolumeClaim (PVC)大小时，您可能会遇到 VolumeModificationRateExceeded ：您已达到每个卷限制的最大修改率。要避免这个错误，在每个 EBS 卷修改之间至少等待 6 小时。如果您在冷却过期前重新定义 PVC 的大小，Amazon EBS CSI 驱动程序(ebs.csi.aws.com)会失败，并显示以下错误。这个错误是一个 Amazon EBS 服务限制，适用于使用由 EBS 支持的 PVC 的所有工作负载。

   4. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
   5. 在 Model server size 列表中选择一个值。

6. 从 Hardware profile 列表中，选择一个硬件配置文件。

   重要

   默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果启用了硬件配置文件，则会显示 Hardware 配置集 列表，而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings → Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

7. 可选：点 Customize resource requests and limit 并更新以下值：

   1. 在 CPU requests 字段中，指定要与模型服务器一起使用的 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   2. 在 CPU limits 字段中，指定模型服务器使用的最大 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   3. 在 Memory requests 字段中，以 gibibytes (Gi)为模型服务器指定请求的内存。
   4. 在 Memory limits 字段中，以千兆字节(Gi)指定模型服务器的最大内存限值。
8. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

9. 要求对部署的模型对令牌身份验证进行推测请求，请执行以下操作：

   1. 选择 Require token authentication。
   2. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。
   3. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。
10. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science projects。

   Data Science 项目页将打开。

2. 点击包含您要监控的 NIM 模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 点击您要观察的 NIM 模型。

5. 在 NIM Metrics 选项卡中，设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动以查看 NIM 指标的数据图形。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science projects。

   Data Science 项目页将打开。

2. 点击包含您要监控的 NIM 模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 点击您要观察的 NIM 模型。

5. 在 Endpoint performance 选项卡中，设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • refresh interval - 指定指标页面上图形的频率，以显示最新的数据。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动以查看性能指标的数据图形。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点您要为其配置模型服务器的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Multi-model 服务平台 标题，点标题上的 Add model server。
   • 如果没有看到任何标题，请点击 Add model server 按钮。

   此时会打开 Add model server 对话框。

5. 在 Model server name 字段中输入模型服务器的唯一名称。

6. 从 Serving runtime 列表中，选择一个在 OpenShift AI 部署中安装并启用的模型运行时。

   注意

   如果您在模型服务器中使用 自定义 模型运行时并希望使用 GPU，您必须确保您的自定义运行时支持 GPU，并被适当配置为使用它们。

7. 在 Number of model replicas to deploy 字段中，指定一个值。

8. 从 Accelerator 配置集 列表中，选择一个加速器配置集。

   重要

   默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果启用了硬件配置文件，则会显示 Hardware 配置集 列表，而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings → Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

9. 可选：点 Customize resource requests and limit 并更新以下值：

   1. 在 CPU requests 字段中，指定要与模型服务器一起使用的 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   2. 在 CPU limits 字段中，指定模型服务器使用的最大 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   3. 在 Memory requests 字段中，以 gibibytes (Gi)为模型服务器指定请求的内存。
   4. 在 Memory limits 字段中，以千兆字节(Gi)指定模型服务器的最大内存限值。
10. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

11. 可选：在 Token authentication 部分中，选择 Require token authentication 复选框，以为您的模型服务器需要令牌身份验证。要完成配置令牌身份验证，请执行以下操作：

    1. 在 Service account name 字段中输入要为其生成令牌的服务帐户名称。配置模型服务器时，生成的令牌会被创建并显示在 Token secret 字段中。
    2. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

12. 点击 Add。

    • 您配置的模型服务器会显示在项目的 Models 选项卡中，在 Models 和 model servers 列表中。
13. 可选： 要更新模型服务器，请点击模型服务器旁边的操作菜单(alsa)，然后选择 Edit model server。

流程

1. 在 OpenShift AI 仪表板中点 Data Science projects。

   Data Science 项目页将打开。

2. 点您要从中删除模型服务器的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 点您要删除模型服务器的项目旁边的操作菜单(autotune)，然后点 Delete model server。

   此时会打开 Delete model server 对话框。

5. 在文本字段中输入模型服务器的名称，以确认您想要删除它。
6. 点 Delete model server。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。
4. 单击 Deploy model。

5. 配置部署模型的属性，如下所示：

   1. 在 Model name 字段中输入您要部署的模型的唯一名称。

   2. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   3. 要指定您要从 S3 兼容对象存储部署的模型位置，请执行以下一组操作：

      • 使用现有连接

        1. 选择现有连接。
        2. 从 Name 列表中，选择一个您之前定义的连接。

        3. 在 Path 字段中输入在指定数据源中包含模型的文件夹路径。

           注意

           如果您使用现有 S3 或 URI 数据连接部署注册的模型版本，可能会自动填充一些连接详情。这取决于数据连接的类型以及数据科学项目中可用的匹配连接数量。例如，如果只有一个匹配的连接，则路径、URI、端点、存储桶和区域等字段可能会自动填充。匹配连接将标记为 建议。

      • 使用新连接

        1. 要定义模型可访问的新连接，请选择 New connection。

        2. 在 Add connection modal 中，选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

           此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

        3. 输入连接详情字段。

   4. （可选）在 配置参数 部分中自定义运行时参数：

      1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。
      2. 修改 附加环境变量中的值，以在模型环境中定义变量。
   5. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板中点 Models → Model deployments。

   此时会打开 Model deployments 页面。

   对于每个模型，页面会显示模型名称、部署模型的项目、模型使用的模型运行时以及部署状态等详情。

2. 可选： 对于给定模型，点 Inference endpoint 列中的链接来查看部署模型的 inference 端点。

流程

1. 在 OpenShift AI 仪表板中点 Models → Model deployments。

   此时会打开 Model deployments 页面。

2. 点您要更新的部署属性旁的操作菜单 (⋮)，然后点 Edit。

   这会打开 Edit model 对话框。

3. 更新模型的部署属性，如下所示：

   1. 在 Model name 字段中，为您的模型输入一个新的、唯一的名称。
   2. 在 Model servers 列表中，为您的模型选择一个模型服务器。

   3. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   4. （可选）通过指定现有连接或创建新连接来更新连接。
   5. 单击 重新部署。

流程

1. 在 OpenShift AI 仪表板中点 Models → Model deployments。

   此时会打开 Model deployments 页面。

2. 点您要删除的部署模型旁的操作菜单 (⋮)，然后点 Delete。

   此时会打开 Delete deployed model 对话框。

3. 在文本字段中输入部署模型的名称，以确认您想要删除它。
4. 点 Delete deployed model。

流程

1. 在一个终端窗口中，如果您还没有以集群管理员登录到 OpenShift 集群，请登录 OpenShift CLI，如下例所示：

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

2. 在名为 uwm-cm-conf.yaml 的 YAML 文件中定义 ConfigMap 对象，其内容如下：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         logLevel: debug
         retention: 15d

   user-workload-monitoring-config 对象配置监控用户定义的项目的组件。观察到保留时间被设置为推荐的值 15 天。

3. 应用配置以创建 user-workload-monitoring-config 对象。

   $ oc apply -f uwm-cm-conf.yaml

4. 在名为 uwm-cm-enable.yaml 的 YAML 文件中定义另一个 ConfigMap 对象，其内容如下：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       enableUserWorkload: true

   cluster-monitoring-config 对象为用户定义的项目启用监控。

5. 应用配置以创建 cluster-monitoring-config 对象。

   $ oc apply -f uwm-cm-enable.yaml

流程

1. 登录 OpenShift Web 控制台。
2. 切换到 Developer 视角。
3. 在左侧菜单中，点 Observe。
4. 如在 Red Hat OpenShift Dedicated 中监控项目指标或监控 Red Hat OpenShift Service on AWS 中的项目指标 中所述，使用 Web 控制台运行对 modelmeshLiveMigration 指标的 查询。

流程

1. 在 OpenShift AI 仪表板导航菜单中点 Data Science projects。

   Data Science 项目页将打开。

2. 点击包含您要监控的数据科学模型的项目名称。
3. 在项目详情页面中，点 Models 选项卡。
4. 在您感兴趣的模型服务器所在的行中，点操作菜单(ProductShortName)，然后选择 View model server metrics。

5. 可选：在模型服务器的指标页面中设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。
6. 向下滚动，以每 5 分钟查看 HTTP 请求的数据图形、平均响应时间、CPU 利用率和内存使用率。

流程

1. 在 OpenShift AI 仪表板中点 Models → Model deployments。
2. 在 Model deployments 页面中，选择您感兴趣的模型。

3. 可选：在 Endpoint performance 选项卡中设置以下选项：

   • 时间范围 -指定跟踪指标的时长。您可以选择其中一个值：1 小时、24 小时、7 天和 30 天。
   • 刷新 interval - 指定指标页面中图形的频率（显示最新的数据）。您可以选择以下值之一：15 秒、30 秒、1 分钟、5 分钟、15 分钟、30 分钟、1 小时、2 小时和 1 天。

流程

1. 在 OpenShift AI 仪表板中点 Data Science projects。

   Data Science 项目页将打开。

2. 点包含部署模型的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 在 Models 和 model servers 列表中，展开您的模型部分。

   您的身份验证令牌显示在 Token secret 字段中的 Token authentication 部分中。

5. 可选： 要复制在 inference 请求中使用的身份验证令牌，请点击令牌值旁的 Copy 按钮( )。

流程

1. 在 OpenShift AI 仪表板中点 Models → Model deployments。

   模型的 inference 端点显示在 Inference endpoint 字段中。

2. 根据您要使用模型执行的操作（如果模型支持该操作），复制 inference 端点，然后在 URL 的末尾添加一个路径。
3. 使用端点向部署的模型发出 API 请求。