2.2. 在单模型服务平台上部署模型

流程

1. 在左侧菜单中，单击 Projects。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 单击 Deployments 选项卡。

4. 点 Deploy model 按钮。

   此时会打开 Deploy a model 向导。

5. 在 Model details 部分中，提供有关模型的信息：

   1. 在 Model location 列表中，指定您的模型存储并完成连接详情字段。

      注意
      • 与 OCI 兼容的 registry、S3 兼容对象存储和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。
      • 如果您将模型文件上传到持久性卷声明(PVC)中，且 PVC 附加到工作台中，Cluster storage 选项会在 Model location 列表中可用。使用这个选项选择 PVC 并指定模型文件的路径。
   2. 从 Model type 列表中，选择您要部署的模型类型，预测 或生成 AI 模型。
   3. 点 Next。

6. 在 Model deployment 部分中，配置部署：

   1. 在 Model deployment name 字段中输入模型部署的唯一名称。
   2. 在 Description 字段中，输入部署的描述。
   3. 从 Hardware profile 列表中，选择一个硬件配置文件。
   4. 可选： 要修改默认资源分配，请点 Customize resource requests and limits，并为 CPU 和 Memory 请求和限值输入新值。

   5. 在 Serving runtime 字段中，选择一个已启用的运行时。

      注意

      如果存在项目范围内的运行时，Serving 运行时 列表包含子标题，以区分全局运行时和项目范围内的运行时。

   6. 可选：如果您选择了 预测模型 类型，请从 Model 框架（名称 - version）列表中选择一个 框架。对于生成 AI 模型，该字段为隐藏。
   7. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
   8. 点 Next。

7. 在 Advanced settings 部分中，配置高级选项：

   1. 可选：（仅限Generative AI 模型）如果您要将模型的端点添加到 AI asset 端点页面，请选择 Add as AI asset endpoint 复选框。

      1. 在 Use case 字段中，输入您的模型执行的任务类型，如 chat、multimodal 或自然语言处理。

         注意

         您必须将您的模型添加为 AI 资产端点，以便在 GenAI playground 中测试您的模型。

   2. 可选： 选择 Model access 复选框，使您的模型部署可以通过外部路由访问。
   3. 可选： 要要求令牌身份验证以对部署的模型推测请求，请选择 Require token authentication。
   4. 在 Service account name 字段中，输入要为其生成令牌的服务帐户名称。
   5. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

   6. 可选：在 Configuration parameters 部分中：

      1. 选择 Add custom runtime 参数，然后在文本字段中输入参数。
      2. 选择 Add custom runtime 环境变量 复选框，然后点 Add variable 在文本字段中输入自定义变量。
8. 点 Deploy。