3.2. 使用部署的模型

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点击您要在其中部署模型的项目的名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。
4. 单击 Deploy model。

5. 配置部署模型的属性，如下所示：

   1. 在 Model name 字段中输入您要部署的模型的唯一名称。

   2. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   3. 要指定您要从 S3 兼容对象存储部署的模型位置，请执行以下一组操作：

      • 使用现有连接

        1. 选择现有连接。
        2. 从 Name 列表中，选择一个您之前定义的连接。

        3. 在 Path 字段中输入在指定数据源中包含模型的文件夹路径。

           注意

           如果您使用现有 S3 或 URI 数据连接部署注册的模型版本，可能会自动填充一些连接详情。这取决于数据连接的类型以及数据科学项目中可用的匹配连接数量。例如，如果只有一个匹配的连接，则路径、URI、端点、存储桶和区域等字段可能会自动填充。匹配连接将标记为 建议。

      • 使用新连接

        1. 要定义模型可访问的新连接，请选择 New connection。

        2. 在 Add connection modal 中，选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项，则可能会使用其他选项。

           此时会打开 Add connection 表单，其中包含特定于您选择的连接类型的字段。

        3. 输入连接详情字段。

   4. （可选）在 配置参数 部分中自定义运行时参数：

      1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。
      2. 修改 附加环境变量中的值，以在模型环境中定义变量。
   5. 点 Deploy。

流程

1. 在 OpenShift AI 仪表板中点 Models Model deployments。

   此时会打开 Model deployments 页面。

   对于每个模型，页面会显示模型名称、部署模型的项目、模型使用的模型运行时以及部署状态等详情。

2. 可选： 对于给定模型，点 Inference endpoint 列中的链接来查看部署模型的 inference 端点。

流程

1. 在 OpenShift AI 仪表板中点 Models Model deployments。

   此时会打开 Model deployments 页面。

2. 点您要更新的部署属性旁的操作菜单 (⋮)，然后点 Edit。

   这会打开 Edit model 对话框。

3. 更新模型的部署属性，如下所示：

   1. 在 Model name 字段中，为您的模型输入一个新的、唯一的名称。
   2. 在 Model servers 列表中，为您的模型选择一个模型服务器。

   3. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。

   4. （可选）通过指定现有连接或创建新连接来更新连接。
   5. 单击 重新部署。

流程

1. 在 OpenShift AI 仪表板中点 Models Model deployments。

   此时会打开 Model deployments 页面。

2. 点您要删除的部署模型旁的操作菜单 (⋮)，然后点 Delete。

   此时会打开 Delete deployed model 对话框。

3. 在文本字段中输入部署模型的名称，以确认您想要删除它。
4. 点 Delete deployed model。