4.3. 使用多模式服务平台部署模型
您可以在 OpenShift AI 上部署受培训的模型,以便测试并实施它们到智能应用程序中。部署模型使其可作为服务使用 API 访问。这可让您根据数据输入返回预测。
当您启用了多模式服务平台时,您可以在平台上部署模型。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
- 您已启用了多型号服务平台。
- 您已创建了一个项目并添加了模型服务器。
- 您可以访问 S3 兼容对象存储。
- 对于您要部署的模型,您知道 S3 兼容对象存储桶中的关联文件夹路径。
流程
在 OpenShift AI 仪表板的左侧菜单中,单击 Projects。
Projects 页面将打开。
点击您要在其中部署模型的项目的名称。
此时会打开项目详情页面。
- 单击 Deployments 选项卡。
- 单击 Deploy model。
配置部署模型的属性,如下所示:
- 在 Model name 字段中输入您要部署的模型的唯一名称。
从 Model 框架 列表中,为您的模型选择一个框架。
注意Model 框架 列表仅显示配置模型服务器时指定的模型运行时支持的框架。
要指定您要从 S3 兼容对象存储部署的模型位置,请执行以下一组操作:
使用现有连接
- 选择现有连接。
- 从 Name 列表中,选择一个您之前定义的连接。
在 Path 字段中输入在指定数据源中包含模型的文件夹路径。
注意如果您使用现有 S3 或 URI 数据连接部署注册的模型版本,可能会自动填充一些连接详情。这取决于数据连接类型以及项目中可用的匹配连接数量。例如,如果只有一个匹配的连接,则路径、URI、端点、存储桶和区域等字段可能会自动填充。匹配连接将标记为 建议。
使用新连接
- 要定义模型可访问的新连接,请选择 New connection。
在 Add connection modal 中,选择 Connection type。S3 兼容对象存储 和 URI 选项是预安装的连接类型。如果您的 OpenShift AI 管理员添加了其他选项,则可能会使用其他选项。
此时会打开 Add connection 表单,其中包含特定于您选择的连接类型的字段。
- 输入连接详情字段。
(可选)在 配置参数 部分中自定义运行时参数:
- 修改附加服务 运行时参数中的值,以定义部署模型的行为方式。
- 修改 附加环境变量中的值,以在模型环境中定义变量。
- 点 Deploy。
验证
- 确认部署的模型显示在项目的 Deployments 选项卡中,并在仪表板的 Deployments 页面中显示 Status 列中带有复选标记。