4.2. 部署模型
现在,模型可以在存储中访问,并以可移植的 ONNX 格式保存,您可以使用 OpenShift AI 模型服务器将其部署为 API。
OpenShift AI 为模型服务提供两种选项:
- 单型号 - 项目中的每个模型都部署在其自己的模型服务器上。该平台适用于需要专用资源的大型模型或模型。
- 多型号服务 - 项目中的所有模型都部署到同一模型服务器上。这个平台适用于在部署的模式中共享资源。多型号服务是 Red Hat Developer Sandbox 环境中唯一提供的选项。
在本教程中,因为您只能部署一种模型,您可以选择任一服务类型。部署欺诈检测模型的步骤取决于您选择的模型服务平台类型:
4.2.1. 在单型号服务器上部署模型 复制链接链接已复制到粘贴板!
OpenShift AI 单模式服务器仅托管一个模型。您可以创建新模型服务器并将模型部署到其中。
先决条件
-
具有
admin
特权的用户已在 OpenShift 集群上启用了单型号服务平台。
流程
在 OpenShift AI 仪表板中,进入项目详情页面并点 Models 选项卡。
注意根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。
- 在 Single-model 服务平台 标题中,点 Deploy model。
在表单中,提供以下值:
-
对于 Model 部署名称,请输入
fraud
。 -
对于 Serving runtime,选择
OpenVINO Model Server
。 -
对于 Model 框架(名称 - 版本), 请选择
onnx-1
。 -
对于 现有连接,请选择
My Storage
。 -
键入导致包含模型文件的版本文件夹的路径:
models/fraud
其他字段保留默认设置。
-
对于 Model 部署名称,请输入
- 点 Deploy。
验证
请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。
后续步骤
4.2.2. 在多型号服务器上部署模型 复制链接链接已复制到粘贴板!
OpenShift AI 多模式服务器可以同时托管多个模型。您可以创建新模型服务器并将模型部署到其中。
先决条件
-
具有
admin
特权的用户已在 OpenShift 集群上启用了多模式服务平台。
流程
在 OpenShift AI 仪表板中,进入项目详情页面并点 Models 选项卡。
注意根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。
- 在 Multi-model 服务平台 标题中,点 Add model server。
在表单中,提供以下值:
-
对于 Model server name,输入名称,如
Model Server
。 -
对于 Serving runtime,选择
OpenVINO Model Server
。 其他字段保留默认设置。
-
对于 Model server name,输入名称,如
- 点击 Add。
在新模型服务器旁的 Models and model servers 列表中,点 Deploy model。
在表单中,提供以下值:
-
对于 Model 部署名称,请输入
fraud
。 -
对于 Model 框架(名称 - 版本), 请选择
onnx-1
。 -
对于 现有连接,请选择
My Storage
。 -
键入导致包含模型文件的版本文件夹的路径:
models/fraud
其他字段保留默认设置。
-
对于 Model 部署名称,请输入
- 点 Deploy。
验证
请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。
后续步骤