4.2. 部署模型
现在,模型可以被访问并保存在可移植的 ONNX 格式中,您可以使用 OpenShift AI 模型服务器将其部署为 API。
OpenShift AI 为模型服务提供了两个选项:
- 单模式服务 - 项目中的每一模型都部署在自己的模型服务器上。该平台适用于需要专用资源的大型模型或模型。
- 多模式服务 - 项目中的所有模型都部署到同一模型服务器上。此平台适合在部署的模型间共享资源。多型号服务是 Red Hat Developer Sandbox 环境中唯一提供的选项。
在本教程中,由于您只部署一个模型,您可以选择任一服务类型。部署 fraud 检测模型的步骤取决于您所选的模型服务平台类型:
4.2.1. 在单型号服务器上部署模型
OpenShift AI 单型号服务器仅托管一种模型。您可以创建新的模型服务器,并将模型部署到其中。
先决条件
-
具有
admin
特权的用户已在 OpenShift 集群上启用了单模式服务平台。
流程
在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。
注意根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。
- 在 Single-model serving 平台标题中,点 Select single-model。
在表单中,提供以下值:
-
对于 Model 部署名称,请输入
fraud
。 -
对于 Serving 运行时,请选择
OpenVINO Model Server
。 -
对于 Model 框架(名称 - 版本), 请选择
onnx-1
。 -
对于 现有连接,请选择
My Storage
。 -
键入导致包含模型文件的版本文件夹的路径:
models/fraud
其他字段保留默认设置。
-
对于 Model 部署名称,请输入
- 点 Deploy。
验证
请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

后续步骤
4.2.2. 在多型号服务器上部署模型
OpenShift AI 多型号服务器可以同时托管多个模型。您可以创建新的模型服务器,并将模型部署到其中。
先决条件
-
具有管理特权的用户
已在 OpenShift 集群上启用了多型号服务平台。
流程
在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。
注意根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。
- 在 Multi-model 服务平台标题中,点 Select multi-model。
在表单中,提供以下值:
-
对于 Model server name,输入名称,如
Model Server
。 -
对于 Serving 运行时,请选择
OpenVINO Model Server
。 其他字段保留默认设置。
-
对于 Model server name,输入名称,如
- 点击 Add。
在新的模型服务器列表旁边的 Models and model servers 列表中,点 Deploy model。
在表单中,提供以下值:
-
对于 Model 部署名称,请输入
fraud
。 -
对于 Model 框架(名称 - 版本), 请选择
onnx-1
。 -
对于 现有连接,请选择
My Storage
。 -
键入导致包含模型文件的版本文件夹的路径:
models/fraud
其他字段保留默认设置。
-
对于 Model 部署名称,请输入
- 点 Deploy。
验证
请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

后续步骤