4.2. 部署模型


现在,模型可以在存储中访问,并以可移植的 ONNX 格式保存,您可以使用 OpenShift AI 模型服务器将其部署为 API。

OpenShift AI 为模型服务提供两种选项:

  • 单型号 - 项目中的每个模型都部署在其自己的模型服务器上。该平台适用于需要专用资源的大型模型或模型。
  • 多型号服务 - 项目中的所有模型都部署到同一模型服务器上。这个平台适用于在部署的模式中共享资源。多型号服务是 Red Hat Developer Sandbox 环境中唯一提供的选项。

在本教程中,因为您只能部署一种模型,您可以选择任一服务类型。部署欺诈检测模型的步骤取决于您选择的模型服务平台类型:

4.2.1. 在单型号服务器上部署模型

OpenShift AI 单模式服务器仅托管一个模型。您可以创建新模型服务器并将模型部署到其中。

先决条件

  • 具有 admin 特权的用户已在 OpenShift 集群上启用了单型号服务平台。

流程

  1. 在 OpenShift AI 仪表板中,进入项目详情页面并点 Models 选项卡。

    注意

    根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。

  2. Single-model 服务平台 标题中,点 Deploy model
  3. 在表单中,提供以下值:

    1. 对于 Model 部署名称,请输入 fraud
    2. 对于 Serving runtime,选择 OpenVINO Model Server
    3. 对于 Model 框架(名称 - 版本), 请选择 onnx-1
    4. 对于 现有连接,请选择 My Storage
    5. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    6. 其他字段保留默认设置。

  4. Deploy

验证

请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

后续步骤

测试模型 API

4.2.2. 在多型号服务器上部署模型

OpenShift AI 多模式服务器可以同时托管多个模型。您可以创建新模型服务器并将模型部署到其中。

先决条件

  • 具有 admin 特权的用户已在 OpenShift 集群上启用了多模式服务平台。

流程

  1. 在 OpenShift AI 仪表板中,进入项目详情页面并点 Models 选项卡。

    注意

    根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。

  2. Multi-model 服务平台 标题中,点 Add model server
  3. 在表单中,提供以下值:

    1. 对于 Model server name,输入名称,如 Model Server
    2. 对于 Serving runtime,选择 OpenVINO Model Server
    3. 其他字段保留默认设置。

  4. 点击 Add
  5. 在新模型服务器旁的 Models and model servers 列表中,点 Deploy model

  6. 在表单中,提供以下值:

    1. 对于 Model 部署名称,请输入 fraud
    2. 对于 Model 框架(名称 - 版本), 请选择 onnx-1
    3. 对于 现有连接,请选择 My Storage
    4. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    5. 其他字段保留默认设置。

  7. Deploy

验证

请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

后续步骤

测试模型 API

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat