4.2. 部署模型


现在,模型可以被访问并保存在可移植的 ONNX 格式中,您可以使用 OpenShift AI 模型服务器将其部署为 API。

OpenShift AI 为模型服务提供了两个选项:

  • 单模式服务 - 项目中的每一模型都部署在自己的模型服务器上。该平台适用于需要专用资源的大型模型或模型。
  • 多模式服务 - 项目中的所有模型都部署到同一模型服务器上。此平台适合在部署的模型间共享资源。多型号服务是 Red Hat Developer Sandbox 环境中唯一提供的选项。

在本教程中,由于您只部署一个模型,您可以选择任一服务类型。部署 fraud 检测模型的步骤取决于您所选的模型服务平台类型:

4.2.1. 在单型号服务器上部署模型

OpenShift AI 单型号服务器仅托管一种模型。您可以创建新的模型服务器,并将模型部署到其中。

先决条件

  • 具有 admin 特权的用户已在 OpenShift 集群上启用了单模式服务平台。

流程

  1. 在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。

    models
    注意

    根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。

  2. Single-model serving 平台标题中,点 Select single-model
  3. 在表单中,提供以下值:

    1. 对于 Model 部署名称,请输入 fraud
    2. 对于 Serving 运行时,请选择 OpenVINO Model Server
    3. 对于 Model 框架(名称 - 版本), 请选择 onnx-1
    4. 对于 现有连接,请选择 My Storage
    5. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    6. 其他字段保留默认设置。

      为单模型服务部署模型表单
  4. Deploy

验证

请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

部署模型状态

后续步骤

测试模型 API

4.2.2. 在多型号服务器上部署模型

OpenShift AI 多型号服务器可以同时托管多个模型。您可以创建新的模型服务器,并将模型部署到其中。

先决条件

  • 具有管理特权的用户 已在 OpenShift 集群上启用了多型号服务平台。

流程

  1. 在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。

    models
    注意

    根据在集群中配置模型服务的方式,您可能只看到一个模型服务平台选项。

  2. Multi-model 服务平台标题中,点 Select multi-model
  3. 在表单中,提供以下值:

    1. 对于 Model server name,输入名称,如 Model Server
    2. 对于 Serving 运行时,请选择 OpenVINO Model Server
    3. 其他字段保留默认设置。

      创建模型服务器表单
  4. 点击 Add
  5. 在新的模型服务器列表旁边的 Models and model servers 列表中,点 Deploy model

    创建模型服务器表单
  6. 在表单中,提供以下值:

    1. 对于 Model 部署名称,请输入 fraud
    2. 对于 Model 框架(名称 - 版本), 请选择 onnx-1
    3. 对于 现有连接,请选择 My Storage
    4. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    5. 其他字段保留默认设置。

      从 部署用于多型号服务的模型
  7. Deploy

验证

请注意 Status 部分下的加载符号。部署成功完成后,符号会变为绿色勾号。

部署模型状态

后续步骤

测试模型 API

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.