第 4 章 在多型号服务平台上部署模型

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Data Science projects。

   Data Science 项目页将打开。

2. 点您要为其配置模型服务器的项目名称。

   此时会打开项目详情页面。

3. 点 Models 选项卡。

4. 执行以下操作之一：

   • 如果您看到 ​Multi-model 服务平台 标题，点标题上的 Add model server。
   • 如果没有看到任何标题，请点击 Add model server 按钮。

   此时会打开 Add model server 对话框。

5. 在 Model server name 字段中输入模型服务器的唯一名称。

6. 从 Serving runtime 列表中，选择一个在 OpenShift AI 部署中安装并启用的模型运行时。

   注意

   如果您在模型服务器中使用 自定义 模型运行时并希望使用 GPU，您必须确保您的自定义运行时支持 GPU，并被适当配置为使用它们。

7. 在 Number of model replicas to deploy 字段中，指定一个值。

8. 从 Accelerator 配置集 列表中，选择一个加速器配置集。

   重要

   默认情况下，硬件配置集在仪表板导航菜单和用户界面中隐藏，而加速器配置集保持可见。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。如果启用了硬件配置文件，则会显示 Hardware 配置集 列表，而不是 加速器配置集列表。要在仪表板导航菜单中显示 Settings Hardware profiles 选项，以及与硬件配置集关联的用户界面组件，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

9. 可选：点 Customize resource requests and limit 并更新以下值：

   1. 在 CPU requests 字段中，指定要与模型服务器一起使用的 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   2. 在 CPU limits 字段中，指定模型服务器使用的最大 CPU 数量。使用此字段旁边的列表来指定内核或 millicores 的值。
   3. 在 Memory requests 字段中，以 gibibytes (Gi)为模型服务器指定请求的内存。
   4. 在 Memory limits 字段中，以千兆字节(Gi)指定模型服务器的最大内存限值。
10. 可选：在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

11. 可选：在 Token authentication 部分中，选择 Require token authentication 复选框，以为您的模型服务器需要令牌身份验证。要完成配置令牌身份验证，请执行以下操作：

    1. 在 Service account name 字段中输入要为其生成令牌的服务帐户名称。配置模型服务器时，生成的令牌会被创建并显示在 Token secret 字段中。
    2. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。

12. 点击 Add。

    • 您配置的模型服务器会显示在项目的 Models 选项卡中，在 Models 和 model servers 列表中。
13. 可选： 要更新模型服务器，请点击模型服务器旁边的操作菜单(alsa)，然后选择 Edit model server。