2.9. 从模型目录部署模型

流程

1. 在 OpenShift AI 仪表板中点 Models Model catalog。

2. 在 Red Hat model 部分中，点击您要部署的模型 的名称。

   模型详情页面将打开。

3. 单击 Deploy model。

   此时会打开 Deploy model 对话框。

4. 从 Project 下拉列表中，选择要在其中部署模型的项目。

   注意

   使用 OCI 存储的模型只能部署到单model服务平台上。使用多模式服务平台的项目不会出现在项目列表中。

5. 在 Model deployment 部分中：

   1. 可选：在 Model deployment name 字段中输入模型部署的唯一名称。Model 部署名称 会自动填充一个默认包含模型名称的值。

      这是部署模型时创建的 inference 服务的名称。

   2. 可选：点 Edit resource name，然后在 Resource name 字段中输入模型部署的特定资源名称。默认情况下，资源名称将与模型 registry 的名称匹配。

      重要

      资源名称是您资源在 OpenShift 中标记为哪些资源。您的资源名称不能超过 253 个字符，必须包含小写字母数字字符或 -，且必须以字母数字字符开头和结尾。资源名称在创建后不可编辑。

      资源名称必须与 OpenShift 集群中任何其他模型部署资源的名称不匹配。

   3. 从 Serving runtime 列表中，选择一个在 OpenShift AI 部署中安装并启用的模型运行时。如果存在项目范围内的运行时，Serving 运行时 列表包含子标题，以区分全局运行时和项目范围内的运行时。

   4. 从 Model 框架 列表中，为您的模型选择一个框架。

      注意

      Model 框架 列表仅显示您在部署模型时指定的模型保留运行时支持的框架。

6. 从 Deployment 模式 列表中，选择 Standard 或 Advanced。如需有关部署模式的更多信息，请参阅关于 KServe 部署模式。

   1. 在要部署的模型服务器副本的 Number of model server replicas 中，指定一个值。
   2. 在 Model server size 列表中选择一个值。

   3. 如果您已创建了硬件配置文件，请从 Hardware profile 列表中选择一个硬件配置文件。如果存在项目范围内的硬件配置文件，则 Hardware profile 列表包含子标题，以区分全局硬件配置文件和项目范围内的硬件配置文件。

      重要

      默认情况下，硬件配置集在仪表板导航菜单和用户界面中会被隐藏。另外，与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。要在仪表板导航菜单和与硬件配置集关联的用户界面组件中显示 Settings Hardware profiles 选项，请在 OpenShift 中的 OdhDashboardConfig 自定义资源(CR)中将 disableHardwareProfiles 值设置为 false。有关设置仪表板配置选项的更多信息，请参阅 自定义仪表板。

   4. 在 Model route 部分中，选择 Make deployed model available via an external route 复选框，使部署的模型可供外部客户端使用。

   5. 在 Token authentication 部分中，选择 Require token authentication 复选框，以为您的模型服务器进行令牌身份验证。要完成配置令牌身份验证，请执行以下操作：

      1. 在 Service account name 字段中输入要为其生成令牌的服务帐户名称。配置模型服务器时，生成的令牌会被创建并显示在 Token secret 字段中。
      2. 要添加额外服务帐户，请点 Add a service account 并输入另一个服务帐户名称。
7. 在 Source model location 部分中，选择 Current URI 以从目录中部署所选模型。

8. 可选：在 Configuration parameters 部分中自定义运行时参数：

   1. 修改附加服务 运行时参数中的值，以定义部署模型的行为方式。
   2. 修改 附加环境变量中的值，以在模型环境中定义变量。
9. 点 Deploy。