2.10. 从模型 registry 编辑部署的模型版本的部署属性
您可以从从 registry 部署的模型 registry 中编辑模型版本部署属性。例如,您可以更改部署名称、模型框架和源模型位置详情。
2.10.1. 使用多模式服务平台编辑部署的模型的部署属性 复制链接链接已复制到粘贴板!
您可以从模型 registry 编辑部署的模型版本的部署属性。例如,您可以更改部署名称、模型框架和源模型位置详情。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
- 在您的部署中存在一个可用的模型 registry,其中包含至少 1 个注册和部署的模型版本。
- 您可以访问包含您要编辑的模型版本部署的模型 registry。
流程
-
在 OpenShift AI 仪表板中点 Models
Model registry。 - 在 Model registry 下拉菜单中选择包含您要编辑的模型部署的模型 registry。
在 Model name 列中,点包含您要编辑的部署的模型名称。
模型的详情页面将打开。
- 使用您要编辑的部署,单击模型版本的名称。
- 点 Deployments
- 点您要编辑的模型部署旁的操作菜单(WWN)。
- 点 Edit。
在 Edit model 对话框中,编辑模型部署属性:
- 在 Model deployment name 字段中,为您的模型部署输入一个新的、唯一的名称。
从 Model 框架 列表中,为您的模型选择不同的框架。
注意Model 框架 列表仅显示您在配置模型服务器时指定的模型服务运行时支持的框架。
- 通过指定现有连接或创建新连接来编辑连接。
- 单击 重新部署。
验证
- 模型重新部署,并显示模型版本的 Deployments 选项卡的更新详情。
2.10.2. 使用单模式服务平台编辑部署的模型的部署属性 复制链接链接已复制到粘贴板!
您可以从模型 registry 编辑部署的模型版本的部署属性。例如,您可以更改部署名称、模型框架、模型服务器副本数、模型服务器大小和源模型位置详情。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
- 在您的部署中存在一个可用的模型 registry,其中包含至少 1 个注册和部署的模型版本。
- 您可以访问包含您要编辑的模型版本部署的模型 registry。
流程
-
在 OpenShift AI 仪表板中点 Models
Model registry。 - 在 Model registry 下拉菜单中选择包含您要编辑的模型部署的模型 registry。
在 Model name 列中,点包含您要编辑的部署的模型名称。
模型的详情页面将打开。
- 使用您要编辑的部署,单击模型版本的名称。
- 点 Deployments
- 点您要编辑的模型部署旁的操作菜单(WWN)。
- 点 Edit。
在 Edit model 对话框中,编辑模型部署属性:
- 在 Model deployment name 字段中,为您的模型部署输入一个新的、唯一的名称。
从 Model 框架 列表中,为您的模型选择不同的框架。
注意Model 框架 列表仅显示您在部署模型时指定的模型服务运行时支持的框架。
- 在要部署的模型服务器副本的 Number of model server replicas 中,指定一个值。
- 在 Model server size 列表中选择一个值。
- 在 Model route 部分中,选择 Make deployed model available via an external route 复选框,使部署的模型可供外部客户端使用。
在 Token authentication 部分中,选择 Require token authentication 复选框,以为您的模型服务器进行令牌身份验证。要完成配置令牌身份验证,请执行以下操作:
- 在 Service account name 字段中输入要为其生成令牌的服务帐户名称。配置模型服务器时,生成的令牌会被创建并显示在 Token secret 字段中。
- 要添加额外服务帐户,请点 Add a service account 并输入另一个服务帐户名称。
- 通过指定现有连接或创建新连接来编辑连接。
在 Configuration parameters 部分中自定义运行时参数:
- 修改附加服务 运行时参数中的值,以定义部署模型的行为方式。
修改 附加环境变量中的值,以在模型环境中定义变量。
Configuration parameters 部分显示预定义的服务运行时参数(若有可用)。
注意不要修改端口或模型服务运行时参数,因为它们需要设置特定的值。覆盖这些参数可能会导致部署失败。
- 单击 重新部署。
验证
- 模型重新部署,并显示模型版本的 Deployments 选项卡的更新详情。