6.6. 为服务运行时配置推荐的加速器

为了帮助您为数据科学家指明最合适的加速器，您可以为服务运行时配置推荐的加速器标签。

先决条件

您已以具有 OpenShift AI 管理员特权的用户身份登录到 OpenShift AI。
您已在 OpenShift AI 中启用了 GPU 支持。这包括安装 Node Feature Discovery operator 和 NVIDIA GPU Operator。如需更多信息，请参阅安装 Node Feature Discovery operator 和启用 NVIDIA GPU。

流程

在 OpenShift AI 仪表板中点 Settings Serving runtime。
Serving 运行时 页面将打开，并显示 OpenShift AI 部署中已安装并启用的模型服务运行时。默认情况下，OpenVINO Model Server 运行时会在 OpenShift AI 中预安装并启用。
编辑您要添加推荐的加速器标签的自定义运行时，点操作菜单(alsa)，然后选择 Edit。
此时会打开带有嵌入式 YAML 编辑器的页面。
注意
默认情况下，您无法直接编辑 OpenShift AI 中包含的 OpenVINO 模型服务器运行时。但是，您可以克隆此运行时并编辑克隆的版本。然后，您可以将编辑的克隆添加为新的自定义运行时。要做到这一点，点 OpenVINO Model Server 旁边的操作菜单，然后选择 Duplicate。
在编辑器中，输入 YAML 代码以应用注解 opendatahub.io/recommended-accelerators。本例摘录显示了为 NVIDIA GPU 加速器设置推荐标签的注解：
```
metadata:
	annotations:
		opendatahub.io/recommended-accelerators: '["nvidia.com/gpu"]'
```
```
metadata:
	annotations:
		opendatahub.io/recommended-accelerators: '["nvidia.com/gpu"]'
```
Copy to Clipboard Toggle word wrap
点 Update。

验证