第 5 章 使用无服务器应用程序的 NVIDIA GPU 资源
NVIDIA 支持在 OpenShift Container Platform 上使用 GPU 资源。如需有关在 OpenShift Container Platform 中设置 GPU 资源的更多信息,请参阅 OpenShift 上的 GPU Operator。
5.1. 为服务指定 GPU 要求
为 OpenShift Container Platform 集群启用 GPU 资源后,您可以使用 Knative (kn
) CLI 为 Knative 服务指定 GPU 要求。
先决条件
- 在集群中安装了 OpenShift Serverless Operator、Knative Serving 和 Knative Eventing。
-
已安装 Knative (
kn
) CLI。 - 为 OpenShift Container Platform 集群启用 GPU 资源。
- 您已创建了一个项目,或者具有适当的角色和权限访问项目,以便在 OpenShift Container Platform 中创建应用程序和其他工作负载。
OpenShift Container Platform 或 OpenShift Dedicated 上的 IBM zSystem 和 IBM Power 不支持使用 NVIDIA GPU 资源。
流程
创建 Knative 服务并使用
--limit nvidia.com/gpu=1
标志将 GPU 资源要求限制设置为1
:$ kn service create hello --image <service-image> --limit nvidia.com/gpu=1
GPU 资源要求限制为
1
表示该服务有 1 个专用的 GPU 资源。服务不共享 GPU 资源。所有需要 GPU 资源的其他服务都必须等待 GPU 资源不再被使用为止。限值为 1 个 GPU 意味着超过使用 1 个 GPU 资源的应用程序会受到限制。如果服务请求超过 1 个 GPU 资源,它将部署到可以满足 GPU 资源要求的节点。
可选。对于现有服务,您可以使用
--limit nvidia.com/gpu=3
标志将 GPU 资源要求限制改为3
:$ kn service update hello --limit nvidia.com/gpu=3