第5章 Serverless アプリケーションでの NVIDIA GPU リソースの使用
NVIDIA は、OpenShift Container Platform での GPU リソースの使用をサポートしています。OpenShift Container Platform での GPU リソースの設定に関する詳細は、OpenShift の GPU Operator を参照してください。
5.1. サービスの GPU 要件の指定
OpenShift Container Platform クラスターの GPU リソースが有効化された後に、Knative (kn) CLI を使用して Knative サービスの GPU 要件を指定できます。
前提条件
- OpenShift Serverless Operator、Knative Serving、および Knative Eventing がクラスターにインストールされている。
-
Knative (
kn) CLI がインストールされている。 - GPU リソースが OpenShift Container Platform クラスターで有効にされている。
- OpenShift Container Platform でアプリケーションおよび他のワークロードを作成するために、プロジェクトを作成しているか、適切なロールおよびパーミッションを持つプロジェクトにアクセスできる。
NVIDIA GPU リソースの使用は、OpenShift Container Platform または OpenShift Dedicated の IBM zSystem および IBM Power ではサポートされていません。
手順
Knative サービスを作成し、
--limit nvidia.com/gpu=1フラグを使用して、GPU リソース要件の制限を1に設定します。$ kn service create hello --image <service-image> --limit nvidia.com/gpu=1
GPU リソース要件の制限が
1の場合、サービスには専用の GPU リソースが 1 つ必要です。サービスは、GPU リソースを共有しません。GPU リソースを必要とするその他のサービスは、GPU リソースが使用されなくなるまで待機する必要があります。1 GPU の制限は、1 GPU リソースの使用を超えるアプリケーションが制限されることも意味します。サービスが 2 つ以上の GPU リソースを要求する場合、これは GPU リソース要件を満たしているノードにデプロイされます。
オプション: 既存のサービスの場合は、
--limit nvidia.com/gpu=3フラグを使用して、GPU リソース要件の制限を3に変更できます。$ kn service update hello --limit nvidia.com/gpu=3
