第5章 クォータと制限範囲の使用

手順

1. クラスター内のノードで使用可能な GPU の数を確認するには、次のコマンドを使用します。

   $ oc describe node ip-172-31-27-209.us-west-2.compute.internal | egrep 'Capacity|Allocatable|gpu'

   出力例

                       openshift.com/gpu-accelerator=true
   Capacity:
    nvidia.com/gpu:  2
   Allocatable:
    nvidia.com/gpu:  2
    nvidia.com/gpu:  0           0

   この例では、2 つの GPU が利用可能です。

2. このコマンドを使用して、namespace nvidia にクォータを設定します。この例では、クォータは 1 です。

   $ cat gpu-quota.yaml

   出力例

   apiVersion: v1
   kind: ResourceQuota
   metadata:
     name: gpu-quota
     namespace: nvidia
   spec:
     hard:
       requests.nvidia.com/gpu: 1

3. 次のコマンドでクォータを作成します。

   $ oc create -f gpu-quota.yaml

   出力例

   resourcequota/gpu-quota created

4. 次のコマンドを使用して、namespace に正しいクォータが設定されていることを確認します。

   $ oc describe quota gpu-quota -n nvidia

   出力例

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  0     1

5. 次のコマンドを使用して、単一の GPU を要求する Pod を実行します。

   $ oc create pod gpu-pod.yaml

   出力例

   apiVersion: v1
   kind: Pod
   metadata:
     generateName: gpu-pod-s46h7
     namespace: nvidia
   spec:
     restartPolicy: OnFailure
     containers:
     - name: rhel7-gpu-pod
       image: rhel7
       env:
         - name: NVIDIA_VISIBLE_DEVICES
           value: all
         - name: NVIDIA_DRIVER_CAPABILITIES
           value: "compute,utility"
         - name: NVIDIA_REQUIRE_CUDA
           value: "cuda>=5.0"
   
       command: ["sleep"]
       args: ["infinity"]
   
       resources:
         limits:
           nvidia.com/gpu: 1

6. 次のコマンドを使用して、Pod が実行されていることを確認します。

   $ oc get pods

   出力例

   NAME              READY     STATUS      RESTARTS   AGE
   gpu-pod-s46h7     1/1       Running     0          1m

7. 次のコマンドを実行して、クォータ Used カウンターが正しいことを確認します。

   $ oc describe quota gpu-quota -n nvidia

   出力例

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  1     1

8. 次のコマンドを使用して、nvidia namespace に 2 番目の GPU Pod を作成してみます。2 つの GPU があるので、これをノード上で実行することは可能です。

   $ oc create -f gpu-pod.yaml

   出力例

   Error from server (Forbidden): error when creating "gpu-pod.yaml": pods "gpu-pod-f7z2w" is forbidden: exceeded quota: gpu-quota, requested: requests.nvidia.com/gpu=1, used: requests.nvidia.com/gpu=1, limited: requests.nvidia.com/gpu=1

   この Forbidden エラーメッセージは、クォータが 1 GPU であり、この Pod がクォータを超える 2 番目の GPU を割り当てようとしたために発生します。