8장. 할당량 및 제한 범위 사용

프로세스

1. 클러스터의 노드에서 사용 가능한 GPU 수를 확인하려면 다음 명령을 사용하세요.

   $ oc describe node ip-172-31-27-209.us-west-2.compute.internal | egrep 'Capacity|Allocatable|gpu'

   Copy to Clipboard Toggle word wrap

   출력 예

                       openshift.com/gpu-accelerator=true
   Capacity:
    nvidia.com/gpu:  2
   Allocatable:
    nvidia.com/gpu:  2
    nvidia.com/gpu:  0           0

   Copy to Clipboard Toggle word wrap

   이 예에서는 GPU 2개를 사용할 수 있습니다.

2. 이 명령을 사용하여 nvidia 네임스페이스에 할당량을 설정합니다. 이 예에서 할당량은 1입니다.

   $ cat gpu-quota.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   apiVersion: v1
   kind: ResourceQuota
   metadata:
     name: gpu-quota
     namespace: nvidia
   spec:
     hard:
       requests.nvidia.com/gpu: 1

   Copy to Clipboard Toggle word wrap

3. 다음 명령으로 할당량을 생성합니다.

   $ oc create -f gpu-quota.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   resourcequota/gpu-quota created

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 사용하여 네임스페이스에 올바른 할당량 집합이 있는지 확인하세요.

   $ oc describe quota gpu-quota -n nvidia

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  0     1

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 사용하여 단일 GPU를 요청하는 Pod를 실행합니다.

   $ oc create pod gpu-pod.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   apiVersion: v1
   kind: Pod
   metadata:
     generateName: gpu-pod-s46h7
     namespace: nvidia
   spec:
     restartPolicy: OnFailure
     containers:
     - name: rhel7-gpu-pod
       image: rhel7
       env:
         - name: NVIDIA_VISIBLE_DEVICES
           value: all
         - name: NVIDIA_DRIVER_CAPABILITIES
           value: "compute,utility"
         - name: NVIDIA_REQUIRE_CUDA
           value: "cuda>=5.0"
   
       command: ["sleep"]
       args: ["infinity"]
   
       resources:
         limits:
           nvidia.com/gpu: 1

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 사용하여 포드가 실행 중인지 확인하세요.

   $ oc get pods

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME              READY     STATUS      RESTARTS   AGE
   gpu-pod-s46h7     1/1       Running     0          1m

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 사용된 할당량 카운터가 올바른지 확인하세요.

   $ oc describe quota gpu-quota -n nvidia

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  1     1

   Copy to Clipboard Toggle word wrap

8. 다음 명령을 사용하여 nvidia 네임스페이스에 두 번째 GPU 포드를 만들어 보세요. 노드에 GPU가 2개 있으므로 기술적으로 가능합니다.

   $ oc create -f gpu-pod.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   Error from server (Forbidden): error when creating "gpu-pod.yaml": pods "gpu-pod-f7z2w" is forbidden: exceeded quota: gpu-quota, requested: requests.nvidia.com/gpu=1, used: requests.nvidia.com/gpu=1, limited: requests.nvidia.com/gpu=1

   Copy to Clipboard Toggle word wrap

   이 금지 오류 메시지는 GPU 할당량이 1개이고 이 포드가 할당량을 초과하는 두 번째 GPU를 할당하려고 했기 때문에 발생합니다.