6.4. 동적 가속기 슬라이서 연산자 문제 해결

프로세스

1. 다음 명령을 실행하여 모든 DAS Operator 구성 요소의 상태를 확인하세요.

   $ oc get pods -n das-operator

   출력 예

   NAME                                    READY   STATUS    RESTARTS   AGE
   das-daemonset-6rsfd                     1/1     Running   0          5m16s
   das-daemonset-8qzgf                     1/1     Running   0          5m16s
   das-operator-5946478b47-cjfcp           1/1     Running   0          5m18s
   das-operator-5946478b47-npwmn           1/1     Running   0          5m18s
   das-operator-webhook-59949d4f85-5n9qt   1/1     Running   0          68s
   das-operator-webhook-59949d4f85-nbtdl   1/1     Running   0          68s
   das-scheduler-6cc59dbf96-4r85f          1/1     Running   0          68s
   das-scheduler-6cc59dbf96-bf6ml          1/1     Running   0          68s

2. 다음 명령을 실행하여 DAS Operator 컨트롤러의 로그를 검사하세요.

   $ oc logs -n das-operator deployment/das-operator

3. 다음 명령을 실행하여 웹훅 서버의 로그를 확인하세요.

   $ oc logs -n das-operator deployment/das-operator-webhook

4. 다음 명령을 실행하여 스케줄러 플러그인의 로그를 확인하세요.

   $ oc logs -n das-operator deployment/das-scheduler

5. 다음 명령을 실행하여 장치 플러그인 데몬셋의 로그를 확인하세요.

   $ oc logs -n das-operator daemonset/das-daemonset

프로세스

1. 다음 명령을 실행하여 활성 AllocationClaim 리소스를 검사합니다.

   $ oc get allocationclaims -n das-operator

   출력 예

   NAME                                                                                           AGE
   13950288-57df-4ab5-82bc-6138f646633e-harpatil000034jma-qh5fm-worker-f-57md9-cuda-vectoradd-0   5m
   ce997b60-a0b8-4ea4-9107-cf59b425d049-harpatil000034jma-qh5fm-worker-f-fl4wg-cuda-vectoradd-0   5m

2. 다음 명령을 실행하여 특정 AllocationClaim 에 대한 자세한 정보를 확인하세요.

   $ oc get allocationclaims -n das-operator -o yaml

   출력 예(잘림)

   apiVersion: inference.redhat.com/v1alpha1
   kind: AllocationClaim
   metadata:
     name: 13950288-57df-4ab5-82bc-6138f646633e-harpatil000034jma-qh5fm-worker-f-57md9-cuda-vectoradd-0
     namespace: das-operator
   spec:
     gpuUUID: GPU-9003fd9c-1ad1-c935-d8cd-d1ae69ef17c0
     migPlacement:
       size: 1
       start: 0
     nodename: harpatil000034jma-qh5fm-worker-f-57md9
     podRef:
       kind: Pod
       name: cuda-vectoradd-f4b84b678-l2m69
       namespace: default
       uid: 13950288-57df-4ab5-82bc-6138f646633e
     profile: 1g.5gb
   status:
     conditions:
     - lastTransitionTime: "2025-08-06T19:28:48Z"
       message: Allocation is inUse
       reason: inUse
       status: "True"
       type: State
     state: inUse

3. 다음 명령을 실행하여 다양한 주의 클레임을 확인하세요.

   $ oc get allocationclaims -n das-operator -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.state}{"\n"}{end}'

   출력 예

   13950288-57df-4ab5-82bc-6138f646633e-harpatil000034jma-qh5fm-worker-f-57md9-cuda-vectoradd-0	inUse
   ce997b60-a0b8-4ea4-9107-cf59b425d049-harpatil000034jma-qh5fm-worker-f-fl4wg-cuda-vectoradd-0	inUse

4. 다음 명령을 실행하여 AllocationClaim 리소스와 관련된 이벤트를 확인하세요.

   $ oc get events -n das-operator --field-selector involvedObject.kind=AllocationClaim

5. 다음 명령을 실행하여 NodeAccelerator 리소스를 확인하여 GPU 하드웨어 감지를 확인하세요.

   $ oc get nodeaccelerator -n das-operator

   출력 예

   NAME                                     AGE
   harpatil000034jma-qh5fm-worker-f-57md9   96m
   harpatil000034jma-qh5fm-worker-f-fl4wg   96m

   NodeAccelerator 리소스는 DAS 운영자가 감지한 GPU 지원 노드를 나타냅니다.

프로세스

1. GPU 하드웨어가 있는 노드에서 다음 명령을 실행하여 CDI 장치가 생성되었는지 확인합니다.

   $ oc debug node/<node-name>

   sh-4.4# chroot /host
   sh-4.4# ls -l /var/run/cdi/

2. 다음 명령을 실행하여 NVIDIA GPU Operator 상태를 확인하세요.

   $ oc get clusterpolicies.nvidia.com -o jsonpath='{.items[0].status.state}'

   출력에는 'ready'가 표시되어야 합니다.

1. 다음 명령을 실행하여 DASOperator 리소스를 편집하여 로그의 자세한 내용을 표시합니다.

   $ oc edit dasoperator -n das-operator

2. operatorLogLevel 필드를 Debug 또는 Trace 로 설정합니다.

   spec:
     operatorLogLevel: Debug

3. 변경 사항을 저장하고 운영자 포드가 더욱 자세한 정보로 다시 시작되는지 확인합니다.