AI 워크로드

1. 배치 관리자는 ResourceFlavor , LocalQueue , ClusterQueue 리소스를 생성하고 구성합니다.
2. 사용자 페르소나는 클러스터에서 작업을 생성합니다.
3. Kubernetes API 서버는 작업 데이터를 검증하고 수락합니다.
4. Kueue의 Red Hat 빌드는 주문이나 할당량과 같은 구성된 옵션에 따라 작업을 허용합니다. 리소스 플레이버를 사용하여 작업에 친화성을 주입하고 각 작업에 해당하는 Workload 객체를 생성합니다.
5. 해당 작업 유형에 적용되는 컨트롤러가 포드를 생성합니다.
6. Kubernetes 스케줄러는 클러스터의 노드에 포드를 할당합니다.
7. Kubernetes 클러스터 자동 확장기는 필요에 따라 더 많은 노드를 프로비저닝합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 사용 가능한 Operator 목록에서 Kueue Operator의 Red Hat 빌드를 선택하고 설치를 클릭합니다.

3. 이 네임스페이스에서 Operator 권장 클러스터 모니터링 사용을 선택합니다.

   이 옵션은 네임스페이스 오브젝트에서 openshift.io/cluster-monitoring: "true" 레이블을 설정합니다. 클러스터 모니터링이 openshift-kueue-operator 네임스페이스를 스크랩하도록 하려면 이 옵션을 선택해야 합니다.

4. 설치를 클릭합니다.

   참고

   또는 YAML을 사용하여 Namespace 오브젝트를 생성하는 경우 openshift.io/cluster-monitoring: "true" 라벨을 포함해야 합니다.

   +

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       openshift.io/cluster-monitoring: "true"
     name: openshift-kueue-operator

프로세스

1. OpenShift Container Platform 웹 콘솔에서 운영자 → 설치된 운영자를 클릭한 다음 목록에서 Kueue의 Red Hat 빌드를 선택합니다.
2. 작업 드롭다운 메뉴에서 Operator 제거를 선택합니다.

3. Operator를 제거하시겠습니까? 대화 상자가 열립니다. 제거를 클릭합니다.

   중요

   제거를 클릭하기 전에 이 연산자에 대한 모든 피연산자 인스턴스 삭제 확인란을 선택하면 다음을 포함하여 클러스터에서 모든 기존 리소스가 삭제됩니다.

   • 쿠에우에 CR
   • 사용자가 생성한 모든 클러스터 대기열, 로컬 대기열 또는 리소스 플레이버

   생성된 리소스를 유지하려면 클러스터를 업그레이드할 때 이 상자를 선택하지 마세요.

4. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
5. 사용 가능한 Operator 목록에서 Kueue Operator의 Red Hat 빌드를 선택하고 설치를 클릭합니다.

검증

1. Operator → 설치된 Operator 로 이동합니다.
2. Kueue Operator의 Red Hat 빌드가 '성공' 상태 로 나열되어 있는지 확인하세요.
3. 목록에서 운영자 이름 아래에 표시된 버전이 최신 버전인지 확인하세요.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator를 클릭합니다.
2. 제공된 API 테이블 열에서 Kueue를 클릭합니다. 이렇게 하면 운영자 세부 정보 페이지의 Kueue 탭으로 이동합니다.
3. Kueue 만들기를 클릭하세요. 이렇게 하면 Kueue YAML 생성 보기로 이동합니다.

4. Kueue CR에 대한 세부 정보를 입력하세요.

   예시 Kueue CR

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   1

   Kueue CR의 이름은 cluster 여야 합니다.

   2

   다른 워크로드 유형과 함께 사용하기 위해 Kueue의 Red Hat 빌드를 구성하려면 여기에 해당 유형을 추가하세요. 기본 구성은 BatchJob 입니다. 추가 유형은 Pod,Deployment, StatefulSet 입니다.

   3

   선택 사항: Kueue의 Red Hat 빌드에 대한 공정한 공유를 구성하려면 preemptionPolicy 값을 FairSharing 으로 설정합니다. Kueue CR의 기본 설정은 클래식 선점입니다.

5. 생성을 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 사용 가능한 Operator 목록에서 Kueue Operator의 Red Hat 빌드를 선택하고 설치를 클릭합니다.

3. 이 네임스페이스에서 Operator 권장 클러스터 모니터링 사용을 선택합니다.

   이 옵션은 네임스페이스 오브젝트에서 openshift.io/cluster-monitoring: "true" 레이블을 설정합니다. 클러스터 모니터링이 openshift-kueue-operator 네임스페이스를 스크랩하도록 하려면 이 옵션을 선택해야 합니다.

4. 설치를 클릭합니다.

   참고

   또는 YAML을 사용하여 Namespace 오브젝트를 생성하는 경우 openshift.io/cluster-monitoring: "true" 라벨을 포함해야 합니다.

   +

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       openshift.io/cluster-monitoring: "true"
     name: openshift-kueue-operator

프로세스

1. OpenShift Container Platform 웹 콘솔에서 운영자 → 설치된 운영자를 클릭한 다음 목록에서 Kueue의 Red Hat 빌드를 선택합니다.
2. 작업 드롭다운 메뉴에서 Operator 제거를 선택합니다.

3. Operator를 제거하시겠습니까? 대화 상자가 열립니다. 제거를 클릭합니다.

   중요

   제거를 클릭하기 전에 이 연산자에 대한 모든 피연산자 인스턴스 삭제 확인란을 선택하면 다음을 포함하여 클러스터에서 모든 기존 리소스가 삭제됩니다.

   • 쿠에우에 CR
   • 사용자가 생성한 모든 클러스터 대기열, 로컬 대기열 또는 리소스 플레이버

   생성된 리소스를 유지하려면 클러스터를 업그레이드할 때 이 상자를 선택하지 마세요.

4. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
5. 사용 가능한 Operator 목록에서 Kueue Operator의 Red Hat 빌드를 선택하고 설치를 클릭합니다.

검증

1. Operator → 설치된 Operator 로 이동합니다.
2. Kueue Operator의 Red Hat 빌드가 '성공' 상태 로 나열되어 있는지 확인하세요.
3. 목록에서 운영자 이름 아래에 표시된 버전이 최신 버전인지 확인하세요.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator를 클릭합니다.
2. 제공된 API 테이블 열에서 Kueue를 클릭합니다. 이렇게 하면 운영자 세부 정보 페이지의 Kueue 탭으로 이동합니다.
3. Kueue 만들기를 클릭하세요. 이렇게 하면 Kueue YAML 생성 보기로 이동합니다.

4. Kueue CR에 대한 세부 정보를 입력하세요.

   예시 Kueue CR

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   1

   Kueue CR의 이름은 cluster 여야 합니다.

   2

   다른 워크로드 유형과 함께 사용하기 위해 Kueue의 Red Hat 빌드를 구성하려면 여기에 해당 유형을 추가하세요. 기본 구성은 BatchJob 입니다. 추가 유형은 Pod,Deployment, StatefulSet 입니다.

   3

   선택 사항: Kueue의 Red Hat 빌드에 대한 공정한 공유를 구성하려면 preemptionPolicy 값을 FairSharing 으로 설정합니다. Kueue CR의 기본 설정은 클래식 선점입니다.

5. 생성을 클릭합니다.

프로세스

1. leaderworkerset.yaml 이라는 파일을 생성합니다.

   LeaderWorkerSet의 예

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws
     namespace: my-namespace
   spec:
     leaderWorkerTemplate:
       leaderTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart
       size: 3
       workerTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared
     replicas: 2
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

2. LeaderWorkerSet 구성의 metadata.labels 섹션에서 대상 로컬 큐를 지정합니다.

   metadata:
     labels:
       kueue.x-k8s.io/queue-name: user-queue

3. 다음 명령을 실행하여 리더 워커 세트 구성을 적용합니다.

   $ oc apply -f leaderworkerset.yaml

프로세스

1. jobset.yaml 이라는 파일을 생성합니다.

   JobSet의 예

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: jobset
     namespace: my-namespace
   spec:
     replicatedJobs:
       - name: workers
         replicas: 1
         template:
           spec:
             parallelism: 3
             completions: 3
             backoffLimit: 1
             template:
               spec:
                 containers:
                   - name: sleep
                     image: busybox
                     resources:
                       requests:
                         cpu: 200m
                         memory: "200Mi"
                     command:
                       - sleep
                     args:
                       - 220s
       - name: driver
         template:
           spec:
             parallelism: 1
             completions: 1
             backoffLimit: 0
             template:
               spec:
                 containers:
                   - name: sleep
                     image: busybox
                     resources:
                       requests:
                         cpu: 200m
                         memory: "200Mi"
                     command:
                       - sleep
                     args:
                       - 220s

2. JobSet 구성의 metadata.labels 섹션에서 대상 로컬 큐를 지정합니다.

   metadata:
     labels:
       kueue.x-k8s.io/queue-name: <local-queue-name>

3. 다음 명령을 실행하여 JobSet 구성을 적용합니다.

   $ oc apply -f jobset.yaml

프로세스

1. YAML 파일로 ClusterRoleBinding 객체를 만듭니다.

   ClusterRoleBinding 오브젝트의 예

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: kueue-admins 

   1

   
   subjects: 

   2

   
   - kind: User
     name: admin@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   3

   
     kind: ClusterRole
     name: kueue-batch-admin-role
     apiGroup: rbac.authorization.k8s.io

   1

   ClusterRoleBinding 개체의 이름을 제공합니다.

   2

   사용자 권한을 제공할 사용자 또는 사용자 그룹에 대한 세부 정보를 추가합니다.

   3

   kueue-batch-admin-role 클러스터 역할에 대한 세부 정보를 추가합니다.

2. ClusterRoleBinding 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

프로세스

1. YAML 파일로 RoleBinding 객체를 만듭니다.

   ClusterRoleBinding 오브젝트의 예

   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kueue-users 

   1

   
     namespace: user-namespace 

   2

   
   subjects: 

   3

   
   - kind: Group
     name: team-a@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   4

   
     kind: ClusterRole
     name: kueue-batch-user-role
     apiGroup: rbac.authorization.k8s.io

   1

   RoleBinding 개체의 이름을 제공합니다.

   2

   RoleBinding 개체가 적용되는 네임스페이스에 대한 세부 정보를 추가합니다.

   3

   사용자 권한을 제공할 사용자 또는 사용자 그룹에 대한 세부 정보를 추가합니다.

   4

   kueue-batch-user-role 클러스터 역할에 대한 세부 정보를 추가합니다.

2. RoleBinding 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

프로세스

1. YAML 파일로 ClusterQueue 객체를 만듭니다.

   단일 리소스 플레이버를 사용하는 기본 ClusterQueue 객체의 예

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ClusterQueue
   metadata:
     name: cluster-queue
   spec:
     namespaceSelector: {} 

   1

   
     resourceGroups:
     - coveredResources: ["cpu", "memory", "pods", "foo.com/gpu"] 

   2

   
       flavors:
       - name: "default-flavor" 

   3

   
         resources: 

   4

   
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
         - name: "pods"
           nominalQuota: 5
         - name: "foo.com/gpu"
           nominalQuota: 100

   1

   이 클러스터 대기열에 의해 관리되는 리소스를 사용할 수 있는 네임스페이스를 정의합니다. 예시에 표시된 빈 namespaceSelector는 모든 네임스페이스가 이러한 리소스를 사용할 수 있음을 의미합니다.

   2

   클러스터 대기열에 의해 관리되는 리소스 유형을 정의합니다. 이 예제 ClusterQueue 객체는 CPU, 메모리, Pod 및 GPU 리소스를 관리합니다.

   3

   나열된 리소스 유형에 적용되는 리소스 플레이버를 정의합니다. 이 예에서는 기본 플레이버 리소스 플레이버가 CPU, 메모리, Pod 및 GPU 리소스에 적용됩니다.

   4

   채용에 필요한 리소스 요구 사항을 정의합니다. 이 예제 클러스터 대기열은 다음 조건이 충족되는 경우에만 작업을 허용합니다.

   • CPU 요청의 합은 9보다 작거나 같습니다.
   • 메모리 요청의 합계는 36Gi 이하입니다.
   • 포드의 총 개수는 5개 이하입니다.
   • GPU 요청의 합계가 100 이하입니다.

2. 다음 명령을 실행하여 ClusterQueue 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

프로세스

1. YAML 파일로 ResourceFlavor 객체를 만듭니다.

   빈 ResourceFlavor 객체의 예

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: default-flavor

   사용자 정의 ResourceFlavor 객체의 예

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: "x86"
   spec:
     nodeLabels:
       cpu-arch: x86

2. 다음 명령을 실행하여 ResourceFlavor 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

프로세스

1. YAML 파일로 LocalQueue 객체를 만듭니다.

   기본 LocalQueue 객체의 예

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: user-queue
   spec:
     clusterQueue: cluster-queue

2. 다음 명령을 실행하여 LocalQueue 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

프로세스

1. YAML 파일로 default 라는 이름의 LocalQueue 객체를 만듭니다.

   기본 LocalQueue 객체의 예

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: default
   spec:
     clusterQueue: cluster-queue

2. 다음 명령을 실행하여 LocalQueue 객체를 적용합니다.

   $ oc apply -f <filename>.yaml

검증

1. 기본 로컬 큐와 동일한 네임스페이스에 작업을 생성합니다.
2. 작업이 kueue.x-k8s.io/queue-name: 기본 레이블로 업데이트되는 것을 확인합니다.

프로세스

1. 다음 명령을 실행하여 자산을 생성합니다.

   cat <<EOF| oc create -f -
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ResourceFlavor
   metadata:
     name: "default-flavor"
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ClusterQueue
   metadata:
     name: "cluster-queue"
   spec:
     namespaceSelector: {} # match all.
     resourceGroups:
     - coveredResources: ["cpu", "memory"]
       flavors:
       - name: "default-flavor"
         resources:
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: LocalQueue
   metadata:
     namespace: "default"
     name: "user-queue"
   spec:
     clusterQueue: "cluster-queue"
   ---
   EOF

2. 작업 매니페스트를 사용하여 다음 파일을 생성합니다.

   cat >> job.yaml << EOF
   apiVersion: batch/v1
   kind: Job
   metadata:
     generateName: sample-job-
     namespace: default
     labels:
       kueue.x-k8s.io/queue-name: user-queue
   spec:
     parallelism: 3
     completions: 3
     suspend: true
     template:
       spec:
         containers:
         - name: <example-job>
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           command: [ "/bin/sh" ]
           args: [ "-c", "sleep 60" ]
           resources:
             requests:
               cpu: "1"
               memory: "200Mi"
         restartPolicy: Never
   EOF

3. 다음 명령을 실행하여 Kue에서 관리할 기본 네임스페이스에 레이블을 지정합니다.

   $ oc label namespace default kueue.openshift.io/managed=true

4. 다음 명령을 실행하여 6개의 작업을 생성합니다.

   for i in {1..6}; do oc create -f job.yaml; done

   이 예에서는 ClusterQueue 리소스를 포화 상태로 만드는 작업 중 세 개가 보류 중이어야 합니다.

프로세스

1. 다음 명령을 실행하여 Kueue 의 VisibilityOnDemand 에 대한 PriorityLevelConfiguration 자산을 편집합니다.

   $ oc edit prioritylevelconfiguration kueue-visibility

2. kueue.openshift.io/allow-nominal-concurrency-shares-update 값을 true 로 설정하여 PriorityLevelConfiguration 자산에서 nominalConcurrencyShares 필드를 수정합니다.

   nominalConcurrencyShares 에 지정할 수 있는 가능한 값은 0,2 (기본값)에서 5 까지입니다. 허용되지 않는 값(값 1 또는 5이상의 값)을 지정하는 경우 기본값 2 가 적용됩니다.

   다음 예제를 참조하십시오.

   apiVersion: flowcontrol.apiserver.k8s.io/v1
   kind: PriorityLevelConfiguration
   metadata:
     name: kueue-visibility
     annotations:
       kueue.openshift.io/allow-nominal-concurrency-shares-update: "false"
   spec:
     limited:
       borrowingLimitPercent: 0
       lendablePercent: 90
       limitResponse:
         queuing:
           handSize: 4
           queueLengthLimit: 50
           queues: 16
         type: Queue
       nominalConcurrencyShares: 2
     type: Limited

   kueue.openshift.io/allow-nominal-concurrency-shares-update 의 기본값은 false 입니다. nominalConcurrencyShares 의 값을 2 이외의 값으로 변경하는 경우 먼저 kueue.openshift.io/allow-nominal-concurrency-shares-update 값을 true 로 변경해야 합니다. 그렇지 않으면 nominalConcurrencyShares 에 할당한 값이 적용되지 않습니다.

3. 다음 명령을 실행하여 값이 유지되는지 확인합니다.

   $ oc get prioritylevelconfiguration kueue-visibility

프로세스

1. Job 객체를 생성합니다.

   예시 작업

   apiVersion: batch/v1
   kind: Job 

   1

   
   metadata:
     generateName: sample-job- 

   2

   
     namespace: my-namespace
     labels:
       kueue.x-k8s.io/queue-name: user-queue 

   3

   
   spec:
     parallelism: 3
     completions: 3
     template:
       spec:
         containers:
         - name: dummy-job
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           args: ["entrypoint-tester", "hello", "world"]
           resources: 

   4

   
             requests:
               cpu: 1
               memory: "200Mi"
         restartPolicy: Never

   1

   리소스 유형을 일괄 계산 작업을 나타내는 Job 객체로 정의합니다.

   2

   작업에 대한 고유한 이름을 생성하기 위한 접두사를 제공합니다.

   3

   작업을 보낼 대기열을 식별합니다.

   4

   각 포드에 대한 리소스 요청을 정의합니다.

2. 다음 명령을 실행하여 작업을 실행합니다.

   $ oc create -f <filename>.yaml

프로세스

1. must-gather 데이터를 저장하려는 디렉터리로 이동합니다.

2. 다음 명령을 실행하여 반드시 수집해야 할 데이터를 수집합니다.

   $ oc adm must-gather \
     --image=registry.redhat.io/kueue/kueue-must-gather-rhel9:<version>

   여기서 <버전> 은 Kueue의 Red Hat 빌드의 현재 버전입니다.

3. 작업 디렉토리에서 생성된 must-gather 디렉토리에서 압축 파일을 만듭니다. 고유한 필수 수집 데이터에 대한 날짜와 클러스터 ID를 제공해야 합니다. 클러스터 ID를 찾는 방법에 대한 자세한 내용은 OpenShift 클러스터에서 클러스터 ID 또는 이름을 찾는 방법을 참조하세요.
4. 압축 파일을 Red Hat 고객 포털 의 고객 지원 페이지의 지원 케이스에 첨부합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Red Hat OpenShift용 cert-manager Operator가 설치되었는지 확인하세요.

3. 리더 워커 세트 오퍼레이터를 설치합니다.

   1. Operators → OperatorHub로 이동합니다.
   2. 필터 상자에 Leader Worker Set Operator를 입력합니다.
   3. Leader Worker Set Operator를 선택하고 설치를 클릭합니다.

   4. Operator 설치 페이지에서 다음을 수행합니다.

      1. 업데이트 채널은 stable-v1.0 으로 설정되어 Leader Worker Set Operator 1.0의 최신 안정 릴리스가 설치됩니다.
      2. 설치 모드에서 클러스터의 특정 네임스페이스를 선택합니다.
      3. 설치된 네임스페이스 에서 운영자가 권장하는 네임스페이스: openshift-lws-operator를 선택합니다.

      4. 업데이트 승인 에서 다음 업데이트 전략 중 하나를 선택하세요.

         • 자동 전략을 사용하면 Operator 새 버전이 준비될 때 OLM(Operator Lifecycle Manager)이 자동으로 Operator를 업데이트할 수 있습니다.
         • 수동 전략을 사용하려면 적절한 자격 증명을 가진 사용자가 Operator 업데이트를 승인해야 합니다.
      5. 설치를 클릭합니다.

4. Leader Worker Set Operator에 대한 사용자 정의 리소스(CR)를 만듭니다.

   1. 설치된 운영자 → 리더 작업자 설정 운영자 로 이동합니다.
   2. 제공된 API 에서 LeaderWorkerSetOperator 창에서 인스턴스 만들기를 클릭합니다.
   3. 생성을 클릭합니다.

프로세스

1. 다음 명령을 실행하여 새 프로젝트를 만듭니다.

   $ oc new-project my-namespace

2. leader-worker-set.yaml 이라는 파일을 만듭니다.

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws
     namespace: my-namespace
   spec:
     leaderWorkerTemplate:
       leaderTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart
       size: 3
       workerTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared
     replicas: 2
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

   다음과 같습니다.

   metadata.name

   리더 워커 세트 리소스의 이름을 지정합니다.

   metadata.namespace

   리더 워커 세트가 실행될 네임스페이스를 지정합니다.

   spec.leaderWorkerTemplate.leaderTemplate

   리더 파드에 사용할 파드 템플릿을 지정합니다.

   spec.leaderWorkerTemplate.restartPolicy

   포드 장애 발생 시 재시작 정책을 지정합니다. 허용되는 값은 전체 그룹을 다시 시작하는 RecreateGroupOnPodRestart 이고, 그룹을 다시 시작하지 않는 None입니다 .

   spec.leaderWorkerTemplate.size

   리더 파드를 포함하여 각 그룹에 대해 생성할 파드의 수를 지정합니다. 예를 들어, 값이 3 이면 리더 포드 1개와 워커 포드 2개가 생성됩니다. 기본값은 1 입니다.

   spec.leaderWorkerTemplate.workerTemplate

   워커 파드에 사용할 파드 템플릿을 지정합니다.

   spec.networkConfig.subdomainPolicy

   헤드리스 서비스를 생성할 때 사용할 정책을 지정합니다. 허용되는 값은 UniquePerReplica 또는 Shared 입니다. 기본값은 공유 입니다.

   spec.replicas

   복제본 또는 리더-워커 그룹의 수를 지정합니다. 기본값은 1 입니다.

   spec.rolloutStrategy.rollingUpdateConfiguration.maxSurge

   롤링 업데이트 중에 replicas 값보다 더 많이 예약될 수 있는 최대 복제본 수를 지정합니다. 값은 정수나 백분율로 지정할 수 있습니다.

   구성 가능한 모든 필드에 대한 자세한 내용은 LeaderWorkerSet API 업스트림 문서를 참조하세요.

3. 다음 명령을 실행하여 리더 워커 세트 구성을 적용합니다.

   $ oc apply -f leader-worker-set.yaml

검증

1. 다음 명령을 실행하여 포드가 생성되었는지 확인하세요.

   $ oc get pods -n my-namespace

   출력 예

   NAME         READY   STATUS    RESTARTS   AGE
   my-lws-0     1/1     Running   0          4s
   my-lws-0-1   1/1     Running   0          3s
   my-lws-0-2   1/1     Running   0          3s
   my-lws-1     1/1     Running   0          7s
   my-lws-1-1   1/1     Running   0          6s
   my-lws-1-2   1/1     Running   0          6s

   • my-lws-0 은 첫 번째 그룹의 리더 포드입니다.
   • my-lws-1 은 두 번째 그룹의 리더 포드입니다.

2. 다음 명령을 실행하여 상태 저장 세트를 검토하세요.

   $ oc get statefulsets

   출력 예

   NAME       READY   AGE
   my-lws     4/4     111s
   my-lws-0   2/2     57s
   my-lws-1   2/2     60s

   • my-lws 는 모든 리더-워커 그룹에 대한 리더 상태 저장 집합입니다.
   • my-lws-0 은 첫 번째 그룹에 대한 워커 상태 저장 세트입니다.
   • my-lws-1 은 두 번째 그룹에 대한 워커 상태 저장 세트입니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Operators → 설치된 Operator로 이동합니다.
3. 프로젝트 드롭다운 목록에서 openshift-lws-operator를 선택합니다.

4. LeaderWorkerSetOperator 인스턴스를 삭제합니다.

   1. LeaderWorkerSetOperator를 클릭하고 LeaderWorkerSetOperator 탭을 선택합니다.
   2. 클러스터 항목 옆에 있는 옵션 메뉴 를 클릭하고 LeaderWorkerSetOperator 삭제 를 선택합니다.
   3. 확인 대화 상자에서 삭제를 클릭합니다.

5. Leader Worker Set Operator를 제거합니다.

   1. Operators → 설치된 Operator로 이동합니다.
   2. Leader Worker Set Operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 Operator 설치 제거를 클릭합니다.
   3. 확인 대화 상자에서 설치 제거를 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.

2. Leader Worker Set Operator가 설치될 때 생성된 CRD를 제거합니다.

   1. 관리 → 클러스터 리소스 정의로 이동합니다.
   2. CRD를 필터링하려면 이름 필드에 LeaderWorkerSetOperator를 입력합니다.
   3. LeaderWorkerSetOperator CRD 옆에 있는 옵션 메뉴 를 클릭하고 CustomResourceDefinition 삭제 를 선택합니다.
   4. 확인 대화 상자에서 삭제를 클릭합니다.

3. openshift-lws-operator 네임스페이스를 삭제합니다.

   1. 관리 → 네임스페이스로 이동합니다.
   2. 필터 상자에 openshift-lws-operator를 입력합니다.
   3. openshift-lws-operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 네임스페이스 삭제 를 선택합니다.
   4. 확인 대화 상자에 openshift-lws-operator를 입력하고 삭제를 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Red Hat OpenShift용 cert-manager Operator가 설치되었는지 확인하세요.

3. JobSet Operator를 설치합니다.

   1. 생태계 → 소프트웨어 카탈로그 로 이동합니다.
   2. openshift-operators 프로젝트를 검색하여 선택하세요.
   3. 필터 상자에 JobSet Operator를 입력합니다.
   4. JobSet Operator를 선택하고 설치를 클릭합니다.

   5. Operator 설치 페이지에서 다음을 수행합니다.

      1. Update 채널은 JobSet Operator의 안정적인 최신 릴리스를 설치하는 stable-v1.0 으로 설정됩니다.
      2. 설치 모드에서 클러스터의 특정 네임스페이스를 선택합니다.
      3. 설치된 네임스페이스 에서 운영자가 권장하는 네임스페이스인 openshift-jobset-operator를 선택합니다.

      4. 업데이트 승인 에서 다음 업데이트 전략 중 하나를 선택하세요.

         • 자동 전략을 사용하면 Operator 새 버전이 준비될 때 OLM(Operator Lifecycle Manager)이 자동으로 Operator를 업데이트할 수 있습니다.
         • 수동 전략을 사용하려면 적절한 자격 증명을 가진 사용자가 Operator 업데이트를 승인해야 합니다.
      5. 설치를 클릭합니다.

4. JobSet Operator에 대한 사용자 정의 리소스(CR)를 만듭니다.

   1. 설치된 운영자 → JobSet 운영자 로 이동합니다.
   2. 제공된 API 에서 JobSetOperator 창에서 인스턴스 만들기를 클릭합니다.
   3. 이름을 cluster 로 설정합니다.
   4. managementState를 Managed 로 설정합니다.
   5. 생성을 클릭합니다.

프로세스

1. 다음 명령을 실행하여 새 프로젝트를 만듭니다.

   $ oc new-project <my_namespace>

2. jobset.yaml 이라는 파일을 생성합니다.

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: pytorch
   spec:
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               imagePullSecrets:
                 - name: my-registry-secret
               initContainers:
                 - name: prepare
                   image: docker.io/alpine/git:v2.52.0
                   args: ['clone', 'https://github.com/pytorch/examples']
                   volumeMounts:
                     - name: workdir
                       mountPath: /git
               containers:
                 - name: pytorch
                   image: docker.io/pytorch/pytorch:2.10.0-cuda13.0-cudnn9-runtime
                   resources:
                     limits:
                       nvidia.com/gpu: "1"
                     requests:
                       nvidia.com/gpu: "1"
                   ports:
                   - containerPort: 4321
                   env:
                   - name: MASTER_ADDR
                     value: "pytorch-workers-0-0.pytorch"
                   - name: MASTER_PORT
                     value: "4321"
                   - name: RANK
                     valueFrom:
                       fieldRef:
                         fieldPath: metadata.annotations['batch.kubernetes.io/job-completion-index']
                   - name: PYTHONUNBUFFERED
                     value: "0"
                   command:
                   - /bin/sh
                   - -c
                   - |
                     cd examples/distributed/ddp-tutorial-series
                     torchrun --nproc_per_node=1 --nnodes=3 --rdzv_id=100 --rdzv_backend=c10d --rdzv_endpoint=$MASTER_ADDR:$MASTER_PORT multinode.py 1000 100
                   volumeMounts:
                     - name: workdir
                       mountPath: /workspace
               volumes:
                 - name: workdir
                   emptyDir: {}

   다음과 같습니다.

   <pods_running_number>

   동시에 실행되는 Pod 수를 지정합니다.

   <pods_finish_number>

   작업을 완료하려면 성공적으로 완료해야 하는 총 Pod 수를 지정합니다.

3. 다음 명령을 실행하여 JobSet 구성을 적용합니다.

   $ oc apply -f jobset.yaml

프로세스

1. 다음 명령을 실행하여 새 네임스페이스를 생성합니다.

   $ oc new-project <new_namespace>

2. jobset-coordinator.yaml 이라는 YAML 파일을 생성합니다.

   YAML 파일의 예

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: coordinator
   spec:
     coordinator:
       replicatedJob: driver
       jobIndex: 0
       podIndex: 0
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               containers:
               - name: worker
                 env:
                   - name: COORDINATOR_ENDPOINT
                     valueFrom:
                       fieldRef:
                         fieldPath: metadata.labels['jobset.sigs.k8s.io/coordinator']
                 image: quay.io/nginx/nginx-unprivileged:1.29-alpine
                 command: [ "/bin/sh", "-c" ]
                 args:
                   - |
                     while ! curl -s "${COORDINATOR_ENDPOINT}:8080" | grep Welcome; do
                       sleep 3
                     done
                     sleep 100
     - name: driver
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               containers:
               - name: driver
                 image: quay.io/nginx/nginx-unprivileged:1.29-alpine
               ports:
                 - containerPort: 8080
                   protocol: TCP

   다음과 같습니다.

   <pods_running_number>

   동시에 실행되는 Pod 수를 지정합니다.

   <pods_finish_number>

   작업을 완료하려면 성공적으로 완료해야 하는 총 Pod 수를 지정합니다.

3. 다음 명령을 실행하여 jobset-coordinator.yaml 파일을 적용합니다.

   $ oc apply -f jobset-coordinator.yaml

프로세스

1. JobSet YAML 파일의 spec.volumeClaimPolicies 섹션에 볼륨 템플릿을 정의합니다.

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: <job_name>
   spec:
     volumeClaimPolicies:
       - templates:
           - metadata:
               name: <persistent_volume_claim_name_prefix>
             spec:
               accessModes: ["ReadWriteOnce"]
               storageClassName: mystorageclass
               resources:
                 requests:
                   storage: 1Gi
         retentionPolicy:
           whenDeleted: Retain

   다음과 같습니다.

   <job_name>

   네임스페이스 내의 작업에 대한 고유 식별자를 지정합니다.

   <persistent_volume_claim_name>

   PVC의 이름을 지정합니다. 여기에 사용된 이름은 volumeMounts 이름으로도 사용됩니다. < persistent_volume_claim_name>-<job_name> 형식으로 이름으로 생성된 PVC를 마운트하는 Pod에 볼륨이 자동으로 추가됩니다.

   <deletion_retention_policy>

   삭제 보존 정책을 지정합니다. 선택적으로 이 값을 Retain 으로 설정하여 JobSet을 삭제한 후 데이터를 유지할 수 있습니다.

2. replicatedJobs 구성에서 사용자가 정의한 템플릿 이름과 일치하는 volumeMount 를 추가합니다.

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: <job_name>
   spec:
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: 2
           completions: 2
           backoffLimit: 0
           template:
             spec:
               imagePullSecrets:
                 - name: my-registry-secret
               initContainers:
                 - name: prepare
                   image: docker.io/alpine/git:v2.52.0
                   args: ['clone', 'https://github.com/pytorch/examples']
                   volumeMounts:
                     - name: <persistent_volume_claim_name>
                       mountPath: /git/checkpoint
   #...

3. 다음 명령을 실행하여 JobSet 구성을 적용합니다.

   $ oc apply -f <jobset_yaml>

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Operators → 설치된 Operator로 이동합니다.
3. 프로젝트 드롭다운 목록에서 openshift-js-operator 를 선택합니다.

4. JobSetOperator 인스턴스를 삭제합니다.

   1. JobSet Operator 를 클릭하고 JobSetOperator 탭을 선택합니다.
   2. 클러스터 항목 옆에 있는 옵션 메뉴 를 클릭하고 JobSetOperator 삭제 를 선택합니다.
   3. 확인 대화 상자에서 삭제를 클릭합니다.

5. JobSet Operator를 설치 제거합니다.

   1. Operators → 설치된 Operator로 이동합니다.
   2. JobSet Operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 Operator 설치 제거를 클릭합니다.
   3. 확인 대화 상자에서 설치 제거를 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.

2. JobSet Operator가 설치될 때 생성된 CRD를 제거합니다.

   1. 관리 → 클러스터 리소스 정의로 이동합니다.
   2. Name 필드에 JobSetOperator 를 입력하여 CRD를 필터링합니다.
   3. JobSetOperator CRD 옆에 있는 옵션 메뉴 를 클릭하고 CustomResourceDefinition 삭제 를 선택합니다.
   4. 확인 대화 상자에서 삭제를 클릭합니다.

3. openshift-jobset-operator 네임스페이스를 삭제합니다.

   1. 관리 → 네임스페이스로 이동합니다.
   2. 네임스페이스 목록에서 fine openshift-jobset-operator
   3. openshift-jobset-operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 네임스페이스 삭제 를 선택합니다.
   4. 확인 대화 상자에서 openshift-jobset-operator 를 입력하고 삭제 를 클릭합니다.