AI ワークロード

1. バッチ管理者が ResourceFlavor、LocalQueue、および ClusterQueue リソースを作成および設定します。
2. ユーザーがクラスターでジョブを作成します。
3. Kubernetes API サーバーがジョブデータを検証して受け入れます。
4. Red Hat build of Kueue が、順序やクォータなどの設定されたオプションに基づいてジョブを許可します。リソースフレーバーを使用してジョブにアフィニティーを注入し、各ジョブに対応する Workload オブジェクトを作成します。
5. ジョブタイプに応じた適切なコントローラーが Pod を作成します。
6. Kubernetes スケジューラーが、クラスター内のノードに Pod を割り当てます。
7. Kubernetes クラスターオートスケーラーが、必要に応じて追加のノードをプロビジョニングします。

手順

1. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
2. 利用可能な Operator の一覧から Red Hat Build of Kueue Operator を選択し、Install をクリックします。

3. Enable Operator recommended cluster monitoring on this Namespace を選択します。

   このオプションは、namespace オブジェクトに openshift.io/cluster-monitoring: "true" ラベルを設定します。クラスター監視が openshift-kueue-operator 名前空間を確実にスクレイピングするには、このオプションを選択する必要があります。

4. Install をクリックします。

   注記

   または、YAML を使用して Namespace オブジェクトを作成する場合は、openshift.io/cluster-monitoring: "true" ラベルを含めるようにしてください。

   +

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       openshift.io/cluster-monitoring: "true"
     name: openshift-kueue-operator

手順

1. OpenShift Container Platform Web コンソールで、Operators → Installed Operator をクリックし、リストから Red Hat build of Kueue を選択します。
2. Actions ドロップダウンメニューから、Uninstall Operator を選択します。

3. Uninstall Operator? ダイアログボックスが開きます。Uninstall をクリックします。

   重要

   Uninstall をクリックする前に Delete all operand instances for this operator チェックボックスをオンにすると、次の既存のリソースを含むすべてのリソースがクラスターから削除されます。

   • Kueue CR
   • 作成したクラスターキュー、ローカルキュー、またはリソースフレーバー

   クラスターをアップグレードする際に作成したリソースを保持するには、このボックスをオフのままにしておきます。

4. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
5. 利用可能な Operator の一覧から Red Hat Build of Kueue Operator を選択し、Install をクリックします。

検証

1. Operators → Installed Operators に移動します。
2. Red Hat Build of Kueue Operator の Status が Succeeded と表示されていることを確認します。
3. リスト内の Operator 名の下に表示されているバージョンが最新バージョンであることを確認します。

手順

1. OpenShift Container Platform Web コンソールで、Operators → Installed Operators をクリックします。
2. Provided APIs テーブル列で、Kueue をクリックします。これにより、Operator details ページの Kueue タブに移動します。
3. Create Kueue をクリックします。これにより、Create Kueue YAML ビューに移動します。

4. Kueue CR の詳細を入力します。

   Kueue CR の例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   1

   Kueue CR の名前は cluster である必要があります。

   2

   他のワークロードタイプで使用するために Red Hat build of Kueue を設定する場合は、ここにそのタイプを追加します。デフォルト設定は BatchJob です。その他のタイプとしては、Pod、デプロイメント、StatefulSet があります。

   3

   オプション: Red Hat build of Kueue にフェアシェアリングを設定する場合は、preemptionPolicy 値を FairSharing に設定します。Kueue CR のデフォルト設定は Classical プリエンプションです。

5. Create をクリックします。

手順

1. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
2. 利用可能な Operator の一覧から Red Hat Build of Kueue Operator を選択し、Install をクリックします。

3. Enable Operator recommended cluster monitoring on this Namespace を選択します。

   このオプションは、namespace オブジェクトに openshift.io/cluster-monitoring: "true" ラベルを設定します。クラスター監視が openshift-kueue-operator 名前空間を確実にスクレイピングするには、このオプションを選択する必要があります。

4. Install をクリックします。

   注記

   または、YAML を使用して Namespace オブジェクトを作成する場合は、openshift.io/cluster-monitoring: "true" ラベルを含めるようにしてください。

   +

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       openshift.io/cluster-monitoring: "true"
     name: openshift-kueue-operator

手順

1. OpenShift Container Platform Web コンソールで、Operators → Installed Operator をクリックし、リストから Red Hat build of Kueue を選択します。
2. Actions ドロップダウンメニューから、Uninstall Operator を選択します。

3. Uninstall Operator? ダイアログボックスが開きます。Uninstall をクリックします。

   重要

   Uninstall をクリックする前に Delete all operand instances for this operator チェックボックスをオンにすると、次の既存のリソースを含むすべてのリソースがクラスターから削除されます。

   • Kueue CR
   • 作成したクラスターキュー、ローカルキュー、またはリソースフレーバー

   クラスターをアップグレードする際に作成したリソースを保持するには、このボックスをオフのままにしておきます。

4. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
5. 利用可能な Operator の一覧から Red Hat Build of Kueue Operator を選択し、Install をクリックします。

検証

1. Operators → Installed Operators に移動します。
2. Red Hat Build of Kueue Operator の Status が Succeeded と表示されていることを確認します。
3. リスト内の Operator 名の下に表示されているバージョンが最新バージョンであることを確認します。

手順

1. OpenShift Container Platform Web コンソールで、Operators → Installed Operators をクリックします。
2. Provided APIs テーブル列で、Kueue をクリックします。これにより、Operator details ページの Kueue タブに移動します。
3. Create Kueue をクリックします。これにより、Create Kueue YAML ビューに移動します。

4. Kueue CR の詳細を入力します。

   Kueue CR の例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   1

   Kueue CR の名前は cluster である必要があります。

   2

   他のワークロードタイプで使用するために Red Hat build of Kueue を設定する場合は、ここにそのタイプを追加します。デフォルト設定は BatchJob です。その他のタイプとしては、Pod、デプロイメント、StatefulSet があります。

   3

   オプション: Red Hat build of Kueue にフェアシェアリングを設定する場合は、preemptionPolicy 値を FairSharing に設定します。Kueue CR のデフォルト設定は Classical プリエンプションです。

5. Create をクリックします。

手順

1. leaderworkerset.yaml という名前のファイルを作成します。

   LeaderWorkerSet の例

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws
     namespace: my-namespace
   spec:
     leaderWorkerTemplate:
       leaderTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart
       size: 3
       workerTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared
     replicas: 2
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

2. LeaderWorkerSet 設定の metadata.labels セクションで、ターゲットとなるローカルキューを指定してください。

   metadata:
     labels:
       kueue.x-k8s.io/queue-name: user-queue

3. 次のコマンドを実行して、リーダーワーカーセットの設定を適用します。

   $ oc apply -f leaderworkerset.yaml

手順

1. jobset.yaml という名前のファイルを作成します。

   ジョブセット の例

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: jobset
     namespace: my-namespace
   spec:
     replicatedJobs:
       - name: workers
         replicas: 1
         template:
           spec:
             parallelism: 3
             completions: 3
             backoffLimit: 1
             template:
               spec:
                 containers:
                   - name: sleep
                     image: busybox
                     resources:
                       requests:
                         cpu: 200m
                         memory: "200Mi"
                     command:
                       - sleep
                     args:
                       - 220s
       - name: driver
         template:
           spec:
             parallelism: 1
             completions: 1
             backoffLimit: 0
             template:
               spec:
                 containers:
                   - name: sleep
                     image: busybox
                     resources:
                       requests:
                         cpu: 200m
                         memory: "200Mi"
                     command:
                       - sleep
                     args:
                       - 220s

2. JobSet 設定の metadata.labels セクションで、ターゲットとなるローカルキューを指定してください。

   metadata:
     labels:
       kueue.x-k8s.io/queue-name: <local-queue-name>

3. 以下のコマンドを実行して、JobSet の設定を適用してください。

   $ oc apply -f jobset.yaml

手順

1. ClusterRoleBinding オブジェクトを YAML ファイルとして作成します。

   ClusterRoleBinding オブジェクトの例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: kueue-admins 

   1

   
   subjects: 

   2

   
   - kind: User
     name: admin@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   3

   
     kind: ClusterRole
     name: kueue-batch-admin-role
     apiGroup: rbac.authorization.k8s.io

   1

   ClusterRoleBinding オブジェクトの名前を指定します。

   2

   ユーザー権限を付与するユーザーまたはユーザーグループに関する詳細を追加します。

   3

   kueue-batch-admin-role クラスターロールに関する詳細を追加します。

2. ClusterRoleBinding オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

手順

1. RoleBinding オブジェクトを YAML ファイルとして作成します。

   ClusterRoleBinding オブジェクトの例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kueue-users 

   1

   
     namespace: user-namespace 

   2

   
   subjects: 

   3

   
   - kind: Group
     name: team-a@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   4

   
     kind: ClusterRole
     name: kueue-batch-user-role
     apiGroup: rbac.authorization.k8s.io

   1

   RoleBinding オブジェクトの名前を指定します。

   2

   RoleBinding オブジェクトが適用される namespace に関する詳細を追加します。

   3

   ユーザー権限を付与するユーザーまたはユーザーグループに関する詳細を追加します。

   4

   kueue-batch-user-role クラスターロールに関する詳細を追加します。

2. RoleBinding オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

手順

1. ClusterQueue オブジェクトを YAML ファイルとして作成します。

   単一のリソースフレーバーを使用した基本的な ClusterQueue オブジェクトの例

   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ClusterQueue
   metadata:
     name: cluster-queue
   spec:
     namespaceSelector: {} 

   1

   
     resourceGroups:
     - coveredResources: ["cpu", "memory", "pods", "foo.com/gpu"] 

   2

   
       flavors:
       - name: "default-flavor" 

   3

   
         resources: 

   4

   
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
         - name: "pods"
           nominalQuota: 5
         - name: "foo.com/gpu"
           nominalQuota: 100

   1

   このクラスターキューが管理するリソースを使用できる namespace を定義します。例に示すように、空の namespaceSelector は、すべての namespace がこれらのリソースを使用できることを意味します。

   2

   クラスターキューによって管理されるリソースタイプを定義します。この例では、ClusterQueue オブジェクトは CPU、メモリー、Pod、および GPU リソースを管理します。

   3

   リストされているリソースタイプに適用されるリソースフレーバーを定義します。この例では、default-flavor リソースフレーバーが CPU、メモリー、Pod、および GPU リソースに適用されます。

   4

   ジョブを許可するリソース要件を定義します。このサンプルクラスターキューは、次の条件が満たされた場合にのみジョブを許可します。

   • CPU 要求の合計は 9 以下です。
   • メモリー要求の合計は 36Gi 以下です。
   • Pod の合計数は 5 以下です。
   • GPU リクエストの合計は 100 以下です。

2. 次のコマンドを実行して、ClusterQueue オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

手順

1. ResourceFlavor オブジェクトを YAML ファイルとして作成します。

   空の ResourceFlavor オブジェクトの例

   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ResourceFlavor
   metadata:
     name: default-flavor

   カスタム ResourceFlavor オブジェクトの例

   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ResourceFlavor
   metadata:
     name: "x86"
   spec:
     nodeLabels:
       cpu-arch: x86

2. 以下のコマンドを実行して ResourceFlavor オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

手順

1. LocalQueue オブジェクトを YAML ファイルとして作成します。

   基本的な LocalQueue オブジェクトの例

   apiVersion: kueue.x-k8s.io/v1beta2
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: user-queue
   spec:
     clusterQueue: cluster-queue

2. 次のコマンドを実行して、LocalQueue オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

手順

1. default という名前の LocalQueue オブジェクトを YAML ファイルとして作成します。

   デフォルトの LocalQueue オブジェクトの例

   apiVersion: kueue.x-k8s.io/v1beta2
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: default
   spec:
     clusterQueue: cluster-queue

2. 次のコマンドを実行して、LocalQueue オブジェクトを適用します。

   $ oc apply -f <filename>.yaml

検証

1. デフォルトのローカルキューと同じ namespace にジョブを作成します。
2. ジョブが kueue.x-k8s.io/queue-name: default ラベルで更新されることを確認します。

手順

1. 以下のコマンドを実行してアセットを作成します。

   cat <<EOF| oc create -f -
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ResourceFlavor
   metadata:
     name: "default-flavor"
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: ClusterQueue
   metadata:
     name: "cluster-queue"
   spec:
     namespaceSelector: {} # match all.
     resourceGroups:
     - coveredResources: ["cpu", "memory"]
       flavors:
       - name: "default-flavor"
         resources:
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
   ---
   apiVersion: kueue.x-k8s.io/v1beta2
   kind: LocalQueue
   metadata:
     namespace: "default"
     name: "user-queue"
   spec:
     clusterQueue: "cluster-queue"
   ---
   EOF

2. ジョブマニフェストを含む以下のファイルを作成してください。

   cat >> job.yaml << EOF
   apiVersion: batch/v1
   kind: Job
   metadata:
     generateName: sample-job-
     namespace: default
     labels:
       kueue.x-k8s.io/queue-name: user-queue
   spec:
     parallelism: 3
     completions: 3
     suspend: true
     template:
       spec:
         containers:
         - name: <example-job>
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           command: [ "/bin/sh" ]
           args: [ "-c", "sleep 60" ]
           resources:
             requests:
               cpu: "1"
               memory: "200Mi"
         restartPolicy: Never
   EOF

3. 以下のコマンドを実行して、Kueue が管理するデフォルトの名前空間にラベルを付けます。

   $ oc label namespace default kueue.openshift.io/managed=true

4. 以下のコマンドを実行して、6 つのジョブを作成します。

   for i in {1..6}; do oc create -f job.yaml; done

   この例では、3 つのジョブが ClusterQueue リソースを飽和させており、残りの 3 つのジョブは保留状態になっているはずです。

手順

1. 次のコマンドを実行して、Kueue の VisibilityOnDemand の PriorityLevelConfiguration アセットを編集します。

   $ oc edit prioritylevelconfiguration kueue-visibility

2. PriorityLevelConfiguration アセットの nominalConcurrencyShares フィールドを、kueue.openshift.io/allow- nominal-concurrency-shares-update の値を true に設定して変更します。

   nominalConcurrencyShares に指定できる値は 、0、2 ( デフォルト値) から 5 までです。許容されない値 (値 1 または 5 より大きい値) を指定した場合、デフォルト値の 2 が適用されます。

   以下の例を参照してください。

   apiVersion: flowcontrol.apiserver.k8s.io/v1
   kind: PriorityLevelConfiguration
   metadata:
     name: kueue-visibility
     annotations:
       kueue.openshift.io/allow-nominal-concurrency-shares-update: "false"
   spec:
     limited:
       borrowingLimitPercent: 0
       lendablePercent: 90
       limitResponse:
         queuing:
           handSize: 4
           queueLengthLimit: 50
           queues: 16
         type: Queue
       nominalConcurrencyShares: 2
     type: Limited

   kueue.openshift.io/allow-nominal-concurrency-shares-update のデフォルト値は false です。nominalConcurrencyShares の値を 2 以外の値に変更する場合は、まず kueue.openshift.io/allow-nominal-concurrency-shares-update の値を true に変更する必要があります。そうしないと、nominalConcurrencyShares に割り当てた値は有効になりません。

3. 以下のコマンドを実行して、値が保持されていることを確認してください。

   $ oc get prioritylevelconfiguration kueue-visibility

手順

1. Job オブジェクトを作成します。

   ジョブの例

   apiVersion: batch/v1
   kind: Job 

   1

   
   metadata:
     generateName: sample-job- 

   2

   
     namespace: my-namespace
     labels:
       kueue.x-k8s.io/queue-name: user-queue 

   3

   
   spec:
     parallelism: 3
     completions: 3
     template:
       spec:
         containers:
         - name: dummy-job
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           args: ["entrypoint-tester", "hello", "world"]
           resources: 

   4

   
             requests:
               cpu: 1
               memory: "200Mi"
         restartPolicy: Never

   1

   リソースタイプを、バッチ計算タスクを表す Job オブジェクトとして定義します。

   2

   ジョブの一意の名前を生成するための接頭辞を提供します。

   3

   ジョブを送信するキューを識別します。

   4

   各 Pod のリソース要求を定義します。

2. 次のコマンドを実行してジョブを実行します。

   $ oc create -f <filename>.yaml

手順

1. must-gather データを保存するディレクトリーに移動します。

2. 次のコマンドを実行して、must-gather データを収集します。

   $ oc adm must-gather \
     --image=registry.redhat.io/kueue/kueue-must-gather-rhel9:<version>

   <version> は、Red Hat build of Kueue の現在のバージョンです。

3. 作業ディレクトリーに作成された must-gather ディレクトリーから圧縮ファイルを作成します。固有の must-gather データの日付とクラスター ID を必ず提供してください。クラスター ID を確認する方法の詳細は、How to find the cluster-id or name on OpenShift cluster を参照してください。
4. Red Hat カスタマーポータルの カスタマーサポート ページ で、圧縮ファイルをサポートケースに添付します。

手順

1. OpenShift Container Platform Web コンソールにログインします。
2. cert-manager Operator for Red Hat OpenShift がインストールされていることを確認します。

3. Leader Worker Set Operator をインストールします。

   1. Ecosystem → Software Catalog に移動します。
   2. フィルターボックスに Leader Worker Set Operator と入力します。
   3. Leader Worker Set Operator を選択し、Install をクリックします。

   4. Install Operator ページで以下を行います。

      1. Update channel を stable-v1.0 に設定します。これにより、Leader Worker Set Operator 1.0 の最新の安定版リリースがインストールされます。
      2. Installation mode で、A specific namespace on the cluster を選択します。
      3. Installed Namespace の下で、Operator recommended Namespace: openshift-lws-operator を選択します。

      4. Update approval で、次のいずれかの更新ストラテジーを選択します。

         • Automatic ストラテジーを使用すると、新しいバージョンが利用可能になったときに、Operator Lifecycle Manager (OLM) によって Operator を自動的に更新できます。
         • Manual ストラテジーには、Operator の更新を承認するための適切な認証情報を持つユーザーが必要です。
      5. Install をクリックします。

4. Leader Worker Set Operator のカスタムリソース (CR) を作成します。

   1. Installed Operators → Leader Worker Set Operator に移動します。
   2. Provided APIs の下にある LeaderWorkerSetOperator ペインで Create instance をクリックします。
   3. Create をクリックします。

手順

1. 次のコマンドを実行して新しいプロジェクトを作成します。

   $ oc new-project my-namespace

2. leader-worker-set.yaml という名前のファイルを作成します。

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws
     namespace: my-namespace
   spec:
     leaderWorkerTemplate:
       leaderTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart
       size: 3
       workerTemplate:
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared
     replicas: 2
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

   各項目の説明:

   metadata.name

   リーダーワーカーセットのリソースの名前を指定します。

   metadata.namespace

   リーダーワーカーセットが実行される namespace を指定します。

   spec.leaderWorkerTemplate.leaderTemplate

   リーダー Pod の Pod テンプレートを指定します。

   spec.leaderWorkerTemplate.restartPolicy

   Pod 障害が発生した場合の再起動ポリシーを指定します。使用できる値は、グループ全体を再起動する RecreateGroupOnPodRestart か、グループを再起動しない None です。

   spec.leaderWorkerTemplate.size

   リーダー Pod を含む、各グループに作成する Pod の数を指定します。たとえば、値が 3 の場合、リーダー Pod 1 個とワーカー Pod 2 個が作成されます。デフォルト値は 1 です。

   spec.leaderWorkerTemplate.workerTemplate

   ワーカー Pod の Pod テンプレートを指定します。

   spec.networkConfig.subdomainPolicy

   ヘッドレスサービスを作成するときに使用するポリシーを指定します。使用できる値は UniquePerReplica または Shared です。デフォルト値は Shared です。

   spec.replicas

   レプリカの数、つまりリーダーワーカーグループの数を指定します。デフォルト値は 1 です。

   spec.rolloutStrategy.rollingUpdateConfiguration.maxSurge

   ローリング更新中に replicas 値を超えてスケジュールできるレプリカの最大数を指定します。値は整数またはパーセンテージで指定できます。

   設定可能なすべてのフィールドの詳細は、LeaderWorkerSet API のアップストリームドキュメントを参照してください。

3. 次のコマンドを実行して、リーダーワーカーセットの設定を適用します。

   $ oc apply -f leader-worker-set.yaml

検証

1. 次のコマンドを実行して、Pod が作成されたことを確認します。

   $ oc get pods -n my-namespace

   出力例

   NAME         READY   STATUS    RESTARTS   AGE
   my-lws-0     1/1     Running   0          4s
   my-lws-0-1   1/1     Running   0          3s
   my-lws-0-2   1/1     Running   0          3s
   my-lws-1     1/1     Running   0          7s
   my-lws-1-1   1/1     Running   0          6s
   my-lws-1-2   1/1     Running   0          6s

   • my-lws-0 は、最初のグループのリーダー Pod です。
   • my-lws-1 は、2 番目のグループのリーダー Pod です。

2. 次のコマンドを実行して、ステートフルセットを確認します。

   $ oc get statefulsets

   出力例

   NAME       READY   AGE
   my-lws     4/4     111s
   my-lws-0   2/2     57s
   my-lws-1   2/2     60s

   • my-lws は、すべてのリーダーワーカーグループのリーダーステートフルセットです。
   • my-lws-0 は、最初のグループのワーカーステートフルセットです。
   • my-lws-1 は、2 番目のグループのワーカーステートフルセットです。

手順

1. OpenShift Container Platform Web コンソールにログインします。
2. Operators → Installed Operators に移動します。
3. Project ドロップダウンリストから openshift-lws-operator を選択します。

4. LeaderWorkerSetOperator インスタンスを削除します。

   1. Leader Worker Set Operator をクリックし、LeaderWorkerSetOperator タブを選択します。
   2. クラスター エントリーの横にあるオプションメニュー をクリックし、[LeaderWorkerSetOperator を削除] を選択します。
   3. 確認ダイアログで Delete をクリックします。

5. Leader Worker Set Operator をアンインストールします。

   1. Operators → Installed Operators に移動します。
   2. Leader Worker Set Operator エントリーの横にあるオプションメニュー をクリックし、Operator のアンインストールを クリックします。
   3. 確認ダイアログで、Uninstall をクリックします。

手順

1. OpenShift Container Platform Web コンソールにログインします。

2. Leader Worker Set Operator をインストールしたときに作成された CRD を削除します。

   1. Administration → CustomResourceDefinitions に移動します。
   2. Name フィールドに LeaderWorkerSetOperator と入力し、CRD をフィルタリングします。
   3. LeaderWorkerSetOperator CRD の横にあるオプションメニュー をクリックし、[カスタムリソース定義の削除] を選択します。
   4. 確認ダイアログで Delete をクリックします。

3. openshift-lws-operator namespace を削除します。

   1. Administration → Namespaces に移動します。
   2. フィルターボックスに openshift-lws-operator と入力します。
   3. openshift-lws-operator エントリーの横にあるオプションメニュー をクリックし、[名前空間の削除] を選択します。
   4. 確認ダイアログで、openshift-lws-operator と入力し、Delete をクリックします。

手順

1. OpenShift Container Platform Web コンソールにログインします。
2. cert-manager Operator for Red Hat OpenShift がインストールされていることを確認します。

3. JobSet Operator をインストールします。

   1. Ecosystem → Software Catalog に移動します。
   2. openshift-operators プロジェクトを検索して選択します。
   3. フィルターボックスに JobSet Operator と入力します。
   4. JobSet Operator を選択し、Install をクリックします。

   5. Install Operator ページで以下を行います。

      1. 更新チャネル は stable-v1.0 に設定されており、JobSet Operator の最新の安定版リリースがインストールされます。
      2. Installation mode で、A specific namespace on the cluster を選択します。
      3. Installed Namespace の下で、Operator recommended Namespace: openshift-jobset-operator を選択します。

      4. Update approval で、次のいずれかの更新ストラテジーを選択します。

         • Automatic ストラテジーを使用すると、新しいバージョンが利用可能になったときに、Operator Lifecycle Manager (OLM) によって Operator を自動的に更新できます。
         • Manual ストラテジーには、Operator の更新を承認するための適切な認証情報を持つユーザーが必要です。
      5. Install をクリックします。

4. JobSet Operator のカスタムリソース (CR) を作成します。

   1. Installed Operators → JobSet Operator に移動します。
   2. Provided APIs の下にある JobSetOperator ペインで Create instance をクリックします。
   3. 名前を cluster に設定します。
   4. managementState を Managed に設定します。
   5. Create をクリックします。

手順

1. 次のコマンドを実行して新しいプロジェクトを作成します。

   $ oc new-project <my_namespace>

2. jobset.yaml という名前のファイルを作成します。

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: pytorch
   spec:
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               imagePullSecrets:
                 - name: my-registry-secret
               initContainers:
                 - name: prepare
                   image: docker.io/alpine/git:v2.52.0
                   args: ['clone', 'https://github.com/pytorch/examples']
                   volumeMounts:
                     - name: workdir
                       mountPath: /git
               containers:
                 - name: pytorch
                   image: docker.io/pytorch/pytorch:2.10.0-cuda13.0-cudnn9-runtime
                   resources:
                     limits:
                       nvidia.com/gpu: "1"
                     requests:
                       nvidia.com/gpu: "1"
                   ports:
                   - containerPort: 4321
                   env:
                   - name: MASTER_ADDR
                     value: "pytorch-workers-0-0.pytorch"
                   - name: MASTER_PORT
                     value: "4321"
                   - name: RANK
                     valueFrom:
                       fieldRef:
                         fieldPath: metadata.annotations['batch.kubernetes.io/job-completion-index']
                   - name: PYTHONUNBUFFERED
                     value: "0"
                   command:
                   - /bin/sh
                   - -c
                   - |
                     cd examples/distributed/ddp-tutorial-series
                     torchrun --nproc_per_node=1 --nnodes=3 --rdzv_id=100 --rdzv_backend=c10d --rdzv_endpoint=$MASTER_ADDR:$MASTER_PORT multinode.py 1000 100
                   volumeMounts:
                     - name: workdir
                       mountPath: /workspace
               volumes:
                 - name: workdir
                   emptyDir: {}

   各項目の説明:

   <pods_running_number>

   同時に実行される Pod の数を指定します。

   <pods_finish_number>

   ジョブが完了したとみなされるために、正常に完了する必要のある Pod の総数を指定します。

3. 以下のコマンドを実行して、JobSet の設定を適用してください。

   $ oc apply -f jobset.yaml

手順

1. 以下のコマンドを実行して、新しい名前空間を作成します。

   $ oc new-project <new_namespace>

2. jobset-coordinator.yaml という名前の YAML ファイルを作成します。

   サンプル YAML ファイル

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: coordinator
   spec:
     coordinator:
       replicatedJob: driver
       jobIndex: 0
       podIndex: 0
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               containers:
               - name: worker
                 env:
                   - name: COORDINATOR_ENDPOINT
                     valueFrom:
                       fieldRef:
                         fieldPath: metadata.labels['jobset.sigs.k8s.io/coordinator']
                 image: quay.io/nginx/nginx-unprivileged:1.29-alpine
                 command: [ "/bin/sh", "-c" ]
                 args:
                   - |
                     while ! curl -s "${COORDINATOR_ENDPOINT}:8080" | grep Welcome; do
                       sleep 3
                     done
                     sleep 100
     - name: driver
       template:
         spec:
           parallelism: <pods_running_number>
           completions: <pods_finish_number>
           backoffLimit: 0
           template:
             spec:
               containers:
               - name: driver
                 image: quay.io/nginx/nginx-unprivileged:1.29-alpine
               ports:
                 - containerPort: 8080
                   protocol: TCP

   各項目の説明:

   <pods_running_number>

   同時に実行される Pod の数を指定します。

   <pods_finish_number>

   ジョブが完了したとみなされるために、正常に完了する必要のある Pod の総数を指定します。

3. 以下のコマンドを実行して、jobset-coordinator.yaml ファイルを適用します。

   $ oc apply -f jobset-coordinator.yaml

手順

1. JobSet YAML ファイルの spec.volumeClaimPolicies セクションでボリュームテンプレートを定義します。

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: <job_name>
   spec:
     volumeClaimPolicies:
       - templates:
           - metadata:
               name: <persistent_volume_claim_name_prefix>
             spec:
               accessModes: ["ReadWriteOnce"]
               storageClassName: mystorageclass
               resources:
                 requests:
                   storage: 1Gi
         retentionPolicy:
           whenDeleted: Retain

   各項目の説明:

   < ジョブ名 >

   名前空間内のジョブを識別するための固有の識別子を指定します。

   <persistent_volume_claim_name>

   PVC の名前を指定します。ここで使用した名前は、volumeMounts の 名前としても使用されます。<persistent_volume_claim_name>-<job_name> の形式で作成された PVC をマウントするボリュームが、Pod に自動的に追加されます。

   < 削除保持ポリシー >

   削除保持ポリシーを指定します。オプションとして、この値を 保持 に設定することで、ジョブセットが削除された後もデータを保持できます。

2. replicatedJobs の 設定で、定義したテンプレート名に一致する volumeMount を追加してください。

   apiVersion: jobset.x-k8s.io/v1alpha2
   kind: JobSet
   metadata:
     name: <job_name>
   spec:
     replicatedJobs:
     - name: workers
       template:
         spec:
           parallelism: 2
           completions: 2
           backoffLimit: 0
           template:
             spec:
               imagePullSecrets:
                 - name: my-registry-secret
               initContainers:
                 - name: prepare
                   image: docker.io/alpine/git:v2.52.0
                   args: ['clone', 'https://github.com/pytorch/examples']
                   volumeMounts:
                     - name: <persistent_volume_claim_name>
                       mountPath: /git/checkpoint
   #...

3. 以下のコマンドを実行して、JobSet の設定を適用してください。

   $ oc apply -f <jobset_yaml>

手順

1. OpenShift Container Platform Web コンソールにログインします。
2. Operators → Installed Operators に移動します。
3. プロジェクト ドロップダウンリストから openshift-js-operator を選択してください。

4. JobSetOperator インスタンスを削除します。

   1. JobSet Operator をクリックし、JobSetOperator タブを選択します。
   2. クラスター エントリーの横にあるオプションメニュー をクリックし、[JobSetOperator の削除] を選択します。
   3. 確認ダイアログで Delete をクリックします。

5. JobSet Operator をアンインストールしてください。

   1. Operators → Installed Operators に移動します。
   2. JobSet Operator エントリーの横にあるオプションメニュー をクリックし、Operator のアンインストールを クリックします。
   3. 確認ダイアログで、Uninstall をクリックします。

手順

1. OpenShift Container Platform Web コンソールにログインします。

2. JobSet Operator のインストール時に作成された CRD を削除します。

   1. Administration → CustomResourceDefinitions に移動します。
   2. CRD をフィルタリングするには、名前 フィールドに JobSetOperator と入力してください。
   3. JobSetOperator CRD の横にあるオプションメニュー をクリックし、[カスタムリソース定義の削除] を選択します。
   4. 確認ダイアログで Delete をクリックします。

3. openshift-jobset-operator 名前空間を削除します。

   1. Administration → Namespaces に移動します。
   2. 名前空間のリストに openshift-jobset-operator が 適切に含まれています。
   3. openshift-jobset-operator エントリーの横にあるオプションメニュー をクリックし、[名前空間の削除] を選択します。
   4. 確認ダイアログで openshift-jobset-operator と入力し、削除 をクリックします。