AI 工作负载

1. 批处理管理员创建和配置 ResourceFlavor、LocalQueue 和 ClusterQueue 资源。
2. 用户角色在集群上创建作业。
3. Kubernetes API 服务器验证并接受作业数据。
4. 红帽构建的 Kueue 会基于配置选项（如订单或配额）来批准作业。它使用资源 flavor 将关联性注入到作业，并创建一个与每个作业对应的 Workload 对象。
5. 适用于作业类型的控制器创建 pod。
6. Kubernetes 调度程序将 pod 分配给集群中的一个节点。
7. Kubernetes 集群自动扩展器会根据需要置备更多节点。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后点 Install。

流程

1. 在 OpenShift Container Platform web 控制台中，点 Operators → Installed Operators，然后从列表中选择 Red Hat build of Kueue。
2. 在 Actions 下拉菜单中选择 Uninstall Operator。

3. 此时会打开 Uninstall Operator? 对话框。点 Uninstall。

   重要

   在点 Uninstall 从集群中删除所有现有资源前，选择 Delete all operand instance for this operator 复选框，包括：

   • Kueue CR
   • 您创建的任何集群队列、本地队列或资源类型

   当升级集群以保留创建的资源时，请保留此复选框。

4. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
5. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后点 Install。

验证

1. 进入 Operators → Installed Operators。
2. 确认 Red Hat Build of Kueue Operator 的 Status 为 Succeeded。
3. 确认列表中 Operator 名称下显示的版本是最新版本。

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 在 Provided APIs 表列中，点 Kueue。这会进入 Operator 详情页的 Kueue 选项卡。
3. 点 Create Kueue。这会进入 Create Kueue YAML 视图。

4. 输入 Kueue CR 的详情。

   Kueue CR 示例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   Kueue CR 的名称必须是 cluster。

   2

   如果要配置红帽构建的与其它工作负载类型搭配使用的 Kueue，请在此处添加这些类型。对于默认配置，只支持 BatchJob 类型。

   3

   可选： 如果要为 Kueue 构建配置公平共享（fair sharing），请将 preemptionPolicy 值设置为 FairSharing。Kueue CR 中的默认设置是 Classical 抢占。

5. 点 Create。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后点 Install。

流程

1. 在 OpenShift Container Platform web 控制台中，点 Operators → Installed Operators，然后从列表中选择 Red Hat build of Kueue。
2. 在 Actions 下拉菜单中选择 Uninstall Operator。

3. 此时会打开 Uninstall Operator? 对话框。点 Uninstall。

   重要

   在点 Uninstall 从集群中删除所有现有资源前，选择 Delete all operand instance for this operator 复选框，包括：

   • Kueue CR
   • 您创建的任何集群队列、本地队列或资源类型

   当升级集群以保留创建的资源时，请保留此复选框。

4. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
5. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后点 Install。

验证

1. 进入 Operators → Installed Operators。
2. 确认 Red Hat Build of Kueue Operator 的 Status 为 Succeeded。
3. 确认列表中 Operator 名称下显示的版本是最新版本。

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 在 Provided APIs 表列中，点 Kueue。这会进入 Operator 详情页的 Kueue 选项卡。
3. 点 Create Kueue。这会进入 Create Kueue YAML 视图。

4. 输入 Kueue CR 的详情。

   Kueue CR 示例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   Kueue CR 的名称必须是 cluster。

   2

   如果要配置红帽构建的与其它工作负载类型搭配使用的 Kueue，请在此处添加这些类型。对于默认配置，只支持 BatchJob 类型。

   3

   可选： 如果要为 Kueue 构建配置公平共享（fair sharing），请将 preemptionPolicy 值设置为 FairSharing。Kueue CR 中的默认设置是 Classical 抢占。

5. 点 Create。

流程

1. 将 ClusterRoleBinding 对象创建为 YAML 文件：

   ClusterRoleBinding 对象示例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: kueue-admins 

   1

   
   subjects: 

   2

   
   - kind: User
     name: admin@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   3

   
     kind: ClusterRole
     name: kueue-batch-admin-role
     apiGroup: rbac.authorization.k8s.io

   Copy to Clipboard Toggle word wrap

   1

   为 ClusterRoleBinding 对象提供名称。

   2

   添加您要为其提供用户权限的用户或组的详情。

   3

   添加 kue-batch-admin-role 集群角色的详细信息。

2. 应用 ClusterRoleBinding 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 RoleBinding 对象创建为 YAML 文件：

   ClusterRoleBinding 对象示例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kueue-users 

   1

   
     namespace: user-namespace 

   2

   
   subjects: 

   3

   
   - kind: Group
     name: team-a@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   4

   
     kind: ClusterRole
     name: kueue-batch-user-role
     apiGroup: rbac.authorization.k8s.io

   Copy to Clipboard Toggle word wrap

   1

   为 RoleBinding 对象提供名称。

   2

   添加 RoleBinding 对象应用到的命名空间的详细信息。

   3

   添加您要为其提供用户权限的用户或组的详情。

   4

   添加 kue-batch-user-role 集群角色的详细信息。

2. 应用 RoleBinding 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 ClusterQueue 对象创建为 YAML 文件：

   使用单个资源类别的基本 ClusterQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ClusterQueue
   metadata:
     name: cluster-queue
   spec:
     namespaceSelector: {} 

   1

   
     resourceGroups:
     - coveredResources: ["cpu", "memory", "pods", "foo.com/gpu"] 

   2

   
       flavors:
       - name: "default-flavor" 

   3

   
         resources: 

   4

   
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
         - name: "pods"
           nominalQuota: 5
         - name: "foo.com/gpu"
           nominalQuota: 100

   Copy to Clipboard Toggle word wrap

   1

   定义哪些命名空间可以使用由此集群队列管理的资源。示例所示的空 namespaceSelector 表示所有命名空间都可以使用这些资源。

   2

   定义由集群队列管理的资源类型。这个示例 ClusterQueue 对象管理 CPU、内存、pod 和 GPU 资源。

   3

   定义应用到列出的资源类型的资源类别。在本例中，default-flavor 资源类别应用于 CPU、内存、pod 和 GPU 资源。

   4

   定义接受作业的资源要求。这个示例集群队列仅在满足以下条件时接受作业：

   • CPU 请求总和小于或等于 9。
   • 内存请求总和小于或等于 36Gi。
   • pod 的总数小于或等于 5。
   • GPU 请求总和小于或等于 100。

2. 运行以下命令来应用 ClusterQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 ResourceFlavor 对象创建为 YAML 文件：

   空 ResourceFlavor 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: default-flavor

   Copy to Clipboard Toggle word wrap

   自定义资源 Flavor 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: "x86"
   spec:
     nodeLabels:
       cpu-arch: x86

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 ResourceFlavor 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建一个 LocalQueue 对象作为 YAML 文件：

   基本 LocalQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: user-queue
   spec:
     clusterQueue: cluster-queue

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 LocalQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建名为 default 的 LocalQueue 对象，作为 YAML 文件：

   默认 LocalQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: default
   spec:
     clusterQueue: cluster-queue

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 LocalQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

验证

1. 在与默认本地队列相同的命名空间中创建作业。
2. 使用 kueue.x-k8s.io/queue-name: default 标签观察作业更新。

流程

1. 创建 Job 对象。

   作业示例

   apiVersion: batch/v1
   kind: Job 

   1

   
   metadata:
     generateName: sample-job- 

   2

   
     namespace: my-namespace
     labels:
       kueue.x-k8s.io/queue-name: user-queue 

   3

   
   spec:
     parallelism: 3
     completions: 3
     template:
       spec:
         containers:
         - name: dummy-job
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           args: ["entrypoint-tester", "hello", "world"]
           resources: 

   4

   
             requests:
               cpu: 1
               memory: "200Mi"
         restartPolicy: Never

   Copy to Clipboard Toggle word wrap

   1

   将资源类型定义为 Job 对象，它代表批处理计算任务。

   2

   提供用于为作业生成唯一名称的前缀。

   3

   标识将作业发送到的队列。

   4

   定义各个容器集的资源请求。

2. 运行以下命令来运行作业：

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 进入存储 must-gather 数据的目录。

2. 运行以下命令来收集 must-gather 数据：

   $ oc adm must-gather \
     --image=registry.redhat.io/kueue/kueue-must-gather-rhel9:<version>

   Copy to Clipboard Toggle word wrap

   其中 <version> 是您的红帽构建的 Kueue 的当前版本。

3. 从工作目录中刚刚创建的 must-gather 目录创建一个压缩文件。确保为唯一的 must-gather 数据提供日期和集群 ID。有关如何查找集群 ID 的更多信息，请参阅如何在 OpenShift 集群上找到 cluster-id 或名称。
4. 在红帽客户门户网站的客户支持页面中，将压缩文件附加到您的支持问题单中。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 验证是否安装了 cert-manager Operator for Red Hat OpenShift。

3. 安装 Leader Worker Set Operator。

   1. 导航到 Ecosystem → Software Catalog。
   2. 在过滤器中输入 Leader Worker Set Operator。
   3. 选择 Leader Worker Set Operator，再点 Install。

   4. 在 Install Operator 页中：

      1. Update channel 设置为 stable-v1.0，它会安装 Leader Worker Set Operator 1.0 的最新稳定版本。
      2. 在 Installation mode 下，选择 A specific namespace on the cluster。
      3. 在 Installed Namespace 下，选择 Operator recommended Namespace: openshift-lws-operator。

      4. 在 Update approval 下，选择以下更新策略之一：

         • Automatic 策略允许 Operator Lifecycle Manager（OLM）在有新版本可用时自动更新 Operator。
         • Manual 策略需要拥有适当凭证的用户批准 Operator 更新。
      5. 点 Install。

4. 为 Leader Worker Set Operator 创建自定义资源 (CR)：

   1. 进入到 Installed Operators → Leader Worker Set Operator。
   2. 在 Provided APIs 下，点 LeaderWorkerSetOperator 窗格中的 Create instance。
   3. 点 Create。

流程

1. 运行以下命令创建新项目：

   $ oc new-project my-namespace

   Copy to Clipboard Toggle word wrap

2. 创建名为 leader-worker-set.yaml的文件

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws 

   1

   
     namespace: my-namespace 

   2

   
   spec:
     leaderWorkerTemplate:
       leaderTemplate: 

   3

   
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart 

   4

   
       size: 3 

   5

   
       workerTemplate: 

   6

   
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared 

   7

   
     replicas: 2 

   8

   
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1 

   9

   
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

   Copy to Clipboard Toggle word wrap

   1

   指定 leader worker 设置资源的名称。

   2

   指定要在其中运行的 leader worker 设置的命名空间。

   3

   指定 leader pod 的 pod 模板。

   4

   为发生 pod 失败时指定重启策略。允许的值是 RecreateGroupOnPodRestart（重启整个组），或 None（不重启组）。

   5

   指定要为每个组创建的 pod 数量，包括 leader pod。例如，值 3 会创建 1 个 leader pod 和 2 个 worker pod。默认值为 1。

   6

   指定 worker pod 的 pod 模板。

   7

   指定创建无头服务时要使用的策略。允许的值是 UniquePerReplica 或 Shared。默认值为 Shared。

   8

   指定副本数，或 leader-worker 组。默认值为 1。

   9

   指定在滚动更新过程中可调度的在 replicas 值之上的最大副本数。该值可以指定为整数或百分比。

   有关配置所有可用字段的更多信息，请参阅 LeaderWorkerSet API 上游文档。

3. 运行以下命令来应用 leader worker 设置配置：

   $ oc apply -f leader-worker-set.yaml

   Copy to Clipboard Toggle word wrap

验证

1. 运行以下命令验证 pod 是否已创建：

   $ oc get pods -n my-namespace

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME         READY   STATUS    RESTARTS   AGE
   my-lws-0     1/1     Running   0          4s 

   1

   
   my-lws-0-1   1/1     Running   0          3s
   my-lws-0-2   1/1     Running   0          3s
   my-lws-1     1/1     Running   0          7s 

   2

   
   my-lws-1-1   1/1     Running   0          6s
   my-lws-1-2   1/1     Running   0          6s

   Copy to Clipboard Toggle word wrap

   1

   第一个组的 leader pod。

   2

   第二个组的 leader pod。

2. 运行以下命令查看有状态的集合：

   $ oc get statefulsets

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME       READY   AGE
   my-lws     4/4     111s 

   1

   
   my-lws-0   2/2     57s 

   2

   
   my-lws-1   2/2     60s 

   3

   Copy to Clipboard Toggle word wrap

   1

   所有 leader-worker 组的领导有状态集。

   2

   第一个组的 worker 有状态集。

   3

   第二个组的 worker 有状态集。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 导航到 Operators → Installed Operators。
3. 从 Project 下拉列表中选择 openshift-lws-operator。

4. 删除 LeaderWorkerSetOperator 实例。

   1. 点 Leader Worker Set Operator，再选择 LeaderWorkerSetOperator 选项卡。
   2. 点集群条目旁边的 Options 菜单 ，然后选择 Delete LeaderWorkerSetOperator。
   3. 在确认对话框中，点 Delete。

5. 卸载 Leader Worker Set Operator。

   1. 导航到 Operators → Installed Operators。
   2. 点 Leader Worker Set Operator 条目旁边的选项菜单 ，点 Uninstall Operator。
   3. 在确认对话框中，点 Uninstall。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。

2. 删除安装 Leader Worker Set Operator 时创建的 CRD：

   1. 进入到 Administration → CustomResourceDefinitions。
   2. 在 Name 字段中输入 LeaderWorkerSetOperator 来过滤 CRD。
   3. 点 LeaderWorkerSetOperator CRD 旁边的 Options 菜单 ，然后选择 Delete CustomResourceDefinition。
   4. 在确认对话框中，点 Delete。

3. 删除 openshift-lws-operator 命名空间。

   1. 进入到 Administration → Namespaces。
   2. 在过滤框中输入 openshift-lws-operator。
   3. 点 openshift-lws-operator 条目旁的 Options 菜单 ， 并选择 Delete Namespace。
   4. 在确认对话框中，输入 openshift-lws-operator 并点 Delete。