AI 工作负载

1. 批处理管理员创建和配置 ResourceFlavor、LocalQueue 和 ClusterQueue 资源。
2. 用户用户角色在集群上创建作业。
3. Kubernetes API 服务器验证并接受作业数据。
4. 红帽构建的 Kueue admit 作业基于配置选项，如顺序或配额。它使用资源类型将关联性注入作业，并创建一个与每个作业对应的 Workload 对象。
5. 适用的作业类型的控制器创建 pod。
6. Kubernetes 调度程序将 pod 分配给集群中的节点。
7. Kubernetes 集群自动扩展根据需要置备更多节点。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后单击 Install。

流程

1. 在 OpenShift Container Platform web 控制台中，点 Operators → Installed Operators，然后从列表中选择 Red Hat build of Kueue。
2. 在 Actions 下拉菜单中选择 Uninstall Operator。

3. 此时会打开 Uninstall Operator? 对话框。点 Uninstall。

   重要

   在点 Uninstall 从集群中删除所有现有资源前，选择 Delete all operand instance for this operator 复选框，包括：

   • Kueue CR
   • 您创建的任何集群队列、本地队列或资源类型

   当升级集群以保留创建的资源时，请保留此复选框。

4. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
5. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后单击 Install。

验证

1. 进入 Operators → Installed Operators。
2. 确认列出了 Red Hat Build of Kueue Operator，Status 为 Succeeded。
3. 确认列表中 Operator 名称下显示的版本是最新版本。

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 在 Provided APIs table 列中，点 Kueue。这会进入 Operator 详情页面的 Kueue 选项卡。
3. 点 Create Kueue。这会进入 Create Kueue YAML 视图。

4. 输入 Kueue CR 的详情。

   Kueue CR 示例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   Kueue CR 的名称必须是 cluster。

   2

   如果要配置红帽构建的与其它工作负载类型搭配使用的 Kue，请在此处添加这些类型。对于默认配置，只支持 BatchJob 类型。

   3

   可选： 如果要为 Kueue 构建配置公平共享，请将 preemptionPolicy 值设置为 FairSharing。Kueue CR 中的默认设置是 经典抢占。

5. 点 Create。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后单击 Install。

流程

1. 在 OpenShift Container Platform web 控制台中，点 Operators → Installed Operators，然后从列表中选择 Red Hat build of Kueue。
2. 在 Actions 下拉菜单中选择 Uninstall Operator。

3. 此时会打开 Uninstall Operator? 对话框。点 Uninstall。

   重要

   在点 Uninstall 从集群中删除所有现有资源前，选择 Delete all operand instance for this operator 复选框，包括：

   • Kueue CR
   • 您创建的任何集群队列、本地队列或资源类型

   当升级集群以保留创建的资源时，请保留此复选框。

4. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
5. 从可用的 Operator 列表中选择 Red Hat Build of Kueue Operator，然后单击 Install。

验证

1. 进入 Operators → Installed Operators。
2. 确认列出了 Red Hat Build of Kueue Operator，Status 为 Succeeded。
3. 确认列表中 Operator 名称下显示的版本是最新版本。

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 在 Provided APIs table 列中，点 Kueue。这会进入 Operator 详情页面的 Kueue 选项卡。
3. 点 Create Kueue。这会进入 Create Kueue YAML 视图。

4. 输入 Kueue CR 的详情。

   Kueue CR 示例

   apiVersion: kueue.openshift.io/v1
   kind: Kueue
   metadata:
     labels:
       app.kubernetes.io/name: kueue-operator
       app.kubernetes.io/managed-by: kustomize
     name: cluster 

   1

   
     namespace: openshift-kueue-operator
   spec:
     managementState: Managed
     config:
       integrations:
         frameworks: 

   2

   
         - BatchJob
       preemption:
         preemptionPolicy: Classical 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   Kueue CR 的名称必须是 cluster。

   2

   如果要配置红帽构建的与其它工作负载类型搭配使用的 Kue，请在此处添加这些类型。对于默认配置，只支持 BatchJob 类型。

   3

   可选： 如果要为 Kueue 构建配置公平共享，请将 preemptionPolicy 值设置为 FairSharing。Kueue CR 中的默认设置是 经典抢占。

5. 点 Create。

流程

1. 将 ClusterRoleBinding 对象创建为 YAML 文件：

   ClusterRoleBinding 对象示例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: kueue-admins 

   1

   
   subjects: 

   2

   
   - kind: User
     name: admin@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   3

   
     kind: ClusterRole
     name: kueue-batch-admin-role
     apiGroup: rbac.authorization.k8s.io

   Copy to Clipboard Toggle word wrap

   1

   为 ClusterRoleBinding 对象提供名称。

   2

   添加您要为其提供用户权限的用户或组的详情。

   3

   添加 kue-batch-admin-role 集群角色 的详细信息。

2. 应用 ClusterRoleBinding 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 RoleBinding 对象创建为 YAML 文件：

   ClusterRoleBinding 对象示例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kueue-users 

   1

   
     namespace: user-namespace 

   2

   
   subjects: 

   3

   
   - kind: Group
     name: team-a@example.com
     apiGroup: rbac.authorization.k8s.io
   roleRef: 

   4

   
     kind: ClusterRole
     name: kueue-batch-user-role
     apiGroup: rbac.authorization.k8s.io

   Copy to Clipboard Toggle word wrap

   1

   为 RoleBinding 对象提供名称。

   2

   添加 RoleBinding 对象应用到的命名空间的详细信息。

   3

   添加您要为其提供用户权限的用户或组的详情。

   4

   添加 kue-batch-user-role 集群角色 的详细信息。

2. 应用 RoleBinding 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 ClusterQueue 对象创建为 YAML 文件：

   使用单个资源类别的基本 ClusterQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ClusterQueue
   metadata:
     name: cluster-queue
   spec:
     namespaceSelector: {} 

   1

   
     resourceGroups:
     - coveredResources: ["cpu", "memory", "pods", "foo.com/gpu"] 

   2

   
       flavors:
       - name: "default-flavor" 

   3

   
         resources: 

   4

   
         - name: "cpu"
           nominalQuota: 9
         - name: "memory"
           nominalQuota: 36Gi
         - name: "pods"
           nominalQuota: 5
         - name: "foo.com/gpu"
           nominalQuota: 100

   Copy to Clipboard Toggle word wrap

   1

   定义哪些命名空间可以使用由此集群队列管理的资源。示例所示的空 namespaceSelector 表示所有命名空间都可以使用这些资源。

   2

   定义由集群队列管理的资源类型。这个示例 ClusterQueue 对象管理 CPU、内存、pod 和 GPU 资源。

   3

   定义应用到列出的资源类型的资源类别。在本例中，default-flavor 资源类别应用于 CPU、内存、pod 和 GPU 资源。

   4

   定义接受作业的资源要求。这个示例集群队列仅在满足以下条件时接受作业：

   • CPU 请求总和小于或等于 9。
   • 内存请求总和小于或等于 36Gi。
   • pod 的总数小于或等于 5。
   • GPU 请求总和小于或等于 100。

2. 运行以下命令来应用 ClusterQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 ResourceFlavor 对象创建为 YAML 文件：

   空 ResourceFlavor 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: default-flavor

   Copy to Clipboard Toggle word wrap

   自定义资源 Flavor 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: ResourceFlavor
   metadata:
     name: "x86"
   spec:
     nodeLabels:
       cpu-arch: x86

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 ResourceFlavor 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建一个 LocalQueue 对象作为 YAML 文件：

   基本 LocalQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: user-queue
   spec:
     clusterQueue: cluster-queue

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 LocalQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建名为 default 的 LocalQueue 对象，作为 YAML 文件：

   默认 LocalQueue 对象示例

   apiVersion: kueue.x-k8s.io/v1beta1
   kind: LocalQueue
   metadata:
     namespace: team-namespace
     name: default
   spec:
     clusterQueue: cluster-queue

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 LocalQueue 对象：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

验证

1. 在与默认本地队列相同的命名空间中创建作业。
2. 使用 kueue.x-k8s.io/queue-name: default 标签观察作业更新。

流程

1. 创建 Job 对象。

   作业示例

   apiVersion: batch/v1
   kind: Job 

   1

   
   metadata:
     generateName: sample-job- 

   2

   
     namespace: my-namespace
     labels:
       kueue.x-k8s.io/queue-name: user-queue 

   3

   
   spec:
     parallelism: 3
     completions: 3
     template:
       spec:
         containers:
         - name: dummy-job
           image: registry.k8s.io/e2e-test-images/agnhost:2.53
           args: ["entrypoint-tester", "hello", "world"]
           resources: 

   4

   
             requests:
               cpu: 1
               memory: "200Mi"
         restartPolicy: Never

   Copy to Clipboard Toggle word wrap

   1

   将资源类型定义为 Job 对象，它代表批处理计算任务。

   2

   提供用于为作业生成唯一名称的前缀。

   3

   标识将作业发送到的队列。

   4

   定义各个容器集的资源请求。

2. 运行以下命令来运行作业：

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 进入存储 must-gather 数据的目录。

2. 运行以下命令来收集 must-gather 数据：

   $ oc adm must-gather \
     --image=registry.redhat.io/kueue/kueue-must-gather-rhel9:<version>

   Copy to Clipboard Toggle word wrap

   其中 <version > 是您的 Red Hat build of Kueue 的当前版本。

3. 从工作目录中刚刚创建的 must-gather 目录创建一个压缩文件。确保为唯一的 must-gather 数据提供日期和集群 ID。有关如何查找集群 ID 的更多信息，请参阅如何在 OpenShift 集群上找到 cluster-id 或名称。
4. 在 红帽客户门户网站的客户支持 页面， 将压缩文件附加到您的支持问题单中。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 验证是否安装了 Red Hat OpenShift 的 cert-manager Operator。

3. 安装 Leader Worker Set Operator。

   1. 进入 Operators → OperatorHub。
   2. 在过滤器框中输入 Leader Worker Set Operator。
   3. 选择 Leader Worker Set Operator，再单击 Install。

   4. 在 Install Operator 页中：

      1. Update channel 设置为 stable-v1.0，它会安装 Leader Worker Set Operator 1.0 的最新稳定版本。
      2. 在 Installation mode 下，选择 A specific namespace on the cluster。
      3. 在 Installed Namespace 下，选择 Operator recommended Namespace: openshift-lws-operator。

      4. 在 Update approval 下，选择以下更新策略之一：

         • Automatic 策略允许 Operator Lifecycle Manager（OLM）在有新版本可用时自动更新 Operator。
         • Manual 策略需要拥有适当凭证的用户批准 Operator 更新。
      5. 点 Install。

4. 为 Leader Worker Set Operator 创建自定义资源(CR)：

   1. 导航到 Installed Operators → Leader Worker Set Operator。
   2. 在 Provided APIs 下，点 LeaderWorkerSetOperator 窗格中的 Create instance。
   3. 点 Create。

流程

1. 运行以下命令创建新项目：

   $ oc new-project my-namespace

   Copy to Clipboard Toggle word wrap

2. 创建名为 leader-worker-set.yaml的文件

   apiVersion: leaderworkerset.x-k8s.io/v1
   kind: LeaderWorkerSet
   metadata:
     generation: 1
     name: my-lws 

   1

   
     namespace: my-namespace 

   2

   
   spec:
     leaderWorkerTemplate:
       leaderTemplate: 

   3

   
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: leader
             resources: {}
       restartPolicy: RecreateGroupOnPodRestart 

   4

   
       size: 3 

   5

   
       workerTemplate: 

   6

   
         metadata: {}
         spec:
           containers:
           - image: nginxinc/nginx-unprivileged:1.27
             name: worker
             ports:
             - containerPort: 8080
               protocol: TCP
             resources: {}
     networkConfig:
       subdomainPolicy: Shared 

   7

   
     replicas: 2 

   8

   
     rolloutStrategy:
       rollingUpdateConfiguration:
         maxSurge: 1 

   9

   
         maxUnavailable: 1
       type: RollingUpdate
     startupPolicy: LeaderCreated

   Copy to Clipboard Toggle word wrap

   1

   指定领导 worker 设置资源的名称。

   2

   指定要在其中运行的 leader worker 设置的命名空间。

   3

   指定领导 pod 的 pod 模板。

   4

   为发生 pod 失败时指定重启策略。允许的值是 RecreateGroupOnPodRestart，以重启整个组或 None 以不重启组。

   5

   指定要为每个组创建的 pod 数量，包括领导 pod。例如，值 3 会创建 1 个领导 pod 和 2 个 worker pod。默认值为 1。

   6

   指定 worker pod 的 pod 模板。

   7

   指定创建无头服务时要使用的策略。允许的值是 UniquePerReplica 或 Shared。默认值为 Shared。

   8

   指定副本数，或 leader-worker 组。默认值为 1。

   9

   指定在滚动更新过程中可调度到 replicas 值的最大副本数。该值可以指定为整数或百分比。

   有关配置所有可用字段的更多信息，请参阅 LeaderWorkerSet API 上游文档。

3. 运行以下命令来应用领导 worker 设置配置：

   $ oc apply -f leader-worker-set.yaml

   Copy to Clipboard Toggle word wrap

验证

1. 运行以下命令验证 pod 是否已创建：

   $ oc get pods -n my-namespace

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME         READY   STATUS    RESTARTS   AGE
   my-lws-0     1/1     Running   0          4s 

   1

   
   my-lws-0-1   1/1     Running   0          3s
   my-lws-0-2   1/1     Running   0          3s
   my-lws-1     1/1     Running   0          7s 

   2

   
   my-lws-1-1   1/1     Running   0          6s
   my-lws-1-2   1/1     Running   0          6s

   Copy to Clipboard Toggle word wrap

   1

   第一个组的 leader pod。

   2

   第二个组的 leader pod。

2. 运行以下命令查看有状态的集合：

   $ oc get statefulsets

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME       READY   AGE
   my-lws     4/4     111s 

   1

   
   my-lws-0   2/2     57s 

   2

   
   my-lws-1   2/2     60s 

   3

   Copy to Clipboard Toggle word wrap

   1

   所有 leader-worker 组的领导有状态集。

   2

   第一个组的 worker 有状态集。

   3

   第二个组的 worker 有状态集。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 导航到 Operators → Installed Operators。
3. 从 Project 下拉列表中选择 openshift-lws-operator。

4. 删除 LeaderWorkerSetOperator 实例。

   1. 点 Leader Worker Set Operator，再选择 LeaderWorkerSetOperator 选项卡。
   2. 点 集群 条目 旁边的 Options 菜单，然后选择 Delete LeaderWorkerSetOperator。
   3. 在确认对话框中，点 Delete。

5. 卸载 Leader Worker Set Operator。

   1. 导航到 Operators → Installed Operators。
   2. 点 Leader Worker Set Operator 条目 旁边的 Options 菜单，然后点 Uninstall Operator。
   3. 在确认对话框中，点 Uninstall。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。

2. 删除安装 Leader Worker Set Operator 时创建的 CRD：

   1. 进入到 Administration → CustomResourceDefinitions。
   2. 在 Name 字段中输入 LeaderWorkerSetOperator 来过滤 CRD。
   3. 点 LeaderWorkerSetOperator CRD 旁边的 Options 菜单 ，然后选择 Delete CustomResourceDefinition。
   4. 在确认对话框中，点 Delete。

3. 删除 openshift-lws-operator 命名空间。

   1. 导航至 Administration → Namespaces。
   2. 在过滤器框中输入 openshift-lws-operator。
   3. 点 openshift-lws-operator 条目旁的 Options 菜单 并选择 Delete Namespace。
   4. 在确认对话框中，输入 openshift-lws-operator 并点 Delete。