第 3 章 leader Worker Set Operator

使用 Leader Worker Set Operator 将一组 pod 部署为单个、可管理的单元。这有助于您部署大型 AI/ML inference 工作负载，如分片大型语言模型(LLM)。

Leader Worker Set Operator 基于 LeaderWorkerSet 开源项目。LeaderWorkerSet 是一个自定义 Kubernetes API，可用于将一组 pod 作为一个单元来部署。这对人工智能(AI)和机器学习(ML)的工作负载很有用，其中大型语言模型(LLM)在多个节点上分片。

使用 LeaderWorkerSet API 时，pod 被分组到一个领导和多个 worker 的单元中，它们都作为单个实体一起管理。组中的每个 pod 都有唯一的 pod 身份。组中的 Pod 会并行创建，并共享相同的生命周期阶段。推出部署、滚动更新和 pod 故障重启作为组执行。

在 LeaderWorkerSet 配置中，您可以定义组的大小以及组副本数。如果需要，您可以为 leader 和 worker pod 定义单独的模板，允许角色特定的自定义。您还可以配置拓扑感知放置，以便同一组中的 pod 位于同一个拓扑中。

默认情况下，OpenShift Container Platform 通过 Prometheus 提供 Leader Worker Set Operator 的监控。

3.1.1.1. LeaderWorkerSet 架构

复制链接

查看 LeaderWorkerSet 架构，以了解 LeaderWorkerSet API 如何将 pod 组组织为一个单元，一个 pod 作为领导，其余作为 worker 协调分布式工作负载。

下图显示了 LeaderWorkerSet 架构：

图 3.1. 领导 worker 设置架构

View larger image

LeaderWorkerSet API 使用领导有状态集来管理 pod 组的部署和生命周期。对于定义的每个副本，都会创建一个 leader-worker 组。

每个 leader-worker 组包含一个领导 pod 和 worker 有状态集。worker 有状态集由领导 pod 所有，并管理与该领导 pod 关联的 worker pod 集合。指定的大小定义每个 leader-worker 组中的 pod 总数，其中领导 pod 包含在该数字中。