3장. 리더 작업자 세트 운영자

LeaderWorkerSet Operator는 LeaderWorkerSet 오픈 소스 프로젝트를 기반으로 합니다. LeaderWorkerSet 은 포드 그룹을 하나의 단위로 배포하는 데 사용할 수 있는 맞춤형 Kubernetes API입니다. 이 기능은 대규모 언어 모델(LLM)이 여러 노드에 분산되어 있는 인공 지능(AI) 및 머신 러닝(ML) 추론 워크로드에 유용합니다.

LeaderWorkerSet API를 사용하면 포드가 하나의 리더와 여러 워커로 구성된 단위로 그룹화되며, 모두 단일 엔터티로 함께 관리됩니다. 그룹 내의 각 포드는 고유한 포드 정체성을 갖습니다. 그룹 내의 포드는 병렬로 생성되며 동일한 수명 주기 단계를 공유합니다. 롤아웃, 롤링 업데이트, 포드 장애 재시작은 그룹으로 수행됩니다.

LeaderWorkerSet 구성에서는 그룹 크기와 그룹 복제본 수를 정의합니다. 필요한 경우 리더 및 작업자 포드에 대해 별도의 템플릿을 정의하여 역할별로 사용자 정의할 수 있습니다. 또한 토폴로지 인식 배치를 구성하여 동일 그룹의 포드가 동일한 토폴로지에 함께 배치되도록 할 수도 있습니다.

OpenShift Container Platform에서는 Prometheus를 통해 Leader Worker Set Operator에 대한 모니터링이 기본적으로 제공됩니다.

3.1.1.1. LeaderWorkerSet 아키텍처

링크 복사

다음 다이어그램은 LeaderWorkerSet API가 어떻게 포드 그룹을 단일 단위로 구성하여 하나의 포드를 리더로, 나머지를 워커로 하여 분산된 작업 부하를 조정하는지 보여줍니다.

그림 3.1. 리더 워커 세트 아키텍처

View larger image

LeaderWorkerSet API는 리더 상태 집합을 사용하여 포드 그룹의 배포 및 수명 주기를 관리합니다. 정의된 각 복제본에 대해 리더-워커 그룹이 생성됩니다.

각 리더-워커 그룹에는 리더 포드와 워커 상태 집합이 포함됩니다. 워커 상태 집합은 리더 포드가 소유하고 해당 리더 포드와 연관된 워커 포드 집합을 관리합니다. 지정된 크기는 각 리더-워커 그룹의 총 포드 수를 정의하며, 리더 포드도 해당 숫자에 포함됩니다.