3장. leader Worker Set Operator

Leader Worker Set Operator는 LeaderWorkerSet 오픈 소스 프로젝트를 기반으로 합니다. LeaderWorkerSet 은 Pod 그룹을 단위로 배포하는 데 사용할 수 있는 사용자 지정 Kubernetes API입니다. 이는 대용량 언어 모델(LLM)이 여러 노드에 분할되는 AI(AI) 및 머신 러닝(ML) 추론 워크로드에 유용합니다.

LeaderWorkerSet API를 사용하면 Pod가 하나의 리더와 여러 작업자로 구성된 단위로 그룹화되며, 모두 단일 엔티티로 함께 관리됩니다. 그룹의 각 Pod에는 고유한 Pod ID가 있습니다. 그룹 내의 Pod는 병렬로 생성되고 동일한 라이프사이클 단계를 공유합니다. 롤아웃, 롤링 업데이트 및 Pod 실패 재시작은 그룹으로 수행됩니다.

LeaderWorkerSet 구성에서는 그룹 크기와 그룹 복제본 수를 정의합니다. 필요한 경우 리더 및 작업자 Pod에 대해 별도의 템플릿을 정의하여 역할별 사용자 지정을 수행할 수 있습니다. 동일한 그룹의 Pod가 동일한 토폴로지에 공동 배치되도록 토폴로지 인식 배치를 구성할 수도 있습니다.

Leader Worker Set Operator에 대한 모니터링은 기본적으로 Prometheus를 통해 OpenShift Container Platform과 함께 제공됩니다.

3.1.1.1. LeaderWorkerSet 아키텍처

링크 복사

다음 다이어그램에서는 LeaderWorkerSet API에서 하나의 Pod가 리더로, 나머지를 작업자로 조정하여 Pod 그룹을 단일 단위로 구성하는 방법을 보여줍니다.

그림 3.1. 리더 작업자 세트 아키텍처

View larger image

LeaderWorkerSet API는 리더 상태 저장 세트를 사용하여 Pod 그룹의 배포 및 라이프사이클을 관리합니다. 정의된 각 복제본에 대해 leader-worker 그룹이 생성됩니다.

각 leader-worker 그룹에는 리더 Pod 및 작업자 상태 저장 세트가 포함되어 있습니다. worker stateful 세트는 리더 Pod에 의해 소유되며 해당 리더 Pod와 연결된 작업자 Pod 세트를 관리합니다. 지정된 크기는 리더 Pod가 해당 수에 포함된 각 leader-worker 그룹의 총 Pod 수를 정의합니다.