Red Hat Summit12장. 클러스터 재조정을 위한 cruise Control
클러스터 재조정을 위한 크루즈 컨트롤은 기술 프리뷰 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. Red Hat은 프로덕션 환경에서 기술 프리뷰 기능을 구현하는 것을 권장하지 않습니다. 이 기술 프리뷰 기능을 통해 향후 제품 혁신에 조기에 액세스할 수 있으므로 개발 프로세스 중에 기능을 테스트하고 피드백을 제공할 수 있습니다. Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
Cruise Control 을 AMQ Streams 클러스터에 배포하고 이를 사용하여 Kafka 브로커 간에 부하를 재조정할 수 있습니다.
cruise Control은 클러스터 워크로드 모니터링, 사전 정의된 제약 조건에 따라 클러스터 재조정, 예외 감지 및 수정과 같은 Kafka 작업을 자동화하기 위한 오픈 소스 시스템입니다. 4가지 구성 요소(Load Monitor, Analyzer, Anomaly Detector, Executor) 및 REST API로 구성됩니다.
AMQ Streams 및 Cruise Control이 Red Hat Enterprise Linux에 배포되면 Cruise Control REST API를 통해 Cruise Control 기능에 액세스할 수 있습니다. 지원되는 기능은 다음과 같습니다.
- 최적화 목표 및 용량 제한구성
/rebalance끝점을 사용하여 다음을 수행합니다.- 최적화 제안을 생성하십시오. 예행 실행으로, 구성된 최적화 목표 또는 요청 매개변수로 제공된 사용자 제공 목표에 따라
- Kafka 클러스터를 재조정하기 위한 최적화 제안을 시작합니다.
-
/user_tasks끝점을 사용하여 활성 리밸런스 작업의 진행 상황 확인 -
/stop_proposal_execution끝점을 사용하여 활성 리밸런스 작업 중지
다른 Cruise Control 기능은 현재 이상적으로 감지, 알림, 쓰기 사용자 지정 목표, 주제 복제 요소 변경을 포함하여 현재 지원되지 않습니다. 웹 UI 구성 요소(Cruise Control Frontend)는 지원되지 않습니다.
Red Hat Enterprise Linux의 AMQ Streams에 대한 크루즈 컨트롤은 별도의 압축 배포로 제공됩니다. 자세한 내용은 12.2절. “Cruise Control 아카이브 다운로드”의 내용을 참조하십시오.
12.1. Cruise Control을 사용하는 이유는 무엇입니까?
크루즈 컨트롤은 브로커 전체에서 보다 균등하게 균형 잡힌 워크로드를 사용하여 효율적인 Kafka 클러스터를 실행하는 데 필요한 시간과 노력을 줄일 수 있습니다.
일반적인 클러스터는 시간이 지남에 따라 균등하게 로드할 수 있습니다. 대량의 메시지 트래픽을 처리하는 파티션은 사용 가능한 브로커에 균등하게 분산될 수 있습니다. 클러스터를 재조정하려면 관리자가 브로커의 부하를 모니터링하고 사용 중인 파티션을 예비 용량이 있는 브로커에 수동으로 다시 할당해야 합니다.
cruise Control은 이 클러스터 재조정 프로세스를 자동화합니다. CPU, 디스크 및 네트워크 로드를 기반으로 리소스 사용률의 워크로드 모델을 구성합니다. 구성 가능한 최적화 목표 세트를 사용하여 Cruise Control에 균형 있는 파티션 할당에 대한 예행 최적화 제안을 생성하도록 지시할 수 있습니다.
시험 실행 최적화 제안을 검토한 후 Cruise Control에 해당 제안에 따라 클러스터 재조정을 시작하거나 새로운 제안을 생성하도록 지시할 수 있습니다.
클러스터 재조정 작업이 완료되면 브로커가 더 효과적으로 사용되며 Kafka 클러스터의 부하가 균등하게 분산됩니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}