Red Hat Summit14장. 클러스터 재조정에 Cruise Control 사용
Cruise Control은 클러스터 워크로드 모니터링, 사전 정의된 제약 조건을 기반으로 클러스터 재조정, 이상적 탐지 및 수정과 같은 Kafka 작업을 자동화하기 위한 오픈 소스 시스템입니다. 로드 모니터, 분석기, Anomaly Detector, Executor-및 클라이언트 상호 작용을 위한 REST API 등 네 가지 주요 구성 요소로 구성됩니다.
Cruise Control 을 사용하여 Kafka 클러스터의 균형을 조정할 수 있습니다. Red Hat Enterprise Linux의 cruise Control for AMQ Streams는 별도의 zipped 배포판으로 제공됩니다.
AMQ Streams는 REST API를 사용하여 다음 Cruise Control 기능을 지원합니다.
- 최적화 목표에서 최적화 제안을 생성합니다.
최적화 제안을 기반으로 Kafka 클러스터 재조정.
- 최적화 목표
최적화 목표는 리밸런스에서 달성하려는 특정 목적을 설명합니다. 예를 들어 목표는 주제 복제본을 브로커에 더 균등하게 배포하는 것입니다. 설정을 통해 포함할 목표를 변경할 수 있습니다. 목표는 하드 목표 또는 소프트 목표로 정의됩니다. Cruise Control 배포 구성을 통해 어려운 목표를 추가할 수 있습니다. 또한 각 카테고리에 적합한 기본, 기본 및 사용자 제공 목표를 보유하고 있습니다.
- 어려운 목표는 사전 설정되며 최적화 제안에 만족해야합니다.
- 최적화 제안에 성공하려면 소프트 목표를 충족할 필요가 없습니다. 즉, 모든 어려운 목표를 충족한다는 것을 의미하면 따로 설정할 수 있습니다.
- 주요 목표는 Cruise Control에서 상속됩니다. 일부는 하드 목표로 사전 설정되어 있습니다. 주요 목표는 기본적으로 최적화 제안에 사용됩니다.
- 기본 목표는 기본적으로 주요 목표와 동일합니다. 고유한 기본 목표 집합을 지정할 수 있습니다.
- 사용자 제공 목표는 특정 최적화 제안을 생성하도록 구성된 기본 목표의 서브 세트입니다.
- 최적화 제안
최적화 제안은 리밸런스에서 달성하려는 목표를 포함합니다. 최적화 제안을 생성하여 제안된 변경 사항 및 리밸런스로 가능한 결과에 대한 요약을 생성합니다. 목표는 특정 우선 순위로 평가됩니다. 그런 다음 제안을 승인하거나 거부하도록 선택할 수 있습니다. 조정된 목표를 통해 다시 실행하도록 제안을 거부할 수 있습니다.
다음 API 끝점 중 하나에 요청하여 최적화 제안을 생성하고 승인할 수 있습니다.
- /rebalance 엔드포인트를 사용하여 전체 리밸런스를 실행합니다.
- Kafka 클러스터를 확장할 때 브로커를 추가한 후 /add_broker 엔드포인트를 재조정합니다.
- Kafka 클러스터를 축소할 때 브로커를 제거하기 전에 /remove_broker 엔드포인트를 재조정합니다.
구성 속성 파일을 통해 최적화 목표를 구성합니다. AMQ Streams는 Cruise Control의 예제 속성 파일을 제공합니다.
다른 Cruise Control 기능은 현재 지원되지 않습니다. 여기에는 자체 복구, 알림, 쓰기-자유 목표, 주제 복제 요소 변경을 포함하여 현재 지원되지 않습니다.
14.1. Cruise Control 구성 요소 및 기능
Cruise Control은 4가지 주요 구성 요소(Load Monitor, Analyzer, Anomaly Detector, Executor-및 클라이언트 상호 작용을 위한 REST API)로 구성됩니다. AMQ Streams는 REST API를 사용하여 다음 Cruise Control 기능을 지원합니다.
- 최적화 목표에서 최적화 제안을 생성합니다.
- 최적화 제안을 기반으로 Kafka 클러스터 재조정.
- 최적화 목표
최적화 목표는 리밸런스에서 달성하려는 특정 목적을 설명합니다. 예를 들어 목표는 주제 복제본을 브로커에 더 균등하게 배포하는 것입니다. 설정을 통해 포함할 목표를 변경할 수 있습니다. 목표는 하드 목표 또는 소프트 목표로 정의됩니다. Cruise Control 배포 구성을 통해 어려운 목표를 추가할 수 있습니다. 또한 각 카테고리에 적합한 기본, 기본 및 사용자 제공 목표를 보유하고 있습니다.
- 어려운 목표는 사전 설정되며 최적화 제안에 만족해야합니다.
- 최적화 제안에 성공하려면 소프트 목표를 충족할 필요가 없습니다. 즉, 모든 어려운 목표를 충족한다는 것을 의미하면 따로 설정할 수 있습니다.
- 주요 목표는 Cruise Control에서 상속됩니다. 일부는 하드 목표로 사전 설정되어 있습니다. 주요 목표는 기본적으로 최적화 제안에 사용됩니다.
- 기본 목표는 기본적으로 주요 목표와 동일합니다. 고유한 기본 목표 집합을 지정할 수 있습니다.
- 사용자 제공 목표는 특정 최적화 제안을 생성하도록 구성된 기본 목표의 서브 세트입니다.
- 최적화 제안
최적화 제안은 리밸런스에서 달성하려는 목표를 포함합니다. 최적화 제안을 생성하여 제안된 변경 사항 및 리밸런스로 가능한 결과에 대한 요약을 생성합니다. 목표는 특정 우선 순위로 평가됩니다. 그런 다음 제안을 승인하거나 거부하도록 선택할 수 있습니다. 조정된 목표를 통해 다시 실행하도록 제안을 거부할 수 있습니다.
세 가지 모드 중 하나에서 최적화 제안을 생성할 수 있습니다.
-
full은 기본 모드이며 전체 리밸런스를 실행합니다. -
Add-brokers는 Kafka 클러스터를 확장할 때 브로커를 추가한 후 사용하는 모드입니다. -
remove-brokers는 Kafka 클러스터를 축소할 때 브로커를 제거하기 전에 사용하는 모드입니다.
-
다른 Cruise Control 기능은 현재 지원되지 않습니다. 여기에는 자체 복구, 알림, 쓰기-자유 목표, 주제 복제 요소 변경을 포함하여 현재 지원되지 않습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}