Red Hat Summit13장. 클러스터 재조정에 Cruise Control 사용
cruise Control은 클러스터 워크로드 모니터링, 사전 정의된 제약 조건에 따라 클러스터 재조정, 예외 감지 및 수정과 같은 Kafka 작업을 자동화하기 위한 오픈 소스 시스템입니다. 로드 모니터, Analyzer, Anomaly Detector 및 Executor-및 클라이언트 상호 작용을 위한 REST API 등 4가지 주요 구성 요소로 구성됩니다.
Cruise Control 을 사용하여 Kafka 클러스터의 균형을 조정할 수 있습니다. Red Hat Enterprise Linux의 Apache Kafka용 cruise Control for Streams는 별도의 압축 배포로 제공됩니다.
Apache Kafka의 스트림은 REST API를 사용하여 다음 Cruise Control 기능을 지원합니다.
- 최적화 목표에서 최적화 제안을 생성합니다.
최적화 제안을 기반으로 Kafka 클러스터 재조정.
- 최적화 목표
최적화 목표는 리밸런스에서 달성하기위한 특정 목표를 설명합니다. 예를 들어 목표는 브로커 간에 주제 복제본을 보다 균등하게 배포하는 것입니다. 구성을 통해 포함할 목표를 변경할 수 있습니다. 목표는 하드 목표 또는 소프트 목표로 정의됩니다. Cruise Control 배포 구성을 통해 하드 목표를 추가할 수 있습니다. 또한 이러한 각 카테고리에 적합한 기본, 기본값 및 사용자 제공 목표를 가지고 있습니다.
- 하드 목표는 사전 설정되었으며 성공적인 최적화 제안에 충족해야 합니다.
- 최적화 제안이 성공하려면 소프트 목표를 충족할 필요가 없습니다. 모든 어려운 목표를 달성하는 경우 별도로 설정할 수 있습니다.
- 주요 목표는 Cruise Control에서 상속됩니다. 일부는 어려운 목표로 구성되어 있습니다. 주요 목표는 기본적으로 최적화 제안에 사용됩니다.
- 기본 목표는 기본적으로 기본 목표와 동일합니다. 자체 기본 목표 세트를 지정할 수 있습니다.
- 사용자 제공 목표는 특정 최적화 제안을 생성하도록 구성된 기본 목표의 하위 집합입니다.
- 최적화 제안
최적화 제안은 재조정에서 달성하려는 목표를 포함합니다. 제안된 변경 사항에 대한 요약과 리밸런스로 가능한 결과를 생성하기 위한 최적화 제안을 생성합니다. 목표는 특정 우선 순위 순서로 평가됩니다. 그런 다음 제안서를 승인하거나 거부하도록 선택할 수 있습니다. 조정된 목표 세트로 다시 실행하려는 제안을 거부할 수 있습니다.
다음 API 끝점 중 하나에 요청하여 최적화 제안을 생성하고 승인할 수 있습니다.
- 전체 재조정을 실행하기 위해 /rebalance 엔드포인트입니다.
- Kafka 클러스터를 확장할 때 브로커를 추가한 후 재조정할 /add_broker 끝점.
- Kafka 클러스터를 축소할 때 브로커를 제거하기 전에 재조정할 /remove_broker 끝점.
구성 속성 파일을 통해 최적화 목표를 구성합니다. Apache Kafka용 스트림은 Cruise Control에 대한 속성 파일의 예를 제공합니다.
13.1. 크루즈 컨트롤 구성 요소 및 기능
크루즈 컨트롤은 로드 모니터, Analyzer, Anomaly Detector 및 Executor-및 클라이언트 상호 작용을 위한 REST API 등 네 가지 주요 구성 요소로 구성됩니다. Apache Kafka의 스트림은 REST API를 사용하여 다음 Cruise Control 기능을 지원합니다.
- 최적화 목표에서 최적화 제안을 생성합니다.
- 최적화 제안을 기반으로 Kafka 클러스터 재조정.
- 최적화 목표
최적화 목표는 리밸런스에서 달성하기위한 특정 목표를 설명합니다. 예를 들어 목표는 브로커 간에 주제 복제본을 보다 균등하게 배포하는 것입니다. 구성을 통해 포함할 목표를 변경할 수 있습니다. 목표는 하드 목표 또는 소프트 목표로 정의됩니다. Cruise Control 배포 구성을 통해 하드 목표를 추가할 수 있습니다. 또한 이러한 각 카테고리에 적합한 기본, 기본값 및 사용자 제공 목표를 가지고 있습니다.
- 하드 목표는 사전 설정되었으며 성공적인 최적화 제안에 충족해야 합니다.
- 최적화 제안이 성공하려면 소프트 목표를 충족할 필요가 없습니다. 모든 어려운 목표를 달성하는 경우 별도로 설정할 수 있습니다.
- 주요 목표는 Cruise Control에서 상속됩니다. 일부는 어려운 목표로 구성되어 있습니다. 주요 목표는 기본적으로 최적화 제안에 사용됩니다.
- 기본 목표는 기본적으로 기본 목표와 동일합니다. 자체 기본 목표 세트를 지정할 수 있습니다.
- 사용자 제공 목표는 특정 최적화 제안을 생성하도록 구성된 기본 목표의 하위 집합입니다.
- 최적화 제안
최적화 제안은 재조정에서 달성하려는 목표를 포함합니다. 제안된 변경 사항에 대한 요약과 리밸런스로 가능한 결과를 생성하기 위한 최적화 제안을 생성합니다. 목표는 특정 우선 순위 순서로 평가됩니다. 그런 다음 제안서를 승인하거나 거부하도록 선택할 수 있습니다. 조정된 목표 세트로 다시 실행하려는 제안을 거부할 수 있습니다.
세 가지 모드 중 하나로 최적화 제안을 생성할 수 있습니다.
-
full은 기본 모드이며 전체 리밸런스를 실행합니다. -
add-brokers는 Kafka 클러스터를 확장할 때 브로커를 추가한 후 사용하는 모드입니다. -
remove-brokers는 Kafka 클러스터를 축소할 때 브로커를 제거하기 전에 사용하는 모드입니다.
-
다른 Cruise Control 기능은 현재 자체 교복, 알림, 쓰기 사용자 지정 목표, 주제 복제 요인 변경 등 현재 지원되지 않습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}