Red Hat Summit14.7. 성능 튜닝 개요
클러스터 재조정을 위해 여러 성능 튜닝 옵션을 조정할 수 있습니다. 이러한 옵션은 리밸런스에서의 파티션 복제본 및 리더십 이동 방식 및 리밸런스 작업에 할당된 대역폭을 제어합니다.
파티션 재할당 명령
최적화 제안은 별도의 파티션 재할당 명령으로 구성됩니다. 제안을 시작하면 Cruise Control 서버에서 이러한 명령을 Kafka 클러스터에 적용합니다.
파티션 재할당 명령은 다음 작업 유형 중 하나로 구성됩니다.
파티션 이동: 파티션 복제본과 해당 데이터를 새 위치로 전송합니다. 파티션 모음은 다음 두 가지 형식 중 하나를 수행할 수 있습니다.
- 브랜드 간 이동: 파티션 복제본이 다른 브로커의 로그 디렉터리로 이동됩니다.
- Intra-broker 이동: 파티션 복제본은 동일한 브로커의 다른 로그 디렉터리로 이동합니다.
- 리더십 이동: 파티션 복제본의 리더를 전환시킵니다.
cruise Control은 배치의 Kafka 클러스터에 파티션 재할당 명령을 발행합니다. 리밸런스 중 클러스터 성능은 각 배치에 포함된 각 이동 유형의 영향을 받습니다.
파티션 재할당 명령을 구성하려면 조정 옵션 재조정 을 참조하십시오.
복제본 이동 전략
클러스터 리밸런스 성능은 파티션 재할당 명령의 배치에 적용되는 복제본 이동 전략 의 영향을 받습니다. 기본적으로 Cruise Control은 BaseReplica CryostatmentStrategy 를 사용하여 생성된 순서대로 명령을 적용합니다. 그러나 제안 초기에 매우 큰 파티션 재할당이 있는 경우 이 전략은 다른 재할당의 적용 속도가 느려질 수 있습니다.
cruise Control은 최적화 제안에 적용할 수 있는 세 가지 대체 복제본 이동 전략을 제공합니다.
-
PrioritizeSmallReplica CryostatmentStrategy: 오름차순 크기의 재할당을 주문합니다. -
PrioritizeLargeReplica CryostatmentStrategy: 내림차순 크기의 재할당을 주문합니다. -
PostponeUrpReplica>-<mentStrategy: 동기화되지 않은 복제본이 없는 파티션 복제본의 재할당을 우선순위화합니다.
이러한 전략은 시퀀스로 구성할 수 있습니다. 첫 번째 전략은 내부 논리를 사용하여 두 파티션 재할당을 비교하려고 합니다. 재할당이 동일한 경우 순서에서 다음 전략으로 전달하여 순서를 결정하는 등의 작업을 수행합니다.
복제본 이동 전략을 구성하려면 조정 옵션 재조정 을 참조하십시오.
조정 옵션 재조정
cruise Control은 리밸런스 매개변수 튜닝을 위한 몇 가지 구성 옵션을 제공합니다. 이러한 옵션은 다음과 같은 방법으로 설정됩니다.
-
속성으로, 기본 Cruise Control 구성에서
cruisecontrol.properties파일의 -
/rebalance엔드포인트에 대한 POST 요청의 매개변수로
두 방법에 대한 관련 구성은 다음 표에 요약되어 있습니다.
| 크루즈 컨트롤 속성 | KafkaRebalance 매개변수 | Default | 설명 |
|---|---|---|---|
|
|
| 5 | 각 파티션 재할당 배치의 최대 구성 요소 수 |
|
|
| 2 | 각 파티션 재할당 배치에서 인트라브러 파티션의 최대 수 |
|
|
| 1000 | 각 파티션 재할당 배치의 최대 파티션 리더십 변경 수 |
|
|
| null (제한 없음) | 파티션 재할당에 할당할 대역폭(초당 바이트 단위) |
|
|
|
|
생성된 제안서에 대해 파티션 재할당 명령이 실행되는 순서를 결정하는 데 사용되는 전략 목록(우선순)입니다. |
기본 설정을 변경하면 리밸런스가 완료하는 데 걸리는 시간과 재조정 중 Kafka 클러스터에 배치된 로드에 영향을 미칩니다. 더 낮은 값을 사용하면 로드가 줄어들지만 사용된 시간이 증가하고 그 반대의 경우도 마찬가지입니다.
