9.4. 최대 작업 수 지정

Connectors는 Kafka 내외로 데이터를 이동하는 작업을 생성합니다. 각 커넥터는 작업을 실행하는 작업자 Pod 그룹에 분산된 하나 이상의 작업으로 구성됩니다. 많은 수의 파티션을 복제하거나 많은 수의 소비자 그룹의 오프셋을 동기화할 때 작업 수를 늘리는 데 도움이 될 수 있습니다.

작업은 병렬로 실행됩니다. 작업자에는 하나 이상의 작업이 할당됩니다. 단일 작업은 하나의 작업자 Pod에서 처리하므로 작업보다 더 많은 작업자 Pod가 필요하지 않습니다. 작업자보다 많은 작업이 있는 경우 작업자는 여러 작업을 처리합니다.

tasks.max 속성을 사용하여 MirrorMaker 구성의 최대 커넥터 작업 수를 지정할 수 있습니다. 최대 작업 수를 지정하지 않으면 기본 설정은 단일 작업입니다.

하트비트 커넥터는 항상 단일 작업을 사용합니다.

소스 및 체크포인트 커넥터에 대해 시작된 작업 수는 가능한 최대 작업 수와 tasks.max 의 값 사이의 낮은 값입니다. 소스 커넥터의 경우 가능한 최대 작업 수가 소스 클러스터에서 복제되는 각 파티션에 대해 1개입니다. 체크포인트 커넥터의 경우 가능한 최대 작업 수는 소스 클러스터에서 복제되는 각 소비자 그룹에 대해 하나씩입니다. 최대 작업 수를 설정할 때 프로세스를 지원하는 파티션 수와 하드웨어 리소스를 고려하십시오.

인프라가 처리 오버헤드를 지원하는 경우 작업 수를 늘리면 처리량과 대기 시간이 개선될 수 있습니다. 예를 들어 작업을 더 추가하면 많은 수의 파티션 또는 소비자 그룹이 있는 경우 소스 클러스터를 폴링하는 데 걸리는 시간이 줄어듭니다.

clusters=cluster-1,cluster-2
# ...
tasks.max = 10

기본적으로 MirrorMaker 2는 10분마다 새 소비자 그룹을 확인합니다. refresh.groups.interval.seconds 구성을 조정하여 빈도를 변경할 수 있습니다. 더 낮게 조정할 때 주의하십시오. 더 자주 검사하면 성능에 부정적인 영향을 미칠 수 있습니다.