2장. Debezium 커넥터 설치

커넥터 플러그인으로 Kafka Connect를 확장하여 AMQ Streams를 통해 Debezium 커넥터를 설치합니다. AMQ Streams를 배포한 후 Kafka Connect를 통해 Debezium을 커넥터 구성으로 배포할 수 있습니다.

2.1. Kafka 주제 생성 권장 사항

Debezium은 여러 Apache Kafka 항목에 데이터를 저장합니다. 항목은 관리자가 미리 만들거나 자동으로 주제를 구성하도록 Kafka Connect를 구성할 수 있어야 합니다.

다음 목록에서는 주제를 만들 때 고려해야 할 제한 사항 및 권장 사항에 대해 설명합니다.

Debezium Db2, MySQL, Oracle 및 SQL Server 커넥터에 대한 데이터베이스 스키마 기록 항목

위의 각 커넥터에는 데이터베이스 스키마 기록 항목이 필요합니다. 데이터베이스 스키마 기록 항목을 수동으로 생성하거나 Kafka 브로커를 사용하여 항목을 자동으로 생성하거나 Kafka Connect를 사용하여 주제를 만들 든, 다음 설정으로 주제를 구성해야 합니다.

기타 주제

지정된 레코드에 대한 마지막 변경 이벤트만 저장되도록 Kafka 로그 압축 을 활성화하면 Apache Kafka에서 다음 항목 속성을 설정합니다.
- min.compaction.lag.ms
- delete.retention.ms
  주제 소비자가 모든 이벤트를 수신하고 마커를 삭제하기에 충분한 시간을 가지려면 싱크 커넥터에 대해 예상되는 최대 다운타임보다 큰 이전 속성의 값을 지정합니다. 예를 들어 싱크 커넥터에 업데이트를 적용할 때 발생할 수 있는 다운타임을 고려하십시오.
프로덕션 환경에서 복제됩니다.
단일 파티션.
단일 파티션 규칙을 완화할 수 있지만 애플리케이션은 데이터베이스의 다른 행에 대한 순서 외 이벤트를 처리해야 합니다. 한 줄에 대한 이벤트는 여전히 완전히 주문됩니다. 여러 파티션을 사용하는 경우 기본 동작은 Kafka가 키를 해시하여 파티션을 결정하는 것입니다. 다른 파티션 전략에서는 단일 메시지 변환(SMT)을 사용하여 각 레코드의 파티션 번호를 설정해야 합니다.