2장. RHEL에 Debezium 커넥터 설치

커넥터 플러그인을 사용하여 Kafka Connect를 확장하여 AMQ Streams를 통해 Debezium 커넥터를 설치합니다. AMQ Streams 배포 후 Kafka Connect를 통해 Debezium을 커넥터 구성으로 배포할 수 있습니다.

2.1. Kafka 주제 생성 권장 사항

Debezium은 여러 Apache Kafka 항목에 데이터를 저장합니다. 주제는 관리자가 사전에 생성하거나 Kafka Connect를 구성하여 주제를 자동으로 구성할 수 있습니다.

다음 목록에서는 주제를 만들 때 고려해야 할 제한 사항 및 권장 사항에 대해 설명합니다.

Debezium Db2, MySQL, Oracle 및 SQL Server 커넥터에 대한 데이터베이스 스키마 기록 주제

이전 커넥터마다 데이터베이스 스키마 기록 항목이 필요합니다. 데이터베이스 스키마 기록 주제를 수동으로 생성하거나 Kafka 브로커를 사용하여 주제를 자동으로 생성하거나 Kafka Connect를 사용하여 주제를 생성하는 등 주제를 다음 설정으로 구성해야 합니다.

기타 주제

지정된 레코드에 대한 마지막 변경 이벤트만 저장되도록 Kafka 로그 압축 을 활성화하면 Apache Kafka에서 다음 주제 속성을 설정합니다.
- min.compaction.lag.ms
- delete.retention.ms
  소비자가 모든 이벤트를 수신하고 마커를 삭제할 수 있는 충분한 시간을 갖도록 하려면 싱크 커넥터에 예상되는 최대 다운타임보다 큰 이전 속성의 값을 지정합니다. 예를 들어 싱크 커넥터에 업데이트를 적용할 때 발생할 수 있는 다운타임을 고려하십시오.
프로덕션에서 복제됩니다.
단일 파티션.
단일 파티션 규칙을 완화할 수 있지만 애플리케이션은 데이터베이스의 다른 행에 대해 순서가 없는 이벤트를 처리해야 합니다. 단일 행에 대한 이벤트는 완전히 정렬됩니다. 여러 파티션을 사용하는 경우 기본 동작은 Kafka가 키를 해시하여 파티션을 결정하는 것입니다. 다른 파티션 전략에서는 각 레코드에 대한 파티션 번호를 설정하려면 단일 메시지 변환(SMT)을 사용해야 합니다.