第 2 章 在 RHEL 上安装 Debezium 连接器
通过 AMQ Streams 安装 Debezium 连接器,方法是使用连接器插件扩展 Kafka 连接。部署 AMQ Streams 后,您可以通过 Kafka Connect 将 Debezium 部署为连接器配置。
2.1. Kafka 主题创建建议
Debezium 将数据存储到多个 Apache Kafka 主题中。主题必须提前由管理员创建,或者您可以配置 Kafka Connect 以 自动配置主题。
以下列表描述了创建主题时要考虑的限制和建议:
- Debezium Db2、MySQL、Oracle 和 SQL Server 连接器的数据库架构历史记录主题
对于前面的每个连接器,都需要一个数据库架构历史记录主题。无论您手动创建数据库架构历史记录主题,请使用 Kafka 代理自动创建主题,或使用 Kafka Connect 创建主题,请确保使用以下设置配置该主题:
- 无限或非常长的保留。
- 在生产环境中至少有三个复制因素。
- 单个分区。
- 其他主题
当您启用 Kafka 日志压缩时,以便只保存给定记录 的最后 更改事件,请在 Apache Kafka 中设置以下主题属性:
-
min.compaction.lag.ms
为确保主题使用者有足够的时间接收所有事件并删除标记,请指定之前属性的值大于您预期的接收器连接器的最大停机时间。例如,考虑将更新应用到接收器连接器时可能会出现的停机时间。
-
- 在生产环境中复制。
单个分区。
您可以放松单个分区规则,但您的应用程序必须为数据库中的不同行处理超出顺序的事件。一行的事件仍然被完全排序。如果您使用多个分区,则默认行为是 Kafka 通过哈希密钥来确定分区。其他分区策略需要使用单个消息转换(SMT)来为每个记录设置分区号。