第 2 章 安装 Debezium 连接器


通过扩展使用连接器插件的 Kafka 连接,通过 Streams for Apache Kafka 安装 Debezium 连接器。部署 Apache Kafka 后,您可以通过 Kafka Connect 将 Debezium 部署为连接器配置。

2.1. Kafka 主题创建建议

Debezium 将数据存储在多个 Apache Kafka 主题中。主题必须由管理员提前创建,或者您可以将 Kafka Connect 配置为自动配置主题

以下列表描述了创建主题时需要考虑的限制和建议:

Debezium Db2、MySQL、Oracle 和 SQL Server 连接器的数据库架构历史记录主题

对于前面的每个连接器,都需要一个数据库 schema 历史记录主题。无论您手动创建数据库模式历史记录主题,使用 Kafka 代理自动创建主题,或使用 Kafka Connect 创建主题,请确保主题配置了以下设置:

  • 无限或非常长的保留。
  • 在生产环境中至少有三个复制因子。
  • 单个分区.
其他主题
  • 当您启用 Kafka 日志压缩,以便只保存给定记录 的最后 更改事件,在 Apache Kafka 中设置以下主题属性:

    • min.compaction.lag.ms
    • delete.retention.ms

      为确保主题用户有足够的时间接收所有事件和删除标记,请为之前的属性指定值,超过您预期用于接收器连接器的最大停机时间。例如,请考虑将更新应用到接收器连接器时可能会出现的停机时间。

  • 在生产环境中复制。
  • 单个分区.

    您可以放松单个分区规则,但您的应用程序必须处理数据库中不同行的边界事件。一行的事件仍然完全排序。如果您使用多个分区,则默认行为是 Kafka 通过对密钥进行哈希来确定分区。其他分区策略需要使用单一消息转换(SMT)来为每个记录设置分区号。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.