7.2. 将 Debezium 事件记录路由到您指定的主题

默认行为是，Debezium 连接器将每个更改事件记录发送到一个主题，其名称由数据库的名称以及进行更改的表的名称发送。换句话说，主题接收一个物理表的记录。当您希望主题接收多个物理表的记录时，您必须配置 Debezium 连接器，将记录重新路由到该主题。

要将多个物理表的更改事件记录路由到同一主题，请在 Debezium 连接器的 Kafka Connect 配置中配置主题路由转换。配置主题路由 SMT 要求您指定决定以下内容的正则表达式：

以下示例中的连接器配置为主题路由 SMT 设置几个选项：

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards

Debezium 更改事件键使用组成表的主键的表列。要将多个物理表的记录路由到一个主题，事件键在所有这些表中必须是唯一的。但是，每个物理表可能会有唯一的主键。例如，myserver.mydb.customers_shard1 表中的一行可能与 myserver.mydb.customers_shard2 表中的行相同。

为确保每个事件键在更改事件记录进入同一主题的表中是唯一的，主题路由转换会将字段插入到更改事件键中。默认情况下，插入的字段的名称为 __dbz__physicalTableIdentifier。inserted 字段的值是默认的目标主题名称。

如果要，您可以配置主题路由转换，将不同的字段插入到密钥中。要做到这一点，请指定 key.field.name 选项，并将其设置为不使用现有主键字段名称冲突的字段名称。例如：

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards
transforms.Reroute.key.field.name=shard_id

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards
transforms.Reroute.key.field.name=shard_id

本例将 shard_id 字段添加到路由记录中的密钥结构中。

如果要调整键的新字段的值，请配置这两个选项：

例如：

transforms.Reroute.key.field.regex=(.*)customers_shard(.*)
transforms.Reroute.key.field.replacement=$2

transforms.Reroute.key.field.regex=(.*)customers_shard(.*)
transforms.Reroute.key.field.replacement=$2

使用这个配置，假设默认目的地主题名称是：

myserver.mydb.customers_shard1
myserver.mydb.customers_shard2
myserver.mydb.customers_shard3

转换使用第二个捕获的组中的值（分片号）作为键的新字段的值。在本例中，插入的 key 字段的值将是 1、2 或 3。

如果您的表包含全局唯一的键，且您不需要更改密钥结构，您可以将 key.enforce.uniqueness 选项设置为 false ：

...
transforms.Reroute.key.enforce.uniqueness=false
...

...
transforms.Reroute.key.enforce.uniqueness=false
...

除了 Debezium 连接器在数据库更改时发出的更改事件消息外，连接器还会发出其他类型的信息，包括 heartbeat 信息，以及有关 schema 更改和事务的元数据消息。由于这些消息的结构与 SMT 旨在处理的更改事件消息的结构不同，因此最好将连接器配置为有选择地应用 SMT，以便它只处理预期的数据更改消息。

您可以使用以下方法之一将连接器配置为有选择地应用 SMT：

下表描述了主题路由 SMT 配置选项。