13.2. 将 Debezium 事件记录路由到您指定的主题

默认行为是，Debezium 连接器会将每个更改事件记录发送到一个主题，其名称是从数据库的名称以及进行更改的表的名称。换句话说，主题接收一个物理表的记录。当希望一个主题接收多个物理表的记录时，您必须将 Debezium 连接器配置为将记录重新路由到该主题。

要将多个物理表的事件记录更改为同一主题，请在 Debezium 连接器的 Kafka Connect 配置中配置主题路由转换。配置主题路由 SMT 要求您指定确定的正则表达式：

以下示例中的连接器配置为主题路由 SMT 设置几个选项：

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards

Debezium 更改事件键使用组成表的主键的表列。要将多个物理表的记录路由到一个主题，事件键必须在所有这些表中唯一。但是，每个物理表都可以有一个主键，该密钥只在该表中唯一。例如，myserver.mydb.customers_shard1 表中的行可能具有与 myserver.mydb.customers_shard2 表中的行相同的键值。

为确保每个事件键在更改事件记录的表之间是唯一的，主题路由转换会将字段插入到更改事件键中。默认情况下，插入字段的名称为 __dbz__physicalTableIdentifier。insert 字段的值是默认的目的地主题名称。

如果要，您可以配置主题路由转换，将不同的字段插入到键中。要做到这一点，指定 key.field.name 选项，并将其设置为没有现有主键字段名称的字段名称。例如：

transforms=Reroute
transforms.Reroute.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Reroute.topic.regex=(.*)customers_shard(.*)
transforms.Reroute.topic.replacement=$1customers_all_shards
transforms.Reroute.key.field.name=shard_id

本例将 shard_id 字段添加到路由记录中的键结构中。

如果要调整密钥的新字段的值，请配置这两个选项：

例如：

transforms.Reroute.key.field.regex=(.*)customers_shard(.*)
transforms.Reroute.key.field.replacement=$2

使用这个配置，假设默认目标主题名称是：

myserver.mydb.customers_shard1
myserver.mydb.customers_shard2
myserver.mydb.customers_shard3

转换使用第二个捕获的组中的值，即分片编号，作为 key 的新字段的值。在本例中，插入的 key 字段的值为 1、2 或 3。

如果您的表包含全局唯一的密钥，而您不需要更改密钥结构，您可以将 key.enforce.uniqueness 选项设置为 false ：

...
transforms.Reroute.key.enforce.uniqueness=false
...

除了 Debezium 连接器在数据库更改时发出的更改事件消息外，连接器还会发出其他类型的信息，包括心跳消息，以及有关 schema 更改和事务的元数据消息。由于这些其他消息的结构与 SMT 设计的更改事件消息的结构不同，因此最好将连接器配置为有选择地应用 SMT，以便它只处理预期的数据更改消息。

您可以使用以下任一方法配置连接器来有选择地应用 SMT：

下表描述了主题路由 SMT 配置选项。