红帽构建的 Debezium 3.0.8 发行注记

运行 Debezium 的 Java 要求已更改。从这个版本开始，所有 Debezium 连接器都需要 Java 17 运行时基准。

如果您将 Java 11 与新连接器搭配使用，则 Kafka Connect 静默无法找到连接器。连接器不会报告任何字节代码错误

要运行 Debezium 服务器，需要一个 Java 21 的运行时基准。

在以前的版本中，在连接器重启后，Debezium 会自动重新处理基于 Kafka 的信号，这可能会导致意外的副作用。从这个版本开始，如果连接器停止，并且希望处理基于 Kafka 的信号，您必须重新提交信号。

增量快照信号的已弃用的 additional-condition 字段已被删除，并不再被支持。此字段被新的 additional-conditions 属性替代，它允许您根据表指定条件。如果有引用旧字段的脚本或工作流，请更新它们以使用新属性。

MariaDB 和 MysSQL 文档的早期版本为 schema.history.internal.store.only.captured.databases.ddl 属性提供了不正确的默认值。正确的默认值为 false。

虽然这个更改不会影响代码，但如果您之前设置了此属性，请检查您当前的配置以验证它是否最适合您的环境。如需更多信息，请参阅 Debezium 用户指南。

Oracle 连接器的默认 mining 策略现在是 online_catalog。如果您之前依赖于默认的 redo_log_catalog 策略，并且希望继续使用该策略，您必须在连接器配置中明确指定它。

如需更多信息，请参阅：第 1.4.2.3.1 节 “新的默认 mining 策略(DBZ-3656)”。

现在，在之前的发行版本中弃用的以下 Oracle 连接器配置属性已在 Debezium 3.0.8: 中删除：

ReselectColumnsPostProcessor 行为已更改。在本发行版本中，后处理器现在重新选择 Oracle LOB 列，而不考虑 lob.enabled 配置属性的值。在这个版本中，您可以使用列 reselection post processer 来填充 LOB 列，而无需在流过程中减去这些列。

现在完全支持 MariaDB 的独立连接器实现。

Oracle 连接器现在提供对处理 BLOB、CLOB 和 NCLOB 数据类型的完全支持。如需更多信息，请参阅 Debezium 用户指南中的 Oracle 二进制和字符 LOB 类型。

现在，所有 Debezium SQL 连接器都提供了使用多个并行线程来执行初始快照的功能，但 MySQL 和 MariaDB 除外。Debezium MariaDB 和 MySQL 连接器的并行初始快照 作为开发者预览功能提供。

要将连接器配置为使用并行初始快照，请将连接器配置中的 snapshot.max.threads 属性设置为大于 1 的值。

如需更多信息，请参阅 Debezium 用户指南文档中的 snapshot.max.threads 部分。

JDBC sink 连接器使用一组缓冲区来提高写入目标数据库的吞吐量。在某些情况下，当其他应用程序锁定特定行或表时，这些缓冲区的清除操作会面临特定的异常。为了提高用户体验，现在连接器有两个配置属性：

重试功能默认为启用。连接器尝试最多 5 次尝试重试清除操作，在重试尝试之间有一个 1 秒的延迟。如果您不希望连接器重试清除操作，请将 flush.max.retries 设置为 0 来禁用此功能。

在 Debezium 3.0.8 中，Oracle 连接器 log.mining.strategy 属性的默认值已从 redo_log_catalog 改为通常更高性能的 online_catalog 选项。如果您之前使用默认的 redo_log_catalog 策略，并且希望在升级到当前版本后保留该设置，您必须将 log.mining.strategy 属性的值明确设置为 redo_log_catalog。

在早期版本中，Oracle RAC 节点清除策略被修改为强制在数据库管理员关闭 Oracle RAC 节点时强制进行 3 秒的延迟。在这个暂停过程中，连接器会尝试清除日志写入器(LGWR)进程。但是，即使在未刷新 LGWR 缓冲区时，暂停也会实现。因为 RAC 节点在离线时无法写入 redo 日志，所以这个延迟引入了不必要的延迟。

在 Debezium 3.0.8 中，为了提高稳定性，现在只对激活到 Oracle RAC 节点的连接施加 3 秒延迟。因此，在管理员将 RAC 节点离线后，连接器将不再实施任何延迟。

在 Oracle 中，要确保 LOB 列不是 NULL，您可以使用 EMPTY_CLOB （）或 EMPTY_BLOB （）函数 在表中指定 CLOB 或 BLOB 字段的默认值。之前的 Debezium 版本没有评估这些特殊功能，这会导致连接器将这些列标记为可选，因为它们可以包含 null 值。

从 Debezium 3.0.8 开始，当您使用 EMPTY_BLOB （） 或 EMPTY_CLOB （） 函数定义 Oracle BLOB 列的默认值时，连接器现在发出该字段为不可选。生成的更改事件中的字段包含适当的默认值，可以是空字节数组或空字符串。

通过添加新的连接器配置属性 snapshot.isolation.mode，此功能解决了为 PostgreSQL 提供快照隔离支持的长期请求。现在，您可以通过指定四个快照隔离级别之一来指定在执行初始和临时阻塞快照时如何平衡对一致性和性能的需求：

这些隔离级别指定快照 的一致性，以及应用到源数据的锁定类型（若有），当连接器在快照过程中读取它时。

例如，您可以将 snapshot.isolation.mode 设置为 serializable 来强制执行严格的隔离和锁定，防止管理员和用户在创建快照时执行此类操作。或者，您可以应用最严格的 read_uncommitted 设置，这允许快照从尚未提交的用户事务中读取数据。允许所知的"dirty 读取"，可能会导致数据不一致，但同时，因为数据没有锁定，因此快照不会干扰数据库性能。

如需更多信息，请参阅 PostgreSQL 连接器文档中的 snapshot.isolation.mode。

PostgreSQL 15 引入了 pgvector 扩展，它提供以下数据类型：

从 Debezium 3.0.8 开始，PostgreSQL 连接器支持流传输使用这些 pgvector 数据类型的事件。当连接器为涉及其中一个数据类型的操作发出更改事件记录时，它会根据以下列表中的映射将源中的每个向量类型转换为语义类型：

在数据库中启用 pgvector 扩展后，Debezium 不需要进一步配置来转换向量值。如需更多信息，请参阅 PostgreSQL 连接器文档中的 pgvector 类型。

透明数据加密(TDE) 在 SQL Server 2017 Enterprise Edition 及 SQL Server 2019 和 2022 年的 Standard Edition 和 Enterprise Edition 中都提供。顾名思义，TDE 会自动运行，并透明地在数据库和事务日志中加密数据。如果为数据库启用了 TDE，则未授权用户无法读取数据。同时，授权用户访问不会受到影响，包括由正确配置的 Debezium SQL Server 连接器访问。不需要特殊的配置才能使 Debezium 流传输启用了 TDE 的 SQL Server 数据库的更改。也就是说，如果连接器可以连接到未为 TDE 启用的数据库，并且稍后数据库启用了 TDE，原始连接器配置仍可以正常工作。

现在，当您部署单个连接器来流传输来自多个 SQL Server 数据库的更改时，可以唯一标识每个数据库任务的信号频道。

更改了 Debezium SQL Server 连接器在信号和通知操作中使用的 MBean 名称格式，以确保每个任务的唯一性。普通的 JMX 指标通过 taskId 属性注册，因为 SQL Server 支持为每个数据库映射生成唯一的任务。在过去的版本中，JMX 信号频道不符合此目的，这可能会阻止连接器为每个任务启动频道。将 taskId 添加到 MBean 名称后，连接器可在这些操作 span 数据库时使用多个任务。如需更多信息，请参阅 Debezium 用户指南中的 Debezium SQL Server 连接器模式历史记录指标。

Debezium SQL Server 连接器的文档现在可以正确地描述 模式历史记录 MBean 名称 的格式。更新的 description 指定名称现在包含快照和流指标 MBean 名称中存在的相同 任务 属性。

PostgreSQL 是唯一的，您可以在不创建 outbox 表的情况下实施 Outbox 模式。相反，数据库可以使用 pg_logical_emit_message 函数将逻辑消息直接写入 write-ahead 日志(WAL)。但是，当 Debezium 从 WAL 捕获这些事件时，它发送到 Kafka 的数据会被格式化为一系列字节。消耗需要结构化消息的应用程序可能无法消耗此格式的数据。

新的 Logical message decoder SMT (DecodeLogicalDecodingMessageContent)是一个特定于 PostgreSQL 的单消息转换。这个转换旨在将 pg_logical_emit_message 事件字节转换为结构化事件格式，以便消耗应用程序可以处理它们。这样，您可以在不创建物理出箱表的情况下实施 Outbox 模式。如需更多信息，请参阅 Debezium 用户指南中的 PostgreSQL 逻辑解码消息中的解码二进制内容。

要存储其大小超过列的标准容量的数据类型，一些数据库使用专用机制将过度化数据存储在主表之外的外部位置。例如，PostgreSQL 使用 Oversized-Attribute Storage Technique (TOAST)，Oracle 使用大对象(LOB)存储或 Oracle Exadata Extended Strings。

默认情况下，当 Debezium 发出事件记录以响应包含 oversized 数据字段的表行中更改时，生成的事件记录只会包括由 SQL 操作更改的数据字段的值。只有在表操作修改 oversized data 列的值时，连接器才会填充这些值。如果过度化数据列的值保持不变，连接器会为字段插入占位符。此占位符错误地表示字段不包含值。

引进了 ReselectColumnsPostProcessor，用于在更改事件记录中填充过度数据字段的值。此后处理器现在支持对 int 和 bigint 数组数据类型的重新选择，因此这些字段始终会被填充，即使它们的值在 SQL 操作后保持不变。

此发行版本引入了 MongoDB sink 连接器实现。Debezium MongoDB sink 连接器与其他供应商实现不同，它可以获取 Debezium 连接器发出的最大原始更改事件，而无需首先应用事件扁平化转换。MongoDB sink 连接器可以利用原生 Debezium 源连接器功能，如列类型传播，使您能够减少数据管道的处理空间，并简化其配置。

与需要安装额外插件的 JDBC 接收器关系连接器不同，MongoDB sink 连接器与同一工件中的 MongoDB 源连接器捆绑在一起。因此，如果您安装 Debezium 3.0.8 MongoDB 源连接器，您也可以有 MongoDB sink 连接器。

需要最小配置才能使用 MongoDB sink 连接器开始，例如：

{
  "connector.class": "io.debezium.connector.mongodb.MongoDbSinkConnector",
  "connection.string": "...",
  "topics": "topic1,topic2",
  "sink.database": "targetdb"
}

{
  "connector.class": "io.debezium.connector.mongodb.MongoDbSinkConnector",
  "connection.string": "...",
  "topics": "topic1,topic2",
  "sink.database": "targetdb"
}

以下配置属性是必需的：

在 MySQL 连接器中使用并行模式快照的功能仍作为开发者技术预览功能提供。

为了提高快照性能，MySQL 连接器实施并行化为并发快照更改事件，并为表生成 schema 事件。通过并行运行快照并生成模式事件，连接器减少了捕获数据库中许多表模式所需的时间。

MySQL 的 Debezium 初始快照始终为单线程。这种限制主要源自确保多个事务间数据一致性的复杂性。

在本发行版本中，您可以将 MySQL 连接器配置为使用多个线程来并行执行表级快照。

要利用这个新功能，将 snapshot.max.threads 属性添加到连接器配置，并将 属性设置为大于 1 的值。

snapshot.max.threads=4

snapshot.max.threads=4

根据上例中的配置，连接器可以一次性快照最多四个表。如果快照的表数量大于 4，在线程完成处理前四个表后，它会在队列中找到下一个表并开始执行快照。进程将继续，直到连接器完成所有指定表上执行快照。

如需更多信息，请参阅 Debezium 用户指南中的 snapshot.max.threads。

Oracle 连接器捕获逻辑待机更改的功能仍作为开发者预览功能提供。当 Oracle 的 Debezium 连接器连接到一个生产环境或主数据库时，它使用内部清除表来管理 Oracle Log Writer Buffer (LGWR)进程的清除周期。flush 进程要求用户帐户访问数据库具有创建和写入此清除表的权限。但是，逻辑支持的数据库通常具有限制性的数据操作规则，甚至可能是只读的。因此，写入数据库可能并不可行。

为了支持 Oracle 只读逻辑独立数据库，Debebe 引入了一个属性来禁用 flush 表的创建和管理。您可以将此功能用于 Oracle Standalone 和 Oracle RAC 安装。

要启用 Oracle 连接器使用只读逻辑 stand-by，请添加以下连接器选项：

internal.log.mining.read.only=true

internal.log.mining.read.only=true

如需更多信息，请参阅 Debezium 用户指南中的 Oracle 连接器文档。

在这个发行版本中，Debezium 继续为 PostgreSQL 连接器提供准确概念的语义，作为开发者预览功能。PostgreSQL 的完全一次交付仅适用于流阶段；完全交付不适用于快照。

Debezium 旨在提供最少一次交付，目的是确保连接器捕获受监控源中发生的所有更改事件。在 KIP-618 中，Apache Kafka 社区提出了解决方案，以解决生成者重试消息时发生的问题。源连接器有时会将事件批处理重新发送到 Kafka 代理，即使代理之前提交批处理。这种情况可能会导致向用户发送重复的事件（接收器连接器），这可能会导致无法轻松处理重复的用户出现问题。

不需要连接器配置更改才能启用完全一次交付。但是，必须在 Kafka Connect worker 配置中配置完全一次交付。有关设置所需的 Kafka Connect 配置属性的详情，请参考 KIP-618。