3.3. Debezium Db2 连接器数据更改事件的描述

Debezium Db2 连接器为每个行级 INSERT、UPDATE 和 DELETE 操作生成数据更改事件。每个事件包含一个键和值。键的结构和值取决于已更改的表。

Debezium 和 Kafka Connect 围绕 事件消息的持续流 设计。但是，这些事件的结构可能会随时间推移而改变，而用户很难处理这些事件。要解决这个问题，每个事件都包含其内容的 schema，或者如果您正在使用 schema registry，用户可以使用该模式 ID 从 registry 获取 schema。这使得每个事件都自包含。

以下框架 JSON 显示更改事件的基本四部分。但是，如何配置您选择在应用程序中使用的 Kafka Connect converter，决定更改事件中的这四个部分的表示。只有在将转换器配置为生成它时，schema 字段才会处于更改事件中。同样，只有在您配置转换器来生成它时，事件密钥和事件有效负载才会处于更改事件中。如果您使用 JSON 转换程序，并将其配置为生成所有四个基本更改事件部分，更改事件具有此结构：

{
 "schema": { 1
   ...
  },
 "payload": { 2
   ...
 },
 "schema": { 3
   ...
 },
 "payload": { 4
   ...
 },
}

表 3.7. 更改事件基本内容概述
项	字段名称	描述
1	`schema`	第一个 `schema` 字段是事件键的一部分。它指定一个 Kafka Connect 模式，用于描述事件键的 `payload` 部分的内容。换句话说，第一个 `schema` 字段描述了主密钥的结构，如果表没有主键，则描述主键的结构。可以通过设置 `message.key.columns` 连接器配置属性来覆盖表的主键。在这种情况下，第一个 schema 字段描述了该属性标识的键的结构。
2	`payload`	第一个 `payload` 字段是 event 键的一部分。它具有前面的 `schema` 字段描述的结构，它包含已更改的行的密钥。
3	`schema`	第二个 `schema` 字段是事件值的一部分。它指定 Kafka Connect 模式，用于描述事件值 `有效负载部分的内容`。换句话说，第二个 `模式` 描述了已更改的行的结构。通常，此模式包含嵌套模式。
4	`payload`	第二个 `payload` 字段是事件值的一部分。它具有上一个 `schema` 字段描述的结构，它包含已更改的行的实际数据。

默认情况下，连接器流将事件记录改为与事件原始表相同的主题。如需更多信息，请参阅主题名称。

警告

Debezium Db2 连接器确保所有 Kafka Connect 模式名称都遵循 Avro 模式名称格式。这意味着逻辑服务器名称必须以拉丁字母或下划线开头，即 a-z、A-Z 或 _。逻辑服务器名称和数据库和表名称中的每个字符都必须是拉丁字母、数字或下划线，即 a-z、A-Z、0-9 或 \_。如果存在无效字符，它将使用下划线字符替换。

如果逻辑服务器名称、数据库名称或表名称包含无效字符，且唯一与另一个名称区分名称的字符无效，这可能会导致意外冲突冲突，从而被下划线替换。

另外，数据库、模式和表的 Db2 名称可能区分大小写。这意味着连接器可将多个表的事件记录发送到同一 Kafka 主题。

详情包括在以下主题中：

3.3.1. 关于 Debezium db2 中的键更改事件

更改事件的密钥包含更改表的密钥和更改行的实际键的 schema。当连接器创建事件时，schema 及其对应有效负载都会包含更改表的 PRIMARY KEY （或唯一约束）中每个列的字段。

考虑以下 客户 表，后跟此表的更改事件键的示例。

表示例

CREATE TABLE customers (
 ID INTEGER IDENTITY(1001,1) NOT NULL PRIMARY KEY,
 FIRST_NAME VARCHAR(255) NOT NULL,
 LAST_NAME VARCHAR(255) NOT NULL,
 EMAIL VARCHAR(255) NOT NULL UNIQUE
);

更改事件键示例

每次捕获 customer 表的更改事件都有相同的事件关键模式。只要 customers 表有以前的定义，可以捕获 customer 表更改的事件都有以下关键结构：在 JSON 中，它类似如下：

{
    "schema": {  1
        "type": "struct",
        "fields": [  2
            {
                "type": "int32",
                "optional": false,
                "field": "ID"
            }
        ],
        "optional": false,  3
        "name": "mydatabase.MYSCHEMA.CUSTOMERS.Key"  4
    },
    "payload": {  5
        "ID": 1004
    }
}

表 3.8. 更改事件键的描述
项	字段名称	描述
1	`schema`	键的 schema 部分指定一个 Kafka Connect 模式，它描述了键的 `payload` 部分的内容。
2	`fields`	指定 `有效负载中` 预期的每个字段，包括每个字段的名称、类型以及是否需要。
3	`optional`	指明 event 键是否必须在其 `payload` 字段中包含一个值。在本例中，键有效负载中的值是必需的。当表没有主键时，键的 payload 字段中的值是可选的。
4	`mydatabase.MYSCHEMA.CUSTOMERS.Key`	定义密钥有效负载结构的模式名称。这个 schema 描述了已更改的表的主键的结构。键模式名称的格式是 connector-name.database-name.table-name.`Key`.在本例中： `mydatabase` 是生成此事件的连接器的名称。 `MYSCHEMA` 是包含已更改的表的数据库模式。 `CUSTOMERS` 是更新的表。
5	`payload`	包含生成此更改事件的行的密钥。在本例中，键包含一个 `ID` 字段，其值为 `1004`。

3.3.2. 关于 Debezium Db2 中的值更改事件

更改事件中的值比键复杂一些。与键一样，该值有一个 schema 部分和 payload 部分。schema 部分包含描述 payload 部分的 Envelope 结构的 schema，包括其嵌套字段。为创建、更新或删除数据的操作更改事件，它们都有一个带有 envelope 结构的值有效负载。

考虑用于显示更改事件键示例的相同示例表：

表示例

CREATE TABLE customers (
 ID INTEGER IDENTITY(1001,1) NOT NULL PRIMARY KEY,
 FIRST_NAME VARCHAR(255) NOT NULL,
 LAST_NAME VARCHAR(255) NOT NULL,
 EMAIL VARCHAR(255) NOT NULL UNIQUE
);

customer 表的每个更改事件的事件值部分都指定了相同的模式。事件值的有效负载因事件类型而异：

创建事件

以下示例显示了一个更改事件的值部分，连接器为在 customer 表中创建数据的操作生成的更改事件的值部分：

{
  "schema": {  1
    "type": "struct",
    "fields": [
      {
        "type": "struct",
        "fields": [
          {
            "type": "int32",
            "optional": false,
            "field": "ID"
          },
          {
            "type": "string",
            "optional": false,
            "field": "FIRST_NAME"
          },
          {
            "type": "string",
            "optional": false,
            "field": "LAST_NAME"
          },
          {
            "type": "string",
            "optional": false,
            "field": "EMAIL"
          }
        ],
        "optional": true,
        "name": "mydatabase.MYSCHEMA.CUSTOMERS.Value",  2
        "field": "before"
      },
      {
        "type": "struct",
        "fields": [
          {
            "type": "int32",
            "optional": false,
            "field": "ID"
          },
          {
            "type": "string",
            "optional": false,
            "field": "FIRST_NAME"
          },
          {
            "type": "string",
            "optional": false,
            "field": "LAST_NAME"
          },
          {
            "type": "string",
            "optional": false,
            "field": "EMAIL"
          }
        ],
        "optional": true,
        "name": "mydatabase.MYSCHEMA.CUSTOMERS.Value",
        "field": "after"
      },
      {
        "type": "struct",
        "fields": [
          {
            "type": "string",
            "optional": false,
            "field": "version"
          },
          {
            "type": "string",
            "optional": false,
            "field": "connector"
          },
          {
            "type": "string",
            "optional": false,
            "field": "name"
          },
          {
            "type": "int64",
            "optional": false,
            "field": "ts_ms"
          },
          {
            "type": "boolean",
            "optional": true,
            "default": false,
            "field": "snapshot"
          },
          {
            "type": "string",
            "optional": false,
            "field": "db"
          },
          {
            "type": "string",
            "optional": false,
            "field": "schema"
          },
          {
            "type": "string",
            "optional": false,
            "field": "table"
          },
          {
            "type": "string",
            "optional": true,
            "field": "change_lsn"
          },
          {
            "type": "string",
            "optional": true,
            "field": "commit_lsn"
          },
        ],
        "optional": false,
        "name": "io.debezium.connector.db2.Source",  3
        "field": "source"
      },
      {
        "type": "string",
        "optional": false,
        "field": "op"
      },
      {
        "type": "int64",
        "optional": true,
        "field": "ts_ms"
      }
    ],
    "optional": false,
    "name": "mydatabase.MYSCHEMA.CUSTOMERS.Envelope"  4
  },
  "payload": {  5
    "before": null,  6
    "after": {  7
      "ID": 1005,
      "FIRST_NAME": "john",
      "LAST_NAME": "doe",
      "EMAIL": "john.doe@example.org"
    },
    "source": {  8
      "version": "2.3.4.Final",
      "connector": "db2",
      "name": "myconnector",
      "ts_ms": 1559729468470,
      "snapshot": false,
      "db": "mydatabase",
      "schema": "MYSCHEMA",
      "table": "CUSTOMERS",
      "change_lsn": "00000027:00000758:0003",
      "commit_lsn": "00000027:00000758:0005",
    },
    "op": "c",  9
    "ts_ms": 1559729471739  10
  }
}

表 3.9. 创建事件值字段的描述
项	字段名称	描述
1	`schema`	值的 schema，用于描述值有效负载的结构。当连接器为特定表生成的每次更改事件中，更改事件的值模式都是相同的。
2	`name`	在 `schema` 部分中，每个 `name` 字段为值的有效负载中的字段指定 schema。 `mydatabase.MYSCHEMA.CUSTOMERS.Value` 是有效负载 `before` 和 `after` 字段的 schema。这个模式特定于 `customers` 表。连接器将此模式用于 `MYSCHEMA.CUSTOMERS` 表中的所有行。 `before` 和 `after` 字段的 schema 的名称格式为 `logicalName.schemaName.tableName.Value`，这样可确保 schema 名称在数据库中是唯一的。这意味着，在使用 Avro converter 时，每个逻辑源中的每个表生成的 Avro 模式都有自己的 evolution 和 history。
3	`name`	`io.debezium.connector.db2.Source` 是有效负载的 `source` 字段的 schema。这个模式特定于 Db2 连接器。连接器将其用于它生成的所有事件。
4	`name`	`mydatabase.MYSCHEMA.CUSTOMERS.Envelope` 是载荷总体结构的 schema，其中 `mydatabase` 是数据库，`MYSCHEMA` 是架构，`CUSTOMERS` 是表。
5	`payload`	值的实际数据。这是更改事件提供的信息。可能会出现事件的 JSON 表示比它们描述的行大得多。这是因为 JSON 表示必须包含消息的 schema 部分和有效负载部分。但是，通过使用 Avro converter，您可以显著减少连接器流到 Kafka 主题的信息大小。
6	`before`	指定事件发生前行状态的可选字段。当 `op` 字段是 `c` 用于创建（如本例所示），`before` 字段为 `null`，因为此更改事件用于新内容。
7	`after`	指定事件发生后行状态的可选字段。在本例中，`after` 字段包含新行的 `ID`、`FIRST_NAME`、`LAST_NAME` 和 `EMAIL` 列的值。
8	`source`	描述事件源元数据的必需字段。`源` 结构显示有关此更改的 Db2 信息，它提供了可追溯性。它还有可与同一主题中的其他事件或其它主题进行比较的信息，以了解此事件在之前、之后还是与其他事件相同提交的一部分。源元数据包括： Debezium 版本连接器类型和名称在数据库中进行更改时的时间戳事件是持续快照的一部分包含新行的数据库、模式和表的名称更改 LSN 提交 LSN （如果此事件是快照的一部分）
9	`op`	描述导致连接器生成事件的操作类型的强制字符串。在本例中，`c` 表示操作创建了行。有效值为： `c` = create `u` = update `d` = delete `r` = 读取（仅适用于快照）
10	`ts_ms`	可选字段，显示连接器处理事件的时间。这个时间基于运行 Kafka Connect 任务的 JVM 中的系统时钟。 `在源` 对象中，`ts_ms` 表示数据库中进行更改的时间。通过将 `payload.source.ts_ms` 的值与 `payload.ts_ms` 的值进行比较，您可以确定源数据库更新和 Debezium 之间的滞后。

更新事件

示例 customers 表中一个更新的改变事件的值有与那个表的 create 事件相同的模式。同样，update 事件值有效负载具有相同的结构。但是，事件值有效负载在 update 事件中包含不同的值。以下是连接器为 customer 表中更新生成的更改事件值 的示例 ：

{
  "schema": { ... },
  "payload": {
    "before": {  1
      "ID": 1005,
      "FIRST_NAME": "john",
      "LAST_NAME": "doe",
      "EMAIL": "john.doe@example.org"
    },
    "after": {  2
      "ID": 1005,
      "FIRST_NAME": "john",
      "LAST_NAME": "doe",
      "EMAIL": "noreply@example.org"
    },
    "source": {  3
      "version": "2.3.4.Final",
      "connector": "db2",
      "name": "myconnector",
      "ts_ms": 1559729995937,
      "snapshot": false,
      "db": "mydatabase",
      "schema": "MYSCHEMA",
      "table": "CUSTOMERS",
      "change_lsn": "00000027:00000ac0:0002",
      "commit_lsn": "00000027:00000ac0:0007",
    },
    "op": "u",  4
    "ts_ms": 1559729998706  5
  }
}

表 3.10. 更新事件值字段的描述
项	字段名称	描述
1	`before`	指定事件发生前行状态的可选字段。在 update 事件值中，`before` 字段包含每个表列的字段，以及数据库提交前该列中的值。在本例中，请注意 `EMAIL` 值为 `john.doe@example.com`。
2	`after`	指定事件发生后行状态的可选字段。您可以比较 `before` 和 `after` 结构，以确定这个行的更新是什么。在这个示例中，`EMAIL` 值是 `noreply@example.com`。
3	`source`	描述事件源元数据的必需字段。`source` 字段结构包含与 create 事件中的相同字段，但某些值有所不同，例如，示例 update 事件具有不同的 LSN。您可以使用此信息将此事件与其他事件进行比较，以了解此事件在之前、之后还是与其他事件相同的提交的一部分。源元数据包括： Debezium 版本连接器类型和名称在数据库中进行更改时的时间戳事件是持续快照的一部分包含新行的数据库、模式和表的名称更改 LSN 提交 LSN （如果此事件是快照的一部分）
4	`op`	描述操作类型的强制字符串。在 update 事件值中，`op` 字段值为 `u`，表示此行因为更新而改变。
5	`ts_ms`	可选字段，显示连接器处理事件的时间。这个时间基于运行 Kafka Connect 任务的 JVM 中的系统时钟。 `在源` 对象中，`ts_ms` 表示数据库中进行更改的时间。通过将 `payload.source.ts_ms` 的值与 `payload.ts_ms` 的值进行比较，您可以确定源数据库更新和 Debezium 之间的滞后。

注意

更新行 primary/unique 键的列会更改行的键值。当键更改时，Debezium 会输出三个事件：一个 DELETE 事件，以及一个带有行的旧键的 tombstone 事件，后跟一个带有行的新键的事件。

删除事件

delete 更改事件中的值与为同一表的 create 和 update 事件相同的 schema 部分。示例 customer 表的 delete 事件中的事件值 payload 类似如下：

{
  "schema": { ... },
  },
  "payload": {
    "before": {  1
      "ID": 1005,
      "FIRST_NAME": "john",
      "LAST_NAME": "doe",
      "EMAIL": "noreply@example.org"
    },
    "after": null,  2
    "source": {  3
      "version": "2.3.4.Final",
      "connector": "db2",
      "name": "myconnector",
      "ts_ms": 1559730445243,
      "snapshot": false,
      "db": "mydatabase",
      "schema": "MYSCHEMA",
      "table": "CUSTOMERS",
      "change_lsn": "00000027:00000db0:0005",
      "commit_lsn": "00000027:00000db0:0007"
    },
    "op": "d",  4
    "ts_ms": 1559730450205  5
  }
}

表 3.11. 删除事件值字段的描述
项	字段名称	描述
1	`before`	指定事件发生前行状态的可选字段。在一个 delete 事件值中，`before` 字段包含在使用数据库提交删除行前的值。
2	`after`	指定事件发生后行状态的可选字段。在 delete 事件值中，`after` 字段为 `null`，表示行不再存在。
3	`source`	描述事件源元数据的必需字段。在一个 delete 事件值中，`source` 字段结构与同一表的 create 和 update 事件相同。许多 `source` 字段值也相同。在 delete 事件值中，`ts_ms` 和 LSN 字段值以及其它值可能会改变。但是 delete 事件值中的 `source` 字段提供相同的元数据： Debezium 版本连接器类型和名称在数据库中进行更改时的时间戳事件是持续快照的一部分包含新行的数据库、模式和表的名称更改 LSN 提交 LSN （如果此事件是快照的一部分）
4	`op`	描述操作类型的强制字符串。`op` 字段值为 `d`，表示此行已被删除。
5	`ts_ms`	可选字段，显示连接器处理事件的时间。这个时间基于运行 Kafka Connect 任务的 JVM 中的系统时钟。 `在源` 对象中，`ts_ms` 表示数据库中进行更改的时间。通过将 `payload.source.ts_ms` 的值与 `payload.ts_ms` 的值进行比较，您可以确定源数据库更新和 Debezium 之间的滞后。

删除更改事件记录为消费者提供处理此行删除所需的信息。包含旧值，因为有些用户可能需要它们才能正确处理删除。

Db2 连接器事件旨在使用 Kafka 日志压缩。只要保留每个密钥的最新消息，日志压缩就会启用删除一些旧的消息。这可让 Kafka 回收存储空间，同时确保主题包含完整的数据集，并可用于重新载入基于密钥的状态。

删除行时，delete 事件值仍可用于日志压缩，因为 Kafka 您可以删除具有相同键的所有之前信息。但是，要让 Kafka 删除具有相同键的所有消息，消息值必须为 null。为了实现此目的，在 Debezium 的 Db2 连接器发出 delete 事件后，连接器会发出一个特殊的 tombstone 事件，它具有相同的键有一个 null 值。

3.3. Debezium Db2 连接器数据更改事件的描述

3.3.1. 关于 Debezium db2 中的键更改事件

3.3.2. 关于 Debezium Db2 中的值更改事件

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Red Hat legal and privacy links

Red Hat legal and privacy links