1.7. 使用 Kafka Connect 转换器将数据流传输到外部系统


您可以使用 Apache Kafka Connect 的 Service Registry 来流传输 Kafka 和外部系统之间的数据。使用 Kafka Connect,您可以为不同的系统定义连接器,将大量数据移到基于 Kafka 的系统中和移出。

图 1.3. Service Registry 和 Kafka Connect 架构

registry 和 Kafka 连接架构

Service Registry 为 Kafka Connect 提供以下功能:

  • Kafka Connect 模式的存储
  • Apache Avro 和 JSON 架构的 Kafka Connect 转换器
  • 管理模式的核心 Registry API

您可以使用 Avro 和 JSON Schema 转换器将 Kafka Connect 模式映射到 Avro 或 JSON 模式。然后,这些模式可以序列化消息键和值,格式为紧凑的 Avro 二进制格式或人类可读的 JSON 格式。转换的 JSON 也不详细,因为消息不包含架构信息,而只有架构 ID。

Service Registry 可以管理和跟踪 Kafka 主题中使用的 Avro 和 JSON 模式。由于架构存储在 Service Registry 中,并与消息内容分离,因此每个消息必须仅包含 tiny 模式标识符。对于 Kafka 等 I/O 绑定系统,这意味着生产者和消费者的总吞吐量。

此用例也使用由 Service Registry 提供的 Avro 和 JSON Schema 序列化器和反序列化器(SerDes)。您写入用于消耗更改事件的 Kafka 消费者应用程序可以使用 Avro 或 JSON SerDes 来反序列化这些更改事件。您可以将这些 SerDes 安装到任何基于 Kafka 的系统中,并将它们与 Kafka Connect 一起使用,或者与基于 Kafka Connect 的系统(如 Debezium 和 Camel Kafka Connector)一起使用。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.