第 1 章 Apache Kafka 的 Streams 概述
AMQ 流支持基于 Apache Kafka 项目的高可扩展、分布式和高性能数据流。
主要组件包括:
- Kafka Broker
- 负责将记录从生成客户端到使用客户端的消息传递代理。
- Kafka Streams API
- 用于编写 流处理器 应用的 API。
- Producer 和 Consumer APIs
- 基于 Java 的 API,用于向 Kafka 代理生成和使用信息。
- Kafka Bridge
- Apache Kafka Bridge 的 Streams 提供了一个 RESTful 接口,它允许基于 HTTP 的客户端与 Kafka 集群交互。
- Kafka Connect
- 使用 Connector 插件在 Kafka 代理和其他系统间流传输数据的工具包。
- Kafka MirrorMaker
- 在两个 Kafka 集群或数据中心之间复制数据。
- Kafka Exporter
- 用于监控 Kafka 指标数据的导出器。
Kafka 代理的集群是 hub 连接所有这些组件。
图 1.1. Apache Kafka 架构流
1.1. 使用 Kafka Bridge 与 Kafka 集群连接
您可以使用 Apache Kafka Bridge API 的 Streams 来创建和管理消费者,并通过 HTTP 而不是原生 Kafka 协议发送和接收记录。
设置 Kafka Bridge 时,您可以配置对 Kafka 集群的 HTTP 访问。然后,您可以使用 Kafka Bridge 来生成和消费来自集群的消息,以及通过其 REST 接口执行其他操作。
其他资源
- 有关安装和使用 Kafka Bridge 的详情,请参考使用 Apache Kafka Bridge 的 Streams。