第 1 章 AMQ Streams 概述
Red Hat AMQ Streams 是一个可大规模扩展的、分布式和高性能数据流平台,它基于 Apache ZooKeeper 和 Apache Kafka 项目。
主要组件组成:
- Kafka Broker
负责发送从生成客户端到消耗客户端的记录的消息传递代理。
Apache ZooKeeper 是 Kafka 的一个核心依赖项,为高度可靠的分布式协调提供集群协调服务。
- Kafka Streams API
- 用于编写 流处理器 应用程序的 API。
- Producer 和 Consumer APIs
- 基于 Java 的 API,用于向 Kafka 代理生成和使用信息。
- Kafka Bridge
- AMQ Streams Kafka Bridge 提供了一个 RESTful 接口,它允许基于 HTTP 的客户端与 Kafka 集群交互。
- Kafka Connect
- 使用 Connector 插件在 Kafka 代理和其他系统间流传输数据的工具包。
- Kafka MirrorMaker
- 在两个 Kafka 集群之间复制数据,在数据中心内或跨数据中心复制数据。
- Kafka Exporter
- 用于监控的 Kafka 指标数据提取中使用的 exporter。
Kafka 代理集群是连接所有这些组件的 hub。代理使用 Apache ZooKeeper 存储配置数据和集群协调。在运行 Apache Kafka 之前,Apache ZooKeeper 集群必须就绪。
图 1.1. AMQ Streams 架构
1.1. 使用 Kafka Bridge 连接到 Kafka 集群 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
您可以使用 AMQ Streams Kafka Bridge API 来创建和管理用户,并通过 HTTP 而不是原生 Kafka 协议来发送和接收记录。
设置 Kafka Bridge 时,您可以配置对 Kafka 集群的 HTTP 访问。然后,您可以使用 Kafka Bridge 来生成和消费来自集群的消息,以及通过其 REST 接口执行其他操作。