第 1 章 AMQ Streams 概述
Red Hat AMQ Streams 是一个可大规模扩展的、分布式和高性能数据流平台,它基于 Apache ZooKeeper 和 Apache Kafka 项目。
主要组件组成:
- Kafka Broker
负责从生成客户端到使用客户端的记录的消息传递代理。
Apache ZooKeeper 是 Kafka 的一个核心依赖,为高度可靠的分布式协调提供集群协调服务。
- Kafka Streams API
- 用于编写 流处理器 应用程序的 API。
- Producer 和 Consumer APIs
- 用于生成和使用 Kafka 代理的消息的基于 Java 的 API。
- Kafka Bridge
- AMQ Streams Kafka Bridge 提供了一个 RESTful 接口,它允许基于 HTTP 的客户端与 Kafka 集群交互。
- Kafka Connect
- 使用 Connector 插件在 Kafka 代理和其他系统间流数据的工具程序。
- Kafka MirrorMaker
- 在两个 Kafka 集群、内部或跨数据中心之间复制数据。
- Kafka Exporter
- 在 Kafka 指标数据的提取中使用的 exporter 用于监控。
Kafka 代理集群是连接所有这些组件的 hub。代理使用 Apache ZooKeeper 来存储配置数据和集群协调。在运行 Apache Kafka 前,Apache ZooKeeper 集群必须就绪。
图 1.1. AMQ Streams 架构
1.1. 使用 Kafka Bridge 连接到 Kafka 集群 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
您可以使用 AMQ Streams Kafka Bridge API 来创建和管理消费者,并通过 HTTP 而不是原生 Kafka 协议来发送和接收记录。
当您设置 Kafka Bridge 时,您可以配置 HTTP 访问 Kafka 集群。然后,您可以使用 Kafka Bridge 来生成和消费来自集群的消息,以及通过其 REST 接口执行其他操作。