第 3 章 使用 Apache Kafka 的 Streams 部署的内容
Apache Kafka 的流允许将 Apache Kafka 组件部署到 OpenShift 集群,通常作为集群运行以实现高可用性。
使用 Streams for Apache Kafka 的标准 Kafka 部署可能包括以下组件:
- 代理节点的 Kafka 集群作为核心组件
- 用于外部数据连接的 Kafka 连接 集群
- Kafka MirrorMaker 集群将数据镜像到另一个 Kafka 集群
- Kafka Exporter 来提取额外的 Kafka 指标数据以进行监控。
- Kafka Bridge 以启用与 Kafka 的基于 HTTP 的通信
- Cruise Control 在代理间重新平衡主题分区
并非所有组件都是必需的,但您需要 Kafka 作为 Apache Kafka 管理的 Kafka 集群的流最小值。根据您的用例,您可以根据需要部署其他组件。这些组件也可以与不是由 Apache Kafka 的 Streams 管理的 Kafka 集群一起使用。
3.1. 部署顺序 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
部署到 OpenShift 集群所需的顺序如下:
- 部署 Cluster Operator 以管理 Kafka 集群
- 使用 ZooKeeper 集群部署 Kafka 集群,并在部署中包含主题 Operator 和 User Operator
(可选)部署:
- 如果没有使用 Kafka 集群部署主题 Operator 和用户 Operator 独立
- Kafka Connect
- Kafka MirrorMaker
- Kafka Bridge
- 用于监控指标的组件
Cluster Operator 为组件创建 OpenShift 资源,如 Deployment、Service 和 Pod 资源。OpenShift 资源的名称附加在部署时为组件指定的名称。例如,名为 my-kafka-cluster 的 Kafka 集群有一个名为 my-kafka-cluster-kafka 的服务。