第 3 章 开始使用
AMQ Streams 在 ZIP 文件中发布。ZIP 文件包含以下组件的安装工件:
- Apache Kafka
- Apache ZooKeeper
- Apache Kafka Connect
- Apache Kafka MirrorMaker
Kafka Bridge 有单独的安装文件。有关安装和使用 Kafka Bridge 的详情,请参考使用 AMQ Streams Kafka Bridge。
3.1. 安装环境
AMQ Streams 在 Red Hat Enterprise Linux 中运行。主机(节点)可以是物理或虚拟虚拟机(VM)。使用 AMQ Streams 提供的安装文件来安装 Kafka 组件。您可以在单节点或多节点环境中安装 Kafka。
- 单节点环境
- 单节点 Kafka 集群在单个主机上运行一个或多个 Kafka 代理和 ZooKeeper 实例。此配置不适用于生产环境。
- 多节点环境
- 多节点 Kafka 集群在多个主机上运行一个或多个 Kafka 代理和 ZooKeeper 实例。
建议您在单独的主机上运行 Kafka 和其他 Kafka 组件,如 Kafka Connect。通过以这种方式运行组件,更轻松地维护和升级每个组件。
Kafka 客户端使用 bootstrap.servers
配置属性建立与 Kafka 集群的连接。如果使用 Kafka Connect,例如 Kafka Connect 配置属性必须包含 bootstrap.servers
值,用于指定运行 Kafka 代理的主机的主机名和端口。如果 Kafka 集群在多个带有多个 Kafka 代理的主机上运行,您可以为每个代理指定一个主机名和端口。每个 Kafka 代理都由 broker.id
标识。
3.1.1. 支持的环境版本
AMQ Streams 必须在受支持的 Red Hat Enterprise Linux 版本中运行。环境还必须使用受支持的 JVM 版本。如需更多信息,请参阅 支持的配置。
3.1.2. 数据存储注意事项
有效的数据存储基础架构对于 AMQ Streams 的最佳性能至关重要。
块存储是必需的。文件存储(如 NFS)无法用于 Kafka。
为您的块存储选择以下选项之一:
- 基于云的块存储解决方案,如 Amazon Elastic Block Store (EBS)
- 本地存储
- 由 光纤通道或 iSCSI等协议访问的存储区域网络(SAN)卷
3.1.3. 文件系统
Kafka 使用文件系统来存储信息。AMQ Streams 与 XFS 和 ext4 文件系统兼容,它们通常与 Kafka 一起使用。在选择和设置文件系统时,请考虑部署的底层架构和要求。
如需更多信息,请参阅 Kafka 文档中的 Filesystem Selection。
3.1.4. Apache Kafka 和 ZooKeeper 存储
为 Apache Kafka 和 ZooKeeper 使用单独的磁盘。
Kafka 支持 JBOD (Just a Bunch of Disks)存储,这是多个磁盘或卷的数据存储配置。JBOD 为 Kafka 代理提供更高的数据存储。它还可以提高性能。
虽然使用固态驱动器 (SSD) 并不是必须的,但它可以在大型集群中提高 Kafka 的性能,其中数据会异步发送到多个主题,并从多个主题接收。SSD 与 ZooKeeper 特别有效,这需要快速、低延迟数据访问。
您不需要置备复制存储,因为 Kafka 和 ZooKeeper 都有内置数据复制。
其他资源