2.3. 安装 Kafka
使用 AMQ Streams ZIP 文件在 Red Hat Enterprise Linux 上安装 Kafka。您可以在单节点或多节点环境中安装 Kafka。在此过程中,单个 Kafka 代理和 ZooKeeper 实例安装在单一主机上(node)。
AMQ Streams 安装文件包括运行其他 Kafka 组件的二进制文件,如 Kafka Connect、Kafka MirrorMaker 2.0 和 Kafka Bridge。在单节点环境中,您可以从安装 Kafka 的同一主机运行这些组件。但是,建议您添加安装文件并在单独的主机上运行其他 Kafka 组件。
如果您使用多节点环境,您可以在多个主机上安装 Kafka 代理和 ZooKeeper 实例。为每个主机重复安装步骤。要识别每个 ZooKeeper 实例和代理,您可以在配置中添加唯一的 ID。更多信息请参阅 第 3 章 运行多节点环境。
流程
使用 ZooKeeper 在您的主机上安装 Kafka。
添加新的
kafka用户和组:groupadd kafka useradd -g kafka kafka passwd kafka将
amq-streams-<version>-bin.zip文件的内容提取到/opt/kafka目录中。unzip amq-streams-<version>-bin.zip -d /opt mv /opt/kafka*redhat* /opt/kafka此步骤需要管理员特权。
将
/opt/kafka目录的所有权改为kafka用户:chown -R kafka:kafka /opt/kafka创建目录
/var/lib/zookeeper以存储 ZooKeeper 数据并将其所有权设置为kafka用户:mkdir /var/lib/zookeeper chown -R kafka:kafka /var/lib/zookeeper创建用于存储 Kafka 数据的目录
/var/lib/kafka,并将其所有权设置为kafka用户:mkdir /var/lib/kafka chown -R kafka:kafka /var/lib/kafka现在,您可以将 Kafka 的默认配置作为单节点集群运行。
您还可以使用安装在同一主机上运行其他 Kafka 组件,如 Kafka Connect。
要运行其他组件,请使用组件配置中的
bootstrap.servers属性指定要连接到 Kafka 代理的主机名和端口。指向同一主机上单个 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=localhost:9092但是,我们建议在单独的主机上安装并运行 Kafka 组件。
(可选)在单独的主机上安装 Kafka 组件。
-
将安装文件提取到每个主机上的
/opt/kafka目录。 -
将
/opt/kafka目录的所有权更改为kafka用户。 添加
bootstrap.servers配置,将组件连接到运行 Kafka 代理的主机(或多节点环境中的主机)。指向不同主机上的 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=kafka0.<host_ip_address>:9092,kafka1.<host_ip_address>:9092,kafka2.<host_ip_address>:9092您可以将此配置用于 Kafka Connect、MirrorMaker 2.0 和 Kafka Bridge。
-
将安装文件提取到每个主机上的