4.5. マルチノードの Kafka クラスターの実行
この手順では、Kafka をマルチノードクラスターとして設定および実行する方法を説明します。
前提条件
- Kafka ブローカーとして使用されるすべてのホストに AMQ Streams がインストールされている。
- ZooKeeper クラスターが 設定され、実行されている。
クラスターの実行
AMQ Streams クラスターの各 Kafka ブローカーに対して以下を行います。
以下のように、Kafka 設定ファイル
/opt/kafka/config/server.properties
を編集します。-
最初のブローカーの
broker.id
フィールドを0
に、2 番目のブローカーを1
に、それぞれ設定します。 -
zookeeper.connect
オプションで ZooKeeper への接続の詳細を設定します。 - Kafka リスナーを設定します。
logs.dir
のディレクトリーに、コミットログが保存されるディレクトリーを設定します。以下は、Kafka ブローカーの設定例です。
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 各 Kafka ブローカーが同じハードウェアで実行されている通常のインストールでは、
broker.id
設定プロパティーのみがブローカー設定ごとに異なります。
-
最初のブローカーの
デフォルトの設定ファイルで Kafka ブローカーを起動します。
su - kafka /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
su - kafka /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Kafka ブローカーが稼働していることを確認します。
jcmd | grep Kafka
jcmd | grep Kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
ブローカーの検証
クラスターのすべてのノードが稼働したら、ncat
ユーティリティーを使用して dump
コマンドを ZooKeeper ノードのいずれかに送信して、すべてのノードが Kafka クラスターのメンバーであることを確認します。このコマンドは、ZooKeeper に登録されているすべての Kafka ブローカーを出力します。
ncat stat を使用してノードのステータスを確認します。
echo dump | ncat zoo1.my-domain.com 2181
echo dump | ncat zoo1.my-domain.com 2181
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 出力には、設定および起動したすべての Kafka ブローカーが含まれるはずです。
3 つのノードで設定される Kafka クラスターの
ncat
コマンドの出力例Copy to Clipboard Copied! Toggle word wrap Toggle overflow
関連情報
- AMQ Streams のインストールに関する詳細は、「AMQ Streams のインストール」 を参照してください。
- AMQ Streams の設定に関する詳細は、「AMQ Streams の設定」 を参照してください。
- ZooKeeper クラスターの実行に関する詳細は、「マルチノードの ZooKeeper クラスターの実行」 を参照してください。
- サポートされる Kafka ブローカー設定オプションの完全リストは、付録A ブローカー設定パラメーターを参照してください。