8.2. 分散モードでの Kafka Connect
分散モードでは、Kafka Connect は 1 つまたは複数のワーカーノードで実行され、ワークロードはワーカーノード間で分散されます。コネクタープラグインとその設定は、HTTP REST インターフェイスを使用して管理します。
8.2.1. 分散モードでの Kafka Connect の設定
Kafka Connect をスタンドアロンモードで設定するには、config/connect-distributed.properties
設定ファイルを編集します。以下のオプションが最も重要です。
bootstrap.servers
-
Kafka へのブートストラップ接続として使用される Kafka ブローカーアドレスのリスト。たとえば、
kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
です。 key.converter
-
メッセージキーを Kafka 形式との間で変換するために使用されるクラス。たとえば、
org.apache.kafka.connect.json.JsonConverter
です。 value.converter
-
メッセージペイロードを Kafka 形式との間で変換するために使用されるクラス。たとえば、
org.apache.kafka.connect.json.JsonConverter
です。 group.id
-
分散された Kafka Connect クラスターの名前。これは一意でなければならず、他のコンシューマーグループ ID と競合することはできません。デフォルト値は
connect-cluster
です。 config.storage.topic
-
コネクター設定の保存に使用される Kafka トピック。デフォルト値は
connect-configs
です。 offset.storage.topic
-
オフセットを保存するために使用される Kafka トピック。デフォルト値は
connect-offset
です。 status.storage.topic
-
ワーカーノードのステータスに使用される Kafka トピック。デフォルト値は
connect-status
です。
AMQ Streams には、分散モードの Kafka Connect の設定ファイル例が含まれています。AMQ Streams のインストールディレクトリーにある config/connect-distributed.properties
を参照してください。
サポートされるすべての Kafka Connect 設定オプションの完全リストは、付録F Kafka Connect 設定パラメーター を参照してください。
コネクタープラグインは、ブートストラップアドレスを使用して Kafka ブローカーへのクライアント接続を開きます。これらの接続を設定するには、標準的な Kafka のプロデューサーとコンシューマーの設定オプションを使用し、producer.
または consumer.
接頭辞を付けます。
Kafka プロデューサーおよびコンシューマーの設定に関する詳細は、以下を参照してください。