8.2. 「Kafka Connect in distributed mode」

Distributed モードでは、Kafka Connect は 1 つまたは複数のワーカーノードで実行され、ワークロードはそれら間に分散されます。HTTP REST インターフェースを使用して、コネクタープラグインおよびその設定を管理します。

分散モードで Kafka Connect を設定するには、config/connect-distributed.properties 設定ファイルを編集します。以下のオプションは最も重要なオプションです。

bootstrap.servers: Kafka へのブートストラップ接続として使用される Kafka ブローカーアドレスのリスト。例： kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
key.converter: メッセージキーの Kafka 形式への変換に使用されるクラス。例： org.apache.kafka.connect.json.JsonConverter
value.converter: メッセージペイロードの Kafka 形式への変換に使用されるクラス。例： org.apache.kafka.connect.json.JsonConverter
group.id: 分散 Kafka Connect クラスターの名前。これは一意で、別のコンシューマーグループ ID と競合しないようにしてください。デフォルト値は connect-cluster です。
config.storage.topic: コネクター設定の保存に使用される Kafka トピック。デフォルト値は connect-configs です。
offset.storage.topic: オフセットの保存に使用される Kafka トピック。デフォルト値は connect-offset です。
status.storage.topic: ワーカーノードのステータスに使用される Kafka トピック。デフォルト値は connect-status です。

AMQ Streams には、分散モードの Kafka Connect の設定ファイルのサンプルが含まれています。AMQ Streams インストールディレクトリーの config/connect-distributed.properties を参照してください。

サポートされる Kafka Connect 設定オプションの完全リストは、付録F Kafka Connect 設定パラメーター を参照してください。

コネクタープラグインは、ブートストラップアドレスを使用して Kafka ブローカーへのクライアント接続を開きます。これらの接続を設定するには、producer. または consumer. で始まる標準の Kafka プロデューサーおよびコンシューマー設定オプションを使用します。

Kafka プロデューサーおよびコンシューマーの設定に関する詳細は、以下を参照してください。