9.2. 「Kafka Connect in distributed mode」

Distributed モードでは、Kafka Connect は 1 つまたは複数のワーカーノードで実行され、ワークロードはそれらのワーカーノード間で分散されます。HTTP REST インターフェースを使用して、コネクタープラグインおよびその設定を管理します。

分散モードで Kafka Connect を設定するには、config/connect-distributed.properties 設定ファイルを編集します。以下のオプションは最も重要なオプションです。

bootstrap.servers: Kafka へのブートストラップ接続として使用される Kafka ブローカーアドレスの一覧。たとえば、kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092 のようになります。
key.converter: メッセージキーを Kafka 形式との間で変換するために使用されるクラス。たとえば、org.apache.kafka.connect.json.JsonConverter のようになります。
value.converter: メッセージペイロードの Kafka 形式への変換に使用されるクラス。たとえば、org.apache.kafka.connect.json.JsonConverter のようになります。
group.id: 分散 Kafka Connect クラスターの名前。これは一意で、別のコンシューマーグループ ID と競合しないようにする必要があります。デフォルト値は connect-cluster です。
config.storage.topic: コネクター設定を保存するために使用される Kafka トピック。デフォルト値は connect-configs です。
offset.storage.topic: オフセットを保存するために使用される Kafka トピック。デフォルト値は connect-offset です。
status.storage.topic: ワーカーノードのステータスに使用する Kafka トピック。デフォルト値は connect-status です。

AMQ Streams には、分散モードの Kafka Connect の設定ファイルのサンプルが含まれています。AMQ Streams インストールディレクトリーの config/connect-distributed.properties を参照してください。

サポートされるすべての Kafka Connect 設定オプションの完全リストは、付録F Kafka Connect 設定パラメーター を参照してください。

コネクタープラグインは、ブートストラップアドレスを使用して Kafka ブローカーへのクライアント接続を開きます。これらの接続を設定するには、producer. または consumer. で始まる標準の Kafka プロデューサーおよびコンシューマー設定オプションを使用します。

Kafka プロデューサーおよびコンシューマーの設定に関する詳細は、以下を参照してください。