付録F Kafka Connect 設定パラメーター

型: string
重要度: 高

コネクター設定が保存される Kafka トピックの名前。

型: string
重要度: 高

このワーカーが属する Connect クラスターグループを識別する一意の文字列。

型: class
重要度: 高

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージのキーの形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。

型: string
重要度: 高

コネクターオフセットが保存される Kafka トピックの名前。

型: string
重要度: 高

コネクターおよびタスクのステータスが保存される Kafka トピックの名前。

型: class
重要度: 高

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージの値の形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。

型: list
デフォルト: localhost:9092
重要度: 高

Kafka クラスターへの最初の接続を確立するために使用されるホストとポートのペアの一覧。クライアントは、ブートストラップ用にここで指定されたサーバーに関係なく、すべてのサーバーを利用します。この一覧は、サーバーのフルセットを検出するために使用される最初のホストにのみ影響します。この一覧は、host1:port1,host2:port2,…​ の形式にする必要があります。これらのサーバーは、(動的に変更される可能性がある) 完全なクラスターメンバーシップを検出するための最初の接続にだけ使用されるため、このリストにはサーバーの完全なセットを含める必要はありません (ただし、サーバーがダウンした場合に備えて、複数のサーバーが必要になる場合があります)。

型: int
デフォルト: 3000
重要度: 高

Kafka のグループ管理機能を使用する場合の、グループコーディネーターへのハートビート間の予想時間。ハートビートは、ワーカーのセッションがアクティブな状態を維持し、新しいメンバーがグループに参加したり離脱したりする際のリバランスを促進するために使用されます。この値は session.timeout.ms よりも低く設定する必要がありますが、通常はその値の 1/3 以下に設定する必要があります。さらに低く調整することで、通常のリバランスの予想時間を制御することもできます。

型: int
デフォルト: 60000
重要度: 高

リバランスが開始された後、各ワーカーがグループに参加するための最大許容時間。これは基本的に、すべてのタスクが保留中のデータをフラッシュしてオフセットをコミットするために必要な時間の制限です。タイムアウトを超えると、ワーカーはグループから削除され、オフセットコミットの失敗が発生します。

型: int
デフォルト: 10000
重要度: 高

ワーカーの障害検出に使用されるタイムアウト。ワーカーは定期的にハートビートを送信し、liveness をブローカーに示します。このセッションタイムアウトの期限切れ前にブローカーによってハートビートが受信されない場合、ブローカーはグループからワーカーを削除し、リバランスを開始します。この値は、group.min.session.timeout.ms および group.max.session.timeout.ms によってブローカー設定で設定される許容範囲内である必要があることに注意してください。

型: password
デフォルト: null
重要度: 高

キーストアファイル内の秘密キーのパスワード。これはクライアントにとってオプションになります。

型: string
デフォルト: null
重要度: 高

キーストアファイルの場所。これはクライアントではオプションで、クライアントの双方向認証に使用できます。

型: password
デフォルト: null
重要度: 高

キーストアファイルのストアパスワード。これはクライアントではオプションで、ssl.keystore.location が設定されている場合にのみ必要です。

型: string
デフォルト: null
重要度: 高

トラストストアファイルの場所。

型: password
デフォルト: null
重要度: 高

トラストストアファイルのパスワード。パスワードが設定されていない場合でもトラストストアへのアクセスは可能ですが、整合性チェックは無効になっています。

型: 文字列
デフォルト: デフォルト
有効な値: デフォルト、use_all_dns_ips、resolve_canonical_bootstrap_servers_only
重要度: 中

クライアントが DNS ルックアップを使用する方法を制御します。use_all_dns_ips に設定すると、ルックアップでホスト名に対して複数の IP アドレスが返された場合、接続に失敗する前にすべての IP アドレスへの接続が試行されます。ブートストラップサーバーとアドバタイズサーバーの両方に適用されます。値が resolve_canonical_bootstrap_servers_only の場合、各エントリーは解決され、正規名のリストにデプロイメントされます。

型: long
デフォルト: 540000
重要度: 中

この設定で指定された期間 (ミリ秒単位) の後にアイドル状態の接続を閉じます。

型: 文字列
デフォルト: なし
重要度: 中

ConnectorClientConfigOverridePolicy の実装のクラス名またはエイリアス。コネクターによってオーバーライドできるクライアント設定を定義します。デフォルトの実装は None です。このフレームワークでは、他にも All や Principal といったポリシーが考えられます。

型: int
デフォルト: 32768
有効な値: [0,…​]
重要度: 中

データの読み取り時に使用する TCP 受信バッファー (SO_RCVBUF) のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

型: int
デフォルト: 40000
有効な値: [0,…​]
重要度: 中

この設定は、クライアントの要求の応答を待つ最大時間を制御します。タイムアウトが経過する前に応答が受信されない場合、クライアントは必要に応じてリクエストを再送信します。または、再試行が使い切られるとリクエストが失敗します。

型: class
デフォルト: null
重要度: 中

AuthenticateCallbackHandler インターフェイスを実装する SASL クライアントコールバックハンドラークラスの完全修飾名。

型: password
デフォルト: null
重要度: 中

JAAS 設定ファイルで使用される形式の SASL 接続の JAAS ログインコンテキストパラメーター。JAAS 設定ファイルの形式は、こちら で説明されています。値の形式は 「loginModuleClass controlFlag (optionName=optionValue)*;」 です。ブローカーの場合、設定の前にリスナー接頭辞と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule required; などです。

型: string
デフォルト: null
重要度: 中

Kafka が実行される Kerberos プリンシパル名。これは、Kafka の JAAS 設定または Kafka の設定で定義できます。

型: class
デフォルト: null
重要度: 中

AuthenticateCallbackHandler インターフェイスを実装する SASL ログインコールバックハンドラークラスの完全修飾名。ブローカーの場合、ログインコールバックハンドラー設定の前には、リスナー接頭辞 と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler などです。

型: class
デフォルト: null
重要度: 中

Login インターフェイスを実装するクラスの完全修飾名。ブローカーの場合、ログイン設定の前にリスナー接頭辞 と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin です。

型: string
デフォルト: GSSAPI
重要度: 中

クライアント接続に使用される SASL メカニズム。これは、セキュリティープロバイダーが利用可能な任意のメカニズムである可能性がありますGSSAPI はデフォルトのメカニズムです。

型: string
デフォルト: PLAINTEXT
重要度: 中

ブローカーとの通信に使用されるプロトコル。有効な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。

型: int
デフォルト: 131072
有効な値: [0,…​]
重要度: 中

データの送信時に使用する TCP 送信バッファー (SO_SNDBUF) のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

型: リスト
デフォルト: TLSv1.2
重要度: 中

SSL 接続で有効なプロトコルの一覧。

型: string
デフォルト: JKS
重要度: 中

キーストアファイルのファイル形式。これはクライアントにとってオプションになります。

型: string
デフォルト: TLSv1.2
重要度: 中

SSLContext の生成に使用される SSL プロトコル。デフォルト設定は TLSv1.2 で、ほとんどの場合に問題ありません。最近の JVM で許可される値は TLSv1.2 および TLSv1.3 です。TLS、TLSv1.1、SSL、SSLv2、および SSLv3 は古い JVM でサポートされる可能性がありますが、既知のセキュリティー脆弱性のために使用は推奨されません。

型: string
デフォルト: null
重要度: 中

SSL 接続に使用されるセキュリティープロバイダーの名前。デフォルト値は JVM のデフォルトのセキュリティープロバイダーです。

型: string
デフォルト: JKS
重要度: 中

トラストストアファイルのファイル形式。

型: int
デフォルト: 3000
重要度: 中

ワーカーが他のワーカーと同期されず、設定を再同期する必要がある場合は、この時間まで待機してから、ギブアップし、グループから離脱し、バックオフ期間を待ってから再度参加します。

型: int
デフォルト: 300000
重要度: 中

ワーカーが他のワーカーと同期されず、worker.sync.timeout.ms 内で追いつくことができない場合は、再度参加する前に、この期間は Connect クラスターを離れます。

型: string
デフォルト: ""
重要度: 低

Access-Control-Allow-Methods ヘッダーを設定することにより、クロスオリジン要求でサポートされるメソッドを設定します。Access-Control-Allow-Methods ヘッダーのデフォルト値は、GET、POST、および HEAD のクロスオリジン要求を許可します。

型: string
デフォルト: ""
重要度: 低

REST API リクエスト用に Access-Control-Allow-Origin ヘッダーを設定する値。クロスオリジンアクセスを有効にするには、これを API へのアクセスを許可する必要があるアプリケーションのドメインに設定するか、'*' を設定して任意のドメインからのアクセスを許可します。デフォルト値は、REST API のドメインからのみアクセスを許可します。

型: リスト
デフォルト: ヌル
有効な値: org.apache.kafka.connect.runtime.WorkerConfig$AdminListenersValidator@6996db8
重要度: 低

管理 REST API がリッスンするコンマ区切りの URI の一覧。サポートされるプロトコルは HTTP および HTTPS です。空または空白の文字列は、この機能を無効にします。デフォルトの動作では、通常のリスナーを使用します ('listeners' プロパティーで指定)。

型: string
デフォルト: ""
重要度: 低

要求の実行時にサーバーに渡す ID 文字列。この目的は、サーバー側の要求ロギングに論理アプリケーション名を含めることを許可することにより、ip/port の他にもリクエストのソースを追跡できるようにすることです。

型: list
デフォルト: ""
重要度: 低

指定された順序でロードされ、使用される ConfigProvider クラスのコンマ区切りリスト。インターフェイス ConfigProvider を実装すると、外部化されたシークレットなどのコネクター設定の変数参照を置き換えることができます。

型: short
デフォルト: 3
有効な値: [1,…​]
重要度: 低

設定ストレージトピックの作成時に使用されるレプリケーション係数。

型: string
デフォルト: sessioned
有効な値: [eager, compatible, sessioned]
重要度: 低

Kafka Connect プロトコルの互換性モード。

型: class
デフォルト: org.apache.kafka.connect.storage.SimpleHeaderConverter
重要度: 低

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用される HeaderConverter クラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージのヘッダー値の形式を制御します。これはコネクターから独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。デフォルトでは、SimpleHeaderConverter はヘッダー値を文字列にシリアライズし、スキーマを推測してデシリアライズするために使用されます。

型: string
デフォルト: HmacSHA256
有効な値: ワーカー JVM によってサポートされる KeyGenerator アルゴリズム
重要度: 低

内部要求キーの生成に使用するアルゴリズム。

型: int
デフォルト: null
重要度: 低

内部要求の署名に使用するキーのサイズ (ビット単位)。null の場合、キー生成アルゴリズムのデフォルトキーサイズが使用されます。

型: int
デフォルト: 3600000
有効な値: [0,…​,2147483647]
重要度: 低

内部リクエスト検証に使用される生成されたセッションキーの TTL (ミリ秒単位)。

型: string
デフォルト: HmacSHA256
有効な値: ワーカー JVM によってサポートされる MAC アルゴリズム
重要度: 低

内部リクエストの署名に使用されるアルゴリズム。

型: list
デフォルト: HmacSHA256
有効な値: 1 つ以上の MAC アルゴリズムの一覧 (各アルゴリズムはワーカー JVM でサポートされる)
重要度: 低

内部要求を検証するために許可されたアルゴリズムのリスト。

型: クラス
デフォルト: org.apache.kafka.connect.json.JsonConverter
重要度: 低

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージのキーの形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。この設定は、設定やオフセットなど、フレームワークによって使用される内部ブックキーピングデータに使用される形式を制御するため、ユーザーは通常、機能している Converter 実装を使用できます。非推奨。今後のバージョンで削除されます。

型: クラス
デフォルト: org.apache.kafka.connect.json.JsonConverter
重要度: 低

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージの値の形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。この設定は、設定やオフセットなど、フレームワークによって使用される内部ブックキーピングデータに使用される形式を制御するため、ユーザーは通常、機能している Converter 実装を使用できます。非推奨。今後のバージョンで削除されます。

型: list
デフォルト: null
重要度: 低

REST API がリッスンするコンマ区切りの URI の一覧。サポートされるプロトコルは HTTP および HTTPS です。ホスト名を 0.0.0.0 として指定し、すべてのインターフェイスにバインドします。ホスト名を空白のままにして、デフォルトのインターフェイスにバインドします。正当なリスナーリストの例は、HTTP://myhost:8083、HTTPS://myhost:8084 です。

型: long
デフォルト: 300000
有効な値: [0,…​]
重要度: 低

新しいブローカーまたはパーティションをプロアクティブに検出するためのパーティションリーダーシップの変更がない場合でも、メタデータの更新を強制するまでの期間 (ミリ秒単位)。

型: list
デフォルト: ""
重要度: 低

メトリクスレポーターとして使用するクラスの一覧。org.apache.kafka.common.metrics.MetricsReporter インターフェイスを実装すると、新しいメトリクスの作成が通知されるクラスのプラグが可能になります。JmxReporter は、JMX 統計を登録するために常に含まれます。

型: int
デフォルト: 2
有効な値: [1,…​]
重要度: 低

メトリクスを計算するために保持されるサンプルの数。

型: string
デフォルト: INFO
有効な値: [INFO, DEBUG]
重要度: 低

メトリクスの最も高い記録レベル。

型: long
デフォルト: 30000
有効な値: [0,…​]
重要度: 低

メトリクスサンプルが計算される時間枠。

型: long
デフォルト: 60000
重要度: 低

タスクのオフセットのコミットを試行する間隔。

型: long
デフォルト: 5000
重要度: 低

プロセスをキャンセルし、今後の試行でコミットするオフセットデータを復元する前に、レコードをフラッシュして、パーティションオフセットデータがオフセットストレージにコミットするまでの最大待機時間 (ミリ秒単位)。

型: int
デフォルト: 25
有効な値: [1,…​]
重要度: 低

オフセットストレージトピックの作成時に使用されるパーティションの数。

型: short
デフォルト: 3
有効な値: [1,…​]
重要度: 低

オフセットストレージトピックの作成時に使用されるレプリケーション係数。

型: list
デフォルト: null
重要度: 低

プラグイン (コネクター、コンバーター、変換) が含まれるコンマ (,) で区切られたパスのリスト。リストは、次の任意の組み合わせを含むトップレベルのディレクトリーで設定される必要があります。a) プラグインとその依存関係を含む jars を直接含むディレクトリー b) プラグインとその依存関係を含む uber-jars c) プラグインのクラスとその依存関係のパッケージディレクトリー構造を直接含むディレクトリー。注記: 依存関係またはプラグインを検出するために、シンボリックリンクが続きます。例: plugin.path=/usr/local/share/java、/usr/local/share/kafka/plugins、/opt/connectors。

型: long
デフォルト: 1000
有効な値: [0,…​]
重要度: 低

接続に繰り返し失敗したブローカーへの再接続時に待機する最大時間 (ミリ秒単位)。これが指定されている場合、ホストごとのバックオフは、連続して接続に失敗するたびに、この最大値まで指数関数的に増加します。バックオフの増加を計算した後、コネクションストームを回避するために 20% のランダムなジッターが追加されます。

型: long
デフォルト: 50
有効な値: [0,…​]
重要度: 低

特定のホストへの再接続を試みる前に待機するベース時間。これにより、タイトなループでホストに繰り返し接続することを回避します。このバックオフは、クライアントによるブローカーへのすべての接続試行に適用されます。

型: string
デフォルト: null
重要度: 低

これが設定されている場合、これは、他のワーカーの接続用に提供されるホスト名です。

型: string
デフォルト: null
重要度: 低

他のワーカーが使用するために提供されるアドバタイズされたリスナー (HTTP または HTTPS) を設定します。

型: int
デフォルト: null
重要度: 低

これが設定されている場合、これは、他のワーカーの接続用に提供されるポートになります。

型: list
デフォルト: ""
重要度: 低

指定された順序でロードされ、呼び出される ConnectRestExtension クラスのコンマ区切りリスト。インターフェイス ConnectRestExtension を実装すると、フィルターなどの Connect の REST API ユーザー定義リソースを注入できます。通常、ロギング、セキュリティーなどのカスタム機能の追加に使用されます。

型: string
デフォルト: null
重要度: 低

REST API のホスト名。これが設定されている場合、このインターフェイスにのみバインドされます。

型: int
デフォルト: 8083
重要度: 低

REST API が listen するためのポート。

型: long
デフォルト: 100
有効な値: [0,…​]
重要度: 低

特定のトピックパーティションに対して失敗したリクエストを再試行するまでの待機時間。これにより、一部の障害シナリオでタイトループでリクエストを繰り返し送信することを回避できます。

型: string
デフォルト: /usr/bin/kinit
重要度: 低

Kerberos kinit コマンドパス。

型: long
デフォルト: 60000
重要度: 低

更新試行間のログインスレッドのスリープ時間。

型: double
デフォルト: 0.05
重要度: 低

更新時間に追加されたランダムなジッターの割合。

型: double
デフォルト: 0.8
重要度: 低

ログインスレッドは、最後の更新からチケットの有効期限までの指定された時間のウィンドウファクターに達するまでスリープし、その時点でチケットの更新を試みます。

型: short
デフォルト: 300
有効な値: [0,…​,3600]
重要度: 低

クレデンシャルを更新するときに維持するクレデンシャルの有効期限が切れるまでのバッファー時間 (秒単位)。更新が、バッファー秒数よりも有効期限に近いときに発生する場合、更新は、可能な限り多くのバッファー時間を維持するために上に移動されます。設定可能な値は 0 から 3600 (1 時間) です。値を指定しない場合は、デフォルト値の 300 (5 分) が使用されます。この値および sasl.login.refresh.min.period.seconds は、その合計がクレデンシャルの残りの有効期間を超える場合にどちらも無視されます。現在、OAUTHBEARER にのみ適用されます。

型: short
デフォルト: 60
有効な値: [0,…​,900]
重要度: 低

ログイン更新スレッドがクレデンシャルを更新する前に待機する最小時間 (秒単位)。設定可能な値は 0 から 900 (15 分) です。値を指定しない場合は、デフォルト値の 60 (1 分) が使用されます。この値および sasl.login.refresh.buffer.seconds は、その合計がクレデンシャルの残りの有効期間を超える場合に両方とも無視されます。現在、OAUTHBEARER にのみ適用されます。

型: double
デフォルト: 0.8
有効な値: [0.5,…​,1.0]
重要度: 低

ログイン更新スレッドは、クレデンシャルの有効期間との関連で指定の期間ファクターに達するまでスリープ状態になり、達成した時点でクレデンシャルの更新を試みます。設定可能な値は 0.5(50%) から 1.0(100%) までです。値が指定されていない場合、デフォルト値の 0.8(80%) が使用されます。現在、OAUTHBEARER にのみ適用されます。

型: double
デフォルト: 0.05
有効な値: [0.0,…​,0.25]
重要度: 低

ログイン更新スレッドのスリープ時間に追加されるクレデンシャルの存続期間に関連するランダムジッターの最大量。設定可能な値は 0 から 0.25(25%) です。値が指定されていない場合は、デフォルト値の 0.05(5%) が使用されます。現在、OAUTHBEARER にのみ適用されます。

型: int
デフォルト: 300000
有効な値: [0,…​,2147483647]
重要度: 低

1 人または複数の離脱したワーカーが戻ってくるのを待ってから、コネクターやタスクをリバランスしてグループに再割り当てするために予定されている最大の遅延時間。この期間は、離脱したワーカーのコネクターやタスクが割り当てられないままです。

型: list
デフォルト: null
重要度: 低

暗号化スイートの一覧。これは、TLS または SSL ネットワークプロトコルを使用してネットワーク接続のセキュリティー設定をネゴシエートするために使用される認証、暗号化、MAC、および鍵交換アルゴリズムの名前付きの組み合わせです。デフォルトでは、利用可能なすべての暗号スイートがサポートされます。

型: string
デフォルト: none
重要度: 低

クライアント認証を要求する kafka ブローカーを設定します。以下の設定は一般的な設定です。

型: string
デフォルト: https
重要度: 低

サーバー証明書を使用してサーバーのホスト名を検証するエンドポイント識別アルゴリズム。

型: string
デフォルト: SunX509
重要度: 低

SSL 接続のキーマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたキーマネージャーファクトリーアルゴリズムです。

型: string
デフォルト: null
重要度: 低

SSL 暗号操作に使用する SecureRandom PRNG 実装。

型: string
デフォルト: PKIX
重要度: 低

SSL 接続のトラストマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたトラストマネージャーファクトリーアルゴリズムです。

型: int
デフォルト: 5
有効な値: [1,…​]
重要度: 低

ステータスストレージトピックの作成時に使用されるパーティションの数。

型: short
デフォルト: 3
有効な値: [1,…​]
重要度: 低

ステータスストレージトピックの作成時に使用されるレプリケーション係数。

型: long
デフォルト: 5000
重要度: 低

タスクを正常にシャットダウンするまで待機する時間。これは、タスクごとにではなく、合計時間です。タスクはすべてシャットダウンされ、順番に待機します。

型: boolean
デフォルト: true
重要度: 低

true に設定すると、ユーザーリクエストはコネクターごとにアクティブなトピックのセットをリセットできます。

型: boolean
デフォルト: true
重要度: 低

ランタイム時におけるコネクターごとにアクティブなトピックのセットの追跡を有効にします。