第6章 Kafka Connect 設定プロパティー

型: string
重要度: 高

コネクター設定が保存される Kafka トピックの名前。

型: string
重要度: 高

このワーカーが属する Connect クラスターグループを識別する一意の文字列。

型: class
重要度: 高

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージのキーの形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。

型: string
重要度: 高

ソースコネクターオフセットが保存される Kafka トピックの名前。

型: string
重要度: 高

コネクターおよびタスクのステータスが保存される Kafka トピックの名前。

型: class
重要度: 高

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用されるコンバータークラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージの値の形式を制御します。これはコネクターとは独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。

型: list
デフォルト: localhost:9092
重要度: 高

Kafka クラスターへの最初の接続を確立するために使用されるホストとポートのペアのリスト。クライアントは、ブートストラップ用にここで指定されたサーバーに関係なく、すべてのサーバーを利用します。このリストは、サーバーのフルセットを検出するために使用される最初のホストにのみ影響します。このリストは、host1:port1,host2:port2,…​ の形式にする必要があります。これらのサーバーは、(動的に変更される可能性がある) 完全なクラスターメンバーシップを検出するための最初の接続にだけ使用されるため、このリストにはサーバーの完全なセットを含める必要はありません (ただし、サーバーがダウンした場合に備えて、複数のサーバーが必要になる場合があります)。

型: string
デフォルト: disabled
有効な値: (大文字と小文字は区別されません) [DISABLED, ENABLED, PREPARING]
重要度: 高

トランザクションを使用してソースレコードとそのソースオフセットを書き込み、新しいタスク世代を立ち上げる前に古いタスク世代をプロアクティブにフェンシングすることにより、クラスター内のソースコネクターの 1 回限りのサポートを有効にするかどうか。新しいクラスターで 1 回だけのソースサポートを有効にするには、このプロパティーを有効に設定します。既存のクラスターでのサポートを有効にするには、まずクラスター内のすべてのワーカーを準備中に設定し、次に有効に設定します。ローリングアップグレードは両方の変更に使用できます。この機能の詳細については、exactly-once ソースのサポートドキュメント を参照してください。

型: int
デフォルト: 3000 (3 秒)
重要度: 高

Kafka のグループ管理機能を使用する場合の、グループコーディネーターへのハートビート間の予想時間。ハートビートは、ワーカーのセッションがアクティブな状態を維持し、新しいメンバーがグループに参加したり離脱したりする際のリバランスを促進するために使用されます。この値は session.timeout.ms よりも低く設定する必要がありますが、通常はその値の 1/3 以下に設定する必要があります。さらに低く調整することで、通常のリバランスの予想時間を制御することもできます。

型: int
デフォルト: 60000 (1 分)
重要度: 高

リバランスが開始された後、各ワーカーがグループに参加するための最大許容時間。これは基本的に、すべてのタスクが保留中のデータをフラッシュしてオフセットをコミットするために必要な時間の制限です。タイムアウトを超えると、ワーカーはグループから削除され、オフセットコミットの失敗が発生します。

型: int
デフォルト: 10000 (10 秒)
重要度: 高

ワーカーの障害検出に使用されるタイムアウト。ワーカーは定期的にハートビートを送信し、liveness をブローカーに示します。このセッションタイムアウトの期限切れ前にブローカーによってハートビートが受信されない場合、ブローカーはグループからワーカーを削除し、リバランスを開始します。この値は、group.min.session.timeout.ms および group.max.session.timeout.ms によってブローカー設定で設定される許容範囲内である必要があることに注意してください。

型: password
デフォルト: null
重要度: 高

キーストアファイル内の秘密鍵、または ssl.keystore.key で指定された PEM キーのパスワード。

型: password
デフォルト: null
重要度: 高

'ssl.keystore.type' で指定された形式の証明書チェーン。デフォルトの SSL エンジンファクトリーは、X.509 証明書のリストを含む PEM 形式のみをサポートします。

型: password
デフォルト: null
重要度: 高

ssl.keystore.type で指定された形式の秘密鍵。デフォルトの SSL エンジンファクトリーは、PKCS#8 キーを持つ PEM 形式のみをサポートします。鍵が暗号化されている場合は、'ssl.key.password' を使用して鍵のパスワードを指定する必要があります。

型: string
デフォルト: null
重要度: 高

キーストアファイルのロケーション。これはクライアントではオプションで、クライアントの双方向認証に使用できます。

型: password
デフォルト: null
重要度: 高

キーストアファイルのストアパスワード。これはクライアントではオプションで、'ssl.keystore.location' が設定されている場合にのみ必要です。キーストアのパスワードは PEM 形式ではサポートされません。

型: password
デフォルト: null
重要度: 高

'ssl.truststore.type' で指定された形式の信頼できる証明書。デフォルトの SSL エンジンファクトリーは、X.509 証明書を使用する PEM 形式のみをサポートします。

型: string
デフォルト: null
重要度: 高

トラストストアファイルのロケーション。

型: password
デフォルト: null
重要度: 高

トラストストアファイルのパスワード。パスワードが設定されていない場合、設定されたトラストストアファイルは引き続き使用されますが、整合性チェックは無効になります。トラストストアのパスワードは PEM 形式ではサポートされません。

型: string
デフォルト: use_all_dns_ips
有効な値: [use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
重要度: 中

クライアントが DNS ルックアップを使用する方法を制御します。use_all_dns_ips に設定すると、正常な接続が確立されるまで、返された各 IP アドレスに順番に接続します。切断後に、次の IP が使用されます。すべての IP が一度使用されると、クライアントはホスト名から IP を再度解決します (ただし、JVM と OS の両方は DNS 名の検索をキャッシュします)。resolve_canonical_bootstrap_servers_only に設定すると、各ブートストラップアドレスを正規名のリストに解決します。ブートストラップフェーズ後、これは use_all_dns_ips と同じように動作します。

型: long
デフォルト: 540000 (9 分)
重要度: 中

この設定で指定された期間 (ミリ秒単位) の後にアイドル状態の接続を閉じます。

型: string
デフォルト: All
重要度: 中

ConnectorClientConfigOverridePolicy の実装のクラス名またはエイリアス。コネクターによってオーバーライドできるクライアント設定を定義します。デフォルトの実装は All です。つまり、コネクター設定はすべてのクライアントプロパティーをオーバーライドできます。フレームワークで可能な他のポリシーには、コネクターによるクライアントプロパティーの上書きを許可しない None と、コネクターがクライアントプリンシパルのみを上書きできるようにする Principal が含まれます。

型: int
デフォルト: 32768 (32 キビバイト)
有効な値: [-1,…​]
重要度: 中

データの読み取り時に使用する TCP 受信バッファー (SO_RCVBUF) のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

型: int
デフォルト: 40000 (40 秒)
有効な値: [0,…​]
重要度: 中

この設定は、クライアントの要求の応答を待つ最大時間を制御します。タイムアウトが経過する前に応答が受信されない場合、クライアントは必要に応じてリクエストを再送信します。または、再試行が使い切られるとリクエストが失敗します。

型: class
デフォルト: null
重要度: 中

AuthenticateCallbackHandler インターフェイスを実装する SASL クライアントコールバックハンドラークラスの完全修飾名。

型: password
デフォルト: null
重要度: 中

JAAS 設定ファイルで使用される形式の SASL 接続の JAAS ログインコンテキストパラメーター。JAAS 設定ファイルの形式は、こちら で説明されています。値の形式は loginModuleClass controlFlag (optionName=optionValue)*; です。ブローカーの場合、設定の前にリスナー接頭辞と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule required; などです。

型: string
デフォルト: null
重要度: 中

Kafka が実行される Kerberos プリンシパル名。これは、Kafka の JAAS 設定または Kafka の設定で定義できます。

型: class
デフォルト: null
重要度: 中

AuthenticateCallbackHandler インターフェイスを実装する SASL ログインコールバックハンドラークラスの完全修飾名。ブローカーの場合、ログインコールバックハンドラー設定の前には、リスナー接頭辞 と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler などです。

型: class
デフォルト: null
重要度: 中

Login インターフェイスを実装するクラスの完全修飾名。ブローカーの場合、ログイン設定の前にリスナー接頭辞 と SASL メカニズム名を小文字で指定する必要があります。たとえば、listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin です。

型: string
デフォルト: GSSAPI
重要度: 中

クライアント接続に使用される SASL メカニズム。これは、セキュリティープロバイダーが利用可能な任意のメカニズムである可能性があります。GSSAPI はデフォルトのメカニズムです。

型: string
デフォルト: null
重要度: 中

プロバイダーの JWKS (JSON Web Key Set) を取得できる OAuth/OIDC プロバイダーの URL。URL は、HTTP(S) ベースまたはファイルベースにすることができます。URL が HTTP(S) ベースの場合、JWKS データは、ブローカーの起動時に設定された URL を介して OAuth/OIDC プロバイダーから取得されます。その時点で最新のすべてのキーは、受信リクエストのためにブローカーにキャッシュされます。まだキャッシュにない kid ヘッダークレーム値を含む JWT の認証リクエストを受信した場合、JWKS エンドポイントはオンデマンドで再度クエリーされます。ただし、ブローカーは、sasl.oauthbearer.jwks.endpoint.refresh.ms ミリ秒ごとに URL をポーリングして、それらを含む JWT リクエストが受信される前に、今後のキーでキャッシュを更新します。URL がファイルベースの場合、ブローカーは起動時に設定された場所から JWKS ファイルをロードします。JWT に JWKS ファイルにない kid ヘッダー値が含まれている場合、ブローカーは JWT を拒否し、認証は失敗します。

型: string
デフォルト: null
重要度: 中

OAuth/OIDCID プロバイダーの URL。URL が HTTP(S) ベースの場合、sasl.jaas.config の設定に基づいてログインリクエストが行われるのは、issuer のトークンエンドポイント URL です。URL がファイルベースの場合、認証に使用するために OAuth/OIDC ID プロバイダーによって発行されたアクセストークン (JWT シリアル化形式) を含むファイルを指定します。

型: string
デフォルト: PLAINTEXT
有効な値: (大文字と小文字の区別なし) [SASL_SSL, PLAINTEXT, SSL, SASL_PLAINTEXT]
重要度: 中

ブローカーとの通信に使用されるプロトコル。有効な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。

型: int
デフォルト: 131072 (128 キビバイト)
有効な値: [-1,…​]
重要度: 中

データの送信時に使用する TCP 送信バッファー (SO_SNDBUF) のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

型: list
デフォルト: TLSv1.2,TLSv1.3
重要度: 中

SSL 接続で有効なプロトコルの一覧。Java 11 以降で実行する場合、デフォルトは 'TLSv1.2,TLSv1.3' で、それ以外の場合は 'TLSv1.2' になります。Java 11 のデフォルト値では、クライアントとサーバーの両方が TLSv1.3 をサポートする場合は TLSv1.3 を優先し、そうでない場合は TLSv1.2 にフォールバックします (両方が少なくとも TLSv1.2 をサポートすることを前提とします)。ほとんどの場合、このデフォルトは問題ありません。ssl.protocol の設定ドキュメントも参照してください。

型: string
デフォルト: JKS
重要度: 中

キーストアファイルのファイル形式。これはクライアントにとってオプションになります。デフォルトの ssl.engine.factory.class で現在サポートされている値は JKS、PKCS12、PEM です。

型: string
デフォルト: TLSv1.3
重要度: 中

SSLContext の生成に使用される SSL プロトコル。Java 11 以降で実行する場合、デフォルトは 'TLSv1.3' になります。それ以外の場合は 'TLSv1.2' になります。この値は、ほとんどのユースケースで問題ありません。最近の JVM で許可される値は 'TLSv1.2' および 'TLSv1.3' です。'TLS'、'TLSv1.1'、'SSL'、'SSLv2'、および 'SSLv3' は古い JVM でサポートされる可能性がありますが、既知のセキュリティー脆弱性のために使用は推奨されません。この設定のデフォルト値および 'ssl.enabled.protocols' では、サーバーが 'TLSv1.3' に対応していない場合は、クライアントは 'TLSv1.2' にダウングレードされます。この設定が 'TLSv1.2' に設定されている場合、'TLSv1.3' が ssl.enabled.protocols の値の 1 つで、サーバーが 'TLSv1.3' のみをサポートする場合でも、クライアントは 'TLSv1.3' を使用しません。

型: string
デフォルト: null
重要度: 中

SSL 接続に使用されるセキュリティープロバイダーの名前。デフォルト値は JVM のデフォルトのセキュリティープロバイダーです。

型: string
デフォルト: JKS
重要度: 中

トラストストアファイルのファイル形式。デフォルトの ssl.engine.factory.class で現在サポートされている値は JKS、PKCS12、PEM です。

型: int
デフォルト: 3000 (3 秒)
重要度: 中

ワーカーが他のワーカーと同期されず、設定を再同期する必要がある場合は、この時間まで待ってからギブアップしてグループから離脱し、バックオフ期間を待ってから再参加します。

型: int
デフォルト: 300000 (5 分)
重大度: 中

ワーカーが他のワーカーと同期されず、worker.sync.timeout.ms 内で追いつくことができない場合は、再度参加する前に、この期間は Connect クラスターを離れます。

型: string
デフォルト: ""
重要度: 低

Access-Control-Allow-Methods ヘッダーを設定することにより、クロスオリジン要求でサポートされるメソッドを設定します。Access-Control-Allow-Methods ヘッダーのデフォルト値は、GET、POST、および HEAD のクロスオリジン要求を許可します。

型: string
デフォルト: ""
重要度: 低

REST API リクエスト用に Access-Control-Allow-Origin ヘッダーを設定する値。クロスオリジンアクセスを有効にするには、これを API へのアクセスを許可する必要があるアプリケーションのドメインに設定するか、'*' を設定して任意のドメインからのアクセスを許可します。デフォルト値は、REST API のドメインからのみアクセスを許可します。

型: list
デフォルト: null
有効な値: コンマ区切りの URL のリスト (http://localhost:8080,https://localhost:8443 など)
重要度: 低

管理 REST API がリッスンするコンマ区切りの URI のリスト。サポートされるプロトコルは HTTP および HTTPS です。空または空白の文字列は、この機能を無効にします。デフォルトの動作では、通常のリスナーを使用します ('listeners' プロパティーで指定)。

型: boolean
デフォルト: true
重要度: 低

非推奨。JmxReporter が metric.reporters にリストされていない場合でも、自動的に含めるかどうか。この設定は Kafka 4.0 で削除される予定です。JmxReporter を有効にするには、代わりに org.apache.kafka.common.metrics.JmxReporter を metric.reporters に含める必要があります。

型: string
デフォルト: ""
重要度: 低

要求の実行時にサーバーに渡す ID 文字列。この目的は、サーバー側の要求ロギングに論理アプリケーション名を含めることを許可することにより、ip/port の他にもリクエストのソースを追跡できるようにすることです。

型: list
デフォルト: ""
重要度: 低

指定された順序でロードされ、使用される ConfigProvider クラスのコンマ区切りリスト。インターフェイス ConfigProvider を実装すると、外部化されたシークレットなどのコネクター設定の変数参照を置き換えることができます。

型: short
デフォルト: 3
有効な値: Kafka クラスター内のブローカーの数以下の正の数、またはブローカーのデフォルトを使用する場合は -1
重要度: 低

設定ストレージトピックの作成時に使用されるレプリケーション係数。

型: string
デフォルト: sessioned
有効な値: [eager, compatible, sessioned]
重要度: 低

Kafka Connect プロトコルの互換性モード。

型: class
デフォルト: org.apache.kafka.connect.storage.SimpleHeaderConverter
重要度: 低

Kafka Connect 形式と Kafka に書き込まれるシリアライズされた形式の間の変換に使用される HeaderConverter クラス。これは、Kafka に対して書き込みまたは読み取りされたメッセージのヘッダー値の形式を制御します。これはコネクターから独立しているため、任意のコネクターが任意のシリアル化形式で動作することができます。一般的なフォーマットの例には、JSON や Avro などがあります。デフォルトでは、SimpleHeaderConverter はヘッダー値を文字列にシリアライズし、スキーマを推測してデシリアライズするために使用されます。

型: string
デフォルト: HmacSHA256
有効な値: ワーカー JVM によってサポートされる任意の KeyGenerator アルゴリズム
重要度: 低

内部要求キーの生成に使用するアルゴリズム。アルゴリズム HmacSHA256 は、それをサポートする JVM でデフォルトとして使用されます。他の JVM では、デフォルトは使用されず、このプロパティーの値はワーカー設定で手動で指定する必要があります。

型: int
デフォルト: null
重要度: 低

内部要求の署名に使用するキーのサイズ (ビット単位)。null の場合、キー生成アルゴリズムのデフォルトキーサイズが使用されます。

型: int
デフォルト: 3600000 (1 時間)
有効な値: [0,…​,2147483647]
重要度: 低

内部リクエスト検証に使用される生成されたセッションキーの TTL (ミリ秒単位)。

型: string
デフォルト: HmacSHA256
有効な値: ワーカー JVM によってサポートされる任意の MAC アルゴリズム
重要度: 低

内部リクエストの署名に使用されるアルゴリズム。アルゴリズム inter.worker.signature.algorithm は、それをサポートする JVM でデフォルトとして使用されます。他の JVM では、デフォルトは使用されず、このプロパティーの値はワーカー設定で手動で指定する必要があります。

型: list
デフォルト: HmacSHA256
有効な値: ワーカー JVM によってそれぞれサポートされる 1 つ以上の MAC アルゴリズムのリスト
重要度: 低

内部リクエストを検証するために許可されているアルゴリズムのリスト。これには、inter.worker.signature.algorithm プロパティーに使用されるアルゴリズムが含まれている必要があります。アルゴリズム HmacSHA256 は、それらを提供する JVM でデフォルトとして使用されます。他の JVM では、デフォルトは使用されず、このプロパティーの値はワーカー設定で手動で指定する必要があります。

型: list
デフォルト: http://:8083
有効な値: コンマ区切りの URL のリスト (http://localhost:8080,https://localhost:8443 など)
重要度: 低

REST API がリッスンするコンマ区切りの URI のリスト。サポートされるプロトコルは HTTP および HTTPS です。ホスト名を 0.0.0.0 として指定し、すべてのインターフェイスにバインドします。ホスト名を空白のままにして、デフォルトのインターフェイスにバインドします。正当なリスナーリストの例は、HTTP://myhost:8083、HTTPS://myhost:8084 です。

型: long
デフォルト: 300000 (5 分)
有効な値: [0,…​]
重要度: 低

新しいブローカーまたはパーティションをプロアクティブに検出するためのパーティションリーダーシップの変更がない場合でも、メタデータの更新を強制するまでの期間 (ミリ秒単位)。

型: list
デフォルト: ""
重要度: 低

メトリクスレポーターとして使用するクラスの一覧。org.apache.kafka.common.metrics.MetricsReporter インターフェイスを実装すると、新しいメトリックの作成が通知されるクラスのプラグが可能になります。JmxReporter は、JMX 統計を登録するために常に含まれます。

型: int
デフォルト: 2
有効な値: [1,…​]
重要度: 低

メトリクスを計算するために保持されるサンプルの数。

型: string
デフォルト: INFO
有効な値: [INFO, DEBUG]
重要度: 低

メトリックの最も高い記録レベル。

型: long
デフォルト: 30000 (30 秒)
有効な値: [0,…​]
重要度: 低

メトリックサンプルが計算される時間枠。

型: long
デフォルト: 60000 (1 分)
重要度: 低

タスクのオフセットのコミットを試行する間隔。

型: long
デフォルト: 5000 (5 秒)
重要度: 低

プロセスをキャンセルし、今後の試行でコミットするオフセットデータを復元する前に、レコードをフラッシュして、パーティションオフセットデータがオフセットストレージにコミットするまでの最大待機時間 (ミリ秒単位)。このプロパティーは、1 回限りのサポートで実行されているソースコネクターには影響しません。

型: int
デフォルト: 25
有効な値: 正の数値、またはブローカーのデフォルトを使用する場合は -1
重要度: 低

オフセットストレージトピックの作成時に使用されるパーティションの数。

型: short
デフォルト: 3
有効な値: Kafka クラスター内のブローカーの数以下の正の数、またはブローカーのデフォルトを使用する場合は -1
重要度: 低

オフセットストレージトピックの作成時に使用されるレプリケーション係数。

型: string
デフォルト: hybrid_warn
有効な値: (大文字と小文字の区別なし) [ONLY_SCAN, SERVICE_LOAD, HYBRID_WARN, HYBRID_FAIL]
重要度: 低

クラスパスおよび plugin.path 設定に存在するプラグインを検出するために使用するメソッド。これは、次の意味を持つ複数の値の 1 つです。* only_scan: リフレクションによってのみプラグインを検出します。ServiceLoader によって検出できないプラグインは、ワーカーの起動には影響しません。* hybrid_warn: ServiceLoader によってプラグインを反射的に検出します。ServiceLoader で検出できないプラグインがあると、ワーカーの起動時に警告を出力します。* hybrid_fail: ServiceLoader によってプラグインを反射的に検出します。ServiceLoader で検出できないプラグインがあると、ワーカーの起動が失敗します。* service_load: ServiceLoader のみでプラグインを検出します。他のモードに比べて起動が早くなります。ServiceLoader で検出できないプラグインは使用できない場合があります。

型: list
デフォルト: null
重要度: 低

プラグイン (コネクター、コンバーター、変換) が含まれるコンマ (,) で区切られたパスのリスト。リストは、次の任意の組み合わせを含むトップレベルのディレクトリーで設定される必要があります。a) プラグインとその依存関係を含む jars を直接含むディレクトリー、b) プラグインとその依存関係を含む uber-jars、c) プラグインのクラスとその依存関係のパッケージディレクトリー構造を直接含むディレクトリー。注記: 依存関係またはプラグインを検出するために、シンボリックリンクが続きます。例: : plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors。設定プロバイダーが初期化され、変数の置き換えとして使用される前にワーカーのスキャナーによって raw パスが使用されるため、このプロパティーで設定プロバイダーの変数を使用しないでください。

型: long
デフォルト: 1000 (1 秒)
有効な値: [0,…​]
重要度: 低

接続に繰り返し失敗したブローカーへの再接続時に待機する最大時間 (ミリ秒単位)。これが指定されている場合、ホストごとのバックオフは、連続して接続に失敗するたびに、この最大値まで指数関数的に増加します。バックオフの増加を計算した後、コネクションストームを回避するために 20% のランダムなジッターが追加されます。

型: long
デフォルト: 50
有効な値: [0,…​]
重要度: 低

特定のホストへの再接続を試みる前の基本的な待機時間。これにより、タイトなループでホストに繰り返し接続することを回避します。このバックオフは、クライアントによるブローカーへのすべての接続試行に適用されます。この値は初期バックオフ値であり、連続して接続に失敗するたびに、最大で reconnect.backoff.max.ms の値まで指数関数的に増加します。

型: string
デフォルト: ""
有効な値: コンマ区切りのヘッダールール。各ヘッダールールは [action] [header name]:[header value] 形式で、ヘッダールールの一部にコンマが含まれる場合はオプションで二重引用符で囲まれます。
重要度: 低

REST API HTTP レスポンスヘッダーのルール。

型: string
デフォルト: null
重要度: 低

これが設定されている場合、これは、他のワーカーの接続用に提供されるホスト名です。

型: string
デフォルト: null
重要度: 低

他のワーカーが使用するために提供されるアドバタイズされたリスナー (HTTP または HTTPS) を設定します。

型: int
デフォルト: null
重要度: 低

これが設定されている場合、これは、他のワーカーの接続用に提供されるポートになります。

型: list
デフォルト: ""
重要度: 低

指定された順序でロードされ、呼び出される ConnectRestExtension クラスのコンマ区切りリスト。インターフェイス ConnectRestExtension を実装すると、フィルターなどの Connect の REST API ユーザー定義リソースを注入できます。通常、ロギング、セキュリティーなどのカスタム機能の追加に使用されます。

型: long
デフォルト: 1000 (1 秒)
有効な値: [0,…​]
重要度: 低

繰り返し失敗したブローカーへの要求を再試行するときに待機する最大時間 (ミリ秒)。指定した場合、クライアントごとのバックオフは、要求が失敗するたびにこの最大値まで指数関数的に増加します。再試行時にすべてのクライアントが同期されないように、バックオフには係数 0.2 のランダム化されたジッターが適用されます。その結果、バックオフは計算値より 20% 低い値と 20% 高い値の間になります。retry.backoff.ms が retry.backoff.max.ms よりも大きく設定されている場合は、指数関数的に増加することなく、最初から retry.backoff.max.ms が定数バックオフとして使用されます。

型: long
デフォルト: 100
有効な値: [0,…​]
重要度: 低

特定のトピックパーティションに対して失敗したリクエストを再試行するまでの待機時間。これにより、一部の障害シナリオでタイトループでリクエストを繰り返し送信することを回避できます。この値は初期バックオフ値であり、要求が失敗するたびに、最大で retry.backoff.max.ms の値まで指数関数的に増加します。

型: string
デフォルト:/usr/bin/kinit
重要度: 低

Kerberos kinit コマンドパス。

型: long
デフォルト: 60000
重要度: 低

更新試行間のログインスレッドのスリープ時間。

型: double
デフォルト: 0.05
重要度: 低

更新時間に追加されたランダムなジッターの割合。

型: double
デフォルト: 0.8
重要度: 低

ログインスレッドは、最後の更新からチケットの有効期限までの指定された時間のウィンドウファクターに達するまでスリープし、その時点でチケットの更新を試みます。

型: int
デフォルト: null
重要度: 低

外部認証プロバイダーの接続タイムアウト用の (オプションの) 値 (ミリ秒単位)。現在は、OAUTHBEARER にのみ適用されます。

型: int
デフォルト: null
重要度: 低

外部認証プロバイダーの読み取りタイムアウト用の (オプションの) 値 (ミリ秒単位)。現在は、OAUTHBEARER にのみ適用されます。

型: short
デフォルト: 300
有効な値: [0,…​,3600]
重要度: 低

クレデンシャルを更新するときに維持するクレデンシャルの有効期限が切れるまでのバッファー時間 (秒単位)。更新が、バッファー秒数よりも有効期限に近いときに発生する場合、更新は、バッファー時間をできるだけ維持するために前倒しで行われます。設定可能な値は 0 から 3600 (1 時間) です。値を指定しない場合は、デフォルト値の 300 (5 分) が使用されます。この値と sasl.login.refresh.min.period.seconds の合計が、クレデンシャルの残りの有効期間を超える場合は、両方とも無視されます。現在は、OAUTHBEARER にのみ適用されます。

型: short
デフォルト: 60
有効な値: [0,…​,900]
重要度: 低

ログイン更新スレッドがクレデンシャルを更新する前に待機する最小時間 (秒単位)。設定可能な値は 0 から 900 (15 分) です。値を指定しない場合は、デフォルト値の 60 (1 分) が使用されます。この値と sasl.login.refresh.buffer.seconds の合計が、クレデンシャルの残りの有効期間を超える場合は、両方とも無視されます。現在は、OAUTHBEARER にのみ適用されます。

型: double
デフォルト: 0.8
有効な値: [0.5,…​,1.0]
重要度: 低

ログイン更新スレッドは、クレデンシャルの有効期間との関連で指定の期間ファクターに達するまでスリープ状態になり、達成した時点でクレデンシャルの更新を試みます。設定可能な値は 0.5 (50%) から 1.0 (100%) までです。値が指定されていない場合、デフォルト値の 0.8 (80%) が使用されます。現在は、OAUTHBEARER にのみ適用されます。

型: double
デフォルト: 0.05
有効な値: [0.0,…​,0.25]
重要度: 低

ログイン更新スレッドのスリープ時間に追加されるクレデンシャルの存続期間に関連するランダムジッターの最大量。設定可能な値は 0 から 0.25 (25%) です。値が指定されていない場合は、デフォルト値の 0.05 (5%) が使用されます。現在は、OAUTHBEARER にのみ適用されます。

型: long
デフォルト: 10000 (10 秒)
重要度: 低

外部認証プロバイダーへのログイン試行間における最大待機時間の (オプションの) 値 (ミリ秒単位)。ログインでは、指数関数バックオフアルゴリズムが使用され、初期待機時間は sasl.login.retry.backoff.ms 設定に基づき、試行間の待機時間は 2 倍になり、最大待機時間は sasl.login.retry.backoff.max.ms 設定に基づき、指定されます。現在は、OAUTHBEARER にのみ適用されます。

型: long
デフォルト: 100
重要度: 低

外部認証プロバイダーへのログイン試行間における初期待機用の (オプションの) 値 (ミリ秒単位)。ログインでは、指数関数バックオフアルゴリズムが使用され、初期待機時間は sasl.login.retry.backoff.ms 設定に基づき、試行間の待機時間は 2 倍になり、最大待機時間は sasl.login.retry.backoff.max.ms 設定に基づき、指定されます。現在は、OAUTHBEARER にのみ適用されます。

型: int
デフォルト: 30
重要度: 低

OAuth/OIDC ID プロバイダーとブローカーの時間の差を考慮した秒単位の (オプションの) 値。

型: list
デフォルト: null
重要度: 低

JWT が想定される対象者の 1 つに対して発行されたことを確認するためにブローカーが使用する (オプションの) コンマ区切りの設定です。JWT は標準的な OAuth の aud クレームについて検査され、この値が設定されている場合、ブローカーは JWT の aud クレームから値が完全に一致するかどうかを確認するために照合します。一致するものがない場合、ブローカーは JWT を拒否し、認証は失敗します。

型: string
デフォルト: null
重要度: 低

想定される issuer によって JWT が作成されたことを確認するためにブローカーが使用する (オプションの) 設定。JWT は標準の OAuth iss クレームについて検査され、この値が設定されている場合、ブローカーは JWT の iss クレームにあるものと正確に照合します。一致するものがない場合、ブローカーは JWT を拒否し、認証は失敗します。

型: long
デフォルト: 3600000 (1 時間)
重要度: 低

ブローカーが JWT の署名を検証するためのキーを含む JWKS (JSON Web Key Set) キャッシュを更新するまで待機するミリ秒単位の (オプションの) 値。

型: long
デフォルト: 10000 (10 秒)
重要度: 低

外部認証プロバイダーから JWKS (JSON Web Key Set) を取得する試行間における最大待機時間の (オプションの) 値 (ミリ秒単位)。JWKS の取得では、sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 設定に基づく初期待機を伴う指数関数バックオフアルゴリズムが使用され、sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 設定で指定された最大待機時間まで試行間の待機時間が 2 倍になります。

型: long
デフォルト: 100
重要度: 低

外部認証プロバイダーからの JWKS (JSON Web Key Set) の取得試行間における初期待機の (オプションの) 値 (ミリ秒単位)。JWKS の取得では、sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 設定に基づく初期待機を伴う指数関数バックオフアルゴリズムが使用され、sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 設定で指定された最大待機時間まで試行間の待機時間が 2 倍になります。

型: string
デフォルト: scope
重要度: 低

スコープの OAuth クレームはスコープと呼ばれることがよくありますが、OAuth/OIDC プロバイダーがそのクレームに別の名前を使用する場合、この (オプションの) 設定は JWT ペイロードのクレームに含まれるスコープに使用する別の名前を提供できます。

型: string
デフォルト: sub
重要度: 低

サブジェクトの OAuth クレームは sub と呼ばれることがよくありますが、この (オプションの) 設定は、OAuth/OIDC プロバイダーがそのクレームに別の名前を使用する場合、JWT ペイロードのクレームに含まれるサブジェクトに使用する別の名前を提供できます。

型: int
デフォルト: 300000 (5 分)
有効な値: [0,…​,2147483647]
重要度: 低

1 人または複数の離脱したワーカーが戻ってくるのを待ってから、コネクターやタスクをリバランスしてグループに再割り当てするために予定されている最大の遅延時間。この期間は、離脱したワーカーのコネクターやタスクが割り当てられないままになります。

型: long
デフォルト: 30000 (30 秒)
有効な値: [0,…​]
重要度: 低

ソケット接続が確立されるまでクライアントが待機する最大時間。接続設定のタイムアウトは、連続して接続に失敗するたびに、この最大値まで指数関数的に増加します。接続ストームを回避するために、タイムアウトに 0.2 のランダム化ファクターが適用され、計算された値よりも 20% 未満と 20% 超の間にランダムな範囲が発生します。

型: long
デフォルト: 10000 (10 秒)
有効な値: [0,…​]
重要度: 低

ソケット接続が確立されるまでクライアントが待機する時間。タイムアウトが経過する前に接続が構築されない場合、クライアントはソケットチャネルを閉じます。この値は初期バックオフ値であり、連続して接続に失敗するたびに、最大で socket.connection.setup.timeout.max.ms の値まで指数関数的に増加します。

型: list
デフォルト: null
重要度: 低

暗号化スイートの一覧。これは、TLS または SSL ネットワークプロトコルを使用してネットワーク接続のセキュリティー設定をネゴシエートするために使用される認証、暗号化、MAC、および鍵交換アルゴリズムの名前付きの組み合わせです。デフォルトでは、利用可能なすべての暗号スイートがサポートされます。

型: string
デフォルト: none
有効な値: [required, requested, none]
重要度: 低

クライアント認証を要求する kafka ブローカーを設定します。以下の設定は一般的な設定です。

型: string
デフォルト: https
重要度: 低

サーバー証明書を使用してサーバーのホスト名を検証するエンドポイント識別アルゴリズム。

型: class
デフォルト: null
重要度: 低

SSLEngine オブジェクトを提供する org.apache.kafka.common.security.auth.SslEngineFactory タイプのクラス。デフォルト値は org.apache.kafka.common.security.ssl.DefaultSslEngineFactory です。あるいは、これを org.apache.kafka.common.security.ssl.CommonNameLoggingSslEngineFactory に設定すると、クライアントがいずれかのブローカーでの認証に使用する期限切れ SSL 証明書のコモンネームが、ログレベル INFO で記録されます。この場合、mTLS クライアントからブローカーへの新しい接続を確立する際に、クライアントが提供した証明書チェーンを調べるための追加コードが原因で、わずかに遅延が発生することに注意してください。さらに、実装では標準の Java トラストストアに基づくカスタムトラストストアが使用されます。したがって、標準のトラストストアほど成熟しておらず、セキュリティーリスクとみなされる可能性があることに注意してください。

型: string
デフォルト: SunX509
重要度: 低

SSL 接続のキーマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたキーマネージャーファクトリーアルゴリズムです。

型: string
デフォルト: null
重要度: 低

SSL 暗号操作に使用する SecureRandom PRNG 実装。

型: string
デフォルト: PKIX
重要度: 低

SSL 接続のトラストマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたトラストマネージャーファクトリーアルゴリズムです。

型: int
デフォルト: 5
有効な値: 正の数値、またはブローカーのデフォルトを使用する場合は -1
重要度: 低

ステータスストレージトピックの作成時に使用されるパーティションの数。

型: short
デフォルト: 3
有効な値: Kafka クラスター内のブローカーの数以下の正の数、またはブローカーのデフォルトを使用する場合は -1
重要度: 低

ステータスストレージトピックの作成時に使用されるレプリケーション係数。

型: long
デフォルト: 5000 (5 秒)
重要度: 低

タスクを正常にシャットダウンするまで待機する時間。これは、タスクごとにではなく、合計時間です。タスクはすべてシャットダウンされ、順番に待機します。

型: boolean
デフォルト: true
重要度: 低

ソースコネクターが topic.creation. プロパティーで設定されている場合、ソースコネクターによって使用されるトピックの自動作成を許可するかどうか。各タスクは管理クライアントを使用してトピックを作成し、トピックを自動的に作成する Kafka ブローカーに依存しません。

型: boolean
デフォルト: true
重要度: 低

true に設定すると、ユーザーリクエストはコネクターごとにアクティブなトピックのセットをリセットできます。

型: boolean
デフォルト: true
重要度: 低

ランタイム時におけるコネクターごとに、アクティブなトピックセットの追跡を有効にします。