付録D プロデューサー設定パラメーター

type: class
Importance: high

org.apache.kafka.common.serialization.Serializer インターフェースを実装するキーのシリアライザークラス。

type: class
Importance: high

org.apache.kafka.common.serialization.Serializer インターフェースを実装する値のシリアライザークラス。

type: string
デフォルト： 1
有効値： [all, -1, 0, 1]
インポートランス： high

リクエストの完了を検討する前に、プロデューサーにリーダーを受信する必要がある確認の数。これにより、送信されるレコードの持続性を制御します。以下の設定が可能です。

type: list
デフォルト： ""
Valid Values: non-null string
Importance: high

Kafka クラスターへの最初の接続を確立するために使用するホストとポートのペアの一覧。クライアントは、ここで指定するすべてのサーバーの使用を行います。このリストは、サーバーのフルセットを検出するために使用される初期ホストにのみ影響します。このリストは host1:port1,host2:port2,…​ の形式にする必要があります。これらのサーバーは、クラスターの全メンバーシップを検出するために初期接続（動的に変更されている可能性がある）にだけ使用されているため、この一覧にはサーバーのフルセットを含める必要はありません（サーバーがダウンした場合の場合もあります）。

type: long
デフォルト： 33554432
有効な値： [0,…​]
Importance: high

プロデューサーがサーバーに送信されるまで待機するレコードをバッファーするために使用できるメモリーの合計バイト数。レコードがサーバーへ配信されるよりも高速にレコードを送信する場合、プロデューサーは max.block.ms のブロックを行い、例外が発生します。

この設定は、プロデューサーが使用する合計メモリーに対応する必要がありますが、プロデューサーが使用するすべてのメモリーはバッファーに使用される訳ではなく、ハードバインドされません。追加のメモリーは圧縮（圧縮が有効になっている場合）やインフライトリクエストを維持するために使用されます。

type: string
デフォルト： none
の修正： high

プロデューサーによって生成された全データの圧縮タイプ。デフォルトは none（つまり圧縮なし）です。有効な値は、none、gzip、snappy、lz4、または zstd です。圧縮はデータの完全なバッチであるため、バッチ処理は圧縮比率にも影響を及ぼします（バッチ処理により、圧縮が向上する）。

type: int
Default: 2147483647
Valid Values: [0,…​,2147483647]
Importance: high

ゼロよりも大きい値を設定すると、クライアントは一時的なエラーで送信に失敗するレコードを再送します。この再試行は、クライアントのエラーの受信時にレコードを再送する場合とは異なります。max.in.flight.requests.per.connection を 1 に設定せずに再試行を許可すると、レコードの順序が変更される可能性があります。これは、1 つのバッチが単一のパーティションに送信され、最初のバッチで再試行され、2 番目のバッチのレコードが最初に表示されるためです。また、確認応答の成功前に delivery.timeout.ms によってタイムアウトが期限切れになると、再試行回数が使い切られる前にリクエストが失敗することに注意してください。通常は、この設定の設定を解除したままにし、再試行動作を制御する代わりに delivery.timeout.ms を使用することが推奨されます。

type: password
Default: null
Importance: high

キーストアファイルまたは 'ssl.keystore.key' で指定された PEM キーの秘密鍵のパスワード。これは、双方向認証が設定されている場合のみクライアントに必要です。

type: password
Default: null
Importance: high

'ssl.keystore.type' で指定された形式の証明書チェーン。デフォルトの SSL エンジンファクトリーは、X.509 証明書のリストを持つ PEM 形式のみをサポートします。

type: password
Default: null
Importance: high

'ssl.keystore.type' で指定された形式の秘密鍵デフォルトの SSL エンジンファクトリーは、PKCS#8 キーを持つ PEM 形式のみをサポートします。キーが暗号化されている場合は、'ssl.key.password' を使用してキーパスワードを指定する必要があります。

type: string
Default: null
Importance: high

キーストアファイルの場所。これはクライアントにはオプションであり、クライアントの双方向認証に使用できます。

type: password
Default: null
Importance: high

キーストアファイルのストアパスワード。これはクライアントでは任意で、'ssl.keystore.location' が設定されている場合にのみ必要です。キーストアのパスワードは PEM 形式ではサポートされていません。

type: password
Default: null
Importance: high

'ssl.truststore.type' で指定された形式の信頼済み証明書。デフォルトの SSL エンジンファクトリーは、X.509 証明書を使用した PEM 形式のみをサポートします。

type: string
Default: null
Importance: high

トラストストアファイルの場所。

type: password
Default: null
Importance: high

トラストストアファイルのパスワード。パスワードが設定されていない場合は、設定されたトラストストアファイルが使用されますが、整合性チェックは無効になります。トラストストアのパスワードは PEM 形式ではサポートされていません。

type: int
Default: 16384
Valid Values: [0,…​]
Importance: medium

プロデューサーは、複数のレコードが同じパーティションに送信されるたびに、バッチレコードを少ないリクエストにまとめよう試行します。これにより、クライアントとサーバーの両方でのパフォーマンスが容易になります。この設定では、デフォルトのバッチサイズをバイト単位で制御します。

このサイズを超えるバッチレコードをバッチ処理しようとしません。

ブローカーに送信されたリクエストには、複数のバッチが含まれます。各パーティションに 1 つずつ、送信できるデータがあります。

バッチサイズが小さくなると、バッチ処理が少なくなりますが、スループットが減少することがあります（バッチサイズがゼロの場合、バッチサイズは完全に無効になります）。非常に大きなバッチサイズでは、追加のレコードで指定のバッチサイズのバッファーを常に割り当てるため、メモリーを少し進む可能性があります。

type: string
デフォルト： use_all_dns_ips
有効な値： [default, use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
インポートランス： medium

クライアントが DNS ルックアップを使用する方法を制御します。use_all_dns_ips に設定すると、正常な接続が確立されるまで、返された各 IP アドレスを順番に接続します。接続が切断されると、次の IP が使用されます。すべての IP が 1 回使用されると、クライアントはホスト名から IP を再度解決します（JVM と OS キャッシュ DNS 名ルックアップの両方）。resolve_canonical_bootstrap_servers_only に設定すると、各ブートストラップアドレスを正規名のリストに解決します。ブートストラップフェーズの後に、これは use_all_dns_ips と同じように動作します。default （非推奨）に設定すると、ルックアップが複数の IP アドレスを返す場合でも、ルックアップによって返される最初の IP アドレスへの接続を試行します。

type: string
デフォルト： ""
Importance: medium

要求の実行時にサーバーに渡す id 文字列。この目的は、サーバー側の要求ロギングに論理アプリケーション名を含めることで、ip/ポート以外の要求のソースを追跡できるようにすることです。

type: long
デフォルト： 540000（9 分）
Importance: medium

この設定によって指定された期間（ミリ秒単位）の後にアイドル状態の接続を閉じます。

type: int
Default: 120000（2 分）
有効な値： [0,…​]
Importance: medium

send() の呼び出し後に成功または失敗を報告する時間の上限です。これにより、送信前にレコードが遅延する合計時間、ブローカーからの確認応答の待機中に時間、および再試行可能な送信失敗に許可される時間を制限します。プロデューサーは、リカバリー不可能なエラーが発生した場合に設定の前にレコードを送信すること、再試行が使い切られた場合、または以前の配信期限に達したバッチにレコードが追加される可能性があります。この設定の値は、request.timeout.ms および linger.ms の合計以上である必要があります。

type: long
デフォルト： 0
有効値： [0,…​]
Importance: medium

プロデューサーグループは、リクエストの送信間で到達するレコードを 1 つのバッチ処理リクエストにまとめます。通常、レコードが送信速度よりも早く到達した場合にのみ、負荷がかかります。ただし、状況によっては、クライアントが中程度の負荷でもリクエストの数を減らす必要がある場合があります。この設定は、レコードを即座に送信するのではなく、プロデューサーが指定の遅延を待機して、送信をバッチ処理できるようにすることで、人為的な遅延量を若干追加します。これは、TCP の Nagle アルゴリズムに類似したと考えることができます。この設定により、バッチ処理の遅延の上限があります。この設定では、この設定に関係なく、パーティションにレコードが 1 人ずつ送信されます。ただし、このパーティションに対して累積されたバイト数がこの値より少ない場合は、レコードが表示されるまで指定した時間に対する「残高」を「残します」します。batch.sizeこの設定は、デフォルトで 0（遅延なし）です。linger.ms=5 を設定すると、送信される要求の数を減らすことができますが、負荷がない場合に送信されたレコードに最大 5ms が追加されます。

type: long
デフォルト： 60000（1 分）
有効な値： [0,…​]
Importance: medium

この設定では、KafkaProducer’s `send()、partitionsFor()、initTransactions()、sendOffsetsToTransaction()、commitTransaction()、および abortTransaction() メソッドがブロックする期間を制御します。send() の場合、このタイムアウトはメタデータフェッチとバッファー割り当ての待機中の合計時間をバインドします（ユーザー指定のシリアライザーやパーティションヤーでブロックはこのタイムアウトに対してカウントされません）。partitionsFor() の場合、このタイムアウトにより、メタデータの待機に費やされた時間を、利用できない場合にバインドします。トランザクション関連のメソッドは常にブロックしますが、トランザクションコーディネーターを検出できなかったり、タイムアウト内で応答できなかった場合はタイムアウトする場合があります。

type: int
Default: 1048576
有効な値： [0,…​]
Importance: medium

リクエストの最大サイズ（バイト単位）。この設定により、リクエストの送信を防ぐためにプロデューサーが 1 つのリクエストに送信するレコードバッチの数が制限されます。これは、圧縮されていない最大のレコードバッチサイズの上限です。この場合、レコードバッチサイズでサーバーには独自の上限が設定されている点に注意してください（圧縮が有効になっている場合は圧縮後）。

type: class
Default: org.apache.kafka.clients.producer.internals.DefaultPartitioner
Importance: medium

org.apache.kafka.clients.producer.Partitioner インターフェースを実装するパーティションクラス。

type: int
Default: 32768(32 kibibytes)
Valid Values: [-1,…​]
Importance: medium

データの読み取り時に使用する TCP 受信バッファー(SO_RCVBUF)のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

type: int
デフォルト： 30000（30 秒）
有効な値： [0,…​]
Importance: medium

この設定では、クライアントがリクエストの応答を待つ最大時間を制御します。タイムアウトが経過する前に応答が受信されない場合、クライアントがリクエストを再送するか、再試行した場合はリクエストが失敗します。これは、不要なプロデューサーの再試行によりメッセージの重複の可能性を低減するために、replica.lag.time.max.ms （ブローカーの設定）より大きくする必要があります。

type: class
Default: null
Importance: medium

AuthenticateCallbackHandler インターフェースを実装する SASL クライアントコールバックハンドラークラスの完全修飾名。

type: password
Default: null
Importance: medium

JAAS 設定ファイルによって使用される形式で、SASL 接続の JAAS ログインコンテキストパラメーター。JAAS 設定ファイルの形式は、こちらで説明されています。値のフォーマットは loginModuleClass controlFlag (optionName=optionValue)*; です。ブローカーの場合、設定の前にリスナープレフィックスおよび SASL メカニズム名が付けられます。例： listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule required;

type: string
Default: null
Importance: medium

Kafka が実行される Kerberos プリンシパル名。これは、Kafka の JAAS 設定または Kafka の設定のいずれかで定義できます。

type: class
Default: null
Importance: medium

AuthenticateCallbackHandler インターフェースを実装する SASL ログインコールバックハンドラークラスの完全修飾名。ブローカーの場合、ログインコールバックハンドラー設定の前にリスナープレフィックスと SASL メカニズム名（小文字の）を付ける必要があります。例： listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler。

type: class
Default: null
Importance: medium

Login インターフェースを実装するクラスの完全修飾名。ブローカーの場合、ログイン設定の前にリスナープレフィックスおよび SASL メカニズム名が付けられます。For example, listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin.

type: string
Default: GSSAPI
Importance: medium

クライアント接続に使用される SASL メカニズム。これは、セキュリティープロバイダーが利用できるメカニズムになることがあります。GSSAPI がデフォルトのメカニズムです。

type: string
Default: PLAINTEXT
Importance: medium

ブローカーとの通信に使用されるプロトコル。有効な値は PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。

type: int
Default: 131072(128 kibibytes)
Valid Values: [-1,…​]
Importance: medium

データ送信時に使用する TCP 送信バッファー(SO_SNDBUF)のサイズ。値が -1 の場合、OS のデフォルトが使用されます。

タイプ： long
デフォルト： 30000（30 秒）
インポート： 中

クライアントがソケット接続を確立するまで待機する最大時間。接続設定のタイムアウトにより、連続する接続の失敗ごとに指数関数的に増加します。接続サイムを回避するために、ランダム化係数 0.2 がタイムアウトに適用されるため、以下の 20% と計算された値の 20% のランダムな範囲が適用されます。

タイプ： long
デフォルト： 10000（10 秒）
重要： medium

クライアントがソケット接続を確立するのを待機する期間。タイムアウトが経過する前に接続がビルドされない場合、クライアントはソケットチャネルを閉じます。

type: list
Default: TLSv1.2,TLSv1.3
Importance: medium

SSL 接続に対して有効なプロトコル一覧。Java 11 以降、「TLSv1.2」以降で実行する場合、デフォルトは 'TLSv1.2,TLSv1.3' です。Java 11 のデフォルト値は、クライアントとサーバーの両方が TLSv1.2 に対応している場合は、クライアントとサーバーは TLSv1.3 を優先します（TLSv1.2 以上をサポートすることを想定します）。多くのケースでは、このデフォルトは問題ありません。ssl.protocol の設定に関するドキュメントも参照してください。

type: string
Default: JKS
Importance: medium

キーストアファイルのファイル形式。これはクライアントの場合はオプションになります。

type: string
Default: TLSv1.3
importance: medium

SSLContext の生成に使用される SSL プロトコル。Java 11 以降「TLSv1.2」を使用して実行すると、デフォルトは「TLSv1.3」です。この値は、ほとんどのユースケースで十分です。最近の JVM で許可される値は 'TLSv1.2' および 'TLSv1.3' です。'TLS'、'TLSv1.1'、'SSL'、'SSLv2'、および 'SSLv3' は古い JVM でサポートされる可能性がありますが、既知のセキュリティー脆弱性が原因で使用は推奨されません。この設定および 'ssl.enabled.protocols' のデフォルト値を使用すると、サーバーが「TLSv1.3」をサポートしない場合、クライアントは 'TLSv1.2' にダウングレードします。この設定を「TLSv1.2」に設定すると、クライアントは ssl.enabled.protocols の値のいずれかである場合でも、「TLSv1.3」を使用し、サーバーは「TLSv1.3」のみに対応します。

type: string
Default: null
Importance: medium

SSL 接続に使用されるセキュリティープロバイダーの名前。デフォルト値は JVM のデフォルトセキュリティープロバイダーです。

type: string
Default: JKS
Importance: medium

トラストストアファイルのファイル形式です。

type: boolean
Default: false
Importance: low

'true' に設定すると、プロデューサーは各メッセージの 1 つのコピーがストリームに書き込まれるようにします。'false'、ブローカーの失敗によるプロデューサーの再試行回数がある場合、ストリームに再試行されたメッセージの複製が作成される可能性があります。冪等性を有効にするには、max.in.flight.requests.per.connection を 5 以下に設定する必要があります。retries は 0 より大きく、acks は「all」である必要があります。これらの値がユーザーによって明示的に設定されていない場合、適切な値が選択されます。互換性のない値が設定されている場合、ConfigException はスローされます。

type: list
デフォルト： ""
Valid Values: non-null string
Importance: low

インターセプターとして使用するクラスのリスト。org.apache.kafka.clients.producer.ProducerInterceptor インターフェースを実装すると、Kafka クラスターにパブリッシュされる前にプロデューサーによって受信されるレコードを傍受（また変更する可能性があります）できます。デフォルトでは、インターセプターはありません。

type: int
Default: 5
Valid Values: [1,…​]
Importance: low

クライアントがブロックする前に 1 つの接続に送信するリクエストの最大数。この設定が 1 よりも大きいで送信に失敗する場合は、再試行によるメッセージの再順序のリスクがあります（再試行が有効な場合など）。

type: long
デフォルト： 300000（5 分）
有効な値： [0,…​]
Importance: low

パーティションリーダーが変更されておらず、新しいブローカーやパーティションをプロアクティブに検出するようにしていても、メタデータの更新を強制する期間（ミリ秒単位）。

type: long
デフォルト： 300000（5 分）
有効値： [5000,…​]
Importance: low

プロデューサーがアイドル状態のトピックのメタデータをキャッシュする期間を制御します。トピックが最後に実行された後の経過時間がメタデータのアイドル期間を超えると、トピックのメタデータは意図されず、次のアクセスでメタデータフェッチリクエストを強制的に実行します。

type: list
デフォルト： ""
Valid Values: non-null string
Importance: low

メトリクスレポーターとして使用するクラスの一覧。org.apache.kafka.common.metrics.MetricsReporter インターフェースを実装すると、新しいメトリクス作成の通知となるクラスにプラグインすることができます。JmxReporter は、JMX 統計を登録するために常に含まれます。

type: int
Default: 2
Valid Values: [1,…​]
Importance: low

メトリクスを計算するために保持されるサンプルの数。

type: string
Default: INFO
Valid Values: [INFO, DEBUG, TRACE]
Importance: low

メトリックの最大記録レベル。

type: long
デフォルト： 30000（30 秒）
有効値： [0,…​]
Importance: low

メトリクスサンプルが計算される期間。

type: long
デフォルト： 1000（1秒）
有効値： [0,…​]
Importance: low

繰り返し接続に失敗したブローカーに再接続するまで待機する最大時間（ミリ秒単位）。指定された場合、ホストごとのバックオフは連続した接続障害ごとに指数関数的に増加し、最大接続数までします。バックオフの増加を計算すると、接続のフレッターを回避するために 20% のランダムジッターが追加されます。

type: long
デフォルト： 50
有効な値： [0,…​]
インポートランス： low

指定のホストに再接続を試みる前に待機する時間。これにより、密接なループでホストへ繰り返し接続することはできません。このバックオフは、クライアントがブローカーへのすべての接続試行に適用されます。

type: long
デフォルト： 100
有効な値： [0,…​]
インポートランス： low

特定のトピックパーティションへの失敗した要求を再試行するまでの待機時間。これにより、障害シナリオによっては、1 回目のループでリクエストを繰り返し送信しないようにします。

type: string
デフォルト： /usr/bin/kinit
Importance: low

Kerberos kinit コマンドパス。

タイプ： long
デフォルト： 60000
インポートランス： low

更新試行の間には、ログインスレッドのスリープ時間。

type: double
Default: 0.05
Importance: low

ランダムなジッターの割合が更新時間に追加されます。

type: double
デフォルト： 0.8
クォーラム： low

指定のウィンドウ係数からチケットの有効期限に達するまで、ログインスレッドはスリープ状態になります。

type: short
Default: 300
Valid Values: [0,…​,3600]
Importance: low

認証情報の更新時における認証情報が失効するまでの時間（秒単位）。更新が行われない場合、バッファーの秒数より期限切れになり始めたら、更新ができるだけ多くのバッファー時間を維持します。有効な値は 0 から 3600（1 時間）の間です。値が指定されていない場合は、デフォルト値の 300（5 分）が使用されます。認証情報の残存期間が経過すると、この値と sasl.login.refresh.min.period.seconds はいずれも無視されます。現在、OAUTHBEARER にのみ適用されます。

type: short
Default: 60
Valid Values: [0,…​,900]
Importance: low

ログイン更新スレッドがクレデンシャルを更新する前に待機する最低時間（秒単位）。有効な値は 0 から 900（15 分）までの値になります。値が指定されていない場合は、デフォルト値の 60（1 分）が使用されます。認証情報の残存期間が経過すると、この値と sasl.login.refresh.buffer.seconds はいずれも無視されます。現在、OAUTHBEARER にのみ適用されます。

type: double
Default: 0.8
Valid Values: [0.5,…​,1.0]
Importance: low

ログイン更新スレッドは、認証情報の有効期間と相対的な期間係数に達するまでスリープします。この場合、認証情報の更新を試みます。有効な値は 0.5(50%)と 1.0(100%)です。値が指定されていない場合、デフォルト値の 0.8(80%)が使用されます。現在、OAUTHBEARER にのみ適用されます。

type: double
Default: 0.05
Valid Values: [0.0,…​,0.25]
Importance: low

ログイン更新スレッドのスリープ時間に追加されたクレデンシャルの有効期間に対するランダムなジッターの最大数。有効な値は 0 から 0.25(25%)までの値になります。値が指定されていない場合は、デフォルト値の 0.05(5%)が使用されます。現在、OAUTHBEARER にのみ適用されます。

type: string
Default: null
Importance: low

セキュリティーアルゴリズムを実装するプロバイダーを返す設定可能な作成者クラスのリスト。これらのクラスは org.apache.kafka.common.security.auth.SecurityProviderCreator インターフェースを実装する必要があります。

type: list
Default: null
Importance: low

暗号化スイートの一覧。これは、TLS または SSL ネットワークプロトコルを使用してネットワーク接続のセキュリティー設定をネゴシエートするために使用される認証、暗号化、MAC およびキー交換アルゴリズムの名前付き組み合わせです。デフォルトでは、利用可能なすべての暗号スイートがサポートされます。

タイプ： 文字列
デフォルト： https
インポートランス： low

サーバー証明書を使用してサーバーのホスト名を検証するエンドポイント識別アルゴリズム。

type: class
Default: null
Importance: low

種別 org.apache.kafka.common.security.auth.SslEngineFactory のクラスで SSLEngine オブジェクトを提供します。Default value is org.apache.kafka.common.security.ssl.DefaultSslEngineFactory.

type: string
Default: SunX509
Importance: low

SSL 接続のキーマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたキーマネージャーファクトリーアルゴリズムです。

type: string
Default: null
Importance: low

SSL 暗号化操作に使用する SecureRandom PRNG 実装。

type: string
デフォルト： PKIX
重要性： low

SSL 接続のトラストマネージャーファクトリーによって使用されるアルゴリズム。デフォルト値は、Java 仮想マシンに設定されたトラストマネージャーファクトリーアルゴリズムです。

type: int
デフォルト： 60000（1 分）
インポートランス： low

トランザクションのコーディネーターがプロデューサーからトランザクションステータスの更新を待機する最大時間（ミリ秒単位）。この期間を超えると、継続中のトランザクションがプロアクティブに中断されます。この値はブローカー内の transaction.max.timeout.ms 設定よりも大きい場合、リクエストは InvalidTxnTimeoutException エラーを出して失敗します。

type: string
Default: null
Valid Values: non-empty string
Importance: low

トランザクション配信に使用する TransactionalId。これにより、新しいトランザクションの開始前にクライアントが同じ TransactionalId を使用するトランザクションが確実に完了するため、複数のプロデューサーセッションにまたがる信頼性のセマンティクスが有効になります。TransactionalId が指定されていない場合、プロデューサーはべき等配信に制限されます。TransactionalId が設定される場合、enable.idempotence は暗示されます。デフォルトでは TransactionId は設定されておらず、トランザクションは使用できません。デフォルトでは、トランザクションには、実稼働用に推奨される設定が 3 つ以上あるブローカーで構成されるクラスターが必要になります。開発の場合は、ブローカー設定 transaction.state.log.replication.factor を調整することでこれを変更できます。