第47章 Kafka バッチソース

bootstrapServers*

Bootstrap Servers

Kafka Broker URL のコンマ区切りリスト

string

password*

Password

kafka に対して認証を行うためのパスワード

string

topic*

Topic Names

Kafka トピック名のコンマ区切りリスト

string

user*

Username

Kafka に対して認証を行うためのユーザー名

string

allowManualCommit

Allow Manual Commit

手動コミットを許可するかどうか。

boolean

False

autoCommitEnable

自動コミットの有効化

true の場合、コンシューマーによってすでにフェッチされているメッセージのオフセットを ZooKeeper に定期的にコミットします。

boolean

True

autoOffsetReset

Auto Offset Reset

初期オフセットがない場合のアクション。列挙は 3 つあり、値は latest、earliest、none のいずれかです。

string

latest

batchSize

Batch Dimension

poll() への単一の呼び出しで返される最大レコード数

integer

500

batchingIntervalMs

Batching Interval

コンシューマーバッチモードでは、このオプションは、現在のバッチサイズが maxPollRecords で定義された最大サイズに達していない場合でも、バッチを早期に完了させるためのタイムアウト時間をミリ秒単位で指定します。トリガーは指定された間隔で正確に実行されるわけではないことに注意してください。これは、kafka ポーリング間でのみ発生する可能性があります (pollTimeoutMs オプションを参照)。

integer

consumerGroup

Consumer Group

このソースが属するコンシューマーのグループを一意に識別する文字列

string

my-group-id

deserializeHeaders

Automatically Deserialize Headers

有効にすると、Kamelet ソースはすべてのメッセージヘッダーを文字列表現に逆シリアル化します。

boolean

True

maxPollIntervalMs

最大ポーリング間隔

コンシューマーグループ管理を使用する場合の poll() の呼び出し間の最大遅延。

integer

pollOnError

Poll On Error Behavior

新しいメッセージのポーリング中に、kafka が例外を出力した場合のアクション。5 つの列挙型があり、値は DISCARD、ERROR_HANDLER、RECONNECT、RETRY、STOP のいずれかです。

string

ERROR_HANDLER

pollTimeout

ポーリングタイムアウト間隔

KafkaConsumer をポーリングするときに使用されるタイムアウト。

integer

5000

saslMechanism

SASL Mechanism

使用される Simple Authentication and Security Layer(SASL) メカニズム。

string

PLAIN

securityProtocol

Security Protocol

ブローカーとの通信に使用されるプロトコル。SASL_PLAINTEXT、PLAINTEXT、SASL_SSL、および SSL がサポートされます。

string

SASL_SSL

topicIsPattern

Topic Is Pattern

トピックがパターン (正規表現) であるかどうか。これを使用して、パターンに一致する動的な数のトピックをサブスクライブできます。

boolean

False