第5章 Camel Kafka Connector 設定リファレンス
本章では、Camel Kafka Connector を使用して設定できる Camel Kafka コネクターに関する参照情報を提供します。
このテクノロジープレビューリリースには、利用可能な Apache Camel Kafka コネクターのターゲットサブセットが含まれています。
| コネクター | シンク | ソース |
|---|---|---|
| Amazon Web Services Kinesis | ||
| Amazon Web Services S3 | ||
| Amazon Web Services SNS | - | |
| Amazon Web Services SQS | ||
| Azure Storage Blob | - | |
| Azure Storage Queue | - | |
| Cassandra Query Language | ||
| Elasticsearch | - | |
| File | - | |
| Hadoop Distributed File System | - | |
| Hypertext Transfer Protocol | - | |
| Java Database Connectivity | - | |
| Java Message Service | ||
| MongoDB | ||
| RabbitMQ | ||
| SQL | ||
| SSH | ||
| Syslog | ||
| Timer | - |
5.1. Amazon Web Services Kinesis
5.1.1. camel-aws2-kinesis-kafka-connector のシンク設定
コネクターの説明: AWS SDK バージョン 2.x を使用して、AWS Kinesis Streams からおよび AWS Kinesis Streams へのレコードを消費および作成します。
camel-aws2-kinesis-kafka-connector をシンクとして使用する場合、以下の Maven 依存関係を使用してコネクターをサポートするようにしてください。
<dependency>
<groupId>org.apache.camel.kafkaconnector</groupId>
<artifactId>camel-aws2-kinesis-kafka-connector</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel Kafka connector version -->
</dependency>Kafka コネクションでこのシンクコネクターを使用するには、以下の connector.class を設定する必要があります。
connector.class=org.apache.camel.kafkaconnector.aws2kinesis.CamelAws2kinesisSinkConnectorcamel-aws2-kinesis シンクコネクターは、以下に示す 27 個のオプションをサポートします。
| 名前 | 説明 | デフォルト | 必要性 | 優先順位 |
|---|---|---|---|---|
| camel.sink.path.streamName | ストリームの名前 | null | true | HIGH |
| camel.sink.endpoint.amazonKinesisClient | このエンドポイントに対するすべての要求に使用する Amazon Kinesis クライアント。 | null | false | MEDIUM |
| camel.sink.endpoint.cborEnabled | このオプションは、実行中に CBOR_ENABLED プロパティーを設定します。 | true | false | MEDIUM |
| camel.sink.endpoint.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.sink.endpoint.proxyHost | Kinesis クライアントをインスタンス化する際にプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.proxyPort | Kinesis クライアントをインスタンス化する際にプロキシーポートを定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.proxyProtocol | Kinesis クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.sink.endpoint.region | Kinesis Firehose クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.sink.endpoint.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.sink.endpoint.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.sink.endpoint.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.sink.endpoint.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.sink.endpoint.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
| camel.component.aws2-kinesis.amazonKinesisClient | このエンドポイントに対するすべての要求に使用する Amazon Kinesis クライアント。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.cborEnabled | このオプションは、実行中に CBOR_ENABLED プロパティーを設定します。 | true | false | MEDIUM |
| camel.component.aws2-kinesis.configuration | コンポーネントの設定 | null | false | MEDIUM |
| camel.component.aws2-kinesis.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.proxyHost | Kinesis クライアントをインスタンス化する際にプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.proxyPort | Kinesis クライアントをインスタンス化する際にプロキシーポートを定義します。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.proxyProtocol | Kinesis クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.component.aws2-kinesis.region | Kinesis Firehose クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.autowiredEnabled | 自動ワイヤリングが有効になっているかどうか。これは、コンポーネントで設定される一致するタイプのインスタンスが 1 つあるかどうかを検出するためにレジストリーを検索することで、自動ワイアリングオプションに使用されます (オプションは自動ワイアとマーク付けされる必要があります)。これは、JDBC データソース、JMS 接続ファクトリー、AWS クライアントなどの自動設定に使用できます。 | true | false | MEDIUM |
| camel.component.aws2-kinesis.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.component.aws2-kinesis.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
camel-aws2-kinesis シンクコネクターには、そのまま使えるコンバーターがありません。
camel-aws2-kinesis シンクコネクターは、以下のそのまま使える transforms をサポートしません。
org.apache.camel.kafkaconnector.aws2kinesis.transformers.KinesisRecordDataTransformscamel-aws2-kinesis シンクコネクターにはそのまま使える集約ストラテジーがありません。
5.1.2. camel-aws2-kinesis-kafka-connector ソース設定
コネクターの説明: AWS SDK バージョン 2.x を使用して、AWS Kinesis Streams からおよび AWS Kinesis Streams へのレコードを消費および作成します。
camel-aws2-kinesis-kafka-connector をソースとして使用する場合、以下の Maven 依存関係を使用してコネクターをサポートするようにしてください。
<dependency>
<groupId>org.apache.camel.kafkaconnector</groupId>
<artifactId>camel-aws2-kinesis-kafka-connector</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel Kafka connector version -->
</dependency>Kafka コネクションでこのソースコネクターを使用するには、以下の connector.class を設定する必要があります。
connector.class=org.apache.camel.kafkaconnector.aws2kinesis.CamelAws2kinesisSourceConnectorcamel-aws2-kinesis ソースコネクターは、以下に記載されている 55 個のオプションをサポートします。
| 名前 | 説明 | デフォルト | 必要性 | 優先順位 |
|---|---|---|---|---|
| camel.source.path.streamName | ストリームの名前 | null | true | HIGH |
| camel.source.endpoint.amazonKinesisClient | このエンドポイントに対するすべての要求に使用する Amazon Kinesis クライアント。 | null | false | MEDIUM |
| camel.source.endpoint.cborEnabled | このオプションは、実行中に CBOR_ENABLED プロパティーを設定します。 | true | false | MEDIUM |
| camel.source.endpoint.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.source.endpoint.proxyHost | Kinesis クライアントをインスタンス化する際にプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.source.endpoint.proxyPort | Kinesis クライアントをインスタンス化する際にプロキシーポートを定義します。 | null | false | MEDIUM |
| camel.source.endpoint.proxyProtocol | Kinesis クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.source.endpoint.region | Kinesis Firehose クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.source.endpoint.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.source.endpoint.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.source.endpoint.bridgeErrorHandler | コンシューマーの Camel ルーティングエラーハンドラーへのブリッジを許可します。よって、コンシューマーが受信メッセージなどの取得を試行している間に発生した例外は、メッセージとして処理され、ルーティングエラーハンドラーによって処理されます。デフォルトでは、コンシューマーは org.apache.camel.spi.ExceptionHandler を使用して例外に対応し、WARN または ERROR レベルでログに記録され、無視されます。 | false | false | MEDIUM |
| camel.source.endpoint.iteratorType | Kinesis ストリームでレコードの取得を開始する場所を定義します。[AT_SEQUENCE_NUMBER]、[AFTER_SEQUENCE_NUMBER]、[TRIM_HORIZON]、[LATEST]、[AT_TIMESTAMP]、[null] のいずれか。 | "TRIM_HORIZON" | false | MEDIUM |
| camel.source.endpoint.maxResultsPerRequest | 各ポーリングでフェッチされる最大レコード数。 | 1 | false | MEDIUM |
| camel.source.endpoint.sendEmptyMessageWhenIdle | ポーリングコンシューマーがファイルをポーリングしなかった場合、このオプションを有効にして、代わりに空のメッセージ (ボディーなし) を送信できます。 | false | false | MEDIUM |
| camel.source.endpoint.sequenceNumber | ポーリングを開始するシーケンス番号。iteratorType が AFTER_SEQUENCE_NUMBER または AT_SEQUENCE_NUMBER に設定されている場合に必要です。 | null | false | MEDIUM |
| camel.source.endpoint.shardClosed | シャード (shard) が閉じられた場合の動作を定義します。使用できる値は ignore、silent、および fail です。ignore の場合、メッセージはログに記録され、コンシューマーは最初から再起動します。silent の場合は、ログには記録されず、コンシューマーは最初から起動します。fail の場合は、ReachedClosedStateException が発生します。[ignore]、[fail]、[silent] のいずれか。 | "ignore" | false | MEDIUM |
| camel.source.endpoint.shardId | Kinesis ストリームでどの shardId からレコードを取得するかを定義します。 | null | false | MEDIUM |
| camel.source.endpoint.exceptionHandler | コンシューマーによるカスタム ExceptionHandler の使用を許可します。bridgeErrorHandler オプションが有効な場合は、このオプションは使用されないことに注意してください。デフォルトでは、コンシューマーは例外に対応し、WARN または ERROR レベルでログに記録され、無視されます。 | null | false | MEDIUM |
| camel.source.endpoint.exchangePattern | コンシューマーがエクスチェンジを作成する際に交換パターンを設定します。[InOnly]、[InOut]、[InOptionalOut] のいずれか。 | null | false | MEDIUM |
| camel.source.endpoint.pollStrategy | プラグ可能な org.apache.camel.PollingConsumerPollingStrategy を使用すると、エクスチェンジが作成され、Camel でルーティングされる前に、通常はポーリング操作中に発生するエラー処理を制御するカスタム実装が提供できます。 | null | false | MEDIUM |
| camel.source.endpoint.backoffErrorThreshold | backoffMultipler が開始する前に発生する必要がある後続のエラーポーリング (エラーによって失敗した) の数。 | null | false | MEDIUM |
| camel.source.endpoint.backoffIdleThreshold | backoffMultipler が開始する前に発生する必要がある後続のアイドルポーリングの数。 | null | false | MEDIUM |
| camel.source.endpoint.backoffMultiplier | 後続のアイドル状態/エラーが連続して発生した場合に、スケジュールされたポーリングコンシューマーのバックオフを許可します。乗数は、実際に次の試行が行われる前にスキップされるポーリングの数です。このオプションが使用されている場合は、backoffIdleThreshold や backoffErrorThreshold も設定する必要があります。 | null | false | MEDIUM |
| camel.source.endpoint.delay | 次のポーリングまでの時間 (ミリ秒単位)。 | 500L | false | MEDIUM |
| camel.source.endpoint.greedy | greedy が有効で、以前の実行が 1 つ以上のメッセージをポーリングした場合、ScheduledPollConsumer は即座に再度実行されます。 | false | false | MEDIUM |
| camel.source.endpoint.initialDelay | 最初のポーリングが開始されるまでの時間 (ミリ秒単位)。 | 1000L | false | MEDIUM |
| camel.source.endpoint.repeatCount | 実行の最大数を指定します。そのため、これを 1 に設定するとスケジューラーは 1 度だけ実行されます。これを 5 に設定した場合、5 回だけ実行されます。0 または負の値を設定すると、無制限に実行されます。 | 0L | false | MEDIUM |
| camel.source.endpoint.runLoggingLevel | コンシューマーはポーリング時に開始/完了のログ行を記録します。このオプションを使用すると、ログレベルを設定できます。[TRACE]、[DEBUG]、[INFO]、[WARN]、[ERROR]、[OFF] のいずれか。 | "TRACE" | false | MEDIUM |
| camel.source.endpoint.scheduledExecutorService | コンシューマーに使用するカスタム/共有スレッドプールを設定できます。デフォルトでは、各コンシューマーに独自の単一スレッドのスレッドプールがあります。 | null | false | MEDIUM |
| camel.source.endpoint.scheduler | camel-spring または camel-quartz コンポーネントから cron スケジューラーを使用します。スケジューラーにビルドされた値 spring または quartz を使用。 | "none" | false | MEDIUM |
| camel.source.endpoint.schedulerProperties | カスタムスケジューラーまたは Quartz や Spring ベースのスケジューラーを使用する場合に、追加のプロパティーを設定します。 | null | false | MEDIUM |
| camel.source.endpoint.startScheduler | スケジューラーを自動起動するかどうか。 | true | false | MEDIUM |
| camel.source.endpoint.timeUnit | initialDelay および delay オプションの時間単位。[NANOSECONDS]、[MICROSECONDS]、[MILLISECONDS]、[SECONDS]、[MINUTES]、[HOURS]、[DAYS] のいずれか。 | "MILLISECONDS" | false | MEDIUM |
| camel.source.endpoint.useFixedDelay | 固定遅延または固定レートを使用するかどうかを制御します。詳細は、JDK の ScheduledExecutorService を参照してください。 | true | false | MEDIUM |
| camel.source.endpoint.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.source.endpoint.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
| camel.component.aws2-kinesis.amazonKinesisClient | このエンドポイントに対するすべての要求に使用する Amazon Kinesis クライアント。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.cborEnabled | このオプションは、実行中に CBOR_ENABLED プロパティーを設定します。 | true | false | MEDIUM |
| camel.component.aws2-kinesis.configuration | コンポーネントの設定 | null | false | MEDIUM |
| camel.component.aws2-kinesis.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.proxyHost | Kinesis クライアントをインスタンス化する際にプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.proxyPort | Kinesis クライアントをインスタンス化する際にプロキシーポートを定義します。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.proxyProtocol | Kinesis クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.component.aws2-kinesis.region | Kinesis Firehose クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.bridgeErrorHandler | コンシューマーの Camel ルーティングエラーハンドラーへのブリッジを許可します。よって、コンシューマーが受信メッセージなどの取得を試行している間に発生した例外は、メッセージとして処理され、ルーティングエラーハンドラーによって処理されます。デフォルトでは、コンシューマーは org.apache.camel.spi.ExceptionHandler を使用して例外に対応し、WARN または ERROR レベルでログに記録され、無視されます。 | false | false | MEDIUM |
| camel.component.aws2-kinesis.iteratorType | Kinesis ストリームでレコードの取得を開始する場所を定義します。[AT_SEQUENCE_NUMBER]、[AFTER_SEQUENCE_NUMBER]、[TRIM_HORIZON]、[LATEST]、[AT_TIMESTAMP]、[null] のいずれか。 | "TRIM_HORIZON" | false | MEDIUM |
| camel.component.aws2-kinesis.maxResultsPerRequest | 各ポーリングでフェッチされる最大レコード数。 | 1 | false | MEDIUM |
| camel.component.aws2-kinesis.sequenceNumber | ポーリングを開始するシーケンス番号。iteratorType が AFTER_SEQUENCE_NUMBER または AT_SEQUENCE_NUMBER に設定されている場合に必要です。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.shardClosed | シャード (shard) が閉じられた場合の動作を定義します。使用できる値は ignore、silent、および fail です。ignore の場合、メッセージはログに記録され、コンシューマーは最初から再起動します。silent の場合は、ログには記録されず、コンシューマーは最初から起動します。fail の場合は、ReachedClosedStateException が発生します。[ignore]、[fail]、[silent] のいずれか。 | "ignore" | false | MEDIUM |
| camel.component.aws2-kinesis.shardId | Kinesis ストリームでどの shardId からレコードを取得するかを定義します。 | null | false | MEDIUM |
| camel.component.aws2-kinesis.autowiredEnabled | 自動ワイヤリングが有効になっているかどうか。これは、コンポーネントで設定される一致するタイプのインスタンスが 1 つあるかどうかを検出するためにレジストリーを検索することで、自動ワイアリングオプションに使用されます (オプションは自動ワイアとマーク付けされる必要があります)。これは、JDBC データソース、JMS 接続ファクトリー、AWS クライアントなどの自動設定に使用できます。 | true | false | MEDIUM |
| camel.component.aws2-kinesis.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.component.aws2-kinesis.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
camel-aws2-kinesis ソースコネクターには、そのまま使えるコンバーターがありません。
camel-aws2-kinesis ソースコネクターは、以下のそのまま使える transforms をサポートしません。
org.apache.camel.kafkaconnector.aws2kinesis.transformers.KinesisRecordDataTransformscamel-aws2-kinesis ソースコネクターにはそのまま使える集約ストラテジーがありません。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}