5.2. Amazon Web Services S3
5.2.1. camel-aws2-s3-kafka-connector のシンク設定 リンクのコピーリンクがクリップボードにコピーされました!
コネクターの説明: AWS SDK バージョン 2.x を使用して AWS S3 Storage Service からオブジェクトを保存および取得します。
camel-aws2-s3-kafka-connector をシンクとして使用する場合、以下の Maven 依存関係を使用してコネクターをサポートするようにしてください。
<dependency>
<groupId>org.apache.camel.kafkaconnector</groupId>
<artifactId>camel-aws2-s3-kafka-connector</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel Kafka connector version -->
</dependency>
Kafka コネクションでこのシンクコネクターを使用するには、以下の connector.class を設定する必要があります。
connector.class=org.apache.camel.kafkaconnector.aws2s3.CamelAws2s3SinkConnector
camel-aws2-s3 シンクコネクターは、以下に示す 59 個のオプションをサポートします。
| 名前 | 説明 | デフォルト | 必要性 | 優先順位 |
|---|---|---|---|---|
| camel.sink.path.bucketNameOrArn | バケット名または ARN。 | null | true | HIGH |
| camel.sink.endpoint.amazonS3Client | レジストリーの com.amazonaws.services.s3.AmazonS3 への参照。 | null | false | MEDIUM |
| camel.sink.endpoint.amazonS3Presigner | リクエストの S3 Presigner。主に createDownloadLink 操作で使用されます。 | null | false | MEDIUM |
| camel.sink.endpoint.autoCreateBucket | S3 バケット bucketName の自動作成の設定。moveAfterRead オプションが有効になっている場合も適用され、destinationBucket が存在しない場合は作成されます。 | true | false | MEDIUM |
| camel.sink.endpoint.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.sink.endpoint.pojoRequest | POJO リクエストをボディーとして使用するかどうか。 | false | false | MEDIUM |
| camel.sink.endpoint.policy | com.amazonaws.services.s3.AmazonS3#setBucketPolicy() メソッドに設定されるこのキューのポリシー。 | null | false | MEDIUM |
| camel.sink.endpoint.proxyHost | SQS クライアントをインスタンス化するときにプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.proxyPort | クライアント定義内で使用されるプロキシーポートを指定します。 | null | false | MEDIUM |
| camel.sink.endpoint.proxyProtocol | S3 クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.sink.endpoint.region | S3 クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.sink.endpoint.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.sink.endpoint.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.sink.endpoint.useDefaultCredentialsProvider | デフォルトのクレデンシャルプロバイダー経由でクレデンシャルをロードすること、または静的クレデンシャルが渡されることを S3 クライアントは想定すべきかどうかを設定します。 | false | false | MEDIUM |
| camel.sink.endpoint.customerAlgorithm | CustomerKey が有効になっている場合に使用するカスタマーアルゴリズムを定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.customerKeyId | CustomerKey が有効になっている場合に使用するカスタマーキーの ID を定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.customerKeyMD5 | CustomerKey が有効になっている場合に使用するカスタマーキーの MD5 を定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.deleteAfterWrite | S3 ファイルのアップロード後にファイルオブジェクトを削除します。 | false | false | MEDIUM |
| camel.sink.endpoint.keyName | endpoint パラメーター経由でバケットの要素のキー名を設定します。 | null | false | MEDIUM |
| camel.sink.endpoint.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.sink.endpoint.multiPartUpload | true の場合、Camel はマルチパート形式のファイルをアップロードし、パートサイズは partSize のオプションによって決定されます。 | false | false | MEDIUM |
| camel.sink.endpoint.operation | ユーザーがアップロードのみを実行したくない場合に実行する操作。[copyObject]、[listObjects]、[deleteObject]、[deleteBucket]、[listBuckets]、[getObject]、[getObjectRange] のいずれか。 | null | false | MEDIUM |
| camel.sink.endpoint.partSize | マルチパートのアップロードで使用される partSize を設定します。デフォルトのサイズは 25M です。 | 26214400L | false | MEDIUM |
| camel.sink.endpoint.storageClass | com.amazonaws.services.s3.model.PutObjectRequest リクエストに設定するストレージクラス。 | null | false | MEDIUM |
| camel.sink.endpoint.awsKMSKeyId | KMS が有効になっている場合に使用する KMS キーの ID を定義します。 | null | false | MEDIUM |
| camel.sink.endpoint.useAwsKMS | KMS を使用する必要があるかどうかを定義します。 | false | false | MEDIUM |
| camel.sink.endpoint.useCustomerKey | カスタマーキーを使用する必要があるかどうかを定義します。 | false | false | MEDIUM |
| camel.sink.endpoint.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.sink.endpoint.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
| camel.component.aws2-s3.amazonS3Client | レジストリーの com.amazonaws.services.s3.AmazonS3 への参照。 | null | false | MEDIUM |
| camel.component.aws2-s3.amazonS3Presigner | リクエストの S3 Presigner。主に createDownloadLink 操作で使用されます。 | null | false | MEDIUM |
| camel.component.aws2-s3.autoCreateBucket | S3 バケット bucketName の自動作成の設定。moveAfterRead オプションが有効になっている場合も適用され、destinationBucket が存在しない場合は作成されます。 | true | false | MEDIUM |
| camel.component.aws2-s3.configuration | コンポーネントの設定。 | null | false | MEDIUM |
| camel.component.aws2-s3.overrideEndpoint | エンドポイントをオーバーライドする必要性を設定します。このオプションは uriEndpointOverride オプションと併用する必要があります。 | false | false | MEDIUM |
| camel.component.aws2-s3.pojoRequest | POJO リクエストをボディーとして使用するかどうか。 | false | false | MEDIUM |
| camel.component.aws2-s3.policy | com.amazonaws.services.s3.AmazonS3#setBucketPolicy() メソッドに設定されるこのキューのポリシー。 | null | false | MEDIUM |
| camel.component.aws2-s3.proxyHost | SQS クライアントをインスタンス化するときにプロキシーホストを定義します。 | null | false | MEDIUM |
| camel.component.aws2-s3.proxyPort | クライアント定義内で使用されるプロキシーポートを指定します。 | null | false | MEDIUM |
| camel.component.aws2-s3.proxyProtocol | S3 クライアントをインスタンス化する際にプロキシープロトコルを定義します。[HTTP] または [HTTPS] のいずれか。 | "HTTPS" | false | MEDIUM |
| camel.component.aws2-s3.region | S3 クライアントが機能する必要があるリージョン。このパラメーターを使用する場合、設定には小文字のリージョン名を指定します (例 ap-east-1)。名前 Region.EU_WEST_1.id() を使用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-s3.trustAllCertificates | エンドポイントを上書きするときにすべての証明書を信頼する場合。 | false | false | MEDIUM |
| camel.component.aws2-s3.uriEndpointOverride | オーバーライドする URI エンドポイントを設定します。このオプションは overrideEndpoint オプションと併用する必要があります。 | null | false | MEDIUM |
| camel.component.aws2-s3.useDefaultCredentials Provider | デフォルトのクレデンシャルプロバイダー経由でクレデンシャルをロードすること、または静的クレデンシャルが渡されることを S3 クライアントは想定すべきかどうかを設定します。 | false | false | MEDIUM |
| camel.component.aws2-s3.customerAlgorithm | CustomerKey が有効になっている場合に使用するカスタマーアルゴリズムを定義します。 | null | false | MEDIUM |
| camel.component.aws2-s3.customerKeyId | CustomerKey が有効になっている場合に使用するカスタマーキーの ID を定義します。 | null | false | MEDIUM |
| camel.component.aws2-s3.customerKeyMD5 | CustomerKey が有効になっている場合に使用するカスタマーキーの MD5 を定義します。 | null | false | MEDIUM |
| camel.component.aws2-s3.deleteAfterWrite | S3 ファイルのアップロード後にファイルオブジェクトを削除します。 | false | false | MEDIUM |
| camel.component.aws2-s3.keyName | endpoint パラメーター経由でバケットの要素のキー名を設定します。 | null | false | MEDIUM |
| camel.component.aws2-s3.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.component.aws2-s3.multiPartUpload | true の場合、Camel はマルチパート形式のファイルをアップロードし、パートサイズは partSize のオプションによって決定されます。 | false | false | MEDIUM |
| camel.component.aws2-s3.operation | ユーザーがアップロードのみを実行したくない場合に実行する操作。[copyObject]、[listObjects]、[deleteObject]、[deleteBucket]、[listBuckets]、[getObject]、[getObjectRange] のいずれか。 | null | false | MEDIUM |
| camel.component.aws2-s3.partSize | マルチパートのアップロードで使用される partSize を設定します。デフォルトのサイズは 25M です。 | 26214400L | false | MEDIUM |
| camel.component.aws2-s3.storageClass | com.amazonaws.services.s3.model.PutObjectRequest リクエストに設定するストレージクラス。 | null | false | MEDIUM |
| camel.component.aws2-s3.awsKMSKeyId | KMS が有効になっている場合に使用する KMS キーの ID を定義します。 | null | false | MEDIUM |
| camel.component.aws2-s3.useAwsKMS | KMS を使用する必要があるかどうかを定義します。 | false | false | MEDIUM |
| camel.component.aws2-s3.useCustomerKey | カスタマーキーを使用する必要があるかどうかを定義します。 | false | false | MEDIUM |
| camel.component.aws2-s3.autowiredEnabled | 自動ワイヤリングが有効になっているかどうか。これは、コンポーネントで設定される一致するタイプのインスタンスが 1 つあるかどうかを検出するためにレジストリーを検索することで、自動ワイアリングオプションに使用されます (オプションは自動ワイアとマーク付けされる必要があります)。これは、JDBC データソース、JMS 接続ファクトリー、AWS クライアントなどの自動設定に使用できます。 | true | false | MEDIUM |
| camel.component.aws2-s3.accessKey | Amazon AWS Access Key | null | false | MEDIUM |
| camel.component.aws2-s3.secretKey | Amazon AWS Secret Key | null | false | MEDIUM |
camel-aws2-s3 シンクコネクターは、以下に示すそのまま使えるコンバーターを 1 つサポートします。
org.apache.camel.kafkaconnector.aws2s3.converters.S3ObjectConverter
camel-aws2-s3 シンクコネクターは、以下に示すそのまま使える transforms を 1 つサポートします。
org.apache.camel.kafkaconnector.aws2s3.transformers.S3ObjectTransforms
scamel-aws2-s3 シンクコネクターは、以下に示すそのまま使える集約ストラテジーを 1 つサポートします。
org.apache.camel.kafkaconnector.aws2s3.aggregation.NewlineAggregationStrategy