5.9. Hadoop Distributed File System
5.9.1. camel-hdfs-kafka-connector シンク設定
コネクターの説明: Hadoop 2.x を使用して、HDFS ファイルシステムの読み取りと書き込みを行います。
camel-hdfs-kafka-connector をシンクとして使用する場合、以下の Maven 依存関係を使用してコネクターをサポートするようにしてください。
<dependency>
<groupId>org.apache.camel.kafkaconnector</groupId>
<artifactId>camel-hdfs-kafka-connector</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel Kafka connector version -->
</dependency>Kafka コネクションでこのシンクコネクターを使用するには、以下の connector.class を設定する必要があります。
connector.class=org.apache.camel.kafkaconnector.hdfs.CamelHdfsSinkConnectorcamel-hdfs シンクコネクターは、以下に示す 30 のオプションをサポートします。
| 名前 | 説明 | デフォルト | 必要性 | 優先順位 |
|---|---|---|---|---|
| camel.sink.path.hostName | 使用する HDFS ホスト | null | true | HIGH |
| camel.sink.path.port | 使用する HDFS ポート | 8020 | false | MEDIUM |
| camel.sink.path.path | 使用するディレクトリーパス | null | true | HIGH |
| camel.sink.endpoint.connectOnStartup | プロデューサー/コンシューマーの起動時に HDFS ファイルシステムに接続するかどうか。false の場合、接続はオンデマンドで作成されます。HDFS は 45 x 20 秒の再配信をハードコーディングしているため、接続を確立するのに最大 15 分かかる場合があることに注意してください。このオプションを false に設定すると、アプリケーションが起動し、最大 15 分間ブロックされなくなります。 | true | false | MEDIUM |
| camel.sink.endpoint.fileSystemType | HDFS を使用せず、代わりにローカルの java.io.File を使用するには、LOCAL に設定します。One of: [LOCAL] [HDFS] | "HDFS" | false | MEDIUM |
| camel.sink.endpoint.fileType | 使用するファイルの種類。詳細については、さまざまなファイルタイプに関する Hadoop HDFS のドキュメントを参照してください。次のいずれか: [NORMAL_FILE] [SEQUENCE_FILE] [MAP_FILE] [BLOOMMAP_FILE] [ARRAY_FILE] | "NORMAL_FILE" | false | MEDIUM |
| camel.sink.endpoint.keyType | シーケンスまたはマップファイルの場合のキーのタイプ。次のいずれか: [NULL] [BOOLEAN] [BYTE] [INT] [FLOAT] [LONG] [DOUBLE] [TEXT] [BYTES] | "NULL" | false | MEDIUM |
| camel.sink.endpoint.namedNodes | 名前付きノードのコンマ区切りリスト (例: srv11.example.com:8020,srv12.example.com:8020) | null | false | MEDIUM |
| camel.sink.endpoint.owner | コンシューマーがファイルを取得するには、ファイルの所有者がこの所有者と一致する必要があります。それ以外の場合、ファイルはスキップされます。 | null | false | MEDIUM |
| camel.sink.endpoint.valueType | シーケンスまたはマップファイルの場合のキーのタイプ: [NULL] [BOOLEAN] [BYTE] [INT] [FLOAT] [LONG] [DOUBLE] [TEXT] [BYTES] のいずれか | "BYTES" | false | MEDIUM |
| camel.sink.endpoint.append | 既存のファイルに追加します。すべての HDFS ファイルシステムが追加オプションをサポートしているわけではないことに注意してください。 | false | false | MEDIUM |
| camel.sink.endpoint.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.sink.endpoint.overwrite | 同名の既存ファイルを上書きするかどうか | true | false | MEDIUM |
| camel.sink.endpoint.blockSize | HDFS ブロックのサイズ | 67108864L | false | MEDIUM |
| camel.sink.endpoint.bufferSize | HDFS が使用するバッファーサイズ | 4096 | false | MEDIUM |
| camel.sink.endpoint.checkIdleInterval | アイドルチェッカーバックグラウンドタスクを実行する頻度 (ミリ秒単位)。このオプションは、スプリッタ戦略が IDLE の場合にのみ使用されます。 | 500 | false | MEDIUM |
| camel.sink.endpoint.chunkSize | 通常のファイルを読み取る場合、これはチャンクに分割され、チャンクごとにメッセージが生成されます。 | 4096 | false | MEDIUM |
| camel.sink.endpoint.compressionCodec | 使用する圧縮コーデック [DEFAULT] [GZIP] [BZIP2] のいずれか | "DEFAULT" | false | MEDIUM |
| camel.sink.endpoint.compressionType | 使用する圧縮タイプ (デフォルトでは使用されていません) 次のいずれか: [NONE] [RECORD] [BLOCK] | なし | false | MEDIUM |
| camel.sink.endpoint.openedSuffix | ファイルが読み取り/書き込み用に開かれると、ファイルはこの接尾辞で名前が変更され、書き込みフェーズ中に読み取られないようにします。 | "opened" | false | MEDIUM |
| camel.sink.endpoint.readSuffix | ファイルが読み取られると、この接尾辞を使用して名前が変更され、再度読み取られることがなくなります。 | "read" | false | MEDIUM |
| camel.sink.endpoint.replication | HDFS レプリケーション係数 | 3 | false | MEDIUM |
| camel.sink.endpoint.splitStrategy | 現在のバージョンの Hadoop では、ファイルを追加モードで開くことは信頼性が低いため無効になっています。そのため、現時点では、新しいファイルを作成することしかできません。Camel HDFS エンドポイントは、この問題を次のように解決しようとします。分割戦略オプションが定義されている場合、hdfs パスがディレクトリーとして使用され、設定された UuidGenerator を使用してファイルが作成されます。分割条件が満たされるたびに、新しいファイルが作成されます。splitStrategy オプションは、次の構文の文字列として定義されます。value MESSAGES 新しいファイルが作成され、書き込まれたメッセージの数が value ミリ秒を超えると古いファイルが閉じられます IDLE 新しいファイルが作成され、最後の value ミリ秒内に書き込みが発生しなかった場合に古いファイルが閉じられます | null | false | MEDIUM |
| camel.sink.endpoint.kerberosConfigFileLocation | kerb5.conf ファイルの場所 (https://web.mit.edu/kerberos/krb5-1.12/doc/admin/conf_files/krb5_conf.html) | null | false | MEDIUM |
| camel.sink.endpoint.kerberosKeytabLocation | Kerberos ノードでの認証に使用されるキータブファイルの場所 (Kerberos プリンシパルと暗号化されたキー (Kerberos パスワードから派生) のペアを含む) | null | false | MEDIUM |
| camel.sink.endpoint.kerberosUsername | Kerberos ノードでの認証に使用されるユーザー名 | null | false | MEDIUM |
| camel.component.hdfs.lazyStartProducer | 最初のメッセージでプロデューサーをレイジーに起動すべきかどうか。レイジーに起動することで、起動時にプロデューサーが失敗し、それによりルートが失敗する可能性がある状況で、CamelContext およびルートの起動を許可します。レイジーな起動を延期すると、Camel のルーティングエラーハンドラー経由でメッセージのルーティング中に起動の失敗を処理できます。最初のメッセージが処理されるときに、プロデューサーの作成および起動に若干時間がかかり、合計処理時間が長くなる可能性があることに注意してください。 | false | false | MEDIUM |
| camel.component.hdfs.autowiredEnabled | 自動ワイヤリングが有効になっているかどうか。これは、コンポーネントで設定される一致するタイプのインスタンスが 1 つあるかどうかを検出するためにレジストリーを検索することで、自動ワイアリングオプションに使用されます (オプションは自動ワイアとマーク付けされる必要があります)。これは、JDBC データソース、JMS 接続ファクトリー、AWS クライアントなどの自動設定に使用できます。 | true | false | MEDIUM |
| camel.component.hdfs.jAASConfiguration | 指定された設定を JAAS でのセキュリティーに使用するため。 | null | false | MEDIUM |
| camel.component.hdfs.kerberosConfigFile | kerberos 認証を使用するには、java.security.krb5.conf 環境変数の値を既存のファイルに設定します。環境変数がすでに設定されている場合、指定されたパラメーターと異なる場合に警告する | null | false | MEDIUM |
camel-hdfs シンクコネクターには、すぐに使用できるコンバータはありません。
camel-hdfs シンクコネクターには、すぐに使える変換はありません。
camel-hdfs シンクコネクターには、すぐに使用できる集約戦略はありません。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}