検索

第135章 HDFS コンポーネント(非推奨)

download PDF

Camel バージョン 2.8 から利用可能

hdfs コンポーネントを使用すると、HDFS ファイルシステムからメッセージを読み取り、書き込みできます。HDFS は、Hadoop の中核となる分散ファイルシステムです。

Maven ユーザーは、このコンポーネントの pom.xml に以下の依存関係を追加する必要があります。

<dependency>
    <groupId>org.apache.camel</groupId>
    <artifactId>camel-hdfs</artifactId>
    <version>x.x.x</version>
    <!-- use the same version as your Camel core version -->
</dependency>

135.1. URI 形式

hdfs://hostname[:port][/path][?options]

URI には、?option=value&option=value&…​の形式でクエリーオプションを追加できます。パスは以下の方法で処理されます。

  1. コンシューマーとしてファイルの場合、ファイルを読み取ります。ディレクトリーを表す場合は、設定されたパターンの条件を満たすパス下のすべてのファイルをスキャンします。そのディレクトリー下のすべてのファイルは同じタイプである必要があります。
  2. プロデューサーとして、少なくとも 1 つの分割ストラテジーが定義されている場合、パスはディレクトリーとみなされ、そのディレクトリー下では設定済みの UuidGenerator を使用して名前が付けられた分割されたファイルごとに別のファイルを作成します。

備考

hdfs から通常モードを使用する場合、ファイルはチャンクに分割され、チャンクごとにメッセージを生成します。chunkSize オプションを使用してチャンクのサイズを設定できます。hdfs から読み取り、file コンポーネントを使用して通常のファイルに書き込む場合は、fileMode=Append を使用して各チャンクをまとめて追加できます。

 

Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.