第 144 章 HDFS2 组件
作为 Camel 版本 2.14 可用
hdfs2 组件可让您使用 Hadoop 2.x 将消息从/写入 HDFS 文件系统。HDFS 是 Hadoop 的核心分布式文件系统。
Maven 用户需要将以下依赖项添加到其 pom.xml 中：
<dependency>
<groupId>org.apache.camel</groupId>
<artifactId>camel-hdfs2</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel core version -->
</dependency>144.1. URI 格式
hdfs2://hostname[:port][/path][?options]
您可以以以下格式将查询选项附加到 URI 中，?option=value&option=value&…
。路径会按照以下方式处理：
- 作为使用者，如果文件是文件，它将只读取文件，否则如果它代表一个目录，它会扫描路径下的所有文件满足配置模式。该目录下的所有文件都必须是同一类型。
- 作为制作者，如果定义至少一个拆分策略，则路径被视为目录，并且制作者会在这个目录下使用配置的 UuidGenerator 创建不同的文件。
当从 hdfs2 消耗时，在正常模式中，文件被分成块，每个块生成一条消息。您可以使用 chunkSize 选项配置块的大小。如果要从 hdfs 读取并使用文件组件写入常规文件，您可以使用 fileMode=Append 将每个块附加在一起。
