144장. HDFS2 구성 요소
Camel 버전 2.14로 사용 가능
hdfs2 구성 요소를 사용하면 Hadoop 2.x를 사용하여 HDFS 파일 시스템에서 메시지를 읽고 쓸 수 있습니다. HDFS는 Hadoop 의 핵심에 있는 분산 파일 시스템입니다.
Maven 사용자는 이 구성 요소를 위해 다음 종속성을 pom.xml 에 추가해야 합니다.
<dependency>
<groupId>org.apache.camel</groupId>
<artifactId>camel-hdfs2</artifactId>
<version>x.x.x</version>
<!-- use the same version as your Camel core version -->
</dependency>144.1. URI 형식
hdfs2://hostname[:port][/path][?options]
다음 형식으로 URI에 쿼리 옵션을 추가할 수 있습니다. ?option=value&option=value&…
경로를 다음과 같이 처리합니다.
- 소비자로서 파일인 경우 파일이 파일을 읽고, 그렇지 않으면 구성된 패턴을 충족하는 경로에서 모든 파일을 검사하는 디렉토리를 나타냅니다. 해당 디렉토리 아래의 모든 파일은 동일한 유형이어야 합니다.
- 생산자로, 하나 이상의 분할 전략이 정의된 경우 경로는 해당 디렉터리에서 디렉터리로 간주되며, 해당 디렉터리에서 생산자는 구성된 UuidGenerator를 사용하여 이름이 지정된 다른 파일을 생성합니다.
hdfs2에서 사용하는 경우 일반 모드에서 파일은 청크로 분할되어 청크당 메시지를 생성합니다. chunkSize 옵션을 사용하여 청크 크기를 구성할 수 있습니다. hdfs에서 읽고 파일 구성 요소를 사용하여 일반 파일에 쓰려는 경우 fileMode=Append를 사용하여 각 청크를 함께 추가할 수 있습니다.
