144.4. 분할 전략

추가 모드에서 파일을 여는 현재 버전의ECDHE은 매우 안정적이지 않기 때문에 비활성화됩니다. 따라서 현재는 새 파일만 만들 수 있습니다. Camel HDFS 끝점은 이러한 방식으로 이 문제를 해결하려고 합니다.

분할 전략 옵션이 정의된 경우 hdfs 경로가 디렉터리로 사용되며 구성된 UuidGenerator를 사용하여 파일이 생성됩니다.
분할 조건이 충족될 때마다 새 파일이 생성됩니다.
splitStrategy 옵션은 splitStrategy=<ST>:<value>,<ST>:<value>,* 구문을 사용하여 문자열로 정의됩니다.

여기서 <ST>는 다음과 같습니다.

이 전략에서는 현재 BYTES/MESSAGES 구성을 사용하기 위해 IDLE 값을 설정하거나 HdfsConstants.HDFS_CLOSE 헤더를 false로 설정해야 합니다.

예를 들면 다음과 같습니다.

hdfs2://localhost/tmp/simple-file?splitStrategy=IDLE:1000,BYTES:5

hdfs2://localhost/tmp/simple-file?splitStrategy=IDLE:1000,BYTES:5

Copy to Clipboard

Toggle word wrap

즉, 새 파일이 1초 이상 유휴 상태이거나 5바이트 이상 작성된 경우 생성됩니다. 따라서 hadoop fs -ls /tmp/simple-file 을 실행하면 여러 파일이 생성되었는지 확인할 수 있습니다.

맨 위로 이동