313장. Apache Spark 구성 요소
Camel 버전 2.17로 사용 가능
이 설명서 페이지에는 Apache Camel에 대한 Apache Spark 구성 요소에 대해 다룹니다. Camel과 Spark 통합의 주요 목적은 Camel 커넥터와 Spark 작업 간의 브리지를 제공하는 것입니다. 특정 Camel 커넥터에서는 실행할 작업을 동적으로 선택하고 들어오는 메시지를 해당 작업의 입력 데이터로 사용하고 마지막으로 실행 결과를 Camel 파이프라인으로 전달하는 다양한 전송에서 메시지를 라우팅할 수 있습니다.
313.1. 지원되는 아키텍처 스타일
Spark 구성 요소는 애플리케이션 서버에 배포된 드라이버 애플리케이션으로 사용할 수 있습니다(또는 fat jar로 실행됨).
Spark 구성 요소는 Spark 클러스터에 직접 작업으로 제출할 수 있습니다.
Spark 구성 요소는 Spark 클러스터와 다른 끝점 간의 브리지 역할을 하는 장기 실행 작업으로 작동하도록 설계되었지만, 이를 fire-once 짧은 작업으로 사용할 수도 있습니다.
