Red Hat Summit313.3. URI 형식
현재 Spark 구성 요소에서는 생산자만 지원합니다. Spark 작업을 호출하고 결과를 반환하기 위한 것입니다. RDD, 데이터 프레임 또는 Hive SQL 작업을 호출할 수 있습니다.
Spark URI 형식
spark:{rdd|dataframe|hive}313.3.1. 스파크 옵션
Apache Spark 구성 요소는 아래에 나열된 3 가지 옵션을 지원합니다.
| 이름 | 설명 | Default | 유형 |
|---|---|---|---|
| RDD (producer) | 계산할 RDD입니다. | JavaRDDLike | |
| rddECDHEback (producer) | RDD에 대한 작업을 수행하는 함수입니다. | RddCallback | |
| resolvePropertyECDHEholders (advanced) | 구성 요소가 시작할 때 속성 자리 표시자를 확인해야 하는지 여부입니다. String 유형의 속성만 속성 자리 표시자를 사용할 수 있습니다.Only properties which are of String type can use property placeholders. | true | boolean |
Apache Spark 끝점은 URI 구문을 사용하여 구성됩니다.
spark:endpointType
다음 경로 및 쿼리 매개변수를 사용합니다.
313.3.2. 경로 매개변수 (1 매개변수):
| 이름 | 설명 | Default | 유형 |
|---|---|---|---|
| endpointType | 끝점의 필수 유형(rdd, dataframe, hive). | EndpointType |
313.3.3. 쿼리 매개변수(6 매개변수):
| 이름 | 설명 | Default | 유형 |
|---|---|---|---|
| 수집 (producer) | 결과를 수집하거나 계산해야 하는지 여부를 나타냅니다. | true | boolean |
| DataECDHE (producer) | 계산할 데이터입니다. | 데이터 세트 | |
| data 4.6.1back (producer) | 데이터에 대한 작업을 수행하는 함수입니다. | DataFrameCallback | |
| RDD (producer) | 계산할 RDD입니다. | JavaRDDLike | |
| rddECDHEback (producer) | RDD에 대한 작업을 수행하는 함수입니다. | RddCallback | |
| 동기 (고급) | 동기 처리를 엄격하게 사용해야 하는지 또는 Camel이 비동기 처리(지원되는 경우)를 사용할 수 있는지 여부를 설정합니다. | false | boolean |
