314.3. URI 格式
目前,Spark 组件只支持生成者 - 它旨在调用 Spark 作业和返回结果。您可以调用 RDD、数据帧或 Hive SQL 作业。
spark URI 格式
spark:{rdd|dataframe|hive}
314.3.1. spark 选项 复制链接链接已复制到粘贴板!
Apache Spark 组件支持 3 个选项,如下所列。
| 名称 | 描述 | 默认值 | 类型 |
|---|---|---|---|
| rdd (producer) | 用于计算的 RDD. | JavaRDDLike | |
| rddCallback (producer) | 对 RDD 执行操作的功能。 | RddCallback | |
| resolveProperty Placeholders (advanced) | 启动时组件是否应解析自身上的属性占位符。只有属于 String 类型的属性才能使用属性占位符。 | true | 布尔值 |
Apache Spark 端点使用 URI 语法进行配置:
spark:endpointType
使用以下路径和查询参数:
314.3.2. 路径参数(1 参数): 复制链接链接已复制到粘贴板!
| 名称 | 描述 | 默认值 | 类型 |
|---|---|---|---|
| endpointType | 端点 所需的 类型(rdd、dataframe、hive)。 | EndpointType |
314.3.3. 查询参数(6 参数): 复制链接链接已复制到粘贴板!
| 名称 | 描述 | 默认值 | 类型 |
|---|---|---|---|
| collect (producer) | 指明是否应收集或计算结果。 | true | 布尔值 |
| dataFrame (producer) | 用于计算的数据. | dataset | |
| dataFrameCallback (producer) | 对 DataFrame 执行操作的功能。 | DataFrameCallback | |
| rdd (producer) | 用于计算的 RDD. | JavaRDDLike | |
| rddCallback (producer) | 对 RDD 执行操作的功能。 | RddCallback | |
| 同步 (advanced) | 设置是否应严格使用同步处理,或者 Camel 允许使用异步处理(如果受支持)。 | false | 布尔值 |