第 314 章 Apache Spark 组件
从 Camel 版本 2.17 开始提供
本文档页面涵盖了 Apache Camel 的 Apache Spark 组件。Spark 与 Camel 集成的主要目的是,在 Camel 连接器和 Spark 任务之间提供桥接。特别是 Camel 连接器提供了一种方式,将消息从各种传输路由、动态选择要执行的任务,使用传入消息作为该任务的输入数据,最后将执行结果传送回 Camel 管道。
314.1. 支持的架构样式
spark 组件可以用作部署到应用服务器中的驱动程序应用(或作为 fat jar 执行)。
spark 组件也可以作为作业直接提交到 Spark 集群。
虽然 Spark 组件是主要的,用来 作为 Spark 集群和其他端点之间的桥接来工作,但您也可以将其用作 触发 的简短作业。