第 314 章 Apache Spark 组件
从 Camel 版本 2.17 开始提供
本文档页面涵盖 Apache Camel 的 Apache Spark 组件。Spark 与 Camel 集成的主要目的是,在 Camel 连接器和 Spark 任务之间提供一个桥接。在特定的 Camel 连接器中,提供从各种传输路由消息的方法,动态选择要执行的任务,使用传入消息作为该任务的输入数据,最后将执行的结果传送回 Camel 管道。
314.1. 支持的架构风格
spark 组件可用作部署到应用服务器(或作为 fat jar)中的驱动程序应用。
spark 组件也可以作为作业直接提交到 Spark 集群。
Spark 组件主要旨在作为 Spark 集群和其他端点之间的桥接工作,但您也可以将其用作 触发 短作业。