第 313 章 Apache Spark 组件
作为 Camel 2.17 版提供
本文档页面涵盖了 Apache Camel 的 Apache Spark 组件。Spark 与 Camel 集成的主要目的是在 Camel 连接器和 Spark 任务之间提供一个桥接。特别是 Camel 连接器提供了一种方法来路由来自各种传输的消息,动态选择要执行的任务,使用传入消息作为该任务的输入数据,最后将执行结果传送回 Camel 管道。
313.1. 支持的架构风格
spark 组件可用作部署到应用服务器(或作为 fat jar 执行)的驱动程序应用。
也可以将 spark 组件作为作业直接提交到 Spark 集群。
虽然 Spark 组件是设计的主要设计,作为 Spark 集群和其他端点之间的 一个长运行的作业 服务,但您也可以将它用作 触发器的短 作业。