第313章 Apache Spark コンポーネント
Camel バージョン 2.17 以降で利用可能
このドキュメントページでは、Apache Camel の Apache Spark コンポーネントについて説明します。Spark と Camel の統合の主な目的は、Camel コネクターと Spark タスクの間のブリッジを提供することです。特に、Camel コネクターは、さまざまなトランスポートからメッセージをルーティングし、実行するタスクを動的に選択し、受信メッセージをそのタスクの入力データとして使用し、最終的に実行結果を Camel パイプラインに戻す方法を提供します。
313.1. サポートされているアーキテクチャースタイル
Spark コンポーネントは、アプリケーションサーバーにデプロイされる (またはファット jar として実行される) ドライバーアプリケーションとして使用できます。
Spark コンポーネントは、Spark クラスターにジョブとして直接送信することもできます。
Spark コンポーネントは主に、Spark クラスターと他のエンドポイント間のブリッジとして機能する 長時間実行ジョブ として機能するように設計されていますが、1 回限りの 短いジョブとして使用することもできます。
