第292章 Apache Spark コンポーネント
Camel バージョン 2.17 から利用可能
本ドキュメントページでは、Apache Camel の Apache Spark コンポーネントについて説明します。Camel との Spark インテグレーションの主な目的は、Camel コネクターと Spark タスク間のブリッジを提供することです。特定の Camel コネクターは、さまざまなトランスポートからメッセージをルーティングし、実行するタスクを動的に選択し、そのタスクの入力データとして受信メッセージを使用し、最後に実行結果を Camel パイプラインに戻す方法を提供します。
292.1. サポート対象のアーキテクチャースタイル
Spark コンポーネントは、アプリケーションサーバーにデプロイされているドライバーアプリケーションとして使用できます(または fat jar として実行)。
Spark コンポーネントは、Spark クラスターに直接ジョブとして送信することもできます。
Spark コンポーネントは主に、Spark クラスターと他のエンドポイント間のブリッジとして機能する 長時間実行されるジョブ として機能するように設計されていますが、1 回実行(run -once )の短いジョブとして使用できます。