309.3. URI 形式

現在、Spark コンポーネントはプロデューサーのみをサポートしています。これは、Spark ジョブを呼び出して結果を返すことを目的としています。RDD、データフレーム、または Hive SQL ジョブを呼び出すことができます。

Spark URI 形式

spark:{rdd|dataframe|hive}

spark:{rdd|dataframe|hive}

Copy to Clipboard

Apache Spark コンポーネントは、以下に示す 3 個のオプションをサポートしています。

名前	説明	デフォルト	タイプ
rdd (producer)	計算対象の RDD。		JavaRDDLike
rddCallback (producer)	RDD に対してアクションを実行する関数。		RddCallback
resolveProperty Placeholders (advanced)	起動時にコンポーネントがプロパティープレースホルダーを解決するかどうか。String タイプのプロパティーのみがプロパティープレースホルダーを使用できます。	true	boolean

Apache Spark エンドポイントは、URI 構文を使用して設定されます。

spark:endpointType

spark:endpointType

Copy to Clipboard

パスおよびクエリーパラメーターを使用します。

名前	説明	デフォルト	タイプ
endpointType	必須エンドポイントのタイプ (rdd、データフレーム、ハイブ)。		EndpointType

名前	説明	デフォルト	タイプ
collect (producer)	結果を収集またはカウントする必要があるかどうかを示します。	true	boolean
dataFrame (producer)	計算対象の DataFrame。		Dataset
dataFrameCallback (producer)	DataFrame に対してアクションを実行する関数。		DataFrameCallback
rdd (producer)	計算対象の RDD。		JavaRDDLike
rddCallback (producer)	RDD に対してアクションを実行する関数。		RddCallback
synchronous (advanced)	同期処理を厳密に使用するか、Camel が非同期処理を使用できるかどうかを設定します (サポートされている場合)。	false	boolean

トップに戻る