第9章 ジョブの設定
OpenStack Data Processing サービスでは、ジョブは実際のデータ処理タスクを定義します。各ジョブは、ジョブタイプ(Pig、Hive、または MapReduce など)、バイナリー、スクリプト、ライブラリーを指定します。ジョブは、OpenStack Data Processing サービスに登録されているバイナリー、スクリプト、またはライブラリーのみを使用できます。
ジョブの作成後に、これをクラスターで起動し、入力データソースに対して実行できます。ジョブバイナリーなどの入出力データソースも、最初に OpenStack Data Processing サービスに登録する必要があります( 「入力および出力データソースの登録」を参照)。
9.1. ジョブバイナリー、スクリプト、またはライブラリーの登録
ジョブバイナリー、スクリプト、およびライブラリーを登録するプロセスは、イメージおよびデータソースの登録に似ています。Object Storage サービスから直接登録できます。Object Storage サービスにオブジェクトをアップロードする方法は、「オブジェクトの アップロード」を参照して ください。または、ローカルファイルシステムから直接 OpenStack Data Processing サービスにバイナリーおよびライブラリーを直接アップロードすることもできます。
- Dashboard で プロジェクト > Data Processing > Job Binaries の順に 選択します。
- Create Job Binary をクリックします。
- オブジェクトの名前を入力します(スクリプト、バイナリー、またはライブラリー)。この名前は、オブジェクトを選択する際に使用されます。オブジェクトに特定の名前またはエクステンション( .jarなど)が必要な場合は、ここに追加します。
- 説明 フィールドを使用して、登録するスクリプト、バイナリー、またはライブラリーを記述します(オプション)。
ストレージタイプに応じてオブジェクトを設定します。
オブジェクトが Object Storage サービスで利用可能な場合は、ストレージタイプ ドロップダウンメニューから Swift を選択します。以下のようになります。
- URL フィールドで、スクリプト、バイナリー、またはライブラリーのコンテナーおよびオブジェクト名を swift://CONTAINER/OBJECT として指定します。
- スクリプト、バイナリー、またはライブラリーでログインが必要な場合は、Username および Password フィールドに必要な認証情報を指定します。
オブジェクトが S3 ジョブバイナリーである場合は、ストレージタイプ ドロップダウンメニューから S3 を選択します。以下のようになります。
- S3 URL を s3://bucket/path/to/object の形式で入力します。accesskey、secretkey、および endpoint も入力する必要があります。エンドポイント は、http または https プロトコルを含む S3 サービスの URL です。
それ以外の場合は、ストレージタイプ ドロップダウンメニューから Internal database を選択します。次に、Internal binary ドロップダウンメニューを使用して、以下のいずれかを実行します。
- OpenStack Data Processing サービスから利用可能なバイナリー、ライブラリー、またはスクリプトを選択
- Dashboard に直接スクリプトを入力する(スクリプトの作成)、または
- ローカルファイルシステムから直接バイナリー、ライブラリー、またはスクリプトをアップロードします(新しいファイルのアップロード)。
- Create をクリックします。バイナリー、ライブラリー、またはスクリプトが ジョブ Binaries テーブルで利用可能になるはずです。