第9章 ジョブの設定


OpenStack Data Processing サービスでは、ジョブは実際のデータ処理タスクを定義します。各ジョブは、ジョブタイプ(Pig、Hive、または MapReduce など)、バイナリー、スクリプト、ライブラリーを指定します。ジョブは、OpenStack Data Processing サービスに登録されているバイナリー、スクリプト、またはライブラリーのみを使用できます。

ジョブの作成後に、これをクラスターで起動し、入力データソースに対して実行できます。ジョブバイナリーなどの入出力データソースも、最初に OpenStack Data Processing サービスに登録する必要があります( 「入力および出力データソースの登録」を参照)。

9.1. ジョブバイナリー、スクリプト、またはライブラリーの登録

ジョブバイナリー、スクリプト、およびライブラリーを登録するプロセスは、イメージおよびデータソースの登録に似ています。Object Storage サービスから直接登録できます。Object Storage サービスにオブジェクトをアップロードする方法は、「オブジェクトの アップロード」を参照して ください。または、ローカルファイルシステムから直接 OpenStack Data Processing サービスにバイナリーおよびライブラリーを直接アップロードすることもできます。

  1. Dashboard で プロジェクト > Data Processing > Job Binaries の順に 選択します。
  2. Create Job Binary をクリックします。
  3. オブジェクトの名前を入力します(スクリプト、バイナリー、またはライブラリー)。この名前は、オブジェクトを選択する際に使用されます。オブジェクトに特定の名前またはエクステンション( .jarなど)が必要な場合は、ここに追加します。
  4. 説明 フィールドを使用して、登録するスクリプト、バイナリー、またはライブラリーを記述します(オプション)。
  5. ストレージタイプに応じてオブジェクトを設定します。

    1. オブジェクトが Object Storage サービスで利用可能な場合は、ストレージタイプ ドロップダウンメニューから Swift を選択します。以下のようになります。

      • URL フィールドで、スクリプト、バイナリー、またはライブラリーのコンテナーおよびオブジェクト名を swift://CONTAINER/OBJECT として指定します。
      • スクリプト、バイナリー、またはライブラリーでログインが必要な場合は、Username および Password フィールドに必要な認証情報を指定します。
    2. オブジェクトが S3 ジョブバイナリーである場合は、ストレージタイプ ドロップダウンメニューから S3 を選択します。以下のようになります。

      • S3 URL を s3://bucket/path/to/object の形式で入力します。accesskeysecretkey、および endpoint も入力する必要があります。エンドポイント は、http または https プロトコルを含む S3 サービスの URL です。
    3. それ以外の場合は、ストレージタイプ ドロップダウンメニューから Internal database を選択します。次に、Internal binary ドロップダウンメニューを使用して、以下のいずれかを実行します。

      • OpenStack Data Processing サービスから利用可能なバイナリー、ライブラリー、またはスクリプトを選択
      • Dashboard に直接スクリプトを入力する(スクリプトの作成)、または
      • ローカルファイルシステムから直接バイナリー、ライブラリー、またはスクリプトをアップロードします(新しいファイルのアップロード)。
  6. Create をクリックします。バイナリー、ライブラリー、またはスクリプトが ジョブ Binaries テーブルで利用可能になるはずです。
Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.