⁠OpenStack Data Processing

OpenStack Data Processing は、OpenStack Sahara プロジェクトにより提供される機能で、Hadoop クラスターを容易にプロビジョニングおよびサイズ調整するための堅牢なインターフェースを実装します。Hadoop クラスターは、通常、大量のデータセットの処理など、リソースを集中的に使用するジョブの実行に利用することができます。OpenStack Data Processing は、OpenStack コンポーネントとして OpenStack エコシステムに完全に統合されています。たとえば、クラスターの設定からそのクラスター上でのジョブの起動/実行に至るまで、OpenStack Dashboard を使用して、Hadoop データ処理のワークフロー全体を管理することができます。

Hadoop に関する詳しい情報は、http://hadoop.apache.org/ を参照してください。

OpenStack Data Processing は異なるプラグインを使用して、各 Hadoop ディストリビューションの固有のクラスターをプロビジョニングします。クラスターの設定の際に利用可能な Hadoop パラメーターは、Hadoop ディストリビューション (およびプラグインが使用する拡張機能) により異なります。本リリース (Red Hat OpenStack Platform 10) の時点では、OpenStack Data Processing は以下のプラグインをサポートします。

OpenStack Data Processing の本リリースには、ガイド タブも含まれています。このタブは、クラスターを起動してそこでジョブを実行するのに必要なテンプレートの作成に役立つウィザードの機能を提供します。ただし、OpenStack Data Processing を使用するのに必要なコンポーネント (例: Hadoop イメージ、ジョブバイナリーなど) を登録する必要もあるので、ガイド 機能を使用する場合には、最初に「必要なコンポーネントの登録」の項を一読しておくことをお勧めします。

本項では、director を使用したオーバークラウドへの OpenStack Data Processing のデプロイを想定しています。また、stack と呼ばれる director をインストールするユーザー を作成することも前提です。stack というユーザーは、『director のインストールと使用方法』の「director のインストールユーザーの作成」で作成したものと同じです。

director はデプロイメント時に 環境ファイル を使用して、オーバークラウドを設定します。これらの環境ファイルは、各サービスのオーケストレーションに使用する Heat テンプレートと Puppet スクリプトと一緒に /usr/share/openstack-tripleo-heat-templates/ に保存されます。

オーバークラウド上の OpenStack Data Processing サービスは、デフォルトでは無効になっています。これは、OpenStack Data Processing コンポーネントが主要なオーバークラウドの環境ファイル (/usr/share/openstack-tripleo-heat-templates/overcloud-resource-registry-puppet.yaml) で null 操作 (OS::Heat::None) として登録されているためです。

  OS::TripleO::Services::SaharaApi: OS::Heat::None
  OS::TripleO::Services::SaharaEngine: OS::Heat::None

これらのサービスを有効化するには、/usr/share/openstack-tripleo-heat-templates/puppet/services ディレクトリーの適切な Heat テンプレートにこれらのリソースをリンクする環境ファイルを追加します。サービスによっては、environments ディレクトリーに事前定義された環境ファイルが含まれます。たとえば、Data Processing サービス (sahara) は、以下を含む /usr/share/openstack-tripleo-heat-templates/environments/services/sahara.yaml ファイルを使用します。

resource_registry:
  OS::TripleO::Services::SaharaApi: ../../puppet/services/sahara-api.yaml
  OS::TripleO::Services::SaharaEngine: ../../puppet/services/sahara-engine.yaml

これにより、デフォルトの null 操作のリソースが上書きされ、これらのサービスが有効になります。openstack overcloud deploy コマンドの実行時に、以下の環境ファイルを指定します。

$ openstack overcloud deploy --templates -e \
  /usr/share/openstack-tripleo-heat-templates/environments/services/sahara.yaml

OpenStack Data Processing は、Hadoop クラスターのプロビジョニングおよびサイズ調整に、事前設定済みのテンプレートを使用して、特別に設計されたインスタンスを定義します。これらのインスタンスにより個別ノードが形成され、Hadoop クラスターが構成されます。この Hadoop クラスターを使用して、データを処理するジョブ/バイナリーを実行することができます。

OpenStack Data Processing を使用する場合は、Hadoop フレームワーク内で作業するのに必要とされるコンポーネントに精通している必要があります。このように、本セクションに記載の一般的なワークフローは、以下のコンポーネントの準備が整っていることを前提としています。

また、ジョブの実行に必要なコンピュートリソースに関する一般知識も必要です。このような知識は、必要なノードタイプ (各タイプに必要とされる個数) を判断するのに役立ちます。

以下のワークフローの概要では、OpenStack Data Processing サービスを設定/使用してクラスターを起動し、これらのクラスター上でジョブを実行する方法を説明します。

以下のセクションでは、各ワークフローの手順を詳しく説明します。

今回のリリースでは、以下のプラグインがサポートされます。

これらのプラグインのいずれかをベースにして、Hadoop イメージを作成するには、まず Red Hat Enterprise Linux 7 イメージをダウンロードする必要があります。以下のリンクから取得できます (Red Hat のサブスクリプションが必要)。

https://access.redhat.com/downloads/content/69/ver=/rhel---7/7.2/x86_64/product-software

イメージのダウンロード後には、システムが Red Hat サブスクリプションの詳細を使用できるように設定します。これにより、ダウンロードした Red Hat Enterprise Linux イメージから Hadoop イメージを作成するのに必要なツールをさらにダウンロードすることができるようになります。ターミナルから以下のコマンドを実行して、システムの設定を行います。

# export REG_USER=USERNAME
# export REG_PASSWORD=PASSWORD
# export REG_POOL_ID=POOLID

上記の設定で、

# subscription-manager list --available

このコマンドにより、プール ID など、お使いのシステムのサブスクリプションの重要な情報が表示されます。

次に、sahara-image-elements パッケージをインストールします。

# yum install sahara-image-elements -y

最後に、Hadoop イメージを作成します。Hadoop イメージの作成には、Red Hat Enterprise Linux イメージと同じディレクトリーに移動して、以下のコマンドを実行します。

# sahara-image-create -p PLUGIN

PLUGIN は Hadoop イメージの使用するプラグインに置き換えます。以下の値がサポートされています。

sahara-image-create コマンドは、プラグインの名前を含むイメージを作成します (例: cloudera の場合は sahara-rhel-7-2-cdh-5-5.qcow2 です)。

OpenStack Data Processing は、Hadoop クラスターの起動および使用に必要な要素が含まれる Hadoop イメージが必要です。特に、Red Hat OpenStack Platform には、Red Hat Enterprise Linux と必要なデータ処理プラグインが含まれるイメージが必要です。

実行するジョブに適した Hadoop イメージが用意できたら、OpenStack Data Processing サービスにそのイメージを登録します。登録の方法は以下のとおりです。

Hadoop を使用したデータ処理では、クラスター上でジョブが実行されます。各クラスターは、特別に設定されたノード (またはインスタンス) により構成されます。OpenStack Data Processing では、テンプレートを使用して各クラスターに必要な各種ノードを定義できます。これらのテンプレートは、ノードグループテンプレート と呼ばれます。

ノードグループテンプレートは、Hadoop クラスターの各ノードで必要な設定を定義します。以下の手順は、ノードグループテンプレートの設定方法を説明します。

ノードグループテンプレート の表には、利用可能なすべてのノードグループテンプレート、対応する Hadoop プラグイン、およびバージョンが一覧表示されます。またこの表には、各テンプレートのノード上で実行される Hadoop プロセスも表示されます。

必要なコンポーネントを登録して (「必要なコンポーネントの登録」)、必要なノードの種別を設定した後には (「ノードグループテンプレートの設定」)、クラスターのテンプレートを設定することができます。クラスターのテンプレートは、クラスターの以下の設定を定義します。

クラスターテンプレートの作成/設定は、以下の手順に従って行います。

または、テンプレートのアップロード ボタンを使用して、ローカルファイルシステムから既存のクラスターテンプレートをアップロードします。

クラスターテンプレート の表にある既存のテンプレートを使用して、クラスターを起動することも可能です。これには、クラスターテンプレートの アクション のドロップダウンメニューから クラスターの起動 を選択します。起動したクラスターを表示するには プロジェクト > データ処理 > クラスター を選択します。クラスターの起動に関する詳しい情報は、「クラスターの起動」を参照してください。

クラスターテンプレートの設定 (「クラスターテンプレートの設定」) が完了したら、クラスターを起動することができます。クラスターを起動するには、クラスターの起動 ウィザードを開きます。このウィザードは、以下のいずれかの方法で開くことができます。

次に 作成 をクリックします。クラスターの起動 ウィザードが開きます。

起動したクラスターを表示するには プロジェクト > データ処理 > クラスター を選択します。

OpenStack Data Processing サービスでは、ジョブにより実際のデータ処理タスクが定義されます。各ジョブは、ジョブの種別 (例: Pig、Hive または MapReduce)、バイナリー、スクリプト、ライブラリーを指定します。ただし、OpenStack Data Processing サービスに登録されたバイナリー、スクリプトまたはライブラリーしか使用することができません。

ジョブの作成後には、クラスター上でジョブを起動して、入力データソースに対してジョブを実行します。ジョブバイナリーなどの入力/出力データソースは、まず OpenStack Processing サービスに登録しておく必要があります (「入力および出力データソースの登録」を参照)。

ジョブの作成後には、ジョブを起動して OpenStack Data Processing サービスで登録したデータを処理します (「入力および出力データソースの登録」を参照)。ジョブにはクラスターが必要です。既存のクラスター (xisting cluster (「既存のクラスター上でのジョブの起動」) または全く新しいクラスター (「新規クラスター上でのジョブの起動」) でジョブを起動することができます。