オーバークラウドの既存 Red Hat Ceph Storage クラスターとの統合

手順

1. 環境に応じて、Ceph Storage クラスターに以下のプールを作成します。

   • OpenStack Block Storage (cinder) のストレージ:

     [root@ceph ~]# ceph osd pool create volumes <pgnum>

   • OpenStack Image Storage (glance) のストレージ:

     [root@ceph ~]# ceph osd pool create images <pgnum>

   • インスタンスのストレージ:

     [root@ceph ~]# ceph osd pool create vms <pgnum>

   • OpenStack Block Storage Backup (cinder-backup) のストレージ:

     [root@ceph ~]# ceph osd pool create backups <pgnum>

   • オプション: OpenStack Telemetry Metrics (gnocchi) のストレージ:

     [root@ceph ~]# ceph osd pool create metrics <pgnum>

     このストレージオプションは、メトリックが OpenStack で有効になっている場合にのみ使用してください。オーバークラウドが CephFS を使用して OpenStack Telemetry Metrics をデプロイする場合、CephFS データおよびメタデータプールを作成します。

2. オーバークラウドが Red Hat Ceph 4 (Ceph パッケージ 14) 以前で Shared File Systems サービス (manila) をデプロイする場合は、CephFS データおよびメタデータプールを作成します。

   [root@ceph ~]# ceph osd pool create manila_data <pgnum>
   [root@ceph ~]# ceph osd pool create manila_metadata <pgnum>

   <pgnum> は配置グループの数に置き換えます。Red Hat は、クラスター内の OSD ごとに約 100 の配置グループをレプリカの数 (osd pool default size) で割ることを推奨しています。たとえば、OSD が 10 があり、クラスターに osd pool default size が 3 に設定されている場合は、333 の配置グループを使用します。適切な値を判断するには Ceph Placement Groups (PGs) per Pool Calculator を使用することを推奨します。

3. オーバークラウドが Red Hat Ceph 5 (Ceph パッケージ 16) 以降で Shared File Systems サービス (manila) をデプロイする場合、CephFS 用のデータおよびメタデータプールを作成する必要はありません。ファイルシステムボリュームを作成できます。詳細は、Red Hat Ceph Storage Operations Guide の Ceph Orchestrator を使用した MDS サービスの管理 を参照してください。

4. 以下の機能を指定して client.openstack ユーザーを Ceph クラスターに作成します。

   • cap_mgr: allow *
   • cap_mon: profile rbd

   • cap_osd: profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups,

     [root@ceph ~]# ceph auth add client.openstack mgr allow * mon profile rbd osd profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups

5. client.openstack ユーザー向けに作成された Ceph クライアントキーをメモします。

   [root@ceph ~]# ceph auth list
   ...
   [client.openstack]
   	key = <AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==>
   	caps mgr = allow *
   	caps mon = profile rbd
   	caps osd = profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups
   ...

   この例の key 値 (AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==) は Ceph クライアントキーです。

6. オーバークラウドが CephFS を使用して Shared File Systems サービスをデプロイする場合は、Ceph Storage クラスターに以下の機能を持つ client.manila ユーザーを作成します。

   • cap_mds: allow *
   • cap_mgr: allow *
   • cap_mon: allow r, allow command "auth del", allow command "auth caps", allow command "auth get", allow command "auth get-or-create"`

   • cap_osd: allow rw

     [root@ceph ~]# ceph auth add client.manila mon allow r, allow command "auth del", allow command "auth caps", allow command "auth get", allow command "auth get-or-create"' osd 'allow rw' mds 'allow *' mgr 'allow *'

7. manila クライアント名およびオーバークラウドデプロイメントテンプレートで使用するキー値をメモします。

   [root@ceph ~]# ceph auth get-key client.manila
        <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

8. Ceph Storage クラスターのファイルシステム ID をメモします。この値は、クラスターの設定ファイルの [global] セクション配下にある fsid フィールドに指定されます。

   [global]
   fsid = <4b5c8c0a-ff60-454b-a1b4-9747aa737d19>
   ...

手順

1. カスタム環境ファイルを作成します。

   /home/stack/templates/ceph-config.yaml

2. ファイルに parameter_defaults: セクションを追加します。

   parameter_defaults:

3. parameter_defaults を使用して、/usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible-external.yaml で上書きするすべてのパラメーターを設定します。少なくとも以下のパラメーターを設定する必要があります。

   • CephClientKey: Ceph Storage クラスター内の client.openstack ユーザーの Ceph クライアントキー。これは、既存の Ceph Storage クラスターの設定 で取得した key の値です。たとえば、AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ== です。
   • CephClusterFSID: Ceph Storage クラスターのファイルシステム ID。これは、既存の Ceph Storage クラスターの設定 で 取得した、Ceph Storage クラスター設定ファイルの fsid の値です。たとえば、4b5c8c0a-ff60-454b-a1b4-9747aa737d19 です。

   • CephExternalMonHost: Ceph Storage クラスターの全 MON ホストの IP をコンマ区切りにしたリスト (例: 172.16.1.7, 172.16.1.8)。

     以下に例を示します。

     parameter_defaults:
       CephClientKey: <AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ==>
       CephClusterFSID: <4b5c8c0a-ff60-454b-a1b4-9747aa737d19>
       CephExternalMonHost: <172.16.1.7, 172.16.1.8>

4. オプション: Red Hat OpenStack Platform (RHOSP) クライアントのユーザー名と以下のデフォルトのプール名をオーバーライドして、Ceph Storage クラスターに一致させることができます。

   • CephClientUserName: <openstack>
   • NovaRbdPoolName: <vms>
   • CinderRbdPoolName: <volumes>
   • GlanceRbdPoolName: <images>
   • CinderBackupRbdPoolName: <backups>
   • GnocchiRbdPoolName: <metrics>

5. オプション: CephFS を使用して Shared File Systems サービスをデプロイする場合は、次のデフォルトのデータおよびメタデータプール名を上書きできます。

     ManilaCephFSDataPoolName: <manila_data>
     ManilaCephFSMetadataPoolName: <manila_metadata>

   注記

   これらの名前が、作成済みのプールの名前と一致していることを確認します。

6. Shared File Systems サービス用に作成したクライアントキーを設定します。そのキーのデフォルトの Ceph クライアントユーザー名をオーバーライドできます。

     ManilaCephFSCephFSAuthId: <manila>
     CephManilaClientKey: <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

   注記

   デフォルトのクライアントユーザー名 ManilaCephFSCephFSAuthId は、上書きしない限り manila です。CephManilaClientKey は常に必要です。

手順

1. Image サービス (glance) でイメージを作成します。イメージの作成方法についての詳細は、Creating and Managing Imagesの Import an image を参照してください。
2. 後で使用できるようにイメージ ID を記録します。
3. Compute (nova) インスタンスを作成します。インスタンスの作成方法についての詳細は、Creating and Managing InstancesのCreating an instanceを参照してください。
4. 後で使用できるようにインスタンス ID を記録します。
5. Block Storage (cinder) ボリュームを作成します。Block Storage ボリュームの作成方法についての詳細は、Storage Guide の Create a volume を参照してください。
6. 後で使用できるようにボリューム ID を記録します。
7. Shared File Systems サービス (manila) を使用して、ファイル共有を作成します。ファイル共有の作成方法の詳細については、ストレージガイド の 共有の作成を 参照してください。
8. 共有のエクスポートパスを一覧表示し、後で使用できるように接尾辞に UUID を記録します。共有のエクスポートパスを一覧表示する方法の詳細については、ストレージガイド の 共有の一覧表示と情報のエクスポート を参照してください。

手順

1. アンダークラウドに stack ユーザーとしてログインし、stackrc 認証情報ファイルを読み込みます。

   $ source ~/stackrc

2. 利用可能なサーバーをリスト表示して、システム上のノードの IP アドレスを取得します。

   $ openstack server list
   
   +---------------+----------------+---------------+
   | ID | Name | Status | Networks | Image | Flavor |
   +---------------+----------------+---------------+
   | d5a621bd-d109-41ae-a381-a42414397802 | compute-0 | ACTIVE | ctlplane=192.168.24.31 | overcloud-full | compute |
   | 496ab196-d6cb-447d-a118-5bafc5166cf2 | controller-0 | ACTIVE | ctlplane=192.168.24.37 | overcloud-full | controller |
   | c01e730d-62f2-426a-a964-b31448f250b3 | controller-2 | ACTIVE | ctlplane=192.168.24.55 | overcloud-full | controller |
   | 36df59b3-66f3-452e-9aec-b7e7f7c54b86 | controller-1 | ACTIVE | ctlplane=192.168.24.39 | overcloud-full | controller |
   | f8f00497-246d-4e40-8a6a-b5a60fa66483 | compute-1 | ACTIVE | ctlplane=192.168.24.10 | overcloud-full | compute |

3. SSH を使用して、任意のコンピュートノードにログインします。

   $ ssh heat-admin@192.168.24.31

4. root ユーザーに変更します。

   [heat-admin@compute-0 ~]$ sudo su -

5. /etc/ceph/ceph.conf ファイルおよび /etc/ceph/ceph.client.openstack.keyring ファイルが存在することを確認します。

   [root@compute-0 ~]# ls -l /etc/ceph/ceph.conf
   
   -rw-r--r--. 1 root root 1170 Sep 29 23:25 /etc/ceph/ceph.conf
   [root@compute-0 ~]# ls -l /etc/ceph/ceph.client.openstack.keyring
   
   -rw-------. 1 ceph ceph 253 Sep 29 23:25 /etc/ceph/ceph.client.openstack.keyring

6. 以下のコマンドを入力して、nova_compute コンテナーが rbd コマンドを使用して適切なプールの内容をリスト表示するように強制します。

   # podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms

   プール名は、Ceph Storage クラスターの設定時に作成したイメージ、仮想マシンボリュームおよび共有プール名と一致している必要があります。イメージ、コンピュートインスタンス、ボリューム、共有の ID は、ID の収集 で記録した ID と一致する必要があります。

   注記

   ceph-common package で提供される /usr/bin/rbd はデフォルトではオーバークラウドノードにインストールされないため、コマンドの例には podman exec nova_compute という接頭辞が付けられています。ただし、これは nova_compute コンテナーで利用できます。このコマンドは、ブロックデバイスイメージをリスト表示します。ブロックデバイスイメージの一覧 の詳細は、Ceph Storage ブロックデバイスガイドの ブロックデバイスイメージの一覧表示 を参照してください。

   以下の例は、ID の収集 で取得した ID を使用して、各プールに各サービスの ID が存在するかどうかを確認する方法を示しています。

   # podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls images | grep 4485d4c0-24c3-42ec-a158-4d3950fa020b
   
   # podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms | grep 64bcb731-e7a4-4dd5-a807-ee26c669482f
   
   # podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls volumes | grep aeac15e8-b67f-454f-9486-46b3d75daff4

7. Shared File Systems サービス共有の存在を確認するには、コントローラーノードにログインする必要があります。

   # podman exec openstack-manila-share-podman-0 ceph -n client.manila fs subvolume ls cephfs | grep ec99db3c-0077-40b7-b09e-8a110e3f73c1

手順

1. この手順で必要な入力を少なくするには、コンピュートノードにログインして rbd コマンドのエイリアスを作成します。

   $ alias rbd="podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack"

2. テストデータを新規オブジェクトとしてプールに書き込めることを確認します。

   $ rbd create --size 1024 vms/foo

3. テストデータが表示されることを確認します。

   $ rbd ls vms | grep foo

4. テストデータを削除します。

   $ rbd rm vms/foo