OpenStack へのブロックデバイスのガイド

手順

1. Red Hat Ceph Storage クラスターが実行中で、HEALTH_OK 状態にあることを確認します。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph -s

2. Ceph プールを作成します。

   例

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph osd pool create volumes 128
   [root@mon ~]# ceph osd pool create backups 128
   [root@mon ~]# ceph osd pool create images 128
   [root@mon ~]# ceph osd pool create vms 128

   上記の例では、128 は配置グループの数になります。

   重要

   Red Hat は、Ceph Placement Group’s per Pool Calculator を使用して、プールに適した配置グループ数を計算することを推奨します。

手順

1. OpenStack Nova、Cinder、Cinder Backup ノードは以下のパッケージをインストールします。

   Copy to Clipboard Toggle word wrap

   [root@nova ~]# yum install python-rbd
   [root@nova ~]# yum install ceph-common

2. OpenStack Glance ノードで python-rbd パッケージをインストールします。

   Copy to Clipboard Toggle word wrap

   [root@glance ~]# yum install python-rbd

手順

1. Ceph 設定ファイルを Ceph Monitor ノードから OpenStack Nova ノード、Cinder ノード、Cinder Backup ノード、および Glance ノードにコピーします。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# scp /etc/ceph/ceph.conf OPENSTACK_NODES:/etc/ceph

手順

1. Ceph Monitor ノードから、Cinder、Cinder Backup、および Glance の新しいユーザーを作成します。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
   
   [root@mon ~]# ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'
   
   [root@mon ~]# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

2. client.cinder、client.cinder-backup、および client.glance のキーリングを適切なノードに追加し、それらの所有権を変更します。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph auth get-or-create client.cinder | ssh CINDER_VOLUME_NODE sudo tee /etc/ceph/ceph.client.cinder.keyring
   [root@mon ~]# ssh CINDER_VOLUME_NODE chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
   
   [root@mon ~]# ceph auth get-or-create client.cinder-backup | ssh CINDER_BACKUP_NODE tee /etc/ceph/ceph.client.cinder-backup.keyring
   [root@mon ~]# ssh CINDER_BACKUP_NODE chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring
   
   [root@mon ~]# ceph auth get-or-create client.glance | ssh GLANCE_API_NODE sudo tee /etc/ceph/ceph.client.glance.keyring
   [root@mon ~]# ssh GLANCE_API_NODE chown glance:glance /etc/ceph/ceph.client.glance.keyring

3. OpenStack Nova ノードには、nova-compute プロセスのキーリングファイルが必要です。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph auth get-or-create client.cinder | ssh NOVA_NODE tee /etc/ceph/ceph.client.cinder.keyring

4. OpenStack Nova ノードは、libvirt に client.cinder ユーザーの秘密鍵を保存する必要もあります。libvirt プロセスでは、Cinder からブロックデバイスを接続する際にクラスターにアクセスするために秘密鍵が必要です。OpenStack Nova ノードに秘密鍵の一時的なコピーを作成します。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph auth get-key client.cinder | ssh NOVA_NODE tee client.cinder.key

   exclusive-lock 機能を使用する Ceph ブロックデバイスイメージがストレージクラスターに含まれている場合には、全 Ceph ブロックデバイスユーザーにクライアントをブラックリストに登録するパーミッションがあるようにしてください。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ceph auth caps client.ID mon 'allow r, allow command "osd blacklist"' osd 'EXISTING_OSD_USER_CAPS'

5. OpenStack Nova ノードに戻ります。

   Copy to Clipboard Toggle word wrap

   [root@mon ~]# ssh NOVA_NODE

6. シークレットの UUID を生成し、後で nova-compute を設定するためにシークレットの UUID を保存します。

   Copy to Clipboard Toggle word wrap

   [root@nova ~]# uuidgen > uuid-secret.txt

   注記

   すべての Nova コンピュートノードに UUID は必要ありません。ただし、プラットフォームの一貫性から、同じ UUID を維持する方が適切です。

7. OpenStack Nova ノードで、libvirt にシークレットキーを追加して、キーの一時コピーを削除します。

   Copy to Clipboard Toggle word wrap

   cat > secret.xml <<EOF
   <secret ephemeral='no' private='no'>
     <uuid>`cat uuid-secret.txt`</uuid>
     <usage type='ceph'>
       <name>client.cinder secret</name>
     </usage>
   </secret>
   EOF

8. libvirt のシークレットを設定して定義します。

   Copy to Clipboard Toggle word wrap

   [root@nova ~]# virsh secret-define --file secret.xml
   [root@nova ~]# virsh secret-set-value --secret $(cat uuid-secret.txt) --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

手順

1. Cinder 設定ファイルを編集します。

   Copy to Clipboard Toggle word wrap

   [root@cinder ~]# vim /etc/cinder/cinder.conf

2. [DEFAULT] セクションで、Cinder のバックエンドとして Ceph を有効にします。

   Copy to Clipboard Toggle word wrap

   enabled_backends = ceph

3. Glance API のバージョンが 2 に設定されていることを確認します。複数の cinder バックエンドを enabled_backends に設定する場合には、glance_api_version = 2 設定は [DEFAULT] セクションではなく、[ceph] セクションになければなりません。

   Copy to Clipboard Toggle word wrap

   glance_api_version = 2

4. cinder.conf ファイルに [ceph] セクションを作成します。以下のステップで [ceph] セクションに Ceph 設定を追加します。

5. volume_driver の設定を指定し、Ceph ブロックデバイスドライバーを使用するように設定します。

   Copy to Clipboard Toggle word wrap

   volume_driver = cinder.volume.drivers.rbd.RBDDriver

6. クラスター名と Ceph の設定ファイルの場所を指定します。典型的なデプロイメントでは、ceph クラスターのクラスター名および Ceph 設定ファイルは /etc/ceph/ceph.conf にあります。Ceph クラスター名が ceph ではない場合は、クラスター名と設定ファイルパスを適切に指定します。

   Copy to Clipboard Toggle word wrap

   rbd_cluster_name = us-west
   rbd_ceph_conf = /etc/ceph/us-west.conf

7. デフォルトでは、Red Hat OpenStack Platform は Ceph ボリュームを rbd プールに保管します。以前に作成した volumes プールを使用するには、rbd_pool 設定を指定し、volumes プールを設定します。

   Copy to Clipboard Toggle word wrap

   rbd_pool = volumes

8. Red Hat OpenStack Platform には、ボリュームのシークレットのデフォルトユーザー名または UUID がありません。rbd_user を指定して、cinder ユーザーに設定します。次に、rbd_secret_uuid 設定を指定し、これを uuid-secret.txt ファイルに保存されている生成された UUID に設定します。

   Copy to Clipboard Toggle word wrap

   rbd_user = cinder
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964

9. 以下の設定を指定します。

   Copy to Clipboard Toggle word wrap

   rbd_flatten_volume_from_snapshot = false
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1

   Cinder が Ceph ブロックデバイスを使用するように設定すると、設定ファイルは以下のようになります。

   例

   Copy to Clipboard Toggle word wrap

   [DEFAULT]
   enabled_backends = ceph
   glance_api_version = 2
   …
   
   [ceph]
   volume_driver = cinder.volume.drivers.rbd.RBDDriver
   rbd_cluster_name = ceph
   rbd_pool = volumes
   rbd_user = cinder
   rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_flatten_volume_from_snapshot = false
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1

   注記

   デフォルトの [lvm] セクションと、その設定を削除することを検討してください。

手順

1. Cinder 設定ファイルを編集します。

   Copy to Clipboard Toggle word wrap

   [root@cinder ~]# vim /etc/cinder/cinder.conf

2. 設定ファイルの [ceph] セクションに移動します。

3. backup_driver の設定を指定し、それを Ceph ドライバーに設定します。

   Copy to Clipboard Toggle word wrap

   backup_driver = cinder.backup.drivers.ceph

4. backup_ceph_conf の設定を指定し、Ceph 設定ファイルへのパスを指定します。

   Copy to Clipboard Toggle word wrap

   backup_ceph_conf = /etc/ceph/ceph.conf

   注記

   Cinder バックアップ Ceph 設定ファイルは、Cinder に使用する Ceph 設定ファイルとは異なる場合があります。たとえば、別の Ceph Storage クラスターを指定することができます。

5. バックアップ用の Ceph プールを指定します。

   Copy to Clipboard Toggle word wrap

   backup_ceph_pool = backups

   注記

   Cinder バックアップに使用される Ceph 設定ファイルは、Cinder に使用される Ceph 設定ファイルとは異なる場合があります。

6. backup_ceph_user 設定を指定し、ユーザーを cinder-backup として指定します。

   Copy to Clipboard Toggle word wrap

   backup_ceph_user = cinder-backup

7. 以下の設定を指定します。

   Copy to Clipboard Toggle word wrap

   backup_ceph_chunk_size = 134217728
   backup_ceph_stripe_unit = 0
   backup_ceph_stripe_count = 0
   restore_discard_excess_bytes = true

   Cinder オプションを指定すると、cinder.conf ファイルの [ceph] セクションは以下のようになります。

   例

   Copy to Clipboard Toggle word wrap

   [ceph]
   volume_driver = cinder.volume.drivers.rbd.RBDDriver
   rbd_cluster_name = ceph
   rbd_pool = volumes
   rbd_user = cinder
   rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_flatten_volume_from_snapshot = false
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1
   
   backup_driver = cinder.backup.drivers.ceph
   backup_ceph_user = cinder-backup
   backup_ceph_conf = /etc/ceph/ceph.conf
   backup_ceph_chunk_size = 134217728
   backup_ceph_pool = backups
   backup_ceph_stripe_unit = 0
   backup_ceph_stripe_count = 0
   restore_discard_excess_bytes = true

8. Cinder バックアップが有効になっているかどうかを確認します。

   Copy to Clipboard Toggle word wrap

   [root@cinder ~]# cat /etc/openstack-dashboard/local_settings | grep enable_backup

   enable_backup を False に設定すると、local_settings ファイルを編集し、これを True に設定します。

   例

   Copy to Clipboard Toggle word wrap

   OPENSTACK_CINDER_FEATURES = {
       'enable_backup': True,
   }

手順

1. デフォルトで Ceph ブロックデバイスを使用するには、/etc/glance/glance-api.conf ファイルを編集します。別のプールを使用した場合は、ユーザーまたは Ceph の設定ファイルの適切な値が適用されます。必要に応じて以下の設定のコメント設定を解除し、値を変更します。

   Copy to Clipboard Toggle word wrap

   [root@glance ~]# vim /etc/glance/glance-api.conf

   Copy to Clipboard Toggle word wrap

   stores = rbd
   default_store = rbd
   rbd_store_chunk_size = 8
   rbd_store_pool = images
   rbd_store_user = glance
   rbd_store_ceph_conf = /etc/ceph/ceph.conf

2. CoW (copy-on-write) クローン作成を有効にするには、show_image_direct_url を True に設定します。

   Copy to Clipboard Toggle word wrap

   show_image_direct_url = True

   重要

   CoW を有効にすると、Glance の API 経由でバックエンドの場所を公開するため、エンドポイントは一般にアクセスできないはずです。

3. 必要に応じてキャッシュ管理を無効にします。flavor は、keystone+cachemanagement ではなく、keystone にのみ設定する必要があります。

   Copy to Clipboard Toggle word wrap

   flavor = keystone

4. Red Hat では、イメージに以下のプロパティーを推奨します。

   Copy to Clipboard Toggle word wrap

   hw_scsi_model=virtio-scsi
   hw_disk_bus=scsi
   hw_qemu_guest_agent=yes
   os_require_quiesce=yes

   virtio-scsi コントローラーのパフォーマンスが向上し、破棄操作に対応します。SCSI/SAS ドライブを使用するシステムの場合は、そのコントローラーにすべての Cinder ブロックデバイスを接続します。また、QEMU ゲストエージェントを有効にし、QEMU ゲストエージェントを介して fs-freeze/thaw 呼び出しを送信します。

手順

1. Ceph 設定ファイルを編集します。

   Copy to Clipboard Toggle word wrap

   [root@nova ~]# vim /etc/ceph/ceph.conf

2. 以下のセクションを Ceph 設定ファイルの [client] セクションに追加します。

   Copy to Clipboard Toggle word wrap

   [client]
   rbd cache = true
   rbd cache writethrough until flush = true
   rbd concurrent management ops = 20
   admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok
   log file = /var/log/ceph/qemu-guest-$pid.log

3. 管理ソケットとログファイル用に新規ディレクトリーを作成し、qemu ユーザーおよび libvirtd グループを使用するディレクトリーのパーミッションを変更します。

   Copy to Clipboard Toggle word wrap

   [root@nova ~]# mkdir -p /var/run/ceph/guests/ /var/log/ceph/
   [root@nova ~]# chown qemu:libvirt /var/run/ceph/guests /var/log/ceph/

   注記

   ディレクトリーは SELinux または AppArmor が許可している必要があります。

4. それぞれの Nova ノードで、/etc/nova/nova.conf ファイルを編集します。[libvirt] セクションで、以下の設定を構成します。

   例

   Copy to Clipboard Toggle word wrap

   [libvirt]
   images_type = rbd
   images_rbd_pool = vms
   images_rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_user = cinder
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   disk_cachemodes="network=writeback"
   inject_password = false
   inject_key = false
   inject_partition = -2
   live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLED"
   hw_disk_discard = unmap

   rbd_user_secret の UUID は、uuid-secret.txt ファイルの UUID に置き換えます。

手順

1. ブロックデバイスプール名と Ceph ユーザー名を設定ファイルに読み込みます。

2. 該当する設定ファイルを変更したら、適切な OpenStack サービスを再起動します。

   Copy to Clipboard Toggle word wrap

   [root@osp ~]# systemctl restart openstack-cinder-volume
   [root@osp ~]# systemctl restart openstack-cinder-backup
   [root@osp ~]# systemctl restart openstack-glance-api
   [root@osp ~]# systemctl restart openstack-nova-compute