Ceph ブロックデバイスから OpenStack へのガイド

glance-api、cinder-volume、nova-compute、cinder-backup を実行するノードは Ceph クライアントとして機能します。それぞれに Ceph 設定ファイルが必要です。Ceph 設定ファイルを監視ノードから OSP ノードにコピーします。

# scp /etc/ceph/ceph.conf osp:/etc/ceph

Ceph monitor ノードから、Cinder、Cinder Backup、および Glance の新しいユーザーを作成します。

# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'

# ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'

# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

client.cinder、client.cinder-backup、および client.glance のキーリングを適切なノードに追加し、それらの所有権を変更します。

# ceph auth get-or-create client.cinder | ssh {your-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
# ssh {your-cinder-volume-server} chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

# ceph auth get-or-create client.cinder-backup | ssh {your-cinder-backup-server} tee /etc/ceph/ceph.client.cinder-backup.keyring
# ssh {your-cinder-backup-server} chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring

# ceph auth get-or-create client.glance | ssh {your-glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring
# ssh {your-glance-api-server} chown glance:glance /etc/ceph/ceph.client.glance.keyring

nova-compute を実行しているノードには、nova-compute プロセスのキーリングファイルが必要です。

# ceph auth get-or-create client.cinder | ssh {your-nova-compute-server} tee /etc/ceph/ceph.client.cinder.keyring

nova-compute を実行しているノードは、libvirt に client.cinder ユーザーの秘密鍵を保存する必要もあります。libvirt プロセスでは、Cinder からブロックデバイスを接続中にクラスターにアクセスする必要があります。nova-compute を実行しているノードに秘密鍵の一時コピーを作成します。

# ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key

exclusive-lock 機能を使用する Ceph Block Device イメージがストレージクラスターに含まれている場合には、すべての Ceph Block Device ユーザーにクライアントをブラックリストに登録するパーミッションがあるようにしてください。

# ceph auth caps client.{ID} mon 'allow r, allow command "osd blacklist"' osd '{existing-OSD-user-capabilities}'

コンピュートノードに戻ります。

# ssh {your-compute-node}

シークレットの UUID を生成し、後で nova-compute を設定するためにシークレットの UUID を保存します。

# uuidgen > uuid-secret.txt

次に、コンピュートノードで秘密鍵を libvirt に追加し、キーの一時コピーを削除します。

cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
  <uuid>`cat uuid-secret.txt`</uuid>
  <usage type='ceph'>
    <name>client.cinder secret</name>
  </usage>
</secret>
EOF

# virsh secret-define --file secret.xml
# virsh secret-set-value --secret $(cat uuid-secret.txt) --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

cinder-volume ノードには、Ceph ブロックデバイスドライバー、ボリューム プール、ユーザー、およびシークレットの UUID が Ceph ブロックデバイスと対話する必要があります。Cinder を設定するには、以下の手順を実行します。

その結果、設定は以下のようになります。

[DEFAULT]
enabled_backends = ceph
glance_api_version = 2
...

[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_cluster_name = ceph
rbd_pool = volumes
rbd_user = cinder
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1

cinder-backup ノードには特定のデーモンが必要です。Cinder バックアップを設定するには、以下の手順を実行します。

Cinder 設定が含まれているので、cinder.conf ファイルの [ceph] セクションは以下のようになります。

[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_cluster_name = ceph
rbd_pool = volumes
rbd_user = cinder
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1

backup_driver = cinder.backup.drivers.ceph
backup_ceph_user = cinder-backup
backup_ceph_conf = /etc/ceph/ceph.conf
backup_ceph_chunk_size = 134217728
backup_ceph_pool = backups
backup_ceph_stripe_unit = 0
backup_ceph_stripe_count = 0
restore_discard_excess_bytes = true

/etc/openstack-dashboard/ で Cinder バックアップが有効になっているかどうかを確認します。この設定は local_settings または local_settings.py という名前のファイルにある必要があります。以下に例を示します。

cat  /etc/openstack-dashboard/local_settings | grep enable_backup

enable_backup を False に設定すると、これを True に設定します。以下に例を示します。

OPENSTACK_CINDER_FEATURES = {
    'enable_backup': True,
}

デフォルトで Ceph ブロックデバイスを使用するには、/etc/glance/glance-api.conf ファイルを編集します。必要に応じて以下の設定のコメントを解除し、値を変更します。別のプールを使用した場合は、ユーザーまたは Ceph の設定ファイルの適切な値が適用されます。

# vim /etc/glance/glance-api.conf

stores = rbd
default_store = rbd
rbd_store_chunk_size = 8
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf

CoW (copy-on-write) クローン作成を有効にするには、show_image_direct_url を True に設定します。

show_image_direct_url = True

必要に応じてキャッシュ管理を無効にします。flavor は、keystone+cachemanagement ではなく、keystone にのみ設定する必要があります。

flavor = keystone

Red Hat では、イメージに以下のプロパティーを推奨します。

hw_scsi_model=virtio-scsi
hw_disk_bus=scsi
hw_qemu_guest_agent=yes
os_require_quiesce=yes

virtio-scsi コントローラーのパフォーマンスが向上し、破棄操作に対応します。SCSI/SAS ドライブを使用するシステムの場合は、cinder ブロックデバイスをすべてそのコントローラーに接続します。また、QEMU ゲストエージェントを有効にし、QEMU ゲストエージェントを介して fs-freeze/thaw 呼び出しを送信します。

すべての nova-compute ノードで、Ceph 設定ファイルを編集して Nova の一時バックエンドを設定し、すべての仮想マシンを Ceph に直接ブートします。

すべての nova-compute ノードで、[libvirt] セクションの下にある /etc/nova/nova.conf ファイルを編集し、以下の設定を行います。

[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_user = cinder
rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
disk_cachemodes="network=writeback"
inject_password = false
inject_key = false
inject_partition = -2
live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLED"
hw_disk_discard = unmap

Ceph 設定ファイルが /etc/ceph/ceph.conf ではない場合は、正しいパスを指定します。rbd_user_secret の UUID は、uuid-secret.txt ファイルの UUID に置き換えます。

Ceph ブロックデバイスドライバーをアクティブにするには、ブロックデバイスプール名と Ceph ユーザー名を設定に読み込み、対応する設定ファイルを変更した後に適切な OpenStack サービスを再起動します。

# systemctl restart openstack-cinder-volume
# systemctl restart openstack-cinder-backup
# systemctl restart openstack-glance-api
# systemctl restart openstack-nova-compute