블록 장치에서 OpenStack 가이드

절차

1. Red Hat Ceph Storage 클러스터가 실행 중이며 HEALTH_OK 상태인지 확인합니다.

   [root@mon ~]# ceph -s

   Copy to Clipboard Toggle word wrap

2. Ceph 풀을 생성합니다.

   예제

   [root@mon ~]# ceph osd pool create volumes 128
   [root@mon ~]# ceph osd pool create backups 128
   [root@mon ~]# ceph osd pool create images 128
   [root@mon ~]# ceph osd pool create vms 128

   Copy to Clipboard Toggle word wrap

   위의 예에서 128 은 배치 그룹의 수입니다.

   중요

   Red Hat은 Ceph Placement Group의 풀당 계산기 를 사용하여 풀에 적합한 배치 그룹을 계산할 것을 권장합니다.

절차

1. OpenStack Nova에서 Cinder 백업 노드는 다음 패키지를 설치합니다.

   [root@nova ~]# dnf install python-rbd ceph-common

   Copy to Clipboard Toggle word wrap

2. OpenStack Glance 호스트에서 python-rbd 패키지를 설치합니다.

   [root@glance ~]# dnf install python-rbd

   Copy to Clipboard Toggle word wrap

절차

1. Ceph Monitor 호스트에서 OpenStack Nova, Cinder, Cinder 백업 및 Glance 노드로 Ceph 구성 파일을 복사합니다.

   [root@mon ~]# scp /etc/ceph/ceph.conf OPENSTACK_NODES:/etc/ceph

   Copy to Clipboard Toggle word wrap

절차

1. Ceph Monitor 호스트에서 Cinder, Cinder Backup 및 Glance에 사용할 새 사용자를 만듭니다.

   [root@mon ~]# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
   
   [root@mon ~]# ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'
   
   [root@mon ~]# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

   Copy to Clipboard Toggle word wrap

2. client.cinder , client.cinder -backup 및 client.glance 의 인증 키를 적절한 노드에 추가하고 소유권을 변경합니다.

   [root@mon ~]# ceph auth get-or-create client.cinder | ssh CINDER_VOLUME_NODE sudo tee /etc/ceph/ceph.client.cinder.keyring
   [root@mon ~]# ssh CINDER_VOLUME_NODE chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
   
   [root@mon ~]# ceph auth get-or-create client.cinder-backup | ssh CINDER_BACKUP_NODE tee /etc/ceph/ceph.client.cinder-backup.keyring
   [root@mon ~]# ssh CINDER_BACKUP_NODE chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring
   
   [root@mon ~]# ceph auth get-or-create client.glance | ssh GLANCE_API_NODE sudo tee /etc/ceph/ceph.client.glance.keyring
   [root@mon ~]# ssh GLANCE_API_NODE chown glance:glance /etc/ceph/ceph.client.glance.keyring

   Copy to Clipboard Toggle word wrap

3. OpenStack Nova 노드에는 nova-compute 프로세스의 키링 파일이 필요합니다.

   [root@mon ~]# ceph auth get-or-create client.cinder | ssh NOVA_NODE tee /etc/ceph/ceph.client.cinder.keyring

   Copy to Clipboard Toggle word wrap

4. OpenStack Nova 노드에서도 client.cinder 사용자의 시크릿 키를 libvirt 에 저장해야 합니다. Cinder에서 블록 장치를 연결하는 동안 libvirt 프로세스에 클러스터에 액세스하려면 시크릿 키가 필요합니다. OpenStack Nova 노드에 시크릿 키의 임시 사본을 만듭니다.

   [root@mon ~]# ceph auth get-key client.cinder | ssh NOVA_NODE tee client.cinder.key

   Copy to Clipboard Toggle word wrap

   스토리지 클러스터에 전용 잠금 기능을 사용하는 Ceph 블록 장치 이미지가 포함된 경우 모든 Ceph 블록 장치 사용자에게 클라이언트를 차단할 수 있는 권한이 있는지 확인합니다.

   [root@mon ~]# ceph auth caps client.ID mon 'allow r, allow command "osd blacklist"' osd 'EXISTING_OSD_USER_CAPS'

   Copy to Clipboard Toggle word wrap

5. OpenStack Nova 호스트로 돌아갑니다.

   [root@mon ~]# ssh NOVA_NODE

   Copy to Clipboard Toggle word wrap

6. 시크릿의 UUID를 생성하고 나중에 nova-compute 를 구성하기 위해 시크릿의 UUID를 저장합니다.

   [root@nova ~]# uuidgen > uuid-secret.txt

   Copy to Clipboard Toggle word wrap
   참고

   모든 Nova 컴퓨팅 노드에 UUID가 필요하지는 않습니다. 그러나 플랫폼 일관성 관점에서 동일한 UUID를 유지하는 것이 좋습니다.

7. OpenStack Nova 노드에서 libvirt 에 시크릿 키를 추가하고 키의 임시 사본을 제거합니다.

   cat > secret.xml <<EOF
   <secret ephemeral='no' private='no'>
     <uuid>`cat uuid-secret.txt`</uuid>
     <usage type='ceph'>
       <name>client.cinder secret</name>
     </usage>
   </secret>
   EOF

   Copy to Clipboard Toggle word wrap

8. libvirt 시크릿을 설정하고 정의합니다.

   [root@nova ~]# virsh secret-define --file secret.xml
   [root@nova ~]# virsh secret-set-value --secret $(cat uuid-secret.txt) --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

   Copy to Clipboard Toggle word wrap

절차

1. Cinder 구성 파일을 편집합니다.

   [root@cinder ~]# vim /etc/cinder/cinder.conf

   Copy to Clipboard Toggle word wrap

2. [DEFAULT] 섹션에서 Ceph를 Cinder의 백엔드로 활성화합니다.

   enabled_backends = ceph

   Copy to Clipboard Toggle word wrap

3. Glance API 버전이 2로 설정되어 있는지 확인합니다. enabled_backends 에서 여러 cinder 백엔드를 구성하는 경우 glance_api_version = 2 설정은 [ceph] 섹션이 아닌 [DEFAULT] 섹션에 있어야 합니다.

   glance_api_version = 2

   Copy to Clipboard Toggle word wrap
4. cinder.conf 파일에 [ceph] 섹션을 생성합니다. [ceph] 섹션의 다음 단계에 Ceph 설정을 추가합니다.

5. volume_driver 설정을 지정하고 Ceph 블록 장치 드라이버를 사용하도록 설정합니다.

   volume_driver = cinder.volume.drivers.rbd.RBDDriver

   Copy to Clipboard Toggle word wrap

6. 클러스터 이름 및 Ceph 구성 파일 위치를 지정합니다. 일반적인 배포에서는 Ceph 클러스터의 클러스터 이름이 ceph 이고 Ceph 구성 파일이 /etc/ceph/ceph.conf 에 있습니다. Ceph 클러스터 이름이 ceph 가 아닌 경우 클러스터 이름 및 구성 파일 경로를 적절하게 지정합니다.

   rbd_cluster_name = us-west
   rbd_ceph_conf = /etc/ceph/us-west.conf

   Copy to Clipboard Toggle word wrap

7. 기본적으로 Red Hat OpenStack Platform은 Ceph 볼륨을 rbd 풀에 저장합니다. 이전에 생성된 volumes 풀을 사용하려면 rbd_pool 설정을 지정하고 volumes 풀을 설정합니다.

   rbd_pool = volumes

   Copy to Clipboard Toggle word wrap

8. Red Hat OpenStack Platform에는 볼륨의 기본 사용자 이름 또는 시크릿의 UUID가 없습니다. rbd_user 를 지정하고 cinder 사용자로 설정합니다. 그런 다음 rbd_secret_uuid 설정을 지정하고 uuid-secret.txt 파일에 저장된 생성된 UUID로 설정합니다.

   rbd_user = cinder
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964

   Copy to Clipboard Toggle word wrap

9. 다음 설정을 지정합니다.

   rbd_flatten_volume_from_snapshot = false
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1

   Copy to Clipboard Toggle word wrap

   Ceph 블록 장치를 사용하도록 Cinder를 구성하면 구성 파일은 다음과 유사할 수 있습니다.

   예제

   [DEFAULT]
   enabled_backends = ceph
   glance_api_version = 2
   …
   
   [ceph]
   volume_driver = cinder.volume.drivers.rbd.RBDDriver
   rbd_cluster_name = ceph
   rbd_pool = volumes
   rbd_user = cinder
   rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_flatten_volume_from_snapshot = false
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1

   Copy to Clipboard Toggle word wrap

   참고

   기본 [lvm] 섹션 및 해당 설정을 제거하는 것이 좋습니다.

절차

1. Cinder 구성 파일을 편집합니다.

   [root@cinder ~]# vim /etc/cinder/cinder.conf

   Copy to Clipboard Toggle word wrap
2. 구성 파일의 [ceph] 섹션으로 이동합니다.

3. backup_driver 설정을 지정하고 Ceph 드라이버로 설정합니다.

   backup_driver = cinder.backup.drivers.ceph

   Copy to Clipboard Toggle word wrap

4. backup_ceph_conf 설정을 지정하고 Ceph 구성 파일의 경로를 지정합니다.

   backup_ceph_conf = /etc/ceph/ceph.conf

   Copy to Clipboard Toggle word wrap
   참고

   Cinder 백업 Ceph 구성 파일은 Cinder에 사용되는 Ceph 구성 파일과 다를 수 있습니다. 예를 들어 다른 Ceph 스토리지 클러스터를 가리킬 수 있습니다.

5. 백업에 사용할 Ceph 풀을 지정합니다.

   backup_ceph_pool = backups

   Copy to Clipboard Toggle word wrap
   참고

   Cinder 백업에 사용되는 Ceph 구성 파일은 Cinder에 사용되는 Ceph 구성 파일과 다를 수 있습니다.

6. backup_ceph_user 설정을 지정하고 사용자를 cinder-backup 으로 지정합니다.

   backup_ceph_user = cinder-backup

   Copy to Clipboard Toggle word wrap

7. 다음 설정을 지정합니다.

   backup_ceph_chunk_size = 134217728
   backup_ceph_stripe_unit = 0
   backup_ceph_stripe_count = 0
   restore_discard_excess_bytes = true

   Copy to Clipboard Toggle word wrap

   Cinder 옵션을 포함하는 경우 cinder.conf 파일의 [ceph] 섹션은 다음과 유사할 수 있습니다.

   예제

   [ceph]
   volume_driver = cinder.volume.drivers.rbd.RBDDriver
   rbd_cluster_name = ceph
   rbd_pool = volumes
   rbd_user = cinder
   rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_flatten_volume_from_snapshot = false
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   rbd_max_clone_depth = 5
   rbd_store_chunk_size = 4
   rados_connect_timeout = -1
   
   backup_driver = cinder.backup.drivers.ceph
   backup_ceph_user = cinder-backup
   backup_ceph_conf = /etc/ceph/ceph.conf
   backup_ceph_chunk_size = 134217728
   backup_ceph_pool = backups
   backup_ceph_stripe_unit = 0
   backup_ceph_stripe_count = 0
   restore_discard_excess_bytes = true

   Copy to Clipboard Toggle word wrap

8. Cinder 백업이 활성화되어 있는지 확인합니다.

   [root@cinder ~]# cat /etc/openstack-dashboard/local_settings | grep enable_backup

   Copy to Clipboard Toggle word wrap

   enable_backup 이 False 로 설정된 경우 local_settings 파일을 편집하여 True 로 설정합니다.

   예제

   OPENSTACK_CINDER_FEATURES = {
       'enable_backup': True,
   }

   Copy to Clipboard Toggle word wrap

절차

1. 기본적으로 Ceph 블록 장치를 사용하려면 /etc/glance/glance-api.conf 파일을 편집합니다. 다른 풀, 사용자 또는 Ceph 구성 파일 설정을 사용한 경우 적절한 값을 적용합니다. 필요한 경우 다음 설정의 주석을 제거하고 그에 따라 값을 변경합니다.

   [root@glance ~]# vim /etc/glance/glance-api.conf

   Copy to Clipboard Toggle word wrap

   stores = rbd
   default_store = rbd
   rbd_store_chunk_size = 8
   rbd_store_pool = images
   rbd_store_user = glance
   rbd_store_ceph_conf = /etc/ceph/ceph.conf

   Copy to Clipboard Toggle word wrap

2. COW(Copy-On-Write) 복제를 활성화하려면 show_image_direct_url 을 True 로 설정합니다.

   show_image_direct_url = True

   Copy to Clipboard Toggle word wrap
   중요

   CoW를 활성화하면 Glance API를 통해 백엔드 위치를 노출하므로 엔드포인트에 공개적으로 액세스할 수 없습니다.

3. 필요한 경우 캐시 관리를 비활성화합니다. 플레이버 는 keystone+cachemanagement 가 아닌 keystone 으로만 설정해야 합니다.

   flavor = keystone

   Copy to Clipboard Toggle word wrap

4. Red Hat은 다음과 같은 이미지 속성을 권장합니다.

   hw_scsi_model=virtio-scsi
   hw_disk_bus=scsi
   hw_qemu_guest_agent=yes
   os_require_quiesce=yes

   Copy to Clipboard Toggle word wrap

   virtio-scsi 컨트롤러는 성능이 향상되고 삭제 작업을 지원합니다. SCSI/ECDHE 드라이브를 사용하는 시스템의 경우 모든 Cinder 블록 장치를 해당 컨트롤러에 연결합니다. 또한 QEMU 게스트 에이전트를 활성화하고 QEMU 게스트 에이전트를 통해 fs-freeze/thaw 호출을 보냅니다.

절차

1. Ceph 구성 파일을 편집합니다.

   [root@nova ~]# vim /etc/ceph/ceph.conf

   Copy to Clipboard Toggle word wrap

2. Ceph 구성 파일의 [client] 섹션에 다음 섹션을 추가합니다.

   [client]
   rbd cache = true
   rbd cache writethrough until flush = true
   rbd concurrent management ops = 20
   admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok
   log file = /var/log/ceph/qemu-guest-$pid.log

   Copy to Clipboard Toggle word wrap

3. admin 소켓 및 로그 파일에 대한 새 디렉터리를 생성하고 qemu 사용자 및 libvirtd 그룹을 사용하도록 디렉터리 권한을 변경합니다.

   [root@nova ~]# mkdir -p /var/run/ceph/guests/ /var/log/ceph/
   [root@nova ~]# chown qemu:libvirt /var/run/ceph/guests /var/log/ceph/

   Copy to Clipboard Toggle word wrap
   참고

   SELinux 또는 AppArmor에서 디렉터리를 허용해야 합니다.

4. 각 Nova 노드에서 /etc/nova/nova.conf 파일을 편집합니다. [libvirt] 섹션에서 다음 설정을 구성합니다.

   예제

   [libvirt]
   images_type = rbd
   images_rbd_pool = vms
   images_rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_user = cinder
   rbd_secret_uuid = 4b5fd580-360c-4f8c-abb5-c83bb9a3f964
   disk_cachemodes="network=writeback"
   inject_password = false
   inject_key = false
   inject_partition = -2
   live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLED"
   hw_disk_discard = unmap

   Copy to Clipboard Toggle word wrap

   rbd_user_secret 의 UUID를 uuid-secret.txt 파일의 UUID로 바꿉니다.

절차

1. 블록 장치 풀 이름과 Ceph 사용자 이름을 구성 파일에 로드합니다.

2. 해당 구성 파일을 수정한 후 적절한 OpenStack 서비스를 다시 시작합니다.

   [root@osp ~]# systemctl restart openstack-cinder-volume
   [root@osp ~]# systemctl restart openstack-cinder-backup
   [root@osp ~]# systemctl restart openstack-glance-api
   [root@osp ~]# systemctl restart openstack-nova-compute

   Copy to Clipboard Toggle word wrap