기존 Red Hat Ceph Storage 클러스터와 오버클라우드 통합

절차

1. 외부 Ceph 관리자 노드에 로그인합니다.

2. 대화형 쉘을 열어 Ceph 명령에 액세스합니다.

   [user@ceph ~]$ sudo cephadm shell

3. 사용자와 관련된 Ceph Storage 클러스터에서 다음 RADOS 블록 장치(RBD) 풀을 생성합니다.

   • OpenStack Block Storage(cinder)용 스토리지:

     $ ceph osd pool create volumes <pgnum>

   • OpenStack Image Storage(glance):

     $ ceph osd pool create images <pgnum>

   • 인스턴스의 스토리지:

     $ ceph osd pool create vms <pgnum>

   • OpenStack Block Storage Backup(cinder-backup)용 스토리지:

     $ ceph osd pool create backups <pgnum>

4. 오버클라우드에서 Red Hat Ceph 5(Ceph 패키지 16) 이상을 사용하여 Shared File Systems 서비스(manila)를 배포하는 경우 CephFS에 대한 데이터 및 메타데이터 풀을 생성할 필요가 없습니다. 파일 시스템 볼륨을 생성할 수 있습니다. 자세한 내용은 Red Hat Ceph Storage Operations Guide 의 Ceph Orchestrator를 사용하여 MDS 서비스 관리 를 참조하십시오.

5. 다음과 같은 기능을 사용하여 Ceph Storage 클러스터에 client.openstack 사용자를 생성합니다.

   • cap_mgr: allow *
   • cap_mon: profile rbd

   • cap_osd: profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups

     $ ceph auth add client.openstack mgr 'allow *' mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups'

6. client.openstack 사용자에 대해 생성된 Ceph 클라이언트 키를 기록해 둡니다.

   $ ceph auth list
   ...
   [client.openstack]
   	key = <AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==>
   	caps mgr = "allow *"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups"
   ...

   • 예제의 키 값은 AQC+vYNXgAhAhAhAhAhAhAhAhAhV7UoYt+OTz5uhV7ItLdww== Ceph 클라이언트 키입니다.

7. 오버클라우드에서 CephFS를 사용하여 공유 파일 시스템 서비스를 배포하는 경우 Ceph Storage 클러스터에 client.manila 사용자를 생성합니다. client.manila 사용자에게 필요한 기능은 배포에서 기본 CephFS 프로토콜 또는 NFS 프로토콜을 통해 CephFS 공유를 노출하는지에 따라 달라집니다.

   • 기본 CephFS 프로토콜을 통해 CephFS 공유를 노출하는 경우 다음 기능이 필요합니다.

     • cap_mgr: allow rw

     • cap_mon: allow r

       $ ceph auth add client.manila mgr 'allow rw' mon 'allow r'

   • NFS 프로토콜을 통해 CephFS 공유를 노출하는 경우 다음 기능이 필요합니다.

     • cap_mgr: allow rw
     • cap_mon: allow r

     • cap_osd: allow rw pool=manila_data

       지정된 풀 이름은 ManilaCephFSDataPoolName 매개변수에 설정된 값이어야 하며, 기본값은 manila_data 입니다.

       $ ceph auth add client.manila  mgr 'allow rw' mon 'allow r' osd 'allow rw pool=manila_data'

8. 오버클라우드 배포 템플릿에 사용할 manila 클라이언트 이름 및 키 값을 기록해 둡니다.

   $ ceph auth get-key client.manila
        <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

9. Ceph Storage 클러스터의 파일 시스템 ID를 기록해 둡니다. 이 값은 클러스터 구성 파일의 [global] 섹션에 있는 fsid 필드에 지정됩니다.

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

절차

1. 사용자 정의 환경 파일을 생성합니다.

   /home/stack/templates/ceph-config.yaml

2. parameter_defaults: 섹션을 파일에 추가합니다.

   parameter_defaults:

3. parameter_defaults 를 사용하여 /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml 에서 재정의할 모든 매개변수를 설정합니다. 최소한 다음 매개변수를 설정해야 합니다.

   • CephClientKey: Ceph Storage 클러스터의 client.openstack 사용자의 Ceph 클라이언트 키입니다. 기존 Ceph Storage 클러스터 구성에서 검색한 키 값입니다. 예를 들어 AQDLOh1VgE6FRAAFzT7Zw+Y9V6JJQAsRnRQ==.
   • CephClusterFSID: Ceph Storage 클러스터의 파일 시스템 ID입니다. Ceph Storage 클러스터 구성 파일에서 fsid 의 값으로, 기존 Ceph Storage 클러스터 구성에서 검색했습니다. 예: 4b5c8c0a-ff60-454b-a1b4-9747a737d19.

   • CephExternalMonHost: Ceph Storage 클러스터에 있는 모든 MON 호스트의 IP(예: 172.16.1.7, 172.16.1.8 )의 쉼표로 구분된 목록입니다.

     예를 들면 다음과 같습니다.

     parameter_defaults:
       CephClientKey: <AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ==>
       CephClusterFSID: <4b5c8c0a-ff60-454b-a1b4-9747aa737d19>
       CephExternalMonHost: <172.16.1.7, 172.16.1.8, 172.16.1.9>

4. 선택 사항: RHOSP(Red Hat OpenStack Platform) 클라이언트 사용자 이름과 다음 기본 풀 이름을 Ceph Storage 클러스터와 일치하도록 덮어쓸 수 있습니다.

   • CephClientUserName: <openstack>
   • NovaRbdPoolName: <vms>
   • CinderRbdPoolName: <volumes>
   • GlanceRbdPoolName: <images>
   • CinderBackupRbdPoolName: <backups>

5. 선택 사항: CephFS를 사용하여 공유 파일 시스템 서비스를 배포하는 경우 다음 기본 데이터 및 메타데이터 풀 이름을 재정의할 수 있습니다.

     ManilaCephFSDataPoolName: <manila_data>
     ManilaCephFSMetadataPoolName: <manila_metadata>

   참고

   이러한 이름이 생성한 풀의 이름과 일치하는지 확인합니다.

6. 공유 파일 시스템 서비스에 대해 생성한 클라이언트 키를 설정합니다. 해당 키의 기본 Ceph 클라이언트 사용자 이름을 덮어쓸 수 있습니다.

     ManilaCephFSCephFSAuthId: <manila>
     CephManilaClientKey: <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

   참고

   기본 클라이언트 사용자 이름 ManilaCephFSCephFSAuthId 는 manila 입니다. CephMansouthClientKey 는 항상 필요합니다.

절차

1. Image 서비스(glance)를 사용하여 이미지를 생성합니다. 이미지 생성 방법에 대한 자세한 내용은 이미지 생성 및 관리에서 이미지 가져오기를 참조하십시오.
2. 나중에 사용할 수 있도록 이미지 ID를 기록합니다.
3. Compute(nova) 인스턴스를 만듭니다. 인스턴스를 만드는 방법에 대한 자세한 내용은 인스턴스 생성 및 관리 가이드의 인스턴스 생성을 참조하십시오.
4. 나중에 사용할 수 있도록 인스턴스 ID를 기록합니다.
5. Block Storage(cinder) 볼륨을 만듭니다. 블록 스토리지 볼륨을 생성하는 방법에 대한 자세한 내용은 스토리지 가이드에서 블록 스토리지 볼륨 생성 을 참조하십시오.
6. 나중에 사용할 수 있도록 볼륨 ID를 기록합니다.
7. Shared File Systems 서비스(manila)를 사용하여 파일 공유를 생성합니다.
8. 공유의 내보내기 경로를 나열하고 나중에 사용할 접미사에 UUID를 기록합니다.

절차

1. stack 사용자로 언더클라우드에 로그인하고 stackrc 인증 정보 파일을 가져옵니다.

   $ source ~/stackrc

2. 사용 가능한 서버를 나열하여 시스템에서 노드의 IP 주소를 검색합니다.

   $ metalsmith list
   
   +---------------+----------------+---------------+
   | ID | Name | Status | Networks | Image | Flavor |
   +---------------+----------------+---------------+
   | d5a621bd-d109-41ae-a381-a42414397802 | compute-0 | ACTIVE | ctlplane=192.168.24.31 | overcloud-full | compute |
   | 496ab196-d6cb-447d-a118-5bafc5166cf2 | controller-0 | ACTIVE | ctlplane=192.168.24.37 | overcloud-full | controller |
   | c01e730d-62f2-426a-a964-b31448f250b3 | controller-2 | ACTIVE | ctlplane=192.168.24.55 | overcloud-full | controller |
   | 36df59b3-66f3-452e-9aec-b7e7f7c54b86 | controller-1 | ACTIVE | ctlplane=192.168.24.39 | overcloud-full | controller |
   | f8f00497-246d-4e40-8a6a-b5a60fa66483 | compute-1 | ACTIVE | ctlplane=192.168.24.10 | overcloud-full | compute |

3. SSH를 사용하여 컴퓨팅 노드에 로그인합니다.

   $ ssh tripleo-admin@192.168.24.31

4. director에서 제공하는 CephConfigPath 에 ceph.conf 및 /ceph.client.openstack.keyring 파일이 존재하는지 확인합니다. 이 경로는 기본적으로 /var/lib/tripleo-config/ceph 이지만 재정의가 있을 수 있습니다.

   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.conf
   
   -rw-r--r--. 1 root root 1170 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.conf
   
   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring
   
   -rw-------. 1 ceph ceph 253 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring

5. 다음 명령을 입력하여 nova_compute 컨테이너에서 rbd 명령을 사용하여 적절한 풀의 콘텐츠를 나열하도록 강제 적용합니다.

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms

   풀 이름은 Ceph Storage 클러스터를 구성할 때 생성한 이미지, VM, 볼륨 및 공유의 풀 이름과 일치해야 합니다. 이미지, Compute 인스턴스, 볼륨 및 공유의 ID는 Gathering ID에 기록된 ID와 일치해야 합니다.

   참고

   ceph-common 패키지에서 제공하는 /usr/bin/rbd 가 기본적으로 오버클라우드 노드에 설치되지 않으므로 example 명령 앞에는 podman exec nova_compute 가 접두사가 있습니다. 그러나 nova_compute 컨테이너에서 사용할 수 있습니다. 명령은 블록 장치 이미지를 나열합니다. 블록 장치 이미지 목록에 대한 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 블록 장치 이미지 나열 을 참조하십시오.

   다음 예제에서는 Gathering ID의 ID를 사용하여 각 풀에 대한 ID가 있는지 확인하는 방법을 보여줍니다.

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls images | grep 4485d4c0-24c3-42ec-a158-4d3950fa020b

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms | grep 64bcb731-e7a4-4dd5-a807-ee26c669482f

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls volumes | grep aeac15e8-b67f-454f-9486-46b3d75daff4

6. 공유 파일 시스템 서비스 공유가 있는지 확인하려면 컨트롤러 노드에 로그인해야 합니다.

   $ sudo podman exec openstack-manila-share-podman-0 ceph -n client.manila fs subvolume ls cephfs | grep ec99db3c-0077-40b7-b09e-8a110e3f73c1

절차

1. 이 절차에서 수행해야 하는 입력 양을 단축하려면 컴퓨팅 노드에 로그인하고 rbd 명령의 별칭을 만듭니다.

   $ alias rbd="podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack"

2. 테스트 데이터를 새 오브젝트로 풀에 작성할 수 있는지 확인합니다.

   $ rbd create --size 1024 vms/foo

3. 테스트 데이터가 표시되는지 확인합니다.

   $ rbd ls vms | grep foo

4. 테스트 데이터를 삭제합니다.

   $ rbd rm vms/foo