将 Overcloud 与现有 Red Hat Ceph Storage 集群集成

流程

1. 登录到外部 Ceph 管理节点。

2. 打开交互式 shell 以访问 Ceph 命令：

   [user@ceph ~]$ sudo cephadm shell

3. 在 Ceph 存储集群中创建与您的环境相关的以下 RADOS 块设备(RBD)池：

   • OpenStack Block Storage (cinder)的存储：

     $ ceph osd pool create volumes <pgnum>

   • OpenStack Image Storage (glance)的存储：

     $ ceph osd pool create images <pgnum>

   • 实例存储：

     $ ceph osd pool create vms <pgnum>

   • OpenStack Block Storage Backup (cinder-backup)的存储：

     $ ceph osd pool create backups <pgnum>

4. 如果您的 overcloud 使用 Red Hat Ceph 5 (Ceph 软件包 16)部署共享文件系统服务(manila)，则不需要为 CephFS 创建数据和元数据池。您可以创建文件系统卷。有关更多信息，请参阅 Red Hat Ceph Storage 操作指南中的使用 Ceph Orchestrator 管理 MDS 服务。

5. 在 Ceph Storage 集群中创建 client.openstack 用户，其功能如下：

   • cap_mgr: allow *
   • cap_mon: profile rbd

   • cap_osd: profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups

     $ ceph auth add client.openstack mgr 'allow *' mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups'

6. 注意为 client.openstack 用户创建的 Ceph 客户端密钥：

   $ ceph auth list
   ...
   [client.openstack]
   	key = <AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==>
   	caps mgr = "allow *"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups"
   ...

   • 示例中的 键值 AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw== 是您的 Ceph 客户端密钥。

7. 如果您的 overcloud 使用 CephFS 部署共享文件系统服务，请在 Ceph 存储集群中创建 client.manila 用户。client.manila 用户所需的功能取决于您的部署是否通过原生 CephFS 协议或 NFS 协议公开 CephFS 共享。

   • 如果您通过原生 CephFS 协议公开 CephFS 共享，则需要以下功能：

     • cap_mgr: allow rw

     • cap_mon: allow r

       $ ceph auth add client.manila mgr 'allow rw' mon 'allow r'

   • 如果您通过 NFS 协议公开 CephFS 共享，则需要以下功能：

     • cap_mgr: allow rw
     • cap_mon: allow r

     • cap_osd: allow rw pool=manila_data

       指定池名称必须是 ManilaCephFSDataPoolName 参数设置的值，默认为 manila_data。

       $ ceph auth add client.manila  mgr 'allow rw' mon 'allow r' osd 'allow rw pool=manila_data'

8. 注意在 overcloud 部署模板中使用的 manila 客户端名称和键值：

   $ ceph auth get-key client.manila
        <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

9. 记下 Ceph Storage 集群的文件系统 ID。此值在 fsid 字段中指定，位于集群的配置文件的 [global] 部分下：

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

流程

1. 创建自定义环境文件：

   /home/stack/templates/ceph-config.yaml

2. 在文件中添加 parameter_defaults: 部分：

   parameter_defaults:

3. 使用 parameter_defaults 设置要在 /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml 中覆盖的所有参数。您必须至少设置以下参数：

   • CephClientKey ： Ceph Storage 集群中 client.openstack 用户的 Ceph 客户端密钥。这是您在 配置现有 Ceph Storage 集群 中检索的键值。例如，AQ DLOh1VgEp6FRAAFzT7Zw+Y9V6JExQAsRnRQ==。
   • CephClusterFSID: Ceph Storage 集群的文件系统 ID。这是 Ceph Storage 集群配置文件中的 fsid 值，您在配置 现有 Ceph Storage 集群 中检索该文件。例如，4b5c8c0a-ff60-454b-a1b4-9747aa737d19。

   • CephExternalMonHost ： Ceph Storage 集群中所有 MON 主机的 IP IP 列表，如 172.16.1.7, 172.16.1.8。

     例如：

     parameter_defaults:
       CephClientKey: <AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ==>
       CephClusterFSID: <4b5c8c0a-ff60-454b-a1b4-9747aa737d19>
       CephExternalMonHost: <172.16.1.7, 172.16.1.8, 172.16.1.9>

4. 可选： 您可以覆盖 Red Hat OpenStack Platform (RHOSP)客户端用户名和以下默认池名称以匹配 Ceph Storage 集群：

   • CephClientUserName: <openstack>
   • NovaRbdPoolName: <vms>
   • CinderRbdPoolName: <volumes>
   • GlanceRbdPoolName: <images>
   • CinderBackupRbdPoolName: <backups>

5. 可选：如果您使用 CephFS 部署共享文件系统服务，您可以覆盖以下默认数据和元数据池名称：

     ManilaCephFSDataPoolName: <manila_data>
     ManilaCephFSMetadataPoolName: <manila_metadata>

   注意

   确保这些名称与您创建的池的名称匹配。

6. 设置您为共享文件系统服务创建的客户端密钥。您可以覆盖该密钥的默认 Ceph 客户端用户名：

     ManilaCephFSCephFSAuthId: <manila>
     CephManilaClientKey: <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

   注意

   默认客户端用户名 ManilaCephFSCephFSAuthId 是 manila，除非您覆盖它。CephManilaClientKey 始终是必需的。

流程

1. 使用 Image 服务(glance)创建镜像。有关如何创建镜像的更多信息，请参阅创建和管理镜像中的导入镜像。
2. 记录镜像 ID 以供以后使用。
3. 创建计算(nova)实例。有关如何创建实例的更多信息，请参阅创建和管理实例指南中的创建实例。
4. 记录实例 ID 以供以后使用。
5. 创建 Block Storage (cinder)卷。FFor 如何创建块存储卷的更多信息，请参阅存储指南中的创建块存储卷。
6. 记录卷 ID 以供以后使用。
7. 使用共享文件系统服务(manila)创建文件共享。
8. 列出共享的导出路径，并在后缀中记录 UUID 以供以后使用。

流程

1. 以 stack 用户身份登录 undercloud，再提供 stackrc 凭证文件：

   $ source ~/stackrc

2. 列出可用的服务器以检索系统中节点的 IP 地址：

   $ metalsmith list
   
   +---------------+----------------+---------------+
   | ID | Name | Status | Networks | Image | Flavor |
   +---------------+----------------+---------------+
   | d5a621bd-d109-41ae-a381-a42414397802 | compute-0 | ACTIVE | ctlplane=192.168.24.31 | overcloud-full | compute |
   | 496ab196-d6cb-447d-a118-5bafc5166cf2 | controller-0 | ACTIVE | ctlplane=192.168.24.37 | overcloud-full | controller |
   | c01e730d-62f2-426a-a964-b31448f250b3 | controller-2 | ACTIVE | ctlplane=192.168.24.55 | overcloud-full | controller |
   | 36df59b3-66f3-452e-9aec-b7e7f7c54b86 | controller-1 | ACTIVE | ctlplane=192.168.24.39 | overcloud-full | controller |
   | f8f00497-246d-4e40-8a6a-b5a60fa66483 | compute-1 | ACTIVE | ctlplane=192.168.24.10 | overcloud-full | compute |

3. 使用 SSH 登录到任何 Compute 节点：

   $ ssh tripleo-admin@192.168.24.31

4. 确认 director 提供的 CephConfigPath 中是否存在 ceph.conf 和 /ceph.client.openstack.keyring 文件。此路径默认为 /var/lib/tripleo-config/ceph，但可能会存在覆盖。

   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.conf
   
   -rw-r--r--. 1 root root 1170 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.conf
   
   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring
   
   -rw-------. 1 ceph ceph 253 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring

5. 输入以下命令强制 nova_compute 容器使用 rbd 命令列出相应池的内容。

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms

   池名称必须与配置 Ceph Storage 集群时创建的镜像、虚拟机、卷和共享的池名称匹配。镜像、计算实例、卷和共享的 ID 必须与您在 收集 ID 中记录的 ID 匹配。

   注意

   example 命令的前缀为 podman exec nova_compute，因为 /usr/bin/rbd （由 ceph-common 软件包提供 ）默认不会在 overcloud 节点上安装。但是，它位于 nova_compute 容器中。命令列出块设备镜像。有关列出块设备镜像的更多信息，请参阅 Red Hat Ceph Storage 块设备指南中的列出块设备镜像。https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5/html/block_device_guide/ceph-block-devices#listing-the-block-device-images_block

   以下示例演示了如何使用 Gathering ID 从 Gathering ID 来确认每个服务的 ID 是否存在。

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls images | grep 4485d4c0-24c3-42ec-a158-4d3950fa020b

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms | grep 64bcb731-e7a4-4dd5-a807-ee26c669482f

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls volumes | grep aeac15e8-b67f-454f-9486-46b3d75daff4

6. 要验证共享文件系统服务共享是否存在，您必须登录到 Controller 节点：

   $ sudo podman exec openstack-manila-share-podman-0 ceph -n client.manila fs subvolume ls cephfs | grep ec99db3c-0077-40b7-b09e-8a110e3f73c1

流程

1. 要缩短此流程中必须执行的输入数量，请登录 Compute 节点并为 rbd 命令创建一个别名：

   $ alias rbd="podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack"

2. 确认您可以作为新对象将测试数据写入池：

   $ rbd create --size 1024 vms/foo

3. 确认您可以看到测试数据：

   $ rbd ls vms | grep foo

4. 删除测试数据：

   $ rbd rm vms/foo