将 overcloud 与现有 Red Hat Ceph Storage 集群集成

流程

1. 登录到外部 Ceph 管理节点。

2. 打开交互式 shell 以访问 Ceph 命令：

   [user@ceph ~]$ sudo cephadm shell

   Copy to Clipboard Toggle word wrap

3. 在 Ceph 存储集群中创建与您的环境相关的以下 RADOS 块设备(RBD)池：

   • OpenStack Block Storage (cinder)的存储：

     $ ceph osd pool create volumes <pgnum>

     Copy to Clipboard Toggle word wrap

   • OpenStack Image Storage (glance)的存储：

     $ ceph osd pool create images <pgnum>

     Copy to Clipboard Toggle word wrap

   • 实例存储：

     $ ceph osd pool create vms <pgnum>

     Copy to Clipboard Toggle word wrap

   • OpenStack Block Storage Backup (cinder-backup)的存储：

     $ ceph osd pool create backups <pgnum>

     Copy to Clipboard Toggle word wrap
4. 如果您的 overcloud 使用 Red Hat Ceph 5 (Ceph 软件包 16)部署共享文件系统服务(manila)，则不需要为 CephFS 创建数据和元数据池。您可以创建文件系统卷。有关更多信息，请参阅 Red Hat Ceph Storage 操作指南中的使用 Ceph Orchestrator 管理 MDS 服务。

5. 在 Ceph Storage 集群中创建 client.openstack 用户，其功能如下：

   • cap_mgr: allow *
   • cap_mon: profile rbd

   • cap_osd: profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups

     $ ceph auth add client.openstack mgr 'allow *' mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups'

     Copy to Clipboard Toggle word wrap

6. 注意为 client.openstack 用户创建的 Ceph 客户端密钥：

   $ ceph auth list
   ...
   [client.openstack]
   	key = <AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==>
   	caps mgr = "allow *"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups"
   ...

   Copy to Clipboard Toggle word wrap
   • 示例中的 键值 AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw== 是您的 Ceph 客户端密钥。

7. 如果您的 overcloud 使用 CephFS 部署共享文件系统服务，请在 Ceph 存储集群中创建 client.manila 用户。client.manila 用户所需的功能取决于您的部署是否通过原生 CephFS 协议或 NFS 协议公开 CephFS 共享。

   • 如果您通过原生 CephFS 协议公开 CephFS 共享，则需要以下功能：

     • cap_mgr: allow rw

     • cap_mon: allow r

       $ ceph auth add client.manila mgr 'allow rw' mon 'allow r'

       Copy to Clipboard Toggle word wrap

   • 如果您通过 NFS 协议公开 CephFS 共享，则需要以下功能：

     • cap_mgr: allow rw
     • cap_mon: allow r

     • cap_osd: allow rw pool=manila_data

       指定池名称必须是 ManilaCephFSDataPoolName 参数设置的值，默认为 manila_data。

       $ ceph auth add client.manila  mgr 'allow rw' mon 'allow r' osd 'allow rw pool=manila_data'

       Copy to Clipboard Toggle word wrap

8. 注意在 overcloud 部署模板中使用的 manila 客户端名称和键值：

   $ ceph auth get-key client.manila
        <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

   Copy to Clipboard Toggle word wrap

9. 记下 Ceph Storage 集群的文件系统 ID。此值在 fsid 字段中指定，位于集群的配置文件的 [global] 部分下：

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

   Copy to Clipboard Toggle word wrap

流程

1. 创建自定义环境文件：

   /home/stack/templates/ceph-config.yaml

2. 在文件中添加 parameter_defaults: 部分：

   parameter_defaults:

   Copy to Clipboard Toggle word wrap

3. 使用 parameter_defaults 设置要在 /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml 中覆盖的所有参数。您必须至少设置以下参数：

   • CephClientKey ： Ceph Storage 集群中 client.openstack 用户的 Ceph 客户端密钥。这是您在 配置现有 Ceph Storage 集群 中检索的键值。例如，AQ DLOh1VgEp6FRAAFzT7Zw+Y9V6JExQAsRnRQ==。
   • CephClusterFSID: Ceph Storage 集群的文件系统 ID。这是 Ceph Storage 集群配置文件中的 fsid 值，您在配置 现有 Ceph Storage 集群 中检索该文件。例如，4b5c8c0a-ff60-454b-a1b4-9747aa737d19。

   • CephExternalMonHost ： Ceph Storage 集群中所有 MON 主机的 IP IP 列表，如 172.16.1.7, 172.16.1.8。

     例如：

     parameter_defaults:
       CephClientKey: <AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ==>
       CephClusterFSID: <4b5c8c0a-ff60-454b-a1b4-9747aa737d19>
       CephExternalMonHost: <172.16.1.7, 172.16.1.8, 172.16.1.9>

     Copy to Clipboard Toggle word wrap

4. 可选： 您可以覆盖 Red Hat OpenStack Platform (RHOSP)客户端用户名和以下默认池名称以匹配 Ceph Storage 集群：

   • CephClientUserName: <openstack>
   • NovaRbdPoolName: <vms>
   • CinderRbdPoolName: <volumes>
   • GlanceRbdPoolName: <images>
   • CinderBackupRbdPoolName: <backups>

5. 可选：如果您使用 CephFS 部署共享文件系统服务，您可以覆盖以下默认数据和元数据池名称：

     ManilaCephFSDataPoolName: <manila_data>
     ManilaCephFSMetadataPoolName: <manila_metadata>

   Copy to Clipboard Toggle word wrap
   注意

   确保这些名称与您创建的池的名称匹配。

6. 设置您为共享文件系统服务创建的客户端密钥。您可以覆盖该密钥的默认 Ceph 客户端用户名：

     ManilaCephFSCephFSAuthId: <manila>
     CephManilaClientKey: <AQDQ991cAAAAABAA0aXFrTnjH9aO39P0iVvYyg==>

   Copy to Clipboard Toggle word wrap
   注意

   默认客户端用户名 ManilaCephFSCephFSAuthId 是 manila，除非您覆盖它。CephManilaClientKey 始终是必需的。

流程

1. 使用 Image 服务(glance)创建镜像。有关如何创建镜像的更多信息，请参阅创建和管理镜像 中的 导入镜像。
2. 记录镜像 ID 以供以后使用。
3. 创建计算(nova)实例。有关如何创建实例的更多信息，请参阅创建和管理实例指南中的创建 实例。https://access.redhat.com/documentation/zh-cn/red_hat_openstack_platform/17.1/html/creating_and_managing_instances/assembly_creating-an-instance_osp
4. 记录实例 ID 以供以后使用。
5. 创建 Block Storage (cinder)卷。有关如何创建卷的更多信息，请参阅 配置持久性存储指南中的创建块存储卷。
6. 记录卷 ID 以供以后使用。
7. 使用共享文件系统服务(manila)创建文件共享。
8. 列出共享的导出路径，并在后缀中记录 UUID 以供以后使用。

流程

1. 以 stack 用户身份登录 undercloud，再提供 stackrc 凭证文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

2. 列出可用的服务器以检索系统中节点的 IP 地址：

   $ metalsmith list
   
   +---------------+----------------+---------------+
   | ID | Name | Status | Networks | Image | Flavor |
   +---------------+----------------+---------------+
   | d5a621bd-d109-41ae-a381-a42414397802 | compute-0 | ACTIVE | ctlplane=192.168.24.31 | overcloud-full | compute |
   | 496ab196-d6cb-447d-a118-5bafc5166cf2 | controller-0 | ACTIVE | ctlplane=192.168.24.37 | overcloud-full | controller |
   | c01e730d-62f2-426a-a964-b31448f250b3 | controller-2 | ACTIVE | ctlplane=192.168.24.55 | overcloud-full | controller |
   | 36df59b3-66f3-452e-9aec-b7e7f7c54b86 | controller-1 | ACTIVE | ctlplane=192.168.24.39 | overcloud-full | controller |
   | f8f00497-246d-4e40-8a6a-b5a60fa66483 | compute-1 | ACTIVE | ctlplane=192.168.24.10 | overcloud-full | compute |

   Copy to Clipboard Toggle word wrap

3. 使用 SSH 登录到任何 Compute 节点：

   $ ssh tripleo-admin@192.168.24.31

   Copy to Clipboard Toggle word wrap

4. 确认 director 提供的 CephConfigPath 中是否存在 ceph.conf 和 /ceph.client.openstack.keyring 文件。此路径默认为 /var/lib/tripleo-config/ceph，但可能会存在覆盖。

   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.conf
   
   -rw-r--r--. 1 root root 1170 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.conf
   
   [tripleo-admin@compute-0 ~]$ sudo ls -l /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring
   
   -rw-------. 1 ceph ceph 253 Sep 29 23:25 /var/lib/tripleo-config/ceph/ceph.client.openstack.keyring

   Copy to Clipboard Toggle word wrap

5. 输入以下命令强制 nova_compute 容器使用 rbd 命令列出相应池的内容。

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms

   Copy to Clipboard Toggle word wrap

   池名称必须与配置 Ceph Storage 集群时创建的镜像、虚拟机、卷和共享的池名称匹配。镜像、计算实例、卷和共享的 ID 必须与您在 收集 ID 中记录的 ID 匹配。

   注意

   example 命令的前缀为 podman exec nova_compute，因为 /usr/bin/rbd （由 ceph-common 软件包提供 ）默认不会在 overcloud 节点上安装。但是，它位于 nova_compute 容器中。命令列出块设备镜像。有关列出块设备镜像的更多信息，请参阅 Red Hat Ceph Storage 块设备指南中的列出块设备镜像。

   以下示例演示了如何使用 Gathering ID 从 Gathering ID 来确认每个服务的 ID 是否存在。

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls images | grep 4485d4c0-24c3-42ec-a158-4d3950fa020b

   Copy to Clipboard Toggle word wrap

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls vms | grep 64bcb731-e7a4-4dd5-a807-ee26c669482f

   Copy to Clipboard Toggle word wrap

   $ sudo podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack ls volumes | grep aeac15e8-b67f-454f-9486-46b3d75daff4

   Copy to Clipboard Toggle word wrap

6. 要验证共享文件系统服务共享是否存在，您必须登录到 Controller 节点：

   $ sudo podman exec openstack-manila-share-podman-0 ceph -n client.manila fs subvolume ls cephfs | grep ec99db3c-0077-40b7-b09e-8a110e3f73c1

   Copy to Clipboard Toggle word wrap

流程

1. 要缩短此流程中必须执行的输入数量，请登录 Compute 节点并为 rbd 命令创建一个别名：

   $ alias rbd="podman exec nova_compute /usr/bin/rbd --conf /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.openstack.keyring --cluster ceph --id openstack"

   Copy to Clipboard Toggle word wrap

2. 确认您可以作为新对象将测试数据写入池：

   $ rbd create --size 1024 vms/foo

   Copy to Clipboard Toggle word wrap

3. 确认您可以看到测试数据：

   $ rbd ls vms | grep foo

   Copy to Clipboard Toggle word wrap

4. 删除测试数据：

   $ rbd rm vms/foo

   Copy to Clipboard Toggle word wrap