4.8. 恢复 Ceph 监控存储

流程

1. 如果在容器中使用 Ceph ，请将 带有 Ceph 数据的所有磁盘挂载到临时位置。对所有 OSD 节点重复此步骤。

   1. 列出数据分区。根据您用来设置设备的实用程序，使用 ceph-volume 或 ceph-disk ：

      [root@osd ~]# ceph-volume lvm list

      Copy to Clipboard Toggle word wrap

      或

      [root@osd ~]# ceph-disk list

      Copy to Clipboard Toggle word wrap

   2. 将数据分区挂载到临时位置：

      mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i

      Copy to Clipboard Toggle word wrap

   3. 恢复 SELinux 上下文：

      for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done

      Copy to Clipboard Toggle word wrap

      使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。

   4. 将所有者和组更改为 ceph:ceph ：

      for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done

      Copy to Clipboard Toggle word wrap

      使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。

      重要

      由于一个导致 update-mon-db 命令使用 monitor 数据库的其他 db 和 db.slow 目录的错误，您还必须复制这些目录。要做到这一点：

      1. 准备容器外部的临时位置，以挂载和访问 OSD 数据库，并提取恢复 Ceph 监控所需的 OSD map：

         ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID

         Copy to Clipboard Toggle word wrap

         将 OSD-DATA 替换为 OSD 数据和 OSD-ID 的卷组(VG)或逻辑卷(LV)路径。

      2. 在 BlueStore 数据库和 block.db 之间创建一个符号链接：

         ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db

         Copy to Clipboard Toggle word wrap

         将 BLUESTORE-DATABASE 替换为 BlueStore 数据库和 OSD-ID 的卷组(VG)或逻辑卷(LV)路径。

2. 从具有损坏存储的 Ceph 监控节点使用以下命令：对所有节点上的所有 OSD 重复它们。

   1. 从所有 OSD 节点收集 cluster map：

      [root@ mon~]# cd /root/
      [root@mon ~]# ms=/tmp/monstore/
      [root@mon ~]# db=/root/db/
      [root@mon ~]# db_slow=/root/db.slow/
      
      [root@mon ~]# mkdir $ms
      [root@mon ~]# for host in $osd_nodes; do
                      echo "$host"
                      rsync -avz $ms $host:$ms
                      rsync -avz $db $host:$db
                      rsync -avz $db_slow $host:$db_slow
      
                      rm -rf $ms
                      rm -rf $db
                      rm -rf $db_slow
      
                      sh -t $host <<EOF
                        for osd in /var/lib/ceph/osd/ceph-*; do
                          ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms
      
                         done
                      EOF
      
                            rsync -avz $host:$ms $ms
                            rsync -avz $host:$db $db
                            rsync -avz $host:$db_slow $db_slow
                      done

      Copy to Clipboard Toggle word wrap

   2. 设置适当的功能：

      [root@mon ~]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key
      [root@mon ~]# cat /etc/ceph/ceph.client.admin.keyring
        [mon.]
          key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
          caps mon = "allow *"
        [client.admin]
          key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
          auid = 0
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

      Copy to Clipboard Toggle word wrap

   3. 将所有 sst 文件从 db 和 db.slow 目录移动到临时位置：

      [root@mon ~]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db

      Copy to Clipboard Toggle word wrap

   4. 从收集的 map 重建 monitor 存储：

      [root@mon ~]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin

      Copy to Clipboard Toggle word wrap
      注意

      使用此命令后，Ceph 身份验证数据库中仅存在从 OSD 提取的密钥环 和 ceph-monstore-tool 命令行中指定的密钥环。您必须重新创建或导入所有其他密钥环，如客户端、Ceph 管理器和 Ceph 对象网关等，以便这些客户端可以访问集群。

   5. 备份损坏的存储。对所有 Ceph 监控节点重复此步骤：

      mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted

      Copy to Clipboard Toggle word wrap

      使用 Ceph 监控节点的主机名替换 HOSTNAME。

   6. 替换损坏的存储。对所有 Ceph 监控节点重复此步骤：

      scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/

      Copy to Clipboard Toggle word wrap

      使用 monitor 节点的主机名替换 HOSTNAME。

   7. 更改新存储的所有者。对所有 Ceph 监控节点重复此步骤：

      chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db

      Copy to Clipboard Toggle word wrap

      使用 Ceph 监控节点的主机名替换 HOSTNAME。

3. 如果在容器中使用 Ceph ， 则在所有节点上卸载所有临时挂载的 OSD：

   [root@osd ~]# umount /var/lib/ceph/osd/ceph-*

   Copy to Clipboard Toggle word wrap

4. 启动所有 Ceph 监控守护进程：

   [root@mon ~]# systemctl start ceph-mon *

   Copy to Clipboard Toggle word wrap

5. 确保 monitor 能够形成仲裁：

   • 裸机部署

     [root@mon ~]# ceph -s

     Copy to Clipboard Toggle word wrap

   • 容器

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     Copy to Clipboard Toggle word wrap

     使用 Ceph 监控节点的主机名替换 HOSTNAME。

6. 导入 Ceph Manager 密钥环并启动所有 Ceph Manager 进程：

   ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring
   systemctl start ceph-mgr@HOSTNAME

   Copy to Clipboard Toggle word wrap

   使用 Ceph 管理器节点的主机名替换 HOSTNAME。

7. 在所有 OSD 节点中启动所有 OSD 进程：

   [root@osd ~]# systemctl start ceph-osd *

   Copy to Clipboard Toggle word wrap

8. 确保 OSD 返回到服务：

   • 裸机部署

     [root@mon ~]# ceph -s

     Copy to Clipboard Toggle word wrap

   • 容器

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     Copy to Clipboard Toggle word wrap

     使用 Ceph 监控节点的主机名替换 HOSTNAME。