4.7. Ceph Monitor 저장소 복구

절차

1. Ceph 데이터가 있는 모든 디스크를 임시 위치에 마운트합니다. 모든 OSD 노드에 대해 이 단계를 반복합니다.

   1. ceph-volume 명령을 사용하여 데이터 파티션을 나열합니다.

      예제

      [ceph: root@host01 /]# ceph-volume lvm list

   2. 데이터 파티션을 임시 위치에 마운트합니다.

      구문

      mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i

   3. SELinux 컨텍스트를 복원합니다.

      구문

      for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done

      OSD_ID 를 OSD 노드의 Ceph OSD ID의 숫자 공백으로 구분된 목록으로 교체합니다.

   4. 소유자와 그룹을 ceph:ceph 로 변경합니다.

      구문

      for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done

      OSD_ID 를 OSD 노드의 Ceph OSD ID의 숫자 공백으로 구분된 목록으로 교체합니다.

      중요

      update-mon-db 명령에서 Monitor 데이터베이스에 추가 db 및 db.slow 디렉토리를 사용하도록 하는 버그로 인해 이러한 디렉터리도 복사해야 합니다. 이렇게 하려면 다음을 수행합니다.

      1. 컨테이너 외부의 임시 위치를 준비하여 OSD 데이터베이스를 마운트 및 액세스하고 Ceph 모니터를 복원하는 데 필요한 OSD 맵을 추출합니다.

         구문

         ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID

         OSD-DATA 를 OSD 데이터의 볼륨 그룹(VG) 또는 논리 볼륨(LV) 경로로 바꾸고 OSD-ID 를 OSD의 ID로 바꿉니다.

      2. BlueStore 데이터베이스와 block.db 사이에 심볼릭 링크를 만듭니다.

         구문

         ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db

         BLUESTORE-DATABASE 를 BlueStore 데이터베이스의 Volume Group(VG) 또는 LV(Logical Volume) 경로로 바꾸고 OSD-ID 를 OSD ID로 바꿉니다.

2. 손상된 저장소와 함께 Ceph Monitor 노드에서 다음 명령을 사용합니다. 모든 노드의 모든 OSD에 대해 이를 반복합니다.

   1. 모든 OSD 노드에서 클러스터 맵을 수집합니다.

      예제

      [root@host01 ~]# cd /root/
      [root@host01 ~]# ms=/tmp/monstore/
      [root@host01 ~]# db=/root/db/
      [root@host01 ~]# db_slow=/root/db.slow/
      
      [root@host01 ~]# mkdir $ms
      [root@host01 ~]# for host in $osd_nodes; do
                      echo "$host"
                      rsync -avz $ms $host:$ms
                      rsync -avz $db $host:$db
                      rsync -avz $db_slow $host:$db_slow
      
                      rm -rf $ms
                      rm -rf $db
                      rm -rf $db_slow
      
                      sh -t $host <<EOF
                        for osd in /var/lib/ceph/osd/ceph-*; do
                          ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms
      
                         done
                      EOF
      
                            rsync -avz $host:$ms $ms
                            rsync -avz $host:$db $db
                            rsync -avz $host:$db_slow $db_slow
                      done

   2. 적절한 기능을 설정합니다.

      예제

      [ceph: root@host01 /]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key
      [ceph: root@host01 /]# cat /etc/ceph/ceph.client.admin.keyring
        [mon.]
          key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
          caps mon = "allow *"
        [client.admin]
          key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
          auid = 0
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

   3. db 및 db.slow 디렉토리에서 모든 sst 파일을 임시 위치로 이동합니다.

      예제

      [ceph: root@host01 /]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db

   4. 수집된 맵에서 Monitor 저장소를 다시 빌드합니다.

      예제

      [ceph: root@host01 /]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin

      참고

      이 명령을 사용하면 OSD에서 추출된 인증 키 및 ceph-monstore-tool 명령줄에 지정된 키 키만 Ceph 인증 데이터베이스에 있습니다. 클라이언트, Ceph Manager, Ceph Object Gateway 등과 같은 기타 모든 인증 키를 다시 생성하거나 가져와야 하므로 해당 클라이언트가 클러스터에 액세스할 수 있습니다.

   5. 손상된 저장소를 백업합니다. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted

      HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 교체합니다.

   6. 손상된 저장소를 교체합니다. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/

      HOSTNAME 을 Monitor 노드의 호스트 이름으로 교체합니다.

   7. 새 저장소의 소유자를 변경합니다. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db

      HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 교체합니다.

3. 임시 마운트된 모든 OSD를 모든 노드에서 마운트 해제합니다.

   예제

   [root@host01 ~]# umount /var/lib/ceph/osd/ceph-*

4. 모든 Ceph Monitor 데몬을 시작합니다.

   구문

   systemctl start ceph-FSID@DAEMON_NAME

   예제

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

5. 모니터가 쿼럼을 형성할 수 있는지 확인합니다.

   구문

   ceph -s

   HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 교체합니다.

6. Ceph Manager 인증 키를 가져오고 모든 Ceph Manager 프로세스를 시작합니다.

   구문

   ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring
   systemctl start ceph-FSID@DAEMON_NAME

   예제

   [root@host01 ~]# systemctl start ceph-b341e254-b165-11ed-a564-ac1f6bb26e8c@mgr.extensa003.exrqql.service

   HOSTNAME 을 Ceph Manager 노드의 호스트 이름으로 교체합니다.

7. 모든 OSD 노드에서 모든 OSD 프로세스를 시작합니다. 클러스터의 모든 OSD에 대해 반복합니다.

   구문

   systemctl start ceph-FSID@osd.OSD_ID

   예제

   [root@host01 ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

8. OSD가 서비스로 돌아가 있는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s