4.6. Ceph Monitor 저장소 복구

절차

1. Ceph 데이터가 포함된 모든 디스크를 임시 위치에 마운트합니다. 모든 OSD 노드에 대해 이 단계를 반복합니다.

   1. ceph-volume 명령을 사용하여 데이터 파티션을 나열합니다.

      예제

      [ceph: root@host01 /]# ceph-volume lvm list

      Copy to Clipboard Toggle word wrap

   2. 데이터 파티션을 임시 위치에 마운트합니다.

      구문

      mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i

      Copy to Clipboard Toggle word wrap

   3. SELinux 컨텍스트를 복원합니다.

      구문

      for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done

      Copy to Clipboard Toggle word wrap

      OSD_ID 를 OSD 노드에서 공백으로 구분된 숫자 목록으로 교체합니다.

   4. 소유자 및 그룹을 ceph:ceph 로 변경합니다.

      구문

      for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done

      Copy to Clipboard Toggle word wrap

      OSD_ID 를 OSD 노드에서 공백으로 구분된 숫자 목록으로 교체합니다.

      중요

      update-mon-db 명령이 Monitor 데이터베이스에 추가 db 및 db.slow 디렉터리를 사용하도록 하는 버그로 인해 이러한 디렉터리도 복사해야 합니다. 이렇게 하려면 다음을 수행합니다.

      1. 컨테이너 외부의 임시 위치를 준비하여 OSD 데이터베이스를 마운트 및 액세스하고 Ceph 모니터를 복원하는 데 필요한 OSD 맵을 추출합니다.

         구문

         ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID

         Copy to Clipboard Toggle word wrap

         OSD-DATA 를 OSD 데이터 및 OSD-ID 의 볼륨 그룹(VG) 또는 논리 볼륨(LV) 경로로 바꿉니다.

      2. BlueStore 데이터베이스와 block.db 사이에 심볼릭 링크를 생성

         구문

         ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db

         Copy to Clipboard Toggle word wrap

         BLUESTORE-DATABASE 를 BlueStore 데이터베이스 및 OSD-ID 의 Volume Group(VG) 또는 LV(Logical Volume) 경로로 바꿉니다.

2. 손상된 저장소와 함께 Ceph Monitor 노드에서 다음 명령을 사용합니다. 모든 노드의 모든 OSD에 대해 반복합니다.

   1. 모든 OSD 노드에서 클러스터 맵을 수집합니다.

      예제

      [root@host01 ~]# cd /root/
      [root@host01 ~]# ms=/tmp/monstore/
      [root@host01 ~]# db=/root/db/
      [root@host01 ~]# db_slow=/root/db.slow/
      
      [root@host01 ~]# mkdir $ms
      [root@host01 ~]# for host in $osd_nodes; do
                      echo "$host"
                      rsync -avz $ms $host:$ms
                      rsync -avz $db $host:$db
                      rsync -avz $db_slow $host:$db_slow
      
                      rm -rf $ms
                      rm -rf $db
                      rm -rf $db_slow
      
                      sh -t $host <<EOF
                        for osd in /var/lib/ceph/osd/ceph-*; do
                          ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms
      
                         done
                      EOF
      
                            rsync -avz $host:$ms $ms
                            rsync -avz $host:$db $db
                            rsync -avz $host:$db_slow $db_slow
                      done

      Copy to Clipboard Toggle word wrap

   2. 적절한 기능을 설정합니다.

      예제

      [ceph: root@host01 /]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key
      [ceph: root@host01 /]# cat /etc/ceph/ceph.client.admin.keyring
        [mon.]
          key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
          caps mon = "allow *"
        [client.admin]
          key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
          auid = 0
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

      Copy to Clipboard Toggle word wrap

   3. db 및 db.slow 디렉토리에서 모든 sst 파일을 임시 위치로 이동합니다.

      예제

      [ceph: root@host01 /]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db

      Copy to Clipboard Toggle word wrap

   4. 수집된 맵에서 모니터 저장소를 다시 빌드합니다.

      예제

      [ceph: root@host01 /]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin

      Copy to Clipboard Toggle word wrap

      참고

      이 명령을 사용한 후에는 OSD에서 추출된 인증 키와 ceph-monstore-tool 명령줄에 지정된 인증 키만 Ceph 인증 데이터베이스에 있습니다. 클라이언트가 클러스터에 액세스할 수 있도록 클라이언트, Ceph Manager, Ceph Object Gateway 등과 같은 기타 모든 인증 키를 다시 생성하거나 가져와야 합니다.

   5. 손상된 저장소를 백업하십시오. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted

      Copy to Clipboard Toggle word wrap

      HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 바꿉니다.

   6. 손상된 저장소를 교체합니다. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/

      Copy to Clipboard Toggle word wrap

      HOSTNAME 을 Monitor 노드의 호스트 이름으로 바꿉니다.

   7. 새 저장소의 소유자를 변경합니다. 모든 Ceph Monitor 노드에 대해 이 단계를 반복합니다.

      구문

      chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db

      Copy to Clipboard Toggle word wrap

      HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 바꿉니다.

3. 임시로 마운트된 모든 OSD를 모든 노드에서 마운트 해제합니다.

   예제

   [root@host01 ~]# umount /var/lib/ceph/osd/ceph-*

   Copy to Clipboard Toggle word wrap

4. 모든 Ceph Monitor 데몬을 시작합니다.

   구문

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

5. 모니터가 쿼럼을 구성할 수 있는지 확인합니다.

   구문

   ceph -s

   Copy to Clipboard Toggle word wrap

   HOSTNAME 을 Ceph Monitor 노드의 호스트 이름으로 바꿉니다.

6. Ceph Manager 인증 키를 가져오고 모든 Ceph Manager 프로세스를 시작합니다.

   구문

   ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring
   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# systemctl start ceph-b341e254-b165-11ed-a564-ac1f6bb26e8c@mgr.extensa003.exrqql.service

   Copy to Clipboard Toggle word wrap

   HOSTNAME 을 Ceph Manager 노드의 호스트 이름으로 바꿉니다.

7. 모든 OSD 노드에서 모든 OSD 프로세스를 시작합니다. 클러스터의 모든 OSD에 대해 반복합니다.

   구문

   systemctl start ceph-FSID@osd.OSD_ID

   Copy to Clipboard Toggle word wrap

   예제

   [root@host01 ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

   Copy to Clipboard Toggle word wrap

8. OSD가 서비스로 돌아가고 있는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s

   Copy to Clipboard Toggle word wrap