7장. Ceph 배치 그룹 문제 해결

이 문제를 해결하기 위해

1. 어떤 PG가 오래된 지, 어떤 OSD에 저장되어 있는지 확인합니다. 오류 메시지에는 다음 예와 유사한 정보가 포함됩니다.

   예제

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 24 pgs stale; 3/300 in osds are down
   ...
   pg 2.5 is stuck stale+active+remapped, last acting [2,0]
   ...
   osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080
   osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539
   osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861

2. down 으로 표시된 OSD의 모든 문제를 해결합니다. 자세한 내용은 Down OSD 를 참조하십시오.

이 문제를 해결하기 위해

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 일관성 없는 상태에 있는 배치 그룹을 확인합니다.

   [ceph: root@host01 /]# ceph health detail
   HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
   pg 0.6 is active+clean+inconsistent, acting [0,1,2]
   2 scrub errors

3. 배치 그룹이 일관성이 없는 이유를 확인합니다.

   1. 배치 그룹에서 딥 스크럽 프로세스를 시작합니다.

      구문

      ceph pg deep-scrub ID

      ID 를 일관되지 않은 배치 그룹의 ID로 교체합니다. 예를 들면 다음과 같습니다.

      [ceph: root@host01 /]# ceph pg deep-scrub 0.6
      instructing pg 0.6 on osd.0 to deep-scrub

   2. 해당 배치 그룹과 관련된 모든 메시지가 ceph -w 의 출력을 검색합니다.

      구문

      ceph -w | grep ID

      ID 를 일관되지 않은 배치 그룹의 ID로 교체합니다. 예를 들면 다음과 같습니다.

      [ceph: root@host01 /]# ceph -w | grep 0.6
      2022-05-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes.
      2022-05-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors

4. 출력에 다음과 유사한 오류 메시지가 포함된 경우 일관성 없는 배치 그룹을 복구할 수 있습니다. 자세한 내용은 일관되지 않은 배치 그룹 복구를 참조하십시오.

   구문

   PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE
   PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE
   PG.ID shard OSD: soid OBJECT size 0 != known size SIZE
   PG.ID deep-scrub stat mismatch, got MISMATCH
   PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST

5. 출력에 다음과 유사한 오류 메시지가 포함된 경우 데이터가 손실될 수 있으므로 일관성 없는 배치 그룹을 복구하는 것은 안전하지 않습니다. 이 경우 지원 티켓을 엽니 다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

   PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST
   PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST

이 문제를 해결하기 위해

1. 어떤 OSD가 다운 되었는지 확인합니다.

   [ceph: root@host01 /]# ceph osd tree

2. OSD의 모든 문제를 해결하고 수정합니다. 자세한 내용은 Down OSDs 를 참조하십시오.

이 문제를 해결하기 위해

1. 어떤 OSD가 다운 되었는지 확인합니다.

   # ceph osd tree

2. OSD의 모든 문제를 해결하고 수정합니다.

1. OSD.1 이 다운되었습니다.
2. OSD.2 는 일부 쓰기 작업을 처리합니다.
3. OSD.1 이 나타납니다.
4. osd.1 과 osd.2 간의 피어링 프로세스가 시작되고 osd.1 에서 누락된 개체는 복구를 위해 대기열에 있습니다.
5. Ceph가 새 오브젝트를 복사하기 전에 osd.2 가 다운 됩니다.

이 문제를 해결하기 위해

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. unfound 오브젝트가 포함된 배치 그룹을 확인합니다.

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%)
   pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0]
   pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound
   recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**

3. 배치 그룹에 대한 자세한 정보를 나열합니다.

   구문

   ceph pg ID query

   ID 를 unfound 오브젝트가 포함된 배치 그룹의 ID로 바꿉니다.

   예제

   [ceph: root@host01 /]# ceph pg 3.8a5 query
   { "state": "active+recovering",
     "epoch": 10741,
     "up": [
           320,
           248,
           0],
     "acting": [
           320,
           248,
           0],
   <snip>
     "recovery_state": [
           { "name": "Started\/Primary\/Active",
             "enter_time": "2021-08-28 19:30:12.058136",
             "might_have_unfound": [
                   { "osd": "0",
                     "status": "already probed"},
                   { "osd": "248",
                     "status": "already probed"},
                   { "osd": "301",
                     "status": "already probed"},
                   { "osd": "362",
                     "status": "already probed"},
                   { "osd": "395",
                     "status": "already probed"},
                   { "osd": "429",
                     "status": "osd is down"}],
             "recovery_progress": { "backfill_targets": [],
                 "waiting_on_backfill": [],
                 "last_backfill_started": "0\/\/0\/\/-1",
                 "backfill_info": { "begin": "0\/\/0\/\/-1",
                     "end": "0\/\/0\/\/-1",
                     "objects": []},
                 "peer_backfill_info": [],
                 "backfills_in_flight": [],
                 "recovering": [],
                 "pg_backend": { "pull_from_peer": [],
                     "pushing": []}},
             "scrub": { "scrubber.epoch_start": "0",
                 "scrubber.active": 0,
                 "scrubber.block_writes": 0,
                 "scrubber.finalizing": 0,
                 "scrubber.waiting_on": 0,
                 "scrubber.waiting_on_whom": []}},
           { "name": "Started",
             "enter_time": "2021-08-28 19:30:11.044020"}],

   might_have_unfound 섹션에는 Ceph가 unfound 오브젝트를 찾기 위해 시도한 OSD가 포함되어 있습니다.

   • 이미 프로브된 상태는 Ceph가 해당 OSD에서 unfound 오브젝트를 찾을 수 없음을 나타냅니다.
   • osd가 down 상태는 Ceph가 해당 OSD에 연결할 수 없음을 나타냅니다.
4. down 으로 표시된 OSD의 문제를 해결합니다. 자세한 내용은 Down OSDs 를 참조하십시오.
5. OSD가 다운 된 문제를 해결할 수 없는 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.