9.2. 대부분의 일반적인 Ceph 배치 그룹 오류

이 문제를 해결하려면

1. 오래된 PG와 저장된 OSD를 식별합니다. 오류 메시지에는 다음 예와 유사한 정보가 포함됩니다.

   예제

   # ceph health detail
   HEALTH_WARN 24 pgs stale; 3/300 in osds are down
   ...
   pg 2.5 is stuck stale+active+remapped, last acting [2,0]
   ...
   osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080
   osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539
   osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861

2. down 으로 표시된 OSD의 문제를 해결합니다. 자세한 내용은 Down OSDs를 참조하십시오.

이 문제를 해결하려면

1. 일관되지 않은 상태인 배치 그룹을 확인합니다.

   # ceph health detail
   HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
   pg 0.6 is active+clean+inconsistent, acting [0,1,2]
   2 scrub errors

2. 배치 그룹이 일치하지 않는 이유를 확인합니다.

   1. 배치 그룹에서 심층 스크럽 프로세스를 시작합니다.

      [root@mon ~]# ceph pg deep-scrub ID

      ID 를 일치하지 않는 배치 그룹의 ID로 바꿉니다. 예를 들면 다음과 같습니다.

      [root@mon ~]# ceph pg deep-scrub 0.6
      instructing pg 0.6 on osd.0 to deep-scrub

   2. ceph -w 의 출력을 검색하여 해당 배치 그룹과 관련된 메시지를 검색합니다.

      ceph -w | grep ID

      ID 를 일치하지 않는 배치 그룹의 ID로 바꿉니다. 예를 들면 다음과 같습니다.

      [root@mon ~]# ceph -w | grep 0.6
      2015-02-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes.
      2015-02-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors

3. 출력에 다음과 유사한 오류 메시지가 포함된 경우 일치하지 않는 배치 그룹을 복구할 수 있습니다. 자세한 내용은 일치하지 않는 배치 그룹 복구를 참조하십시오.

   PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE
   PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE
   PG.ID shard OSD: soid OBJECT size 0 != known size SIZE
   PG.ID deep-scrub stat mismatch, got MISMATCH
   PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST

4. 출력에 다음과 유사한 오류 메시지가 포함된 경우 데이터가 손실될 수 있으므로 일치하지 않는 배치 그룹을 복구하는 것은 안전하지 않습니다. 이러한 상황에서 지원 티켓을 여십시오. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

   PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST
   PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST

이 문제를 해결하려면

1. 다운 된 OSD 확인 :

   # ceph osd tree

2. OSD 문제를 해결하고 수정합니다. 자세한 내용은 Down OSDs 를 참조하십시오.

이 문제를 해결하려면

1. 다운 된 OSD 확인 :

   # ceph osd tree

2. OSD 문제를 해결하고 수정합니다.

1. OSD.1 이 줄어듭니다.
2. OSD.2 는 몇 가지 쓰기 작업을 처리합니다.
3. OSD.1 이 표시됩니다.
4. osd.1과 osd. 2 사이의 피어링 프로세스가 시작되고 osd.1 에 누락된 오브젝트는 복구를 위해 대기열에 추가됩니다.
5. Ceph에서 새 개체를 복사하기 전에 osd.2 가 중단 됩니다.

이 문제를 해결하려면

1. 찾을 수 없는 개체를 포함하는 배치 그룹을 확인합니다.

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%)
   pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0]
   pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound
   recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**

2. 배치 그룹에 대한 자세한 정보를 나열합니다.

   [root@mon ~]# ceph pg ID query

   ID 를 찾을 수 없는 개체가 포함된 배치 그룹의 ID로 바꿉니다. 예를 들면 다음과 같습니다.

   [root@mon ~]# ceph pg 3.8a5 query
   { "state": "active+recovering",
     "epoch": 10741,
     "up": [
           320,
           248,
           0],
     "acting": [
           320,
           248,
           0],
   <snip>
     "recovery_state": [
           { "name": "Started\/Primary\/Active",
             "enter_time": "2015-01-28 19:30:12.058136",
             "might_have_unfound": [
                   { "osd": "0",
                     "status": "already probed"},
                   { "osd": "248",
                     "status": "already probed"},
                   { "osd": "301",
                     "status": "already probed"},
                   { "osd": "362",
                     "status": "already probed"},
                   { "osd": "395",
                     "status": "already probed"},
                   { "osd": "429",
                     "status": "osd is down"}],
             "recovery_progress": { "backfill_targets": [],
                 "waiting_on_backfill": [],
                 "last_backfill_started": "0\/\/0\/\/-1",
                 "backfill_info": { "begin": "0\/\/0\/\/-1",
                     "end": "0\/\/0\/\/-1",
                     "objects": []},
                 "peer_backfill_info": [],
                 "backfills_in_flight": [],
                 "recovering": [],
                 "pg_backend": { "pull_from_peer": [],
                     "pushing": []}},
             "scrub": { "scrubber.epoch_start": "0",
                 "scrubber.active": 0,
                 "scrubber.block_writes": 0,
                 "scrubber.finalizing": 0,
                 "scrubber.waiting_on": 0,
                 "scrubber.waiting_on_whom": []}},
           { "name": "Started",
             "enter_time": "2015-01-28 19:30:11.044020"}],

   might_have_unfound 섹션에는 Ceph가 발견되지 않은 오브젝트 를 찾으려고 하는 OSD가 포함되어 있습니다.

   • 이미 probed 상태는 Ceph가 해당 OSD에서 발견되지 않은 개체를 찾을 수 없음을 나타냅니다.
   • osd가 down 상태이면 Ceph가 OSD에 연결할 수 없음을 나타냅니다.
3. down 으로 표시된 OSD의 문제를 해결합니다. 자세한 내용은 Down OSDs 를 참조하십시오.
4. OSD가 중단되는 문제를 해결할 수 없는 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.