第7章 Ceph 配置グループのトラブルシューティング

この問題を解決するには、以下を行います。

1. 古い PG とそれらが保存される OSD を特定します。エラーメッセージには、次の例のような情報が含まれています。

   例

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 24 pgs stale; 3/300 in osds are down
   ...
   pg 2.5 is stuck stale+active+remapped, last acting [2,0]
   ...
   osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080
   osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539
   osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861

2. down とマークされている OSD の問題のトラブルシューティング。詳細は、Down OSDs を参照してください。

この問題を解決するには、以下を行います。

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. どの配置グループが 一貫性のない 状態かを決定します。

   [ceph: root@host01 /]# ceph health detail
   HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
   pg 0.6 is active+clean+inconsistent, acting [0,1,2]
   2 scrub errors

3. 配置グループに inconsistent な理由を決定します。

   1. 配置グループでディープスクラビングプロセスを開始します。

      構文

      ceph pg deep-scrub ID

      ID を、以下のように inconsistent 配置グループの ID に置き換えます。

      [ceph: root@host01 /]# ceph pg deep-scrub 0.6
      instructing pg 0.6 on osd.0 to deep-scrub

   2. ceph -w の出力で、その配置グループに関連するメッセージを探します。

      構文

      ceph -w | grep ID

      ID を、以下のように inconsistent 配置グループの ID に置き換えます。

      [ceph: root@host01 /]# ceph -w | grep 0.6
      2022-05-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes.
      2022-05-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors

4. 出力に以下のようなエラーメッセージが含まれる場合は、inconsistent 配置グループを修復できます。詳細は、一貫性のない配置グループの修正 を参照してください。

   構文

   PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE
   PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE
   PG.ID shard OSD: soid OBJECT size 0 != known size SIZE
   PG.ID deep-scrub stat mismatch, got MISMATCH
   PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST

5. 出力に以下のようなエラーメッセージが含まれる場合は、データが失われる可能性があるため、inconsistent のない配置グループを修正しても安全ではありません。この場合、サポートチケットを作成します。詳細は、Red Hat サポートへの問い合わせ を参照してください。

   PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST
   PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST

この問題を解決するには、以下を行います。

1. down になっている OSD を特定します。

   [ceph: root@host01 /]# ceph osd tree

2. OSD の問題をトラブルシューティングし、修正します。詳細は、Down OSD を参照してください。

この問題を解決するには、以下を行います。

1. down になっている OSD を特定します。

   # ceph osd tree

2. OSD の問題をトラブルシューティングし、修正します。

1. osd.1 は down します。
2. osd.2 は一部の書き込み操作を処理します。
3. osd.1 が up とないります。
4. osd.1 と osd.2 の間のピアリングプロセスは開始し、osd.1 にないオブジェクトはリカバリーのためにキューに置かれます。
5. Ceph が新規オブジェクトをコピーする前に、osd.2 が down となります。

この問題を解決するには、以下を行います。

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. unfound オブジェクトが含まれる配置グループを決定します。

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%)
   pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0]
   pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound
   recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**

3. 配置グループに関する詳細情報を表示します。

   構文

   ceph pg ID query

   ID を、unfound オブジェクトを含む配置グループの ID に置き換えます。

   例

   [ceph: root@host01 /]# ceph pg 3.8a5 query
   { "state": "active+recovering",
     "epoch": 10741,
     "up": [
           320,
           248,
           0],
     "acting": [
           320,
           248,
           0],
   <snip>
     "recovery_state": [
           { "name": "Started\/Primary\/Active",
             "enter_time": "2021-08-28 19:30:12.058136",
             "might_have_unfound": [
                   { "osd": "0",
                     "status": "already probed"},
                   { "osd": "248",
                     "status": "already probed"},
                   { "osd": "301",
                     "status": "already probed"},
                   { "osd": "362",
                     "status": "already probed"},
                   { "osd": "395",
                     "status": "already probed"},
                   { "osd": "429",
                     "status": "osd is down"}],
             "recovery_progress": { "backfill_targets": [],
                 "waiting_on_backfill": [],
                 "last_backfill_started": "0\/\/0\/\/-1",
                 "backfill_info": { "begin": "0\/\/0\/\/-1",
                     "end": "0\/\/0\/\/-1",
                     "objects": []},
                 "peer_backfill_info": [],
                 "backfills_in_flight": [],
                 "recovering": [],
                 "pg_backend": { "pull_from_peer": [],
                     "pushing": []}},
             "scrub": { "scrubber.epoch_start": "0",
                 "scrubber.active": 0,
                 "scrubber.block_writes": 0,
                 "scrubber.finalizing": 0,
                 "scrubber.waiting_on": 0,
                 "scrubber.waiting_on_whom": []}},
           { "name": "Started",
             "enter_time": "2021-08-28 19:30:11.044020"}],

   might_have_unfound セクションには、Ceph が unfound オブジェクトの検索を試行する OSD が含まれます。

   • already probed ステータスは、Ceph が OSD 内で unfound オブジェクトを検出できないことを示します。
   • osd is down 状態は、Ceph が OSD と通信できないことを示します。
4. down とマークされている OSD のトラブルシューティング詳細は、Down OSD を参照してください。
5. OSD が down となる問題を修正できない場合は、サポートチケットを作成してください。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。