5.4. OSD ドライブの置き換え

down になっている OSD を特定します。

# ceph osd tree | grep -i down
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY
 0 0.00999         osd.0     down  1.00000          1.00000

OSD プロセスが停止していることを確認します。OSD ノードから以下のコマンドを使用します。

# systemctl status ceph-osd@<OSD-number>

<OSD-number> を down とマークされた OSD の ID に置き換えます。以下に例を示します。

# systemctl status ceph-osd@osd.0
...
   Active: inactive (dead)

ceph-osd デーモンが実行しているかどうか。ダウンとマークされているが、対応する ceph-osd デーモンが実行されている OSD のトラブルシューティングについての詳しい情報は、「1 つ以上の OSD がダウンしている」 を参照してください。

OSD を out としてマークを付けます。

# ceph osd out osd.<OSD-number>

<OSD-number> を down とマークされた OSD の ID に置き換えます。以下に例を示します。

# ceph osd out osd.0
marked out osd.0.

失敗した OSD がバックフィルされていることを確認します。出力には、以下のような情報が含まれます。

# ceph -w | grep backfill
2017-06-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
2017-06-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
2017-06-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
2017-06-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
2017-06-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
2017-06-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
2017-06-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

CRUSH マップから OSD を削除します。

# ceph osd crush remove osd.<OSD-number>

<OSD-number> を down とマークされた OSD の ID に置き換えます。以下に例を示します。

# ceph osd crush remove osd.0
removed item id 0 name 'osd.0' from crush map

OSD に関連する認証キーを削除します。

# ceph auth del osd.<OSD-number>

<OSD-number> を down とマークされた OSD の ID に置き換えます。以下に例を示します。

# ceph auth del osd.0
updated

Ceph Storage クラスターから OSD を削除します。

# ceph osd rm osd.<OSD-number>

<OSD-number> を down とマークされた OSD の ID に置き換えます。以下に例を示します。

# ceph osd rm osd.0
removed osd.0

OSD を正常に削除している場合は、以下のコマンドの出力には存在しません。

# ceph osd tree

障害が発生したドライブをアンマウントします。

# umount /var/lib/ceph/osd/<cluster-name>-<OSD-number>

クラスターの名前と OSD の ID を指定します。以下に例を示します。

# umount /var/lib/ceph/osd/ceph-0/

ドライブを正常にマウントした場合は、次のコマンドの出力には存在しません。

# df -h

物理ドライブの置き換えに関する詳細は、ハードウェアノードのドキュメントを参照してください。

OSD を再度追加します。

CRUSH 階層が正確であることを確認します。

# ceph osd tree

CRUSH 階層の OSD の場所が分からない場合は、OSD を任意の場所に移動します。

ceph osd crush move <bucket-to-move> <bucket-type>=<parent-bucket>

たとえば、sdd:row1 にあるバケットを root バケットに移動するには、以下を実行します。

# ceph osd crush move ssd:row1 root=ssd:root