5.4. 替换 OSD 驱动器

1. 从 Ceph 集群移除 OSD。详情请参阅 从 Ceph 集群删除 OSD 过程。
2. 替换驱动器。详情请查看 替换物理驱动器 部分。
3. 将 OSD 添加到集群。详情请参阅 在 Ceph 集群中添加 OSD。

从 Ceph 集群删除 OSD

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. 确定哪个 OSD 为 down。

   示例

   [ceph: root@host01 /]# ceph osd tree | grep -i down
   ID  CLASS  WEIGHT   TYPE NAME           STATUS  REWEIGHT  PRI-AFF
    0   hdd 0.00999        osd.0     down  1.00000          1.00000

   Copy to Clipboard Toggle word wrap

3. 将 OSD 标记为 out，供集群重新平衡其数据并将其复制到其他 OSD。

   语法

   ceph osd out OSD_ID.

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph osd out osd.0
   marked out osd.0.

   Copy to Clipboard Toggle word wrap

   注意

   如果 OSD 为 down，Ceph 会在 600 秒后自动将其标记为 out，如果它没有根据 mon_osd_down_out_interval 参数从 OSD 接收任何 heartbeat 数据包。发生这种情况时，具有故障 OSD 数据副本的其他 OSD 开始回填，以确保集群中存在所需的副本数。当集群回填时，集群将处于 降级 状态。

4. 确保故障 OSD 正在回填。

   示例

   [ceph: root@host01 /]# ceph -w | grep backfill
   2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
   2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
   2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
   2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
   2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
   2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
   2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

   Copy to Clipboard Toggle word wrap

   在迁移完成后，您应该可以看到放置组状态从 active+clean 变为 active, some degraded objects，最终变为 active+clean。

5. 停止 OSD：

   语法

   ceph orch daemon stop OSD_ID

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph orch daemon stop osd.0

   Copy to Clipboard Toggle word wrap

6. 从存储集群中移除 OSD：

   语法

   ceph orch osd rm OSD_ID --replace

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

   Copy to Clipboard Toggle word wrap

   OSD_ID 会被保留。

1. 如果驱动器支持热插拔，请将失败的驱动器替换为新驱动器。
2. 如果驱动器不可热插拔并且节点包含多个 OSD，您可能需要关闭整个节点并替换物理驱动器。考虑阻止集群回填。详情请参阅 红帽 Ceph 存储故障排除指南 中的 停止和启动重新平衡 章节。
3. 当驱动器显示在 /dev/ 目录下时，记下驱动器路径。
4. 如果要手动添加 OSD，找到 OSD 驱动器并格式化磁盘。

将 OSD 添加到 Ceph 集群

1. 插入新驱动器后，您可以使用以下选项来部署 OSD：

   • 如果未设置 --unmanaged 参数，Ceph 编排器将自动部署 OSD。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

     Copy to Clipboard Toggle word wrap

   • 在所有可用设备上部署 OSD，并将 非受管 参数设置为 true。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

     Copy to Clipboard Toggle word wrap

   • 将 OSD 部署到特定的设备和主机上。

     示例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

     Copy to Clipboard Toggle word wrap

2. 确保 CRUSH 层次结构准确：

   示例

   [ceph: root@host01 /]# ceph osd tree

   Copy to Clipboard Toggle word wrap