第 5 章 Ceph OSD 故障排除

排除此问题，请执行以下操作：

1. 验证 PG 数是否足够，并在需要时增加。
2. 验证您使用对集群版本的最佳 CRUSH 可调项，如果不是，则调整它们。
3. 根据利用率更改 OSD 的权重。

4. 确定 OSD 使用的磁盘上保留多少空间。

   1. 查看 OSD 一般使用的空间量：

      [ceph: root@host01 /]# ceph osd df

   2. 查看 OSD 在特定节点上使用的空间量。从包含 nearfull OSD 的节点使用以下命令：

      df

   3. 如果需要，添加新 OSD 节点。

要排除此问题，请执行以下操作

1. 确定哪个 OSD 为 down ：

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

2. 尝试重启 ceph-osd 守护进程。将 OSD_ID 替换为 down 的 OSD 的 ID：

   语法

   systemctl restart ceph-FSID@osd.OSD_ID

   示例

   [root@host01 ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

   1. 如果您无法启动 ceph-osd，请按照 ceph-osd 守护进程中的步骤启动。
   2. 如果您能够启动 ceph-osd 守护进程，但它标记为 down，请按照 ceph-osd 守护进程运行 中的步骤，但仍然标记为"down "。

ceph-osd 守护进程无法启动

1. 如果您的节点包含多个 OSD（通常超过 12 倍），请验证默认最多线程数（PID 数）是否足够。详情请参阅 增加 PID 计数。
2. 验证 OSD 数据和日志分区是否已正确挂载。您可以使用 ceph-volume lvm list 命令列出与 Ceph Storage 集群关联的所有设备和卷，然后手动检查是否正确挂载它们。详情请查看 mount (8) 手册页。
3. 如果您遇到 ERROR: missing keyring，则无法将 cephx 用于身份验证 错误消息，则 OSD 是缺少的密钥环。

4. 如果您遇到 ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-1 错误信息，ceph-osd 守护进程不能读底层的文件系统。有关如何排除故障并修复此错误的说明，请参阅以下步骤。

   1. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后将日志文件存储在 /var/log/ceph/CLUSTER_FSID/ 目录中。
   2. EIO 错误消息表示底层磁盘失败。若要修复此问题，可替换底层 OSD 磁盘。详情请参阅 替换 OSD 驱动器。

   3. 如果日志包含任何其他 FAILED assert 错误，如以下错误，请创建一个支持问题单。详情请参阅联系红帽支持以获取服务。

      FAILED assert(0 == "hit suicide timeout")

5. 检查 dmesg 输出是否有底层文件系统或磁盘的错误：

   dmesg

   1. 类似于以下内容的错误 -5 错误消息表示底层 XFS 文件系统崩溃。如需解决这个问题的信息，请参阅红帽客户门户网站中的 What is the meaning of "xfs_log_force: error -5 returned"?。

      xfs_log_force: error -5 returned

   2. 如果 dmesg 输出包含任何 SCSI error 错误信息，请参阅红帽客户门户网站中的 SCSI Error Codes Solution Finder 解决方案，以确定解决问题的最佳方法。
   3. 或者，如果您无法修复底层文件系统，请替换 OSD 驱动器。详情请参阅 替换 OSD 驱动器。

6. 如果 OSD 因分段错误而出现故障，如以下 OSD，请收集必要的信息并创建一个支持问题单。详情请参阅联系红帽支持以获取服务。

   Caught signal (Segmentation fault)

ceph-osd 正在运行，但仍标记为 down

1. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后将日志文件存储在 /var/log/ceph/CLUSTER_FSID/ 目录中。

   1. 如果日志包含与以下类似的错误消息，请参阅 Flapping OSD。

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

   2. 如果您看到任何其他错误，请创建一个支持问题单。详情请参阅联系红帽支持以获取服务。

要排除此问题，请执行以下操作

1. 再次检查 ceph health detail 命令的输出。如果其中包含 slow requests 错误信息，请参阅如何排除此问题。

   ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

2. 确定哪些 OSD 标记为 down，以及它们所在的节点上：

   ceph osd tree | grep down

3. 在包含 flapping OSD 的节点上，对任何网络问题进行故障排除并修复。

4. 或者，您可以通过设置 noup 和 nodown 标记，临时强制 monitor 停止将 OSD 标记为 down 和 up：

   ceph osd set noup
   ceph osd set nodown

   重要

   使用 noup 和 nodown 标志不会修复问题的根本原因，而是只防止 OSD 出现问题。要创建一个支持问题单，请参阅联系红帽支持部分。

要排除此问题，请执行以下操作

1. 确定具有缓慢或块请求的 OSD 是否共享一个通用的硬件，如磁盘驱动器、主机、机架或网络交换机。

2. 如果 OSD 共享一个磁盘：

   1. 使用 smartmontools 工具检查磁盘的健康状态或日志来确定磁盘上的任何错误。

      注意

      smartmontools 工具包含在 smartmontools 软件包中。

   2. 使用 iostat 实用程序获取 OSD 磁盘上的 I/O 等待报告 (%iowai)，以确定磁盘是否负载过重。

      注意

      iostat 实用程序包含在 sysstat 软件包中。

3. 如果 OSD 与另一个服务共享节点：

   1. 检查 RAM 和 CPU 使用率
   2. 使用 netstat 工具查看网络接口控制器(NIC) 上的网络统计信息，并对任何网络问题进行故障排除。
4. 如果 OSD 共享一个机架，请检查机架的网络交换机。例如，如果您使用巨型帧，请验证路径中的 NIC 是否已设置了巨型帧。
5. 如果您无法确定请求速度较慢的 OSD 共享的硬件部分，或者无法对硬件和网络问题进行故障排除和修复，请创建一个支持问题单。详情请参阅联系红帽支持以获取服务。