5.2. 大多数常见 Ceph OSD 错误

排除此问题，请执行以下操作：

1. 验证 PG 计数是否足够，并在需要时增加。
2. 验证您是否使用最优于集群版本的 CRUSH 可调项，如果不是，请进行调整。
3. 根据利用率更改 OSD 的权重。

4. 确定 OSD 使用的磁盘上保留多少空间。

   1. 要查看特定节点上 OSD 使用的空间量，请使用以下命令：

      [ceph: root@host01 /]# ceph osd df tree

   2. 在检查大多数使用哪些 OSD (full/nearfull)后，查看将哪个磁盘用作 OSD 的底层磁盘。登录到包含 nearfull OSD 的节点，并运行以下命令：

      [ceph: root@host01 /]# cephadm shell
      [ceph: root@host01 /]# ceph-volume lvm list

   3. 查看集群中存在的池列表：

      [ceph: root@host01 /]# ceph df

   4. 如果需要，添加新 OSD 节点。

要排除这个问题，请执行以下操作

1. 确定哪个 OSD 处于 down 状态 ：

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

2. 尝试重新启动 ceph-osd 守护进程。将 OSD_ID 替换为 down 的 OSD 的 ID：

   语法

   systemctl restart ceph-FSID@osd.OSD_ID

   示例

   [root@host01 ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

   1. 如果您无法启动 ceph-osd，请按照 ceph-osd 守护进程中的步骤启动。
   2. 如果您能够启动 ceph-osd 守护进程但已标记为 down，请按照 ceph-osd 守护进程中的步骤运行，但仍标记为"down"。

ceph-osd 守护进程无法启动

1. 如果您的节点包含多个 OSD（通常超过 12 倍），请验证默认最多线程数（PID 数）是否足够。有关 详细信息，请参阅增加 PID 数。
2. 验证 OSD 数据和日志分区是否已正确挂载。您可以使用 ceph-volume lvm list 命令列出 与 Ceph 存储群集关联的所有设备和卷，然后手动检查它们是否已正确挂载。详情请查看 mount(8) 手册页。
3. 如果您收到错误 的密钥环：缺少密钥环，无法使用 cephx 进行身份验证 错误消息，OSD 缺少密钥环。

4. 如果您遇到 ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-1 错误信息，ceph-osd 守护进程不能读底层的文件系统。有关如何排除故障并修复此错误的说明，请参阅以下步骤。

   1. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后，Ceph 将日志文件存储在 /var/log/ceph/CLUSTER_FSID/ 目录中。
   2. EIO 错误消息表示底层磁盘失败。为修复此问题，请替换底层 OSD 磁盘。详情请参阅 替换 OSD 驱动器。

   3. 如果日志包含任何其他 FAILED assert 错误，如以下错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

      FAILED assert(0 == "hit suicide timeout")

5. 检查 dmesg 输出是否有底层文件系统或磁盘的错误：

   dmesg

   1. 如果 dmesg 输出包含任何 SCSI error 错误信息，请参阅红帽客户门户网站中的 SCSI Error Codes Solution Finder 解决方案，以确定解决问题的最佳方法。
   2. 或者，如果您无法修复底层文件系统，请替换 OSD 驱动器。详情请参阅 替换 OSD 驱动器。

6. 如果 OSD 因分段错误而出现故障，如以下 OSD，请收集必要的信息并创建一个支持问题单。有关 详细信息，请参阅联系红帽支持团队。

   Caught signal (Segmentation fault)

ceph-osd 正在运行，但仍标记为 down

1. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后，Ceph 将日志文件存储在 /var/log/ceph/CLUSTER_FSID/ 目录中。

   1. 如果日志中包含类似于下文的错误消息，请参阅 Flapping OSD。

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

   2. 如果您看到任何其他错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

要排除这个问题，请执行以下操作

1. 再次检查 ceph 运行状况详细信息 命令的输出。如果其中包含 slow requests 错误信息，请参阅如何排除此问题。

   ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

2. 确定哪些 OSD 标记为 down 以及它们所在的节点上：

   ceph osd tree | grep down

3. 在包含 flapping OSD 的节点上，对任何网络问题进行故障排除并修复。详情请参阅对 网络问题进行故障排除。

4. 或者，您可以通过设置 noup 和 nodown 标记，临时强制 monitor 停止将 OSD 标记为 down 和 up：

   ceph osd set noup
   ceph osd set nodown

   重要

   使用 noup 和 nodown 标志不会修复问题的根本原因，而是仅防止 OSD 崩溃。要创建支持问题单，请参阅联系红帽支持团队部分。

要排除这个问题，请执行以下操作

1. 确定具有缓慢或块请求的 OSD 是否共享一个通用的硬件，如磁盘驱动器、主机、机架或网络交换机。

2. 如果 OSD 共享磁盘：

   1. 使用 smartmontools 实用程序检查磁盘或日志的健康状况，以确定磁盘上的任何错误。

      注意

      smartmontools 程序包含在 smartmontools 软件包中。

   2. 使用 iostat 实用程序获取 OSD 磁盘上的 I/O 等待报告(%iowai)，以确定磁盘是否负载过重。

      注意

      The iostat 实用程序包含在 sysstat 软件包中。

3. 如果 OSD 与另一个服务共享节点：

   1. 检查 RAM 和 CPU 使用率
   2. 使用 netstat 实用程序查看网络接口控制器(NIC)上的网络统计信息，并对任何网络问题进行故障排除。如需更多信息，请参阅对 网络问题进行故障排除。
4. 如果 OSD 共享机架，请检查机架的网络交换机。例如，如果您使用巨型帧，请验证路径中的 NIC 是否已设置了巨型帧。
5. 如果您无法确定请求速度较慢的 OSD 共享的硬件部分，或者无法对硬件和网络问题进行故障排除和修复，请创建一个支持问题单。有关 详细信息，请参阅联系红帽支持团队。