故障排除指南

流程

1. 使用不支持的配置时可能会出现某些问题。确保您的配置被支持。

2. 您知道哪个 Ceph 组件导致了此问题吗？

   1. No. 参照 Red Hat Ceph Storage Troubleshooting Guide 中的 Diagnosing the health of a Ceph storage cluster 过程。
   2. Ceph 监控器。参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph Monitors 部分。
   3. Ceph OSD。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph OSDs 部分。
   4. Ceph 放置组。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph placement groups 部分。
   5. 多站点 Ceph 对象网关.请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting a multi-site Ceph Object Gateway 部分。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 检查存储集群的整体状态：

   示例

   [ceph: root@host01 /]# ceph health detail

   如果命令返回 HEALTH_WARN 或 HEALTH_ERR，请参阅 了解 Ceph 健康状况 以了解详细信息。

3. 监控存储集群的日志：

   示例

   [ceph: root@host01 /]# ceph -W cephadm

4. 要将集群日志捕获到文件中，请运行以下命令：

   示例

   [ceph: root@host01 /]# ceph config set global log_to_file true
   [ceph: root@host01 /]# ceph config set global mon_cluster_log_to_file true

   日志默认位于 /var/log/ceph/CLUSTER_FSID/ 目录中。检查 Ceph 日志中的 了解 Ceph 日志 中列出的任何错误消息。

5. 如果日志没有包括足够数量的信息，请提高调试级别，并尝试重现失败的操作。详情请参阅 配置日志记录。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 运行 ceph health detail 命令检查 Red Hat Ceph Storage 集群的健康状态：

   示例

   [ceph: root@host01 /]# ceph health detail
   
   HEALTH_WARN 1 osds down; 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
   [WRN] OSD_DOWN: 1 osds down
       osd.1 (root=default,host=host01) is down
   [WRN] OSD_FLAGS: 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
       osd.1 has flags noup

   您可以看到存储集群处于 HEALTH_WARN 状态，因为其中一个 OSD 为 down。

3. 静默警报：

   语法

   ceph health mute HEALTH_MESSAGE

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN

4. 可选：健康检查可以有一个与它关联的生存时间(TTL)，以便在指定时间段内自动过期。在命令中使用可选的 TTL 作为指定持续时间的参数：

   语法

   ceph health mute HEALTH_MESSAGE DURATION

   DURATION 可以在 s、sec、m、min、h 或 hour 中指定。

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 10m

   在本例中，警报 OSD_DOWN 为 muted 达到 10 分钟。

5. 验证 Red Hat Ceph Storage 集群状态是否已更改为 HEALTH_OK ：

   示例

   [ceph: root@host01 /]# ceph -s
     cluster:
       id:     81a4597a-b711-11eb-8cb8-001a4a000740
       health: HEALTH_OK
               (muted: OSD_DOWN(9m) OSD_FLAGS(9m))
   
     services:
       mon: 3 daemons, quorum host01,host02,host03 (age 33h)
       mgr: host01.pzhfuh(active, since 33h), standbys: host02.wsnngf, host03.xwzphg
       osd: 11 osds: 10 up (since 4m), 11 in (since 5d)
   
     data:
       pools:   1 pools, 1 pgs
       objects: 13 objects, 0 B
       usage:   85 MiB used, 165 GiB / 165 GiB avail
       pgs:     1 active+clean

   在本例中，您可以看到警报 OSD_DOWN 和 OSD_FLAG 处于静默状态，静默会持续 9 分钟。

6. 可选：您可以通过使其 粘滞 在清除警报后保留静默。

   语法

   ceph health mute HEALTH_MESSAGE DURATION --sticky

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 1h --sticky

7. 您可以运行以下命令来删除静默：

   语法

   ceph health unmute HEALTH_MESSAGE

   示例

   [ceph: root@host01 /]# ceph health unmute OSD_DOWN

流程

1. 安装 sos 软件包：

   示例

   [root@host01 ~]# dnf install sos

2. 运行 sos 报告 以获取存储集群的系统信息：

   示例

   [root@host01 ~]# sosreport -a --all-logs

   该报告保存在 /var/tmp 文件中。

   对于特定的 Ceph 守护进程信息，运行以下命令：

   示例

   [root@host01 ~]# sos report --all-logs -e ceph_mgr,ceph_common,ceph_mon,ceph_osd,ceph_ansible,ceph_mds,ceph_rgw

流程

1. 要在运行时激活 Ceph 调试输出 dout （） ：

   ceph tell TYPE.ID injectargs --debug-SUBSYSTEM VALUE [--NAME VALUE]

2. 替换：

   • TYPE，类型为 Ceph 守护进程(osd、mon 或 mds)
   • 使用 Ceph 守护进程的特定 ID 的 ID。或者，使用 * 将运行时设置应用到特定类型的所有守护进程。
   • SUBSYSTEM 带有一个特定的子系统。

   • VALUE 为介于 1 到 20 之间的一个值，其中 1 为 terse，20 为详细。

     例如，要将名为 osd.0 的 OSD 上的 OSD 子系统的日志级别设为 0，内存级别设为 5：

     # ceph tell osd.0 injectargs --debug-osd 0/5

1. 使用正在运行的 Ceph 守护进程登录主机，如 ceph-osd 或 ceph-mon。

2. 显示配置：

   语法

   ceph daemon NAME config show | less

   示例

   [ceph: root@host01 /]# ceph daemon osd.0 config show | less

流程

1. 要在启动时激活 Ceph 调试输出，dout() 在启动时添加调试设置到 Ceph 配置文件。

   1. 对于各个守护进程通用的子系统，请在 [global] 部分下添加设置。

   2. 对于特定守护进程的子系统，在守护进程部分中添加设置，如 [mon]、[osd] 或 [mds]。

      示例

      [global]
              debug_ms = 1/5
      
      [mon]
              debug_mon = 20
              debug_paxos = 1/5
              debug_auth = 2
      
      [osd]
              debug_osd = 1/5
              debug_monc = 5/20
      
      [mds]
              debug_mds = 1

流程

1. 在轮转频率后向日志轮转文件中添加大小设置：

   rotate 7
   weekly
   size SIZE
   compress
   sharedscripts

   例如，在日志文件达到 500 MB 时轮转日志文件：

   rotate 7
   weekly
   size 500 MB
   compress
   sharedscripts
   size 500M

   注意

   大小值可以表示为 '500 MB' 或 '500M'。

2. 打开 crontab 编辑器：

   [root@mon ~]# crontab -e

3. 添加一个条目来检查 /etc/logrotate.d/ceph-<fsid> 文件。例如，指示 Cron 每 30 分钟检查 /etc/logrotate.d/ceph-<fsid > ：

   30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph-d3bb5396-c404-11ee-9e65-002590fc2a2e >/dev/null 2>&1

流程

1. 查找日志所在的位置：

   语法

   logrotate -f

   示例

   [root@host01 ~]# logrotate -f
   /etc/logrotate.d/ceph-12ab345c-1a2b-11ed-b736-fa163e4f6220

2. 列出指定位置的日志：

   语法

   ll LOG_LOCATION

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    -rw-r--r--. 1 ceph ceph    412 Sep 28 09:26 opslog.log.1.gz

3. 列出当前的存储桶：

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd ls

4. 创建存储桶：

   语法

   /usr/local/bin/s3cmd mb s3://NEW_BUCKET_NAME

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd mb s3://bucket1
   Bucket `s3://bucket1` created

5. 列出当前的日志：

   语法

   ll LOG_LOCATION

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    total 852
    ...
    -rw-r--r--. 1 ceph ceph    920 Jun 29 02:17 opslog.log
    -rw-r--r--. 1 ceph ceph    412 Jun 28 09:26 opslog.log.1.gz

6. 收集日志：

   语法

   tail -f LOG_LOCATION/opslog.log

   示例

   [root@host01 ~]# tail -f /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220/opslog.log
   
   {"bucket":"","time":"2022-09-29T06:17:03.133488Z","time_local":"2022-09-
   29T06:17:03.133488+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"list_buckets","uri":"GET /
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":232,
   "bytes_received":0,"object_size":0,"total_time":9,"user_agent":"","referrer":
   "","trans_id":"tx00000c80881a9acd2952a-006335385f-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}
   
   {"bucket":"cn1","time":"2022-09-29T06:17:10.521156Z","time_local":"2022-09-
   29T06:17:10.521156+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"create_bucket","uri":"PUT /cn1/
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":0,
   "bytes_received":0,"object_size":0,"total_time":106,"user_agent":"",
   "referrer":"","trans_id":"tx0000058d60c593632c017-0063353866-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}

流程

1. 安装 net-tools 和 telnet 软件包有助于对 Ceph 存储集群中可能出现的网络问题进行故障排除：

   示例

   [root@host01 ~]# dnf install net-tools
   [root@host01 ~]# dnf install telnet

2. 登录 cephadm shell，再验证 Ceph 配置文件中的 public_network 参数是否包含正确的值：

   示例

   [ceph: root@host01 /]# cat /etc/ceph/ceph.conf
   # minimal ceph.conf for 57bddb48-ee04-11eb-9962-001a4a000672
   [global]
   	fsid = 57bddb48-ee04-11eb-9962-001a4a000672
   	mon_host = [v2:10.74.249.26:3300/0,v1:10.74.249.26:6789/0] [v2:10.74.249.163:3300/0,v1:10.74.249.163:6789/0] [v2:10.74.254.129:3300/0,v1:10.74.254.129:6789/0]
   [mon.host01]
   public network = 10.74.248.0/21

3. 退出 shell 并验证网络接口是否已启动：

   示例

   [root@host01 ~]# ip link list
   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether 00:1a:4a:00:06:72 brd ff:ff:ff:ff:ff:ff

4. 使用它们的短主机名，验证 Ceph 节点是否能够互相访问。在存储集群的每个节点上验证它：

   语法

   ping SHORT_HOST_NAME

   示例

   [root@host01 ~]# ping host02

5. 如果使用防火墙，请确保 Ceph 节点能够在适当的端口上相互访问。firewall-cmd 和 telnet 工具可验证端口状态，以及端口是否分别打开：

   语法

   firewall-cmd --info-zone=ZONE
   telnet IP_ADDRESS PORT

   示例

   [root@host01 ~]# firewall-cmd --info-zone=public
   public (active)
     target: default
     icmp-block-inversion: no
     interfaces: ens3
     sources:
     services: ceph ceph-mon cockpit dhcpv6-client ssh
     ports: 9283/tcp 8443/tcp 9093/tcp 9094/tcp 3000/tcp 9100/tcp 9095/tcp
     protocols:
     masquerade: no
     forward-ports:
     source-ports:
     icmp-blocks:
     rich rules:
   
   [root@host01 ~]# telnet 192.168.0.22 9100

6. 验证接口计数器上没有错误。验证节点之间的网络连接是否有预期的延迟，并且没有数据包丢失。

   1. 使用 ethtool 命令：

      语法

      ethtool -S INTERFACE

      示例

      [root@host01 ~]# ethtool -S ens3 | grep errors
      NIC statistics:
           rx_fcs_errors: 0
           rx_align_errors: 0
           rx_frame_too_long_errors: 0
           rx_in_length_errors: 0
           rx_out_length_errors: 0
           tx_mac_errors: 0
           tx_carrier_sense_errors: 0
           tx_errors: 0
           rx_errors: 0

   2. 使用 ifconfig 命令：

      示例

      [root@host01 ~]# ifconfig
      ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
              inet 10.74.249.26  netmask 255.255.248.0  broadcast 10.74.255.255
              inet6 fe80::21a:4aff:fe00:672  prefixlen 64  scopeid 0x20<link>
              inet6 2620:52:0:4af8:21a:4aff:fe00:672  prefixlen 64  scopeid 0x0<global>
              ether 00:1a:4a:00:06:72  txqueuelen 1000  (Ethernet)
              RX packets 150549316  bytes 56759897541 (52.8 GiB)
              RX errors 0  dropped 176924  overruns 0  frame 0
              TX packets 55584046  bytes 62111365424 (57.8 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
      
      lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
              inet 127.0.0.1  netmask 255.0.0.0
              inet6 ::1  prefixlen 128  scopeid 0x10<host>
              loop  txqueuelen 1000  (Local Loopback)
              RX packets 9373290  bytes 16044697815 (14.9 GiB)
              RX errors 0  dropped 0  overruns 0  frame 0
              TX packets 9373290  bytes 16044697815 (14.9 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

   3. 使用 netstat 命令：

      示例

      [root@host01 ~]# netstat -ai
      Kernel Interface table
      Iface             MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
      ens3             1500 311847720      0 364903 0      114341918      0      0      0 BMRU
      lo              65536 19577001      0      0 0      19577001      0      0      0 LRU

7. 对于性能问题，除了延迟检查和验证存储集群所有节点之间的网络带宽外，使用 iperf3 工具。iperf3 工具在服务器和客户端之间执行一个简单的点对点网络带宽测试。

   1. 在您要检查带宽的 Red Hat Ceph Storage 节点上安装 iperf3 软件包：

      示例

      [root@host01 ~]# dnf install iperf3

   2. 在 Red Hat Ceph Storage 节点上，启动 iperf3 服务器：

      示例

      [root@host01 ~]# iperf3 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------

      注意

      默认端口为 5201，但可使用 -P 命令参数进行设置。

   3. 在不同的 Red Hat Ceph Storage 节点上，启动 iperf3 客户端：

      示例

      [root@host02 ~]# iperf3 -c mon
      Connecting to host mon, port 5201
      [  4] local xx.x.xxx.xx port 52270 connected to xx.x.xxx.xx port 5201
      [ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [  4]   0.00-1.00   sec   114 MBytes   954 Mbits/sec    0    409 KBytes
      [  4]   1.00-2.00   sec   113 MBytes   945 Mbits/sec    0    409 KBytes
      [  4]   2.00-3.00   sec   112 MBytes   943 Mbits/sec    0    454 KBytes
      [  4]   3.00-4.00   sec   112 MBytes   941 Mbits/sec    0    471 KBytes
      [  4]   4.00-5.00   sec   112 MBytes   940 Mbits/sec    0    471 KBytes
      [  4]   5.00-6.00   sec   113 MBytes   945 Mbits/sec    0    471 KBytes
      [  4]   6.00-7.00   sec   112 MBytes   937 Mbits/sec    0    488 KBytes
      [  4]   7.00-8.00   sec   113 MBytes   947 Mbits/sec    0    520 KBytes
      [  4]   8.00-9.00   sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      [  4]   9.00-10.00  sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ ID] Interval           Transfer     Bandwidth       Retr
      [  4]   0.00-10.00  sec  1.10 GBytes   943 Mbits/sec    0             sender
      [  4]   0.00-10.00  sec  1.10 GBytes   941 Mbits/sec                  receiver
      
      iperf Done.

      此输出显示 Red Hat Ceph Storage 节点之间 1.1 Gbits/秒的网络带宽，在测试过程中不会重新传输(Retr)。

      红帽建议您验证存储集群中所有节点之间的网络带宽。

8. 确保所有节点具有相同的网络互连速度。连接较慢的节点可能会减慢连接速度更快的节点。另外，确保交换机链接可以处理附加节点的聚合带宽：

   语法

   ethtool INTERFACE

   示例

   [root@host01 ~]# ethtool ens3
   Settings for ens3:
   Supported ports: [ TP ]
   Supported link modes:   10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Supported pause frame use: No
   Supports auto-negotiation: Yes
   Supported FEC modes: Not reported
   Advertised link modes:  10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Advertised pause frame use: Symmetric
   Advertised auto-negotiation: Yes
   Advertised FEC modes: Not reported
   Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                        100baseT/Half 100baseT/Full
                                        1000baseT/Full
   Link partner advertised pause frame use: Symmetric
   Link partner advertised auto-negotiation: Yes
   Link partner advertised FEC modes: Not reported
   Speed: 1000Mb/s 1
   Duplex: Full 2
   Port: Twisted Pair
   PHYAD: 1
   Transceiver: internal
   Auto-negotiation: on
   MDI-X: off
   Supports Wake-on: g
   Wake-on: d
   Current message level: 0x000000ff (255)
          drv probe link timer ifdown ifup rx_err tx_err
   Link detected: yes 3

流程

1. 验证 chronyd 守护进程是否在 Ceph Monitor 主机上运行：

   示例

   [root@mon ~]# systemctl status chronyd

2. 如果 chronyd 没有运行，请启用并启动它：

   示例

   [root@mon ~]# systemctl enable chronyd
   [root@mon ~]# systemctl start chronyd

3. 确定 chronyd 正确同步了时钟：

   示例

   [root@mon ~]# chronyc sources
   [root@mon ~]# chronyc sourcestats
   [root@mon ~]# chronyc tracking

流程

1. 如果剩余的 Ceph 监控器能够形成仲裁，请使用 ceph mon getmap 命令获取 Ceph Monitor map：

   示例

   [ceph: root@host01 /]# ceph mon getmap -o /tmp/monmap

2. 如果剩余的 Ceph 监控器无法形成仲裁，并且至少有一个 Ceph monitor 带有正确的 Ceph monitor map，请从该 Ceph 监控器复制它：

   1. 停止您要从中复制 Ceph Monitor 映射的 Ceph Monitor：

      语法

      systemctl stop ceph-FSID@DAEMON_NAME

      示例

      [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   2. 复制 Ceph Monitor 映射：

      语法

      ceph-mon -i ID --extract-monmap /tmp/monmap

      使用您要从中复制 Ceph Monitor 映射的 Ceph Monitor ID 替换 ID：

      示例

      [ceph: root@host01 /]#  ceph-mon -i mon.a  --extract-monmap /tmp/monmap

3. 停止具有损坏或过时的 Ceph Monitor 映射的 Ceph Monitor：

   语法

   systemctl stop ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

4. 注入 Ceph Monitor 映射：

   语法

   ceph-mon -i ID --inject-monmap /tmp/monmap

   将 ID 替换为 Ceph Monitor 的 ID，并带有损坏的或过时的 Ceph Monitor 映射：

   示例

   [root@mon ~]# ceph-mon -i mon.host01 --inject-monmap /tmp/monmap

5. 启动 Ceph Monitor：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   如果您从另一个 Ceph 监控器复制了 Ceph monitor map，则也启动该 Ceph monitor：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

流程

1. 从 Monitor 主机，删除 Monitor 存储（默认位于 /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME）：

   rm -rf /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME

   指定 monitor 主机和集群名称的短主机名。例如，要从名为 remote 的集群中删除 host1 上运行的 monitor 存储：

   [root@mon ~]# rm -rf /var/lib/ceph/mon/remote-host1

2. 从 monitor 映射(monmap)中删除 monitor：

   ceph mon remove SHORT_HOST_NAME --cluster CLUSTER_NAME

   指定 monitor 主机和集群名称的短主机名。例如，要从名为 remote 的集群中删除 host1 上运行的 monitor：

   [ceph: root@host01 /]# ceph mon remove host01 --cluster remote

3. 排除故障并修复与 monitor 主机底层文件系统或硬件相关的问题。

流程

1. 在 ceph-mon 守护进程运行时压缩 monitor 存储：

   语法

   ceph tell mon.HOST_NAME compact

2. 将 HOST_NAME 替换为运行 ceph-mon 主机的短主机名。在不确定时使用 hostname -s 命令。

   示例

   [ceph: root@host01 /]# ceph tell mon.host01 compact

3. 在 [mon] 部分下的 Ceph 配置中添加以下参数：

   [mon]
   mon_compact_on_start = true

4. 重启 ceph-mon 守护进程：

   语法

   systemctl restart ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

5. 确保 monitor 已形成仲裁：

   [ceph: root@host01 /]# ceph mon stat

6. 如果需要，在其他 monitor 上重复这些步骤。

   注意

   开始之前，请确保已安装了 ceph-test 软件包。

7. 验证具有大存储的 ceph-mon 守护进程是否没有运行。如果需要，停止守护进程。

   语法

   systemctl status ceph-FSID@DAEMON_NAME
   systemctl stop ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

8. 紧凑 monitor 存储：

   语法

   ceph-monstore-tool /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME compact

   使用 monitor 主机的短主机名替换 HOST_NAME。

   示例

   [ceph: root@host01 /]# ceph-monstore-tool /var/lib/ceph/b404c440-9e4c-11ec-a28a-001a4a0001df/mon.host01 compact

9. 再次启动 ceph-mon ：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

流程

1. 要解决这种情况，对于运行 ceph-mgr 守护进程的每个主机，请打开端口 6800-7300。

   示例

   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp
   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp --permanent

2. 重启 ceph-mgr 守护进程。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 在停止 OSD 前设置 noout 标志：

   示例

   [ceph: root@host01 /]# ceph osd set noout

3. 完成故障排除或维护后，取消设置 noout 标志以启动重新平衡：

   示例

   [ceph: root@host01 /]# ceph osd unset noout

1. 从 Ceph 集群移除 OSD。详情请参阅从 Ceph 集群中删除 OSD。
2. 替换驱动器。详情请查看替换物理驱动器部分。
3. 将 OSD 添加到集群中。详情请参阅将 OSD 添加到 Ceph 集群的步骤。

从 Ceph 集群中删除 OSD

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 确定哪个 OSD 为 down。

   示例

   [ceph: root@host01 /]# ceph osd tree | grep -i down
   ID  CLASS  WEIGHT   TYPE NAME           STATUS  REWEIGHT  PRI-AFF
    0   hdd 0.00999        osd.0     down  1.00000          1.00000

3. 将 OSD 标记为 out，以便集群重新平衡并将其数据复制到其他 OSD。

   语法

   ceph osd out OSD_ID.

   示例

   [ceph: root@host01 /]# ceph osd out osd.0
   marked out osd.0.

   注意

   如果 OSD 为 down，Ceph 会在 600 秒后自动将其标记为 out，如果它没有根据 mon_osd_down_out_interval 参数从 OSD 接收任何 heartbeat 数据包。发生这种情况时，具有故障 OSD 数据副本的其他 OSD 开始回填，以确保集群中存在所需的副本数。在集群回填时，集群将处于 degraded 状态。

4. 确保失败的 OSD 正在回填。

   示例

   [ceph: root@host01 /]# ceph -w | grep backfill
   2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
   2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
   2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
   2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
   2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
   2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
   2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

   在迁移完成后，您应该可以看到放置组状态从 active+clean 变为 active, some degraded objects，最终变为 active+clean。

5. 停止 OSD：

   语法

   ceph orch daemon stop OSD_ID

   示例

   [ceph: root@host01 /]# ceph orch daemon stop osd.0

6. 从存储集群中移除 OSD：

   语法

   ceph orch osd rm OSD_ID --replace

   示例

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

   OSD_ID 被保留。

1. 如果驱动器支持热插拔，请将失败的驱动器替换为新驱动器。
2. 如果驱动器不可热插拔并且节点包含多个 OSD，您可能需要关闭整个节点并替换物理驱动器。考虑防止集群回填。详情请参阅 Red Hat Ceph Storage 故障排除指南中的停止和启动 重新平衡 章节。
3. 当驱动器出现在 /dev/ 目录下时，请注意驱动器路径。
4. 如果要手动添加 OSD，找到 OSD 驱动器并格式化磁盘。

将 OSD 添加到 Ceph 集群

1. 插入新驱动器后，您可以使用以下选项来部署 OSD：

   • 如果未设置 --unmanaged 参数，OSD 由 Ceph 编排器自动部署。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

   • 将 OSD 部署到所有可用的设备上，并将 unmanaged 参数设置为 true。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

   • 将 OSD 部署到特定的设备和主机上。

     示例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

2. 确保 CRUSH 层次结构准确：

   示例

   [ceph: root@host01 /]# ceph osd tree

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 确定 full_ratio 的当前值，其默认设置为 0.95 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

3. 临时将 set-full-ratio 的值增加到 0.97 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.97

   重要

   红帽强烈建议不要将 set-full-ratio 设置为大于 0.97 的值。将此参数设置为更高的值会使恢复过程变得更加困难。因此，您可能无法完全恢复完整的 OSD。

4. 验证您是否成功将该参数设置为 0.97 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.97

5. 监控集群状态：

   [ceph: root@host01 /]# ceph -w

   当集群的状态从 full 改为 nearfull 时，请删除任何不必要的数据。

6. 将 full_ratio 的值设置为 0.95 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.95

7. 验证您是否成功将该参数设置为 0.95:

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

流程

1. 检查站点之间的同步状态：

   示例

   [ceph: host04 /]# radosgw-admin sync status
             realm d713eec8-6ec4-4f71-9eaf-379be18e551b (india)
         zonegroup ccf9e0b2-df95-4e0a-8933-3b17b64c52b7 (shared)
              zone 04daab24-5bbd-4c17-9cf5-b1981fd7ff79 (primary)
      current time 2022-09-15T06:53:52Z
   zonegroup features enabled: resharding
     metadata sync no sync (zone is master)
         data sync source: 596319d2-4ffe-4977-ace1-8dd1790db9fb (secondary)
                           syncing
                           full sync: 0/128 shards
                           incremental sync: 128/128 shards
                           data is caught up with source

2. 同步来自 second zone 的数据：

   示例

   [ceph: root@host04 /]# radosgw-admin data sync init --source-zone primary

3. 在站点重启所有 Ceph 对象网关守护进程：

   示例

   [ceph: root@host04 /]# ceph orch restart rgw.myrgw

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 列出卡住 PG：

   示例

   [ceph: root@host01 /]# ceph pg dump_stuck inactive
   [ceph: root@host01 /]# ceph pg dump_stuck unclean
   [ceph: root@host01 /]# ceph pg dump_stuck stale

流程

1. 减少数据重新发布和恢复在单个 OSD 和 OSD 主机上的影响：

   1. 降低 osd max backfills、osd_recovery_max_active 和 osd_recovery_op_priority 参数的值：

      [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 1 --osd_recovery_op_priority 1'

   2. 禁用浅刮除和深度刮除：

      [ceph: root@host01 /]# ceph osd set noscrub
      [ceph: root@host01 /]# ceph osd set nodeep-scrub

2. 使用 Ceph Placement Groups (PGs) per Pool Calculator 来计算 pg_num 和 pgp_num 参数的最佳值。

3. 以较小增量增加 pg_num 值，直到您达到所需的值。

   1. 确定起始递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳值取决于池大小、OSD 数和客户端 I/O 负载。

   2. 递增 pg_num 值：

      语法

      ceph osd pool set POOL pg_num VALUE

      指定池名称和新值，例如：

      示例

      [ceph: root@host01 /]# ceph osd pool set data pg_num 4

   3. 监控集群的状态：

      示例

      [ceph: root@host01 /]# ceph -s

      PG 状态将从 creating 变为 active+clean。等待所有 PG 都处于 active+clean 状态。

4. 以较小的增量增加 pgp_num 值，直到您达到所需的值：

   1. 确定起始递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳值取决于池大小、OSD 数和客户端 I/O 负载。

   2. 递增 pgp_num 值：

      语法

      ceph osd pool set POOL pgp_num VALUE

      指定池名称和新值，例如：

      [ceph: root@host01 /]# ceph osd pool set data pgp_num 4

   3. 监控集群的状态：

      [ceph: root@host01 /]# ceph -s

      PG 状态将通过 peering、wait_backfill、回填、恢复 及其他状态进行更改。等待所有 PG 都处于 active+clean 状态。

5. 对 PG 数量不足的所有池重复前面的步骤。

6. 将 osd max backfills、osd_recovery_max_active 和 osd_recovery_op_priority 设置为其默认值：

   [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 3 --osd_recovery_op_priority 3'

7. 启用浅刮除和深度刮除：

   [ceph: root@host01 /]# ceph osd unset noscrub
   [ceph: root@host01 /]# ceph osd unset nodeep-scrub

流程

1. 禁用自动监控器部署：

   示例

   [ceph: root@host01 /]# ceph orch apply mon --unmanaged
   
   Scheduled mon update…

2. 查看仲裁中的监控器：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 5 daemons, quorum host01, host02, host04, host05 (age 30s), out of quorum: host07

3. 将仲裁中的监控器设置为一个新的 tiebreaker：

   语法

   ceph mon set_new_tiebreaker NEW_HOST

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host02

   重要

   如果 monitor 与现有非tiebreaker 监视器位于同一个位置，您会收到错误消息：

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host02
   
   Error EINVAL: mon.host02 has location DC1, which matches mons host02 on the datacenter dividing bucket for stretch mode.

   如果发生这种情况，请更改 monitor 的位置：

   语法

   ceph mon set_location HOST datacenter=DATACENTER

   示例

   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC3

4. 删除失败的 tiebreaker 监控器：

   语法

   ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force

   示例

   [ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force
   
   Removed mon.host07 from host 'host07'

5. 从主机中删除 monitor 后，重新部署 monitor：

   语法

   ceph mon add HOST IP_ADDRESS datacenter=DATACENTER
   ceph orch daemon add mon HOST

   示例

   [ceph: root@host01 /]# ceph mon add host07 213.222.226.50 datacenter=DC1
   [ceph: root@host01 /]# ceph orch daemon add mon host07

6. 确保仲裁中有五个监控器：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 5 daemons, quorum host01, host02, host04, host05, host07 (age 15s)

7. 验证一切是否已正确配置：

   示例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host02
   disallowed_leaders host02
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host02; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host07; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host03; crush_location {datacenter=DC2}
   dumped monmap epoch 19

8. 重新部署 monitor：

   语法

   ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”

   示例

   [ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host07"
   
   Scheduled mon update...

流程

1. 在集群中添加新监控器：

   1. 手动将 crush_location 添加到新监控器：

      语法

      ceph mon add NEW_HOST IP_ADDRESS datacenter=DATACENTER

      示例

      [ceph: root@host01 /]# ceph mon add host06 213.222.226.50 datacenter=DC3
      
      adding mon.host06 at [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0]

      注意

      新监控器必须与现有非tiebreaker 监视器不同的位置。

   2. 禁用自动监控器部署：

      示例

      [ceph: root@host01 /]# ceph orch apply mon --unmanaged
      
      Scheduled mon update…

   3. 部署新监控器：

      语法

      ceph orch daemon add mon NEW_HOST

      示例

      [ceph: root@host01 /]# ceph orch daemon add mon host06

2. 确定有 6 个监控器，其中 5 个位于仲裁中：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 6 daemons, quorum host01, host02, host04, host05, host06 (age 30s), out of quorum: host07

3. 将新 monitor 设置为一个新的 tiebreaker：

   语法

   ceph mon set_new_tiebreaker NEW_HOST

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host06

4. 删除失败的 tiebreaker 监控器：

   语法

   ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force

   示例

   [ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force
   
   Removed mon.host07 from host 'host07'

5. 验证一切是否已正确配置：

   示例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host06
   disallowed_leaders host06
   0: [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0] mon.host06; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

6. 重新部署 monitor：

   语法

   ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”

   示例

   [ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host06"
   
   Scheduled mon update…

流程

1. 强制扩展集群进入恢复模式：

   示例

   [ceph: root@host01 /]#  ceph osd force_recovery_stretch_mode --yes-i-really-mean-it

   注意

   恢复状态使集群处于 HEALTH_WARN 状态。

2. 在恢复模式中，集群应在放置组健康后返回到正常的扩展模式。如果没有发生这种情况，您可以将扩展集群强制变为健康模式：

   示例

   [ceph: root@host01 /]#  ceph osd force_healthy_stretch_mode --yes-i-really-mean-it

   注意

   如果您想在早期强制跨数据中心对等功能，您也可以运行此命令，且您希望风险数据停机，或者您单独验证所有放置组都可以对等，即使它们没有被完全恢复。

   您可能还希望调用健康模式来删除 HEALTH_WARN 状态，该状态由恢复状态生成。

   注意

   不需要 force_recovery_stretch_mode 和 force_recovery_healthy_mode 命令，因为它们包含在管理未预期的情况下的过程。

流程

1. 在红帽客户门户网站中创建一个支持问题单。
2. 理想情况下，将 sosreport 附加到票据。详情请查看 sosreport 是什么以及如何在 Red Hat Enterprise Linux 中创建？
3. 如果 Ceph 守护进程失败并显示分段错误，请考虑生成人类可读的核心转储文件。详情请参阅 生成可读内核转储文件。

先决条件

1. 安装 debuginfo 软件包（如果尚未安装）。

   1. 启用以下软件仓库来安装所需的 debuginfo 软件包。

      示例

      [root@host01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms
      [root@host01 ~]# yum --enable=rhceph-6-tools-for-rhel-9-x86_64-debug-rpms

      启用软件仓库后，您可以从这个支持的软件包列表中安装您需要的 debug info 软件包：

      ceph-base-debuginfo
      ceph-common-debuginfo
      ceph-debugsource
      ceph-fuse-debuginfo
      ceph-immutable-object-cache-debuginfo
      ceph-mds-debuginfo
      ceph-mgr-debuginfo
      ceph-mon-debuginfo
      ceph-osd-debuginfo
      ceph-radosgw-debuginfo
      cephfs-mirror-debuginfo

2. 确保 gdb 软件包已安装，如果没有安装，请安装它：

   示例

   [root@host01 ~]# dnf install gdb

   • 第 10.2.1 节 “在容器化部署中生成可读的内核转储文件”