故障排除指南

流程

1. 使用不支持的配置时可能会出现某些问题。确保您的配置被支持。

2. 您知道哪个 Ceph 组件导致了此问题吗？

   1. No. 参照 Red Hat Ceph Storage Troubleshooting Guide 中的 Diagnosing the health of a Ceph storage cluster 过程。
   2. Ceph 监控器。参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph Monitors 部分。
   3. Ceph OSD。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph OSDs 部分。
   4. Ceph 放置组。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph placement groups 部分。
   5. 多站点 Ceph 对象网关。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting a multi-site Ceph Object Gateway 部分。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 检查存储集群的整体状态：

   示例

   [ceph: root@host01 /]# ceph health detail

   Copy to Clipboard

   如果命令返回 HEALTH_WARN 或 HEALTH_ERR，请参阅了解 Ceph 健康状况。

3. 监控存储集群的日志：

   示例

   [ceph: root@host01 /]# ceph -W cephadm

   Copy to Clipboard

4. 要将集群日志捕获到文件中，请运行以下命令：

   示例

   [ceph: root@host01 /]# ceph config set global log_to_file true
   [ceph: root@host01 /]# ceph config set global mon_cluster_log_to_file true

   Copy to Clipboard

   日志默认位于 /var/log/ceph/CLUSTER_FSID/ 目录中。检查 Ceph 日志，以了解 了解 Ceph 日志 中列出的任何错误消息。

5. 如果日志没有包括足够数量的信息，请提高调试级别，并尝试重现失败的操作。详情请参阅 配置日志记录。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 运行 ceph health detail 命令检查 Red Hat Ceph Storage 集群的健康状态：

   示例

   [ceph: root@host01 /]# ceph health detail
   
   HEALTH_WARN 1 osds down; 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
   [WRN] OSD_DOWN: 1 osds down
       osd.1 (root=default,host=host01) is down
   [WRN] OSD_FLAGS: 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
       osd.1 has flags noup

   Copy to Clipboard

   您可以看到存储集群处于 HEALTH_WARN 状态，因为其中一个 OSD 为 down。

3. 静默警报：

   语法

   ceph health mute HEALTH_MESSAGE

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN

   Copy to Clipboard

4. 可选： 健康检查会关联有生存时间(TTL)，因此静默会在指定时间段内自动过期。在命令中使用可选的 TTL 作为指定持续时间的参数：

   语法

   ceph health mute HEALTH_MESSAGE DURATION

   Copy to Clipboard

   DURATION 可以在 s、sec、m、min、h 或 hour 中指定。

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 10m

   Copy to Clipboard

   在本例中，警报 OSD_DOWN 等于 10 分钟。

5. 验证 Red Hat Ceph Storage 集群状态是否已更改为 HEALTH_OK ：

   示例

   [ceph: root@host01 /]# ceph -s
     cluster:
       id:     81a4597a-b711-11eb-8cb8-001a4a000740
       health: HEALTH_OK
               (muted: OSD_DOWN(9m) OSD_FLAGS(9m))
   
     services:
       mon: 3 daemons, quorum host01,host02,host03 (age 33h)
       mgr: host01.pzhfuh(active, since 33h), standbys: host02.wsnngf, host03.xwzphg
       osd: 11 osds: 10 up (since 4m), 11 in (since 5d)
   
     data:
       pools:   1 pools, 1 pgs
       objects: 13 objects, 0 B
       usage:   85 MiB used, 165 GiB / 165 GiB avail
       pgs:     1 active+clean

   Copy to Clipboard

   在本例中，您可以看到警报 OSD_DOWN 和 OSD_FLAG 处于静默状态，静默会持续 9 分钟。

6. 可选：您可以通过使警报 粘滞 在清除警报后保留静默。

   语法

   ceph health mute HEALTH_MESSAGE DURATION --sticky

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 1h --sticky

   Copy to Clipboard

7. 您可以运行以下命令来删除静默：

   语法

   ceph health unmute HEALTH_MESSAGE

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph health unmute OSD_DOWN

   Copy to Clipboard

流程

1. 安装 sos 软件包：

   示例

   [root@host01 ~]# dnf install sos

   Copy to Clipboard

2. 运行 sos 报告 以获取存储集群的系统信息：

   示例

   [root@host01 ~]# sos report -a --all-logs

   Copy to Clipboard

   报告保存在 /var/tmp 文件中。

   对于特定的 Ceph 守护进程信息，运行以下命令：

   示例

   [root@host01 ~]# sos report --all-logs -e ceph_mgr,ceph_common,ceph_mon,ceph_osd,ceph_ansible,ceph_mds,ceph_rgw

   Copy to Clipboard

流程

1. 要在运行时激活 Ceph 调试输出 dout （） ：

   ceph tell TYPE.ID injectargs --debug-SUBSYSTEM VALUE [--NAME VALUE]

   Copy to Clipboard

2. 替换：

   • TYPE，其类型为 Ceph 守护进程(osd、mon 或 mds)
   • 带有 Ceph 守护进程的特定 ID 的 ID。或者，使用 * 将 runtime 设置应用到特定类型的所有守护进程。
   • SUBSYSTEM 带有一个特定的子系统。

   • VALUE 为介于 1 到 20 之间的一个值，其中 1 为 terse，20 为详细。

     例如，要将名为 osd.0 的 OSD 子系统的日志级别设置为 0，并将内存级别设置为 5：

     # ceph tell osd.0 injectargs --debug-osd 0/5

     Copy to Clipboard

1. 使用正在运行的 Ceph 守护进程登录主机，如 ceph-osd 或 ceph-mon。

2. 显示配置：

   语法

   ceph daemon NAME config show | less

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph daemon osd.0 config show | less

   Copy to Clipboard

流程

1. 若要激活 Ceph 调试输出，可在启动时 执行（），将调试设置添加到 Ceph 配置文件。

   1. 对于各个守护进程常用的子系统，请在 [global] 部分下添加设置。

   2. 对于特定守护进程的子系统，请在守护进程部分中添加设置，如 [mon]、[osd] 或 [mds]。

      示例

      [global]
              debug_ms = 1/5
      
      [mon]
              debug_mon = 20
              debug_paxos = 1/5
              debug_auth = 2
      
      [osd]
              debug_osd = 1/5
              debug_monc = 5/20
      
      [mds]
              debug_mds = 1

      Copy to Clipboard

流程

1. 在轮转频率后向日志轮转文件中添加大小设置：

   rotate 7
   weekly
   size SIZE
   compress
   sharedscripts

   Copy to Clipboard

   例如，在日志文件达到 500 MB 时轮转：

   rotate 7
   weekly
   size 500 MB
   compress
   sharedscripts
   size 500M

   Copy to Clipboard
   注意

   大小值可以表示为 '500 MB' 或 '500M'。

2. 打开 crontab 编辑器：

   [root@mon ~]# crontab -e

   Copy to Clipboard

3. 添加一个条目来检查 /etc/logrotate.d/ceph-<fsid> 文件。例如，指示 Cron 每 30 分钟检查 /etc/logrotate.d/ceph-<fsid > ：

   30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph-d3bb5396-c404-11ee-9e65-002590fc2a2e >/dev/null 2>&1

   Copy to Clipboard

流程

1. 查找日志所在的位置：

   语法

   logrotate -f

   Copy to Clipboard

   示例

   [root@host01 ~]# logrotate -f
   /etc/logrotate.d/ceph-12ab345c-1a2b-11ed-b736-fa163e4f6220

   Copy to Clipboard

2. 列出指定位置的日志：

   语法

   ll LOG_LOCATION

   Copy to Clipboard

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    -rw-r--r--. 1 ceph ceph    412 Sep 28 09:26 opslog.log.1.gz

   Copy to Clipboard

3. 列出当前的存储桶：

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd ls

   Copy to Clipboard

4. 创建存储桶：

   语法

   /usr/local/bin/s3cmd mb s3://NEW_BUCKET_NAME

   Copy to Clipboard

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd mb s3://bucket1
   Bucket `s3://bucket1` created

   Copy to Clipboard

5. 列出当前的日志：

   语法

   ll LOG_LOCATION

   Copy to Clipboard

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    total 852
    ...
    -rw-r--r--. 1 ceph ceph    920 Jun 29 02:17 opslog.log
    -rw-r--r--. 1 ceph ceph    412 Jun 28 09:26 opslog.log.1.gz

   Copy to Clipboard

6. 收集日志：

   语法

   tail -f LOG_LOCATION/opslog.log

   Copy to Clipboard

   示例

   [root@host01 ~]# tail -f /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220/opslog.log
   
   {"bucket":"","time":"2022-09-29T06:17:03.133488Z","time_local":"2022-09-
   29T06:17:03.133488+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"list_buckets","uri":"GET /
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":232,
   "bytes_received":0,"object_size":0,"total_time":9,"user_agent":"","referrer":
   "","trans_id":"tx00000c80881a9acd2952a-006335385f-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}
   
   {"bucket":"cn1","time":"2022-09-29T06:17:10.521156Z","time_local":"2022-09-
   29T06:17:10.521156+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"create_bucket","uri":"PUT /cn1/
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":0,
   "bytes_received":0,"object_size":0,"total_time":106,"user_agent":"",
   "referrer":"","trans_id":"tx0000058d60c593632c017-0063353866-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}

   Copy to Clipboard

流程

1. 在对 Ceph 存储群集中可能出现的网络问题进行故障排除时，安装 net-tools 和 telnet 软件包可能会有所帮助：

   示例

   [root@host01 ~]# dnf install net-tools
   [root@host01 ~]# dnf install telnet

   Copy to Clipboard

2. 登录 cephadm shell，再验证 Ceph 配置文件中的 public_network 参数是否包含正确的值：

   示例

   [ceph: root@host01 /]# cat /etc/ceph/ceph.conf
   # minimal ceph.conf for 57bddb48-ee04-11eb-9962-001a4a000672
   [global]
   	fsid = 57bddb48-ee04-11eb-9962-001a4a000672
   	mon_host = [v2:10.74.249.26:3300/0,v1:10.74.249.26:6789/0] [v2:10.74.249.163:3300/0,v1:10.74.249.163:6789/0] [v2:10.74.254.129:3300/0,v1:10.74.254.129:6789/0]
   [mon.host01]
   public network = 10.74.248.0/21

   Copy to Clipboard

3. 退出 shell 并验证网络接口是否已启动：

   示例

   [root@host01 ~]# ip link list
   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether 00:1a:4a:00:06:72 brd ff:ff:ff:ff:ff:ff

   Copy to Clipboard

4. 验证 Ceph 节点可以使用其短主机名互相访问。在存储集群的每个节点上验证它：

   语法

   ping SHORT_HOST_NAME

   Copy to Clipboard

   示例

   [root@host01 ~]# ping host02

   Copy to Clipboard

5. 如果使用防火墙，请确保 Ceph 节点可以在适当的端口上相互访问。firewall-cmd 和 telnet 工具可以验证端口状态，以及端口是否分别打开：

   语法

   firewall-cmd --info-zone=ZONE
   telnet IP_ADDRESS PORT

   Copy to Clipboard

   示例

   [root@host01 ~]# firewall-cmd --info-zone=public
   public (active)
     target: default
     icmp-block-inversion: no
     interfaces: ens3
     sources:
     services: ceph ceph-mon cockpit dhcpv6-client ssh
     ports: 9283/tcp 8443/tcp 9093/tcp 9094/tcp 3000/tcp 9100/tcp 9095/tcp
     protocols:
     masquerade: no
     forward-ports:
     source-ports:
     icmp-blocks:
     rich rules:
   
   [root@host01 ~]# telnet 192.168.0.22 9100

   Copy to Clipboard

6. 验证接口计数器上没有错误。验证节点间的网络连接具有预期的延迟，并且没有数据包丢失。

   1. 使用 ethtool 命令：

      语法

      ethtool -S INTERFACE

      Copy to Clipboard

      示例

      [root@host01 ~]# ethtool -S ens3 | grep errors
      NIC statistics:
           rx_fcs_errors: 0
           rx_align_errors: 0
           rx_frame_too_long_errors: 0
           rx_in_length_errors: 0
           rx_out_length_errors: 0
           tx_mac_errors: 0
           tx_carrier_sense_errors: 0
           tx_errors: 0
           rx_errors: 0

      Copy to Clipboard

   2. 使用 ifconfig 命令：

      示例

      [root@host01 ~]# ifconfig
      ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
              inet 10.74.249.26  netmask 255.255.248.0  broadcast 10.74.255.255
              inet6 fe80::21a:4aff:fe00:672  prefixlen 64  scopeid 0x20<link>
              inet6 2620:52:0:4af8:21a:4aff:fe00:672  prefixlen 64  scopeid 0x0<global>
              ether 00:1a:4a:00:06:72  txqueuelen 1000  (Ethernet)
              RX packets 150549316  bytes 56759897541 (52.8 GiB)
              RX errors 0  dropped 176924  overruns 0  frame 0
              TX packets 55584046  bytes 62111365424 (57.8 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
      
      lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
              inet 127.0.0.1  netmask 255.0.0.0
              inet6 ::1  prefixlen 128  scopeid 0x10<host>
              loop  txqueuelen 1000  (Local Loopback)
              RX packets 9373290  bytes 16044697815 (14.9 GiB)
              RX errors 0  dropped 0  overruns 0  frame 0
              TX packets 9373290  bytes 16044697815 (14.9 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

      Copy to Clipboard

   3. 使用 netstat 命令：

      示例

      [root@host01 ~]# netstat -ai
      Kernel Interface table
      Iface             MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
      ens3             1500 311847720      0 364903 0      114341918      0      0      0 BMRU
      lo              65536 19577001      0      0 0      19577001      0      0      0 LRU

      Copy to Clipboard

7. 对于性能问题，除了延迟检查和验证存储集群所有节点之间的网络带宽外，使用 iperf3 工具。iperf3 工具在服务器和客户端之间执行简单的点对网络带宽测试。

   1. 在您要检查带宽的 Red Hat Ceph Storage 节点上安装 iperf3 软件包：

      示例

      [root@host01 ~]# dnf install iperf3

      Copy to Clipboard

   2. 在 Red Hat Ceph Storage 节点上，启动 iperf3 服务器：

      示例

      [root@host01 ~]# iperf3 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------

      Copy to Clipboard

      注意

      默认端口为 5201，但可使用 -P 命令参数来设置。

   3. 在不同的 Red Hat Ceph Storage 节点上，启动 iperf3 客户端：

      示例

      [root@host02 ~]# iperf3 -c mon
      Connecting to host mon, port 5201
      [  4] local xx.x.xxx.xx port 52270 connected to xx.x.xxx.xx port 5201
      [ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [  4]   0.00-1.00   sec   114 MBytes   954 Mbits/sec    0    409 KBytes
      [  4]   1.00-2.00   sec   113 MBytes   945 Mbits/sec    0    409 KBytes
      [  4]   2.00-3.00   sec   112 MBytes   943 Mbits/sec    0    454 KBytes
      [  4]   3.00-4.00   sec   112 MBytes   941 Mbits/sec    0    471 KBytes
      [  4]   4.00-5.00   sec   112 MBytes   940 Mbits/sec    0    471 KBytes
      [  4]   5.00-6.00   sec   113 MBytes   945 Mbits/sec    0    471 KBytes
      [  4]   6.00-7.00   sec   112 MBytes   937 Mbits/sec    0    488 KBytes
      [  4]   7.00-8.00   sec   113 MBytes   947 Mbits/sec    0    520 KBytes
      [  4]   8.00-9.00   sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      [  4]   9.00-10.00  sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ ID] Interval           Transfer     Bandwidth       Retr
      [  4]   0.00-10.00  sec  1.10 GBytes   943 Mbits/sec    0             sender
      [  4]   0.00-10.00  sec  1.10 GBytes   941 Mbits/sec                  receiver
      
      iperf Done.

      Copy to Clipboard

      此输出显示 Red Hat Ceph Storage 节点之间的 1.1 Gbits/秒的网络带宽，在测试过程中没有重新传输(Retr)。

      红帽建议您验证存储集群中所有节点之间的网络带宽。

8. 确保所有节点具有相同的网络互连速度。连接较慢的节点可能会减慢连接速度更快的节点。另外，确保交换机链接可以处理附加节点的聚合带宽：

   语法

   ethtool INTERFACE

   Copy to Clipboard

   示例

   [root@host01 ~]# ethtool ens3
   Settings for ens3:
   Supported ports: [ TP ]
   Supported link modes:   10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Supported pause frame use: No
   Supports auto-negotiation: Yes
   Supported FEC modes: Not reported
   Advertised link modes:  10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Advertised pause frame use: Symmetric
   Advertised auto-negotiation: Yes
   Advertised FEC modes: Not reported
   Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                        100baseT/Half 100baseT/Full
                                        1000baseT/Full
   Link partner advertised pause frame use: Symmetric
   Link partner advertised auto-negotiation: Yes
   Link partner advertised FEC modes: Not reported
   Speed: 1000Mb/s 

   1

   
   Duplex: Full 

   2

   
   Port: Twisted Pair
   PHYAD: 1
   Transceiver: internal
   Auto-negotiation: on
   MDI-X: off
   Supports Wake-on: g
   Wake-on: d
   Current message level: 0x000000ff (255)
          drv probe link timer ifdown ifup rx_err tx_err
   Link detected: yes 

   3

   Copy to Clipboard

流程

1. 验证 chronyd 守护进程是否在 Ceph 监控主机上运行：

   示例

   [root@mon ~]# systemctl status chronyd

   Copy to Clipboard

2. 如果 chronyd 没有运行，请启用并启动它：

   示例

   [root@mon ~]# systemctl enable chronyd
   [root@mon ~]# systemctl start chronyd

   Copy to Clipboard

3. 确定 chronyd 正确同步了时钟：

   示例

   [root@mon ~]# chronyc sources
   [root@mon ~]# chronyc sourcestats
   [root@mon ~]# chronyc tracking

   Copy to Clipboard

流程

1. 如果剩余的 Ceph 监控器能够形成仲裁，请使用 ceph mon getmap 命令获取 Ceph Monitor 映射：

   示例

   [ceph: root@host01 /]# ceph mon getmap -o /tmp/monmap

   Copy to Clipboard

2. 如果剩余的 Ceph 监控器无法形成仲裁，并且至少有一个 Ceph monitor 带有正确的 Ceph monitor map，请从该 Ceph 监控器复制它：

   1. 停止您要复制 Ceph Monitor map 的 Ceph Monitor：

      语法

      systemctl stop ceph-FSID@DAEMON_NAME

      Copy to Clipboard

      示例

      [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

      Copy to Clipboard

   2. 复制 Ceph Monitor 映射：

      语法

      ceph-mon -i ID --extract-monmap /tmp/monmap

      Copy to Clipboard

      使用您要 复制 Ceph Monitor map 的 Ceph Monitor 的 ID 替换 ID：

      示例

      [ceph: root@host01 /]#  ceph-mon -i mon.a  --extract-monmap /tmp/monmap

      Copy to Clipboard

3. 停止带有损坏或过时的 Ceph monitor 映射的 Ceph Monitor：

   语法

   systemctl stop ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

4. 注入 Ceph Monitor 映射：

   语法

   ceph-mon -i ID --inject-monmap /tmp/monmap

   Copy to Clipboard

   使用损坏或过时的 Ceph monitor 映射替换 Ceph Monitor 的 ID ：

   示例

   [root@mon ~]# ceph-mon -i mon.host01 --inject-monmap /tmp/monmap

   Copy to Clipboard

5. 启动 Ceph Monitor：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

   如果您从另一个 Ceph 监控器复制了 Ceph monitor map，则也启动该 Ceph monitor：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

流程

1. 在 monitor 主机 中，默认删除位于 /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME 的 monitor 存储：

   rm -rf /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME

   Copy to Clipboard

   指定 monitor 主机和集群名称的短主机名。例如，要从名为 remote 的集群中删除 host1 上运行的 monitor 存储：

   [root@mon ~]# rm -rf /var/lib/ceph/mon/remote-host1

   Copy to Clipboard

2. 从 monitor 映射(monmap)中删除 monitor：

   ceph mon remove SHORT_HOST_NAME --cluster CLUSTER_NAME

   Copy to Clipboard

   指定 monitor 主机和集群名称的短主机名。例如，要从名为 remote 的集群中删除 host1 上运行的 monitor：

   [ceph: root@host01 /]# ceph mon remove host01 --cluster remote

   Copy to Clipboard
3. 排除故障并修复与 monitor 主机底层文件系统或硬件相关的问题。

流程

1. 在 ceph-mon 守护进程运行时压缩 monitor 存储：

   语法

   ceph tell mon.HOST_NAME compact

   Copy to Clipboard

2. 将 HOST_NAME 替换为运行 ceph-mon 的主机的短主机名。在不确定时使用 hostname -s 命令。

   示例

   [ceph: root@host01 /]# ceph tell mon.host01 compact

   Copy to Clipboard

3. 将以下参数添加到 Ceph 配置中的 [mon] 部分下：

   [mon]
   mon_compact_on_start = true

   Copy to Clipboard

4. 重启 ceph-mon 守护进程：

   语法

   systemctl restart ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

5. 确保 monitor 已组成仲裁：

   [ceph: root@host01 /]# ceph mon stat

   Copy to Clipboard

6. 如果需要，在其他 monitor 上重复这些步骤。

   注意

   在开始之前，请确保已安装了 ceph-test 软件包。

7. 验证具有大型存储的 ceph-mon 守护进程未在运行。如果需要，停止守护进程。

   语法

   systemctl status ceph-FSID@DAEMON_NAME
   systemctl stop ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

8. 紧凑 monitor 存储：

   语法

   ceph-monstore-tool /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME compact

   Copy to Clipboard

   将 HOST_NAME 替换为 monitor 主机的短主机名。

   示例

   [ceph: root@host01 /]# ceph-monstore-tool /var/lib/ceph/b404c440-9e4c-11ec-a28a-001a4a0001df/mon.host01 compact

   Copy to Clipboard

9. 再次启动 ceph-mon ：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard

流程

1. 要解决这种情况，对于运行 ceph-mgr 守护进程的每个主机，请打开端口 6800-7300。

   示例

   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp
   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp --permanent

   Copy to Clipboard

2. 重新启动 ceph-mgr 守护进程。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 在停止 OSD 前设置 noout 标志：

   示例

   [ceph: root@host01 /]# ceph osd set noout

   Copy to Clipboard

3. 完成故障排除或维护后，取消设置 noout 标志以启动重新平衡：

   示例

   [ceph: root@host01 /]# ceph osd unset noout

   Copy to Clipboard

1. 从 Ceph 集群移除 OSD。详情请参阅从 Ceph 集群中删除 OSD。
2. 替换驱动器。详情请查看替换物理驱动器部分。
3. 将 OSD 添加到集群中。详情请参阅将 OSD 添加到 Ceph 集群的步骤。

从 Ceph 集群中删除 OSD

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 确定哪个 OSD 为 down。

   示例

   [ceph: root@host01 /]# ceph osd tree | grep -i down
   ID  CLASS  WEIGHT   TYPE NAME           STATUS  REWEIGHT  PRI-AFF
    0   hdd 0.00999        osd.0     down  1.00000          1.00000

   Copy to Clipboard

3. 将 OSD 标记为 out，以便集群重新平衡并将其数据复制到其他 OSD。

   语法

   ceph osd out OSD_ID.

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph osd out osd.0
   marked out osd.0.

   Copy to Clipboard

   注意

   如果 OSD 为 down，Ceph 会在 600 秒后自动将其标记为 out，如果它没有根据 mon_osd_down_out_interval 参数从 OSD 接收任何 heartbeat 数据包。发生这种情况时，具有故障 OSD 数据副本的其他 OSD 开始回填，以确保集群中存在所需的副本数。在集群回填时，集群将处于 degraded 状态。

4. 确保失败的 OSD 正在回填。

   示例

   [ceph: root@host01 /]# ceph -w | grep backfill
   2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
   2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
   2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
   2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
   2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
   2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
   2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

   Copy to Clipboard

   在迁移完成后，您应该可以看到放置组状态从 active+clean 变为 active, some degraded objects，最终变为 active+clean。

5. 停止 OSD：

   语法

   ceph orch daemon stop OSD_ID

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph orch daemon stop osd.0

   Copy to Clipboard

6. 从存储集群中移除 OSD：

   语法

   ceph orch osd rm OSD_ID --replace

   Copy to Clipboard

   示例

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

   Copy to Clipboard

   OSD_ID 被保留。

1. 如果驱动器支持热插拔，请将失败的驱动器替换为新驱动器。
2. 如果驱动器不可热插拔并且节点包含多个 OSD，您可能需要关闭整个节点并替换物理驱动器。考虑防止集群回填。详情请参阅 Red Hat Ceph Storage 故障排除指南中的停止和启动重新平衡 章节。
3. 当驱动器出现在 /dev/ 目录下时，请注意驱动器路径。
4. 如果要手动添加 OSD，找到 OSD 驱动器并格式化磁盘。

将 OSD 添加到 Ceph 集群

1. 插入新驱动器后，您可以使用以下选项来部署 OSD：

   • 如果未设置 --unmanaged 参数，OSD 由 Ceph 编排器自动部署。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

     Copy to Clipboard

   • 将 OSD 部署到所有可用的设备上，并将 unmanaged 参数设置为 true。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

     Copy to Clipboard

   • 将 OSD 部署到特定的设备和主机上。

     示例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

     Copy to Clipboard

2. 确保 CRUSH 层次结构准确：

   示例

   [ceph: root@host01 /]# ceph osd tree

   Copy to Clipboard

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 确定 full_ratio 的当前值，其默认设置为 0.95 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

   Copy to Clipboard

3. 临时将 set-full-ratio 的值增加到 0.97 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.97

   Copy to Clipboard
   重要

   红帽强烈建议不要将 set-full-ratio 设置为大于 0.97 的值。将此参数设置为更高的值会使恢复过程变得更加困难。因此，您可能无法完全恢复完整的 OSD。

4. 验证您是否成功将该参数设置为 0.97 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.97

   Copy to Clipboard

5. 监控集群状态：

   [ceph: root@host01 /]# ceph -w

   Copy to Clipboard

   当集群的状态从 full 改为 nearfull 时，请删除任何不必要的数据。

6. 将 full_ratio 的值设置为 0.95 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.95

   Copy to Clipboard

7. 验证您是否成功将该参数设置为 0.95:

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

   Copy to Clipboard

流程

1. 检查站点之间的同步状态：

   示例

   [ceph: host04 /]# radosgw-admin sync status
             realm d713eec8-6ec4-4f71-9eaf-379be18e551b (india)
         zonegroup ccf9e0b2-df95-4e0a-8933-3b17b64c52b7 (shared)
              zone 04daab24-5bbd-4c17-9cf5-b1981fd7ff79 (primary)
      current time 2022-09-15T06:53:52Z
   zonegroup features enabled: resharding
     metadata sync no sync (zone is master)
         data sync source: 596319d2-4ffe-4977-ace1-8dd1790db9fb (secondary)
                           syncing
                           full sync: 0/128 shards
                           incremental sync: 128/128 shards
                           data is caught up with source

   Copy to Clipboard

2. 同步来自 second zone 的数据：

   示例

   [ceph: root@host04 /]# radosgw-admin data sync init --source-zone primary

   Copy to Clipboard

3. 在站点重启所有 Ceph 对象网关守护进程：

   示例

   [ceph: root@host04 /]# ceph orch restart rgw.myrgw

   Copy to Clipboard

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. 列出卡住 PG：

   示例

   [ceph: root@host01 /]# ceph pg dump_stuck inactive
   [ceph: root@host01 /]# ceph pg dump_stuck unclean
   [ceph: root@host01 /]# ceph pg dump_stuck stale

   Copy to Clipboard

流程

1. 减少数据在各个 OSD 和 OSD 主机上重新分配和恢复的影响：

   1. 降低 osd max backfills、osd_recovery_max_active 和 osd_recovery_op_priority 参数的值：

      [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 1 --osd_recovery_op_priority 1'

      Copy to Clipboard

   2. 禁用浅刮除和深度刮除：

      [ceph: root@host01 /]# ceph osd set noscrub
      [ceph: root@host01 /]# ceph osd set nodeep-scrub

      Copy to Clipboard
2. 使用 每个池计算器的 Ceph 放置组(PG) 来计算 pg_num 和 pgp_num 参数的最佳值。

3. 以较小增量增加 pg_num 值，直到您达到所需的值。

   1. 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳值取决于池大小、OSD 数量和客户端 I/O 负载。

   2. 增加 pg_num 值：

      语法

      ceph osd pool set POOL pg_num VALUE

      Copy to Clipboard

      指定池名称和新值，例如：

      示例

      [ceph: root@host01 /]# ceph osd pool set data pg_num 4

      Copy to Clipboard

   3. 监控集群的状态：

      示例

      [ceph: root@host01 /]# ceph -s

      Copy to Clipboard

      PG 状态将从 creating 变为 active+clean。等待所有 PG 都处于 active+clean 状态。

4. 以小增量增加 pgp_num 值，直到您达到所需的值：

   1. 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳值取决于池大小、OSD 数量和客户端 I/O 负载。

   2. 增加 pgp_num 值：

      语法

      ceph osd pool set POOL pgp_num VALUE

      Copy to Clipboard

      指定池名称和新值，例如：

      [ceph: root@host01 /]# ceph osd pool set data pgp_num 4

      Copy to Clipboard

   3. 监控集群的状态：

      [ceph: root@host01 /]# ceph -s

      Copy to Clipboard

      PG 状态将更改到 对等、wait_backfill、回填、恢复 等等。等待所有 PG 都处于 active+clean 状态。

5. 对 PG 数量不足的所有池重复上述步骤。

6. 将 osd max backfills,osd_recovery_max_active, 和 osd_recovery_op_priority 设置为它们的默认值：

   [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 3 --osd_recovery_op_priority 3'

   Copy to Clipboard

7. 启用浅刮除和深度刮除：

   [ceph: root@host01 /]# ceph osd unset noscrub
   [ceph: root@host01 /]# ceph osd unset nodeep-scrub

   Copy to Clipboard