故障排除指南

流程

1. 使用不支持的配置时可能会出现某些问题。确保您的配置被支持。

2. 您知道哪个 Ceph 组件导致了此问题吗？

   1. No. 参照 Red Hat Ceph Storage Troubleshooting Guide 中的 Diagnosing the health of a Ceph storage cluster 过程。
   2. Ceph 监控器。参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph Monitors 部分。
   3. Ceph OSD。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph OSDs 部分。
   4. Ceph 放置组。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph placement groups 部分。
   5. 多站点 Ceph 对象网关.请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting a multi-site Ceph Object Gateway 部分。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 检查存储集群的整体状态：

   示例

   [ceph: root@host01 /]# ceph health detail

   如果命令返回 HEALTH_WARN 或 HEALTH_ERR，请参见 了解 Ceph 健康状况 以了解详细信息。

3. 监控存储集群的日志：

   示例

   [ceph: root@host01 /]# ceph -W cephadm

4. 要将集群日志捕获到文件中，请运行以下命令：

   示例

   [ceph: root@host01 /]# ceph config set global log_to_file true
   [ceph: root@host01 /]# ceph config set global mon_cluster_log_to_file true

   日志默认位于 /var/log/ceph/CLUSTER_FSID/ 目录中。检查 Ceph 日志，以了解 了解 Ceph 日志 中列出的任何错误消息。

5. 如果日志没有包括足够数量的信息，请提高调试级别，并尝试重现失败的操作。详情请参阅 配置日志。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 运行 ceph 运行 health details 命令，检查红帽 Ceph 存储集群的运行状况 ：

   示例

   [ceph: root@host01 /]# ceph health detail
   
   HEALTH_WARN 1 osds down; 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
   [WRN] OSD_DOWN: 1 osds down
       osd.1 (root=default,host=host01) is down
   [WRN] OSD_FLAGS: 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
       osd.1 has flags noup

   您可以看到存储集群处于 HEALTH_WARN 状态，因为其中一个 OSD 已停机。

3. 静默警报：

   语法

   ceph health mute HEALTH_MESSAGE

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN

4. 可选：健康检查 mute 可以有一个时间与其关联的生存时间(TTL)，以便在指定的时间段过后自动过期。在命令中使用可选的 TTL 作为指定持续时间的参数：

   语法

   ceph health mute HEALTH_MESSAGE DURATION

   DURATION 可以在 s、ss 、 m、min、h 或 hour 中指定。

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 10m

   在本例中，警报 OSD_DOWN 变异了 10 分钟。

5. 验证 Red Hat Ceph Storage 集群状态是否已改为 HEALTH_OK:

   示例

   [ceph: root@host01 /]# ceph -s
     cluster:
       id:     81a4597a-b711-11eb-8cb8-001a4a000740
       health: HEALTH_OK
               (muted: OSD_DOWN(9m) OSD_FLAGS(9m))
   
     services:
       mon: 3 daemons, quorum host01,host02,host03 (age 33h)
       mgr: host01.pzhfuh(active, since 33h), standbys: host02.wsnngf, host03.xwzphg
       osd: 11 osds: 10 up (since 4m), 11 in (since 5d)
   
     data:
       pools:   1 pools, 1 pgs
       objects: 13 objects, 0 B
       usage:   85 MiB used, 165 GiB / 165 GiB avail
       pgs:     1 active+clean

   在本例中，您可以看到警报 OSD_DOWN 和 OSD_FLAG 处于静默状态，静默会持续 9 分钟。

6. 可选：通过保持 粘性，即使在警报被清除后仍可以保留 mute。

   语法

   ceph health mute HEALTH_MESSAGE DURATION --sticky

   示例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 1h --sticky

7. 您可以运行以下命令来删除静默：

   语法

   ceph health unmute HEALTH_MESSAGE

   示例

   [ceph: root@host01 /]# ceph health unmute OSD_DOWN

流程

1. 安装 sos 软件包：

   示例

   [root@host01 ~]# dnf install sos

   注意

   安装 sos-4.0.11.el8 软件包或更新的版本，以正确捕获 Ceph 命令输出。

2. 运行 sos 报告 以获取存储集群的系统信息：

   示例

   [root@host01 ~]# sosreport -a --all-logs

   报告保存在 /var/tmp 文件中。

   对于 sos 版本 4.3 及更新的版本，您需要运行以下命令获取特定的 Ceph 信息：

   示例

   [root@host01 ~]# sos report -a --all-logs -e ceph_mon

流程

1. 要在运行时激活 Ceph 调试输出，dout（） ：

   ceph tell TYPE.ID injectargs --debug-SUBSYSTEM VALUE [--NAME VALUE]

2. 替换：

   • TYPE，它具有 Ceph 守护进程的类型（osd、mon 或 mds）
   • ID，具有 Ceph 守护进程的特定 ID。或者，使用 * 将运行时设置应用到特定类型的所有守护进程。
   • SUBSYSTEM 带有一个特定的子系统。

   • VALUE 为介于 1 到 20 之间的一个值，其中 1 为 terse，20 为详细。

     例如，将名为 osd.0 的 OSD 子系统的日志级别设置为 0，将内存级别设置为 5：

     # ceph tell osd.0 injectargs --debug-osd 0/5

1. 使用正在运行的 Ceph 守护进程登录主机，如 ceph-osd 或 ceph-mon。

2. 显示配置：

   语法

   ceph daemon NAME config show | less

   示例

   [ceph: root@host01 /]# ceph daemon osd.0 config show | less

流程

1. 若要激活 Ceph 调试输出，可在启动时 dout（） 添加调试设置到 Ceph 配置文件。

   1. 对于每个守护进程常见的子系统，请在 [global] 部分下添加设置。

   2. 对于特定守护进程的子系统，请在守护进程部分中添加设置，如 [mon]、[osd] 或 [mds]。

      示例

      [global]
              debug_ms = 1/5
      
      [mon]
              debug_mon = 20
              debug_paxos = 1/5
              debug_auth = 2
      
      [osd]
              debug_osd = 1/5
              debug_monc = 5/20
      
      [mds]
              debug_mds = 1

流程

1. 在轮转频率后向日志轮转文件中添加大小设置：

   rotate 7
   weekly
   size SIZE
   compress
   sharedscripts

   例如，在日志文件达到 500 MB 时轮转日志文件：

   rotate 7
   weekly
   size 500 MB
   compress
   sharedscripts
   size 500M

2. 打开 crontab 编辑器：

   [root@mon ~]# crontab -e

3. 添加条目以检查 /etc/logrotate.d/ceph 文件。例如，指示 Cron 每 30 分钟检查 /etc/logrotate.d/ceph 一次 ：

   30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1

流程

1. 查找日志所在的位置：

   语法

   logrotate -f

   示例

   [root@host01 ~]# logrotate -f
   /etc/logrotate.d/ceph-12ab345c-1a2b-11ed-b736-fa163e4f6220

2. 列出指定位置的日志：

   语法

   ll LOG_LOCATION

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    -rw-r--r--. 1 ceph ceph    412 Sep 28 09:26 opslog.log.1.gz

3. 列出当前的存储桶：

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd ls

4. 创建存储桶：

   语法

   /usr/local/bin/s3cmd mb s3://NEW_BUCKET_NAME

   示例

   [root@host01 ~]# /usr/local/bin/s3cmd mb s3://bucket1
   Bucket `s3://bucket1` created

5. 列出当前的日志：

   语法

   ll LOG_LOCATION

   示例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    total 852
    ...
    -rw-r--r--. 1 ceph ceph    920 Jun 29 02:17 opslog.log
    -rw-r--r--. 1 ceph ceph    412 Jun 28 09:26 opslog.log.1.gz

6. 收集日志：

   语法

   tail -f LOG_LOCATION/opslog.log

   示例

   [root@host01 ~]# tail -f /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220/opslog.log
   
   {"bucket":"","time":"2022-09-29T06:17:03.133488Z","time_local":"2022-09-
   29T06:17:03.133488+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"list_buckets","uri":"GET /
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":232,
   "bytes_received":0,"object_size":0,"total_time":9,"user_agent":"","referrer":
   "","trans_id":"tx00000c80881a9acd2952a-006335385f-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}
   
   {"bucket":"cn1","time":"2022-09-29T06:17:10.521156Z","time_local":"2022-09-
   29T06:17:10.521156+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"create_bucket","uri":"PUT /cn1/
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":0,
   "bytes_received":0,"object_size":0,"total_time":106,"user_agent":"",
   "referrer":"","trans_id":"tx0000058d60c593632c017-0063353866-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}

流程

1. 在对 Ceph 存储集群中可能发生的网络问题进行故障排除时，安装 net-tools 和 telnet 软件包会有所帮助：

   示例

   [root@host01 ~]# dnf install net-tools
   [root@host01 ~]# dnf install telnet

2. 登录 cephadm shell，再验证 Ceph 配置文件中的 public_network 参数是否包含正确的值：

   示例

   [ceph: root@host01 /]# cat /etc/ceph/ceph.conf
   # minimal ceph.conf for 57bddb48-ee04-11eb-9962-001a4a000672
   [global]
   	fsid = 57bddb48-ee04-11eb-9962-001a4a000672
   	mon_host = [v2:10.74.249.26:3300/0,v1:10.74.249.26:6789/0] [v2:10.74.249.163:3300/0,v1:10.74.249.163:6789/0] [v2:10.74.254.129:3300/0,v1:10.74.254.129:6789/0]
   [mon.host01]
   public network = 10.74.248.0/21

3. 退出 shell 并验证网络接口是否已启动：

   示例

   [root@host01 ~]# ip link list
   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether 00:1a:4a:00:06:72 brd ff:ff:ff:ff:ff:ff

4. 验证 Ceph 节点能够使用它们的短主机名互相访问。在存储集群的每个节点上验证它：

   语法

   ping SHORT_HOST_NAME

   示例

   [root@host01 ~]# ping host02

5. 如果使用防火墙，请确保 Ceph 节点可以在相应的端口上相互访问。firewall-cmd 和 telnet 工具可以验证端口状态，以及端口是否分别打开：

   语法

   firewall-cmd --info-zone=ZONE
   telnet IP_ADDRESS PORT

   示例

   [root@host01 ~]# firewall-cmd --info-zone=public
   public (active)
     target: default
     icmp-block-inversion: no
     interfaces: ens3
     sources:
     services: ceph ceph-mon cockpit dhcpv6-client ssh
     ports: 9283/tcp 8443/tcp 9093/tcp 9094/tcp 3000/tcp 9100/tcp 9095/tcp
     protocols:
     masquerade: no
     forward-ports:
     source-ports:
     icmp-blocks:
     rich rules:
   
   [root@host01 ~]# telnet 192.168.0.22 9100

6. 验证接口计数器上没有错误。验证节点之间的网络连接具有预期的延迟，并且没有数据包丢失。

   1. 使用 ethtool 命令：

      语法

      ethtool -S INTERFACE

      示例

      [root@host01 ~]# ethtool -S ens3 | grep errors
      NIC statistics:
           rx_fcs_errors: 0
           rx_align_errors: 0
           rx_frame_too_long_errors: 0
           rx_in_length_errors: 0
           rx_out_length_errors: 0
           tx_mac_errors: 0
           tx_carrier_sense_errors: 0
           tx_errors: 0
           rx_errors: 0

   2. 使用 ifconfig 命令：

      示例

      [root@host01 ~]# ifconfig
      ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
              inet 10.74.249.26  netmask 255.255.248.0  broadcast 10.74.255.255
              inet6 fe80::21a:4aff:fe00:672  prefixlen 64  scopeid 0x20<link>
              inet6 2620:52:0:4af8:21a:4aff:fe00:672  prefixlen 64  scopeid 0x0<global>
              ether 00:1a:4a:00:06:72  txqueuelen 1000  (Ethernet)
              RX packets 150549316  bytes 56759897541 (52.8 GiB)
              RX errors 0  dropped 176924  overruns 0  frame 0
              TX packets 55584046  bytes 62111365424 (57.8 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
      
      lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
              inet 127.0.0.1  netmask 255.0.0.0
              inet6 ::1  prefixlen 128  scopeid 0x10<host>
              loop  txqueuelen 1000  (Local Loopback)
              RX packets 9373290  bytes 16044697815 (14.9 GiB)
              RX errors 0  dropped 0  overruns 0  frame 0
              TX packets 9373290  bytes 16044697815 (14.9 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

   3. 使用 netstat 命令：

      示例

      [root@host01 ~]# netstat -ai
      Kernel Interface table
      Iface             MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
      ens3             1500 311847720      0 364903 0      114341918      0      0      0 BMRU
      lo              65536 19577001      0      0 0      19577001      0      0      0 LRU

7. 对于性能问题，除了延迟检查和验证存储集群所有节点之间的网络带宽外，使用 iperf3 工具。iperf3 工具在服务器和客户端之间进行简单的点对点网络带宽测试。

   1. 在您要检查带宽的 Red Hat Ceph Storage 节点上安装 iperf3 软件包：

      示例

      [root@host01 ~]# dnf install iperf3

   2. 在 Red Hat Ceph Storage 节点上启动 iperf3 服务器：

      示例

      [root@host01 ~]# iperf3 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------

      注意

      默认端口为 5201，但可使用 -P 命令参数设置。

   3. 在不同的 Red Hat Ceph Storage 节点上，启动 iperf3 客户端：

      示例

      [root@host02 ~]# iperf3 -c mon
      Connecting to host mon, port 5201
      [  4] local xx.x.xxx.xx port 52270 connected to xx.x.xxx.xx port 5201
      [ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [  4]   0.00-1.00   sec   114 MBytes   954 Mbits/sec    0    409 KBytes
      [  4]   1.00-2.00   sec   113 MBytes   945 Mbits/sec    0    409 KBytes
      [  4]   2.00-3.00   sec   112 MBytes   943 Mbits/sec    0    454 KBytes
      [  4]   3.00-4.00   sec   112 MBytes   941 Mbits/sec    0    471 KBytes
      [  4]   4.00-5.00   sec   112 MBytes   940 Mbits/sec    0    471 KBytes
      [  4]   5.00-6.00   sec   113 MBytes   945 Mbits/sec    0    471 KBytes
      [  4]   6.00-7.00   sec   112 MBytes   937 Mbits/sec    0    488 KBytes
      [  4]   7.00-8.00   sec   113 MBytes   947 Mbits/sec    0    520 KBytes
      [  4]   8.00-9.00   sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      [  4]   9.00-10.00  sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ ID] Interval           Transfer     Bandwidth       Retr
      [  4]   0.00-10.00  sec  1.10 GBytes   943 Mbits/sec    0             sender
      [  4]   0.00-10.00  sec  1.10 GBytes   941 Mbits/sec                  receiver
      
      iperf Done.

      此输出显示红帽 Ceph 存储节点之间的网络带宽 1.1 Gbits/秒，测试期间不会再传输(Retr)。

      红帽建议您验证存储集群中所有节点之间的网络带宽。

8. 确保所有节点具有相同的网络互连速度。连接较慢的节点可能会减慢连接速度更快的节点。另外，确保交换机链接可以处理附加节点的聚合带宽：

   语法

   ethtool INTERFACE

   示例

   [root@host01 ~]# ethtool ens3
   Settings for ens3:
   Supported ports: [ TP ]
   Supported link modes:   10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Supported pause frame use: No
   Supports auto-negotiation: Yes
   Supported FEC modes: Not reported
   Advertised link modes:  10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Advertised pause frame use: Symmetric
   Advertised auto-negotiation: Yes
   Advertised FEC modes: Not reported
   Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                        100baseT/Half 100baseT/Full
                                        1000baseT/Full
   Link partner advertised pause frame use: Symmetric
   Link partner advertised auto-negotiation: Yes
   Link partner advertised FEC modes: Not reported
   Speed: 1000Mb/s 1
   Duplex: Full 2
   Port: Twisted Pair
   PHYAD: 1
   Transceiver: internal
   Auto-negotiation: on
   MDI-X: off
   Supports Wake-on: g
   Wake-on: d
   Current message level: 0x000000ff (255)
          drv probe link timer ifdown ifup rx_err tx_err
   Link detected: yes 3

流程

1. 验证 chronyd 守护进程是否在 Ceph Monitor 主机上运行：

   示例

   [root@mon ~]# systemctl status chronyd

2. 如果 chronyd 未运行，请启用并启动它：

   示例

   [root@mon ~]# systemctl enable chronyd
   [root@mon ~]# systemctl start chronyd

3. 确定 chronyd 正确同步了时钟：

   示例

   [root@mon ~]# chronyc sources
   [root@mon ~]# chronyc sourcestats
   [root@mon ~]# chronyc tracking

流程

1. 如果剩余的 Ceph 监控器能够形成仲裁，请使用 ceph mon getmap 命令获取 Ceph monitor map：

   示例

   [ceph: root@host01 /]# ceph mon getmap -o /tmp/monmap

2. 如果剩余的 Ceph 监控器无法形成仲裁，并且至少有一个 Ceph monitor 带有正确的 Ceph monitor map，请从该 Ceph 监控器复制它：

   1. 停止您要复制 Ceph monitor map 的 Ceph 监控器：

      语法

      systemctl stop ceph-FSID@DAEMON_NAME

      示例

      [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   2. 复制 Ceph monitor map：

      语法

      ceph-mon -i ID --extract-monmap /tmp/monmap

      使用您要从中复制 Ceph monitor 映射的 Ceph monitor ID 替换 ID：

      示例

      [ceph: root@host01 /]#  ceph-mon -i mon.a  --extract-monmap /tmp/monmap

3. 使用损坏或过时的 Ceph monitor map 停止 Ceph monitor：

   语法

   systemctl stop ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

4. 注入 Ceph monitor map：

   语法

   ceph-mon -i ID --inject-monmap /tmp/monmap

   使用 Ceph monitor 的 ID 替换为损坏或过期的 Ceph monitor map：

   示例

   [root@mon ~]# ceph-mon -i mon.host01 --inject-monmap /tmp/monmap

5. 启动 Ceph 监控器：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   如果您从另一个 Ceph 监控器复制了 Ceph monitor map，则也启动该 Ceph monitor：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

流程

1. 从 Monitor 主机，删除 Monitor 存储（默认位于 /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME）：

   rm -rf /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME

   指定 monitor 主机的简短主机名和集群名称。例如，要从名为 remote 的集群中删除在 host1 上运行的 monitor 存储：

   [root@mon ~]# rm -rf /var/lib/ceph/mon/remote-host1

2. 从 monitor map 中删除 monitor(monmap)：

   ceph mon remove SHORT_HOST_NAME --cluster CLUSTER_NAME

   指定 monitor 主机的简短主机名和集群名称。例如，要从名为 remote 的集群中移除 host1 上运行的 monitor：

   [ceph: root@host01 /]# ceph mon remove host01 --cluster remote

3. 排除故障并修复与 monitor 主机底层文件系统或硬件相关的问题。

流程

1. 在 ceph-mon 守护进程运行时压缩 monitor 存储：

   语法

   ceph tell mon.HOST_NAME compact

2. 将 HOST_NAME 替换为运行 ceph-mon 的主机的短主机名。不确定 时使用 hostname -s 命令。

   示例

   [ceph: root@host01 /]# ceph tell mon.host01 compact

3. 将以下参数添加到 Ceph 配置的 [mon] 部分下：

   [mon]
   mon_compact_on_start = true

4. 重启 ceph-mon 守护进程：

   语法

   systemctl restart ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

5. 确保 monitor 创建了仲裁：

   [ceph: root@host01 /]# ceph mon stat

6. 如果需要，在其他 monitor 上重复这些步骤。

   注意

   在您开始之前，请确保已安装了 ceph-test 软件包。

7. 验证具有大存储 的 ceph-mon 守护进程未在运行。如果需要，请停止 后台程序。

   语法

   systemctl status ceph-FSID@DAEMON_NAME
   systemctl stop ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

8. 紧凑 monitor 存储：

   语法

   ceph-monstore-tool /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME compact

   使用 monitor 主机的短主机名替换 HOST_NAME。

   示例

   [ceph: root@host01 /]# ceph-monstore-tool /var/lib/ceph/b404c440-9e4c-11ec-a28a-001a4a0001df/mon.host01 compact

9. 再次启动 ceph-mon ：

   语法

   systemctl start ceph-FSID@DAEMON_NAME

   示例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

流程

1. 要解决这种情况，对于运行 ceph-mgr 守护进程的每个主机，打开端口 6800-7300。

   示例

   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp
   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp --permanent

2. 重新启动 ceph-mgr 守护进程。

流程

1. 登录 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 在停止 OSD 前设置 noout 标志：

   示例

   [ceph: root@host01 /]# ceph osd set noout

3. 完成故障排除或维护后，取消设置 noout 标志来 开始重新平衡：

   示例

   [ceph: root@host01 /]# ceph osd unset noout

1. 从 Ceph 集群移除 OSD。详情请参阅 从 Ceph 集群删除 OSD 过程。
2. 替换驱动器。详情请查看 替换物理驱动器 部分。
3. 将 OSD 添加到集群。详情请参阅 在 Ceph 集群中添加 OSD。

从 Ceph 集群删除 OSD

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 确定哪个 OSD 为 down。

   示例

   [ceph: root@host01 /]# ceph osd tree | grep -i down
   ID  CLASS  WEIGHT   TYPE NAME           STATUS  REWEIGHT  PRI-AFF
    0   hdd 0.00999        osd.0     down  1.00000          1.00000

3. 将 OSD 标记为 out，供集群重新平衡其数据并将其复制到其他 OSD。

   语法

   ceph osd out OSD_ID.

   示例

   [ceph: root@host01 /]# ceph osd out osd.0
   marked out osd.0.

   注意

   如果 OSD 为 down，Ceph 会在 600 秒后自动将其标记为 out，如果它没有根据 mon_osd_down_out_interval 参数从 OSD 接收任何 heartbeat 数据包。发生这种情况时，具有故障 OSD 数据副本的其他 OSD 开始回填，以确保集群中存在所需的副本数。当集群回填时，集群将处于 降级 状态。

4. 确保故障 OSD 正在回填。

   示例

   [ceph: root@host01 /]# ceph -w | grep backfill
   2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
   2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
   2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
   2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
   2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
   2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
   2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

   在迁移完成后，您应该可以看到放置组状态从 active+clean 变为 active, some degraded objects，最终变为 active+clean。

5. 停止 OSD：

   语法

   ceph orch daemon stop OSD_ID

   示例

   [ceph: root@host01 /]# ceph orch daemon stop osd.0

6. 从存储集群中移除 OSD：

   语法

   ceph orch osd rm OSD_ID --replace

   示例

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

   OSD_ID 会被保留。

1. 如果驱动器支持热插拔，请将失败的驱动器替换为新驱动器。
2. 如果驱动器不可热插拔并且节点包含多个 OSD，您可能需要关闭整个节点并替换物理驱动器。考虑阻止集群回填。详情请参阅 红帽 Ceph 存储故障排除指南 中的 停止和启动重新平衡 章节。
3. 当驱动器显示在 /dev/ 目录下时，记下驱动器路径。
4. 如果要手动添加 OSD，找到 OSD 驱动器并格式化磁盘。

将 OSD 添加到 Ceph 集群

1. 插入新驱动器后，您可以使用以下选项来部署 OSD：

   • 如果未设置 --unmanaged 参数，Ceph 编排器将自动部署 OSD。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

   • 在所有可用设备上部署 OSD，并将 非受管 参数设置为 true。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

   • 将 OSD 部署到特定的设备和主机上。

     示例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

2. 确保 CRUSH 层次结构准确：

   示例

   [ceph: root@host01 /]# ceph osd tree

流程

1. 登录 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 确定 full_ratio 的当前值，默认设为 0.95 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

3. 将 set-full-ratio 的值临时增加到 0.97 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.97

   重要

   红帽强烈建议不要将 set-full-ratio 设置为大于 0.97。将此参数设置为更高的值会使恢复过程变得更加困难。因此，您可能根本无法恢复完整的 OSD。

4. 验证您是否成功将该参数设置为 0.97 ：

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.97

5. 监控集群状态：

   [ceph: root@host01 /]# ceph -w

   旦集群将状态从 full 更改为 nearfull，请 删除任何不必要的数据。

6. 将 full_ratio 的 值设置为 0.95 ：

   [ceph: root@host01 /]# ceph osd set-full-ratio 0.95

7. 验证您是否成功将该参数设置为 0.95:

   [ceph: root@host01 /]# ceph osd dump | grep -i full
   full_ratio 0.95

流程

1. 检查站点之间的同步状态：

   示例

   [ceph: host04 /]# radosgw-admin sync status
             realm d713eec8-6ec4-4f71-9eaf-379be18e551b (india)
         zonegroup ccf9e0b2-df95-4e0a-8933-3b17b64c52b7 (shared)
              zone 04daab24-5bbd-4c17-9cf5-b1981fd7ff79 (primary)
      current time 2022-09-15T06:53:52Z
   zonegroup features enabled: resharding
     metadata sync no sync (zone is master)
         data sync source: 596319d2-4ffe-4977-ace1-8dd1790db9fb (secondary)
                           syncing
                           full sync: 0/128 shards
                           incremental sync: 128/128 shards
                           data is caught up with source

2. 从 second zone 同步数据：

   示例

   [ceph: root@host04 /]# radosgw-admin data sync init --source-zone primary

3. 在站点重启所有 Ceph 对象网关守护进程：

   示例

   [ceph: root@host04 /]# ceph orch restart rgw.myrgw

流程

1. 在 VWware ESXi 节点上打开内核日志：

   [root@esx:~]# more /var/log/vmkernel.log

2. 从 VMware ESXi 内核日志中的以下错误消息收集信息：

   示例

   2022-05-30T11:07:07.570Z cpu32:66506)iscsi_vmk:
   iscsivmk_ConnRxNotifyFailure: Sess [ISID: 00023d000005 TARGET:
   iqn.2017-12.com.redhat.iscsi-gw:ceph-igw TPGT: 3 TSIH: 0]

   在此消息中，记录 ISID 号、TARGET 名称和 Target Portal Group Tag(TPGT)号。在本例中，有以下内容：

   ISID: 00023d000005
   TARGET: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw
   TPGT: 3

   示例

   2022-05-30T11:07:07.570Z cpu32:66506)iscsi_vmk:
   iscsivmk_ConnRxNotifyFailure: vmhba64:CH:4 T:0 CN:0: Connection rx
   notifying failure: Failed to Receive. State=Bound

   在此信息中记录适配器频道(CH)号。在本例中，有以下内容：

   vmhba64:CH:4 T:0

3. 查找 Ceph iSCSI 网关节点的远程地址：

   [root@esx:~]# esxcli iscsi session connection list

   示例

   ...
   vmhba64,iqn.2017-12.com.redhat.iscsi-gw:ceph-igw,00023d000003,0
      Adapter: vmhba64
      Target: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw 1
      ISID: 00023d000003 2
      CID: 0
      DataDigest: NONE
      HeaderDigest: NONE
      IFMarker: false
      IFMarkerInterval: 0
      MaxRecvDataSegmentLength: 131072
      MaxTransmitDataSegmentLength: 262144
      OFMarker: false
      OFMarkerInterval: 0
      ConnectionAddress: 10.2.132.2
      RemoteAddress: 10.2.132.2 3
      LocalAddress: 10.2.128.77
      SessionCreateTime: 03/28/18 21:45:19
      ConnectionCreateTime: 03/28/18 21:45:19
      ConnectionStartTime: 03/28/18 21:45:19
      State: xpt_wait
   ...

   从命令输出中，匹配 ISID 值和前面收集的 TARGET 名称值，然后记下 RemoteAddress 值。在这个示例中，有以下内容：

   Target: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw
   ISID: 00023d000003
   RemoteAddress: 10.2.132.2

   现在，您可以从 Ceph iSCSI 网关节点收集更多信息，以进一步排除此问题。

   1. 在 RemoteAddress 值提及的 Ceph iSCSI 网关节点上，运行 sosreport 来收集系统信息：

      [root@igw ~]# sosreport

4. 查找进入死状态的磁盘：

   [root@esx:~]# esxcli storage nmp device list

   示例

   ...
   iqn.1998-01.com.vmware:d04-nmgjd-pa-zyc-sv039-rh2288h-xnh-732d78fd-00023d000004,iqn.2017-12.com.redhat.iscsi-gw:ceph-igw,t,3-naa.60014054a5d46697f85498e9a257567c
      Runtime Name: vmhba64:C4:T0:L4 1
      Device: naa.60014054a5d46697f85498e9a257567c 2
      Device Display Name: LIO-ORG iSCSI Disk
   (naa.60014054a5d46697f85498e9a257567c)
      Group State: dead 3
      Array Priority: 0
      Storage Array Type Path Config:
   {TPG_id=3,TPG_state=ANO,RTP_id=3,RTP_health=DOWN} 4
      Path Selection Policy Path Config: {non-current path; rank: 0}
   ...

   从命令输出中，与 CH 号和前面收集的 TPGT 编号匹配，然后记下 Device 值。在本例中，有以下内容：

   vmhba64:C4:T0
   Device: naa.60014054a5d46697f85498e9a257567c
   TPG_id=3

   使用设备名称时，您可以收集处于 死 状态的每个 iSCSI 磁盘的一些附加信息。

   1. 收集 iSCSI 磁盘的更多信息：

      语法

      esxcli storage nmp path list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_nmp_path_list.txt
      esxcli storage core device list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_core_device_list.txt

      示例

      [root@esx:~]# esxcli storage nmp path list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_nmp_path_list.txt
      [root@esx:~]# esxcli storage core device list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_core_device_list.txt

5. 收集 VMware ESXi 环境的其他信息：

   [root@esx:~]# esxcli storage vmfs extent list > /tmp/esxcli_storage_vmfs_extent_list.txt
   [root@esx:~]# esxcli storage filesystem list > /tmp/esxcli_storage_filesystem_list.txt
   [root@esx:~]# esxcli iscsi session list > /tmp/esxcli_iscsi_session_list.txt
   [root@esx:~]# esxcli iscsi session connection list > /tmp/esxcli_iscsi_session_connection_list.txt

6. 检查潜在的 iSCSI 登录问题：

   • iSCSI 登录数据是否未发送？
   • iSCSI 登录超时还是找不到门户组？

流程

1. 启用附加日志记录：

   [root@igw ~]# echo "iscsi_target_mod +p" > /sys/kernel/debug/dynamic_debug/control
   [root@igw ~]# echo "target_core_mod +p" > /sys/kernel/debug/dynamic_debug/control

2. 等待几分钟，以便额外的调试信息填充系统日志。

3. 禁用附加日志：

   [root@igw ~]# echo "iscsi_target_mod -p" > /sys/kernel/debug/dynamic_debug/control
   [root@igw ~]# echo "target_core_mod -p" > /sys/kernel/debug/dynamic_debug/control

4. 运行 sosreport 来收集系统信息：

   [root@igw ~]# sosreport

5. 同时捕获 Ceph iSCSI 网关和 VMware ESXi 节点的网络流量：

   语法

   tcpdump -s0 -i NETWORK_INTERFACE -w OUTPUT_FILE_PATH

   示例

   [root@igw ~]# tcpdump -s 0 -i eth0 -w /tmp/igw-eth0-tcpdump.pcap

   注意

   查找端口 3260 上的流量。

   1. 网络数据包捕获文件可能较大，因此在将任何文件上传到 Red Hat 全球支持服务前，压缩来自 iSCSI 目标和启动器的 tcpdump 输出：

      语法

      gzip OUTPUT_FILE_PATH

      示例

      [root@igw ~]# gzip /tmp/igw-eth0-tcpdump.pcap

6. 收集 VMware ESXi 环境的其他信息：

   [root@esx:~]# esxcli iscsi session list > /tmp/esxcli_iscsi_session_list.txt
   [root@esx:~]# esxcli iscsi session connection list > /tmp/esxcli_iscsi_session_connection_list.txt

   1. 列出并收集每个 iSCSI 磁盘的更多信息：

      语法

      esxcli storage nmp path list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_nmp_path_list.txt

      示例

      [root@esx:~]# esxcli storage nmp device list
      [root@esx:~]# esxcli storage nmp path list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_nmp_path_list.txt
      [root@esx:~]# esxcli storage core device list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_core_device_list.txt

流程

1. 启用等待任务转储，并将其写入文件中：

   [root@igw ~]# dmesg -c ; echo w > /proc/sysrq-trigger ; dmesg -c > /tmp/waiting-tasks.txt

2. 查看等待以下消息的任务列表：

   • iscsit_tpg_disable_portal_group
   • core_tmr_abort_task
   • transport_generic_free_cmd

   如果这些消息显示在等待的任务列表中，则表示 tcmu-runner 服务出现了某种错误。或许 tcmu-runner 服务没有正确重启，或者 tcmu-runner 服务已崩溃。

3. 验证 tcmu-runner 服务是否正在运行：

   [root@igw ~]# systemctl status tcmu-runner

   1. 如果 tcmu-runner 服务没有运行，在重启 tcmu-runner 服务前停止 rbd-target-gw 服务：

      [root@igw ~]# systemctl stop rbd-target-gw
      [root@igw ~]# systemctl stop tcmu-runner
      [root@igw ~]# systemctl start tcmu-runner
      [root@igw ~]# systemctl start rbd-target-gw

      重要

      首先停止 Ceph iSCSI 网关可防止 IO 在 tcmu-runner 服务停机时卡住。

   2. 如果 tcmu-runner 服务正在运行，这可能是一个新程序错误。创建一个新的红帽支持问题单。

要排除这个问题，请执行以下操作

1. 检查是否有可能在等待的任务中可能要处理一些事情。
2. 检查 Red Hat Ceph Storage 集群的运行状况。
3. 从路径中的每个设备从 Ceph iSCSI 网关节点到 iSCSI 启动器节点收集系统信息。

要排除这个问题，请执行以下操作

1. 检查环境中是否存在网络中断。
2. 检查 Red Hat Ceph Storage 集群的运行状况。
3. 从路径中的每个设备从 Ceph iSCSI 网关节点到 iSCSI 启动器节点收集系统信息。

流程

1. 登录到 Cephadm shell：

   示例

   [root@host01 ~]# cephadm shell

2. 列出卡住 PG：

   示例

   [ceph: root@host01 /]# ceph pg dump_stuck inactive
   [ceph: root@host01 /]# ceph pg dump_stuck unclean
   [ceph: root@host01 /]# ceph pg dump_stuck stale

流程

1. 减少数据重新发布和恢复对单个 OSD 和 OSD 主机的影响：

   1. 降低 osd max backfills、osd_recovery_max_active 和 osd_recovery_op_priority 参数的值：

      [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 1 --osd_recovery_op_priority 1'

   2. 禁用浅刮除和深度刮除：

      [ceph: root@host01 /]# ceph osd set noscrub
      [ceph: root@host01 /]# ceph osd set nodeep-scrub

2. 使用 Ceph Placement Groups (PGs) per Pool Calculator 来计算 pg_num 和 pgp_num 参数的最佳值。

3. 以较小增量增加 pg_num 值，直到您达到所需的值。

   1. 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳的值取决于池大小、OSD 数和客户端 I/O 负载。

   2. 递增 pg_num 值：

      语法

      ceph osd pool set POOL pg_num VALUE

      指定池名称和新值，例如：

      示例

      [ceph: root@host01 /]# ceph osd pool set data pg_num 4

   3. 监控集群的状态：

      示例

      [ceph: root@host01 /]# ceph -s

      PGs 状态将从 creating 更改为 active+clean。等待所有 PG 都处于 active+clean 状态。

4. 以小增量增加 pgp_num 值，直到您达到所需的值：

   1. 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳的值取决于池大小、OSD 数和客户端 I/O 负载。

   2. 递增 pgp_num 值：

      语法

      ceph osd pool set POOL pgp_num VALUE

      指定池名称和新值，例如：

      [ceph: root@host01 /]# ceph osd pool set data pgp_num 4

   3. 监控集群的状态：

      [ceph: root@host01 /]# ceph -s

      PGs 状态将通过 peering、wait_backfill、回填、恢复 等来改变。等待所有 PG 都处于 active+clean 状态。

5. 对 PG 数量不足的所有池重复上述步骤。

6. 将 osd max backfills、osd_recovery_max_active 和 osd_recovery_op_priority 设置为默认值：

   [ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 3 --osd_recovery_op_priority 3'

7. 启用浅刮除和深度刮除：

   [ceph: root@host01 /]# ceph osd unset noscrub
   [ceph: root@host01 /]# ceph osd unset nodeep-scrub

流程

1. 禁用自动监控器部署：

   示例

   [ceph: root@host01 /]# ceph orch apply mon --unmanaged
   
   Scheduled mon update…

2. 查看仲裁中的监控器：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 5 daemons, quorum host01, host02, host04, host05 (age 30s), out of quorum: host07

3. 将仲裁中的监控器设置为一个新的 tiebreaker：

   语法

   ceph mon set_new_tiebreaker NEW_HOST

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host02

   重要

   如果监控器与现有非tiebreaker 监控器位于同一个位置，您会收到错误消息：

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host02
   
   Error EINVAL: mon.host02 has location DC1, which matches mons host02 on the datacenter dividing bucket for stretch mode.

   如果发生这种情况，请更改监控器的位置：

   语法

   ceph mon set_location HOST datacenter=DATACENTER

   示例

   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC3

4. 删除失败的 tiebreaker 监控器：

   语法

   ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force

   示例

   [ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force
   
   Removed mon.host07 from host 'host07'

5. 从主机移除 monitor 后，重新部署监控器：

   语法

   ceph mon add HOST IP_ADDRESS datacenter=DATACENTER
   ceph orch daemon add mon HOST

   示例

   [ceph: root@host01 /]# ceph mon add host07 213.222.226.50 datacenter=DC1
   [ceph: root@host01 /]# ceph orch daemon add mon host07

6. 确保仲裁中存在五个监控器：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 5 daemons, quorum host01, host02, host04, host05, host07 (age 15s)

7. 验证一切是否已正确配置：

   示例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host02
   disallowed_leaders host02
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host02; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host07; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host03; crush_location {datacenter=DC2}
   dumped monmap epoch 19

8. 重新部署 monitor：

   语法

   ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”

   示例

   [ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host07"
   
   Scheduled mon update...

流程

1. 在集群中添加新监控器：

   1. 手动将 crush_location 添加到新监控器中：

      语法

      ceph mon add NEW_HOST IP_ADDRESS datacenter=DATACENTER

      示例

      [ceph: root@host01 /]# ceph mon add host06 213.222.226.50 datacenter=DC3
      
      adding mon.host06 at [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0]

      注意

      新监控器必须位于与现有非tiebreaker 监视器不同的位置。

   2. 禁用自动监控器部署：

      示例

      [ceph: root@host01 /]# ceph orch apply mon --unmanaged
      
      Scheduled mon update…

   3. 部署新监控器：

      语法

      ceph orch daemon add mon NEW_HOST

      示例

      [ceph: root@host01 /]# ceph orch daemon add mon host06

2. 确保有 6 个监控器，其中 5 个处于仲裁状态：

   示例

   [ceph: root@host01 /]# ceph -s
   
   mon: 6 daemons, quorum host01, host02, host04, host05, host06 (age 30s), out of quorum: host07

3. 将新监控器设置为一个新的 tiebreaker：

   语法

   ceph mon set_new_tiebreaker NEW_HOST

   示例

   [ceph: root@host01 /]# ceph mon set_new_tiebreaker host06

4. 删除失败的 tiebreaker 监控器：

   语法

   ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force

   示例

   [ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force
   
   Removed mon.host07 from host 'host07'

5. 验证一切是否已正确配置：

   示例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host06
   disallowed_leaders host06
   0: [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0] mon.host06; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

6. 重新部署 monitor：

   语法

   ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”

   示例

   [ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host06"
   
   Scheduled mon update…

流程

1. 将扩展集群强制到恢复模式：

   示例

   [ceph: root@host01 /]#  ceph osd force_recovery_stretch_mode --yes-i-really-mean-it

   注意

   恢复状态会使集群处于 HEALTH_WARN 状态。

2. 在恢复模式中，在放置组健康后，集群应该恢复到正常扩展模式。如果没有发生这种情况，您可以将扩展集群强制进入健康模式：

   示例

   [ceph: root@host01 /]#  ceph osd force_healthy_stretch_mode --yes-i-really-mean-it

   注意

   如果您要在早期强制跨数据中心对等，且您要风险数据停机时间，或者您单独验证所有放置组都可以对等点，您也可以运行这个命令，即使它们没有被完全恢复。

   您可能还想调用健康状态模式来删除 HEALTH_WARN 状态，该状态由恢复状态生成。

   注意

   不应要求 force_recovery_stretch_mode 和 force_recovery_healthy_mode 命令，因为它们包含在管理未预期的情况的过程中。

流程

1. 在 红帽客户门户网站中创建一个支持问题单。
2. 理想情况下，请将 sosreport 附加到 ticket。有关详细信息，请参阅 什么是 sosreport 以及如何在 Red Hat Enterprise Linux? 解决方案中创建 sosreport。
3. 如果 Ceph 守护进程失败并显示分段错误，请考虑生成人类可读的核心转储文件。详情请参阅 生成可读的内核转储文件。