第 4 章 监控器故障排除

一个或多个 monitor 标记为 down，但其他 monitor 仍然能够形成仲裁。另外，ceph health detail 命令返回类似如下的错误消息：

HEALTH_WARN 1 mons down, quorum 1,2 mon.b,mon.c
mon.a (rank 0) addr 127.0.0.1:6789/0 is down (out of quorum)

此 Means 是什么

Ceph 由于各种原因将 monitor 标记为 down。

如果 ceph-mon 守护进程没有运行，它可能会有损坏的存储或者其它错误阻止守护进程启动。另外，/var/ 分区可能已满。因此，ceph-mon 无法对默认位于 /var/lib/ceph/mon-<short-host-name>/store.db 的存储执行任何操作，并终止。

如果 ceph-mon 守护进程正在运行，但 monitor 没有仲裁并标记为 down，问题的原因取决于 monitor 状态：

要排除这个问题，请执行以下操作

ceph-mon 守护进程无法启动

ceph-mon Daemon 运行，但 Still Marked 作为 down

另请参阅

Ceph 监控器没有仲裁，ceph health detail 命令输出包含类似如下的错误消息：

mon.a (rank 0) addr 127.0.0.1:6789/0 is down (out of quorum)
mon.a addr 127.0.0.1:6789/0 clock skew 0.08235s > max 0.05s (latency 0.0045s)

此外，Ceph 日志包含类似如下的错误消息：

2015-06-04 07:28:32.035795 7f806062e700 0 log [WRN] : mon.a 127.0.0.1:6789/0 clock skew 0.14s > max 0.05s
2015-06-04 04:31:25.773235 7f4997663700 0 log [WRN] : message from mon.1 was stamped 0.186257s in the future, clocks not synchronized

此 Means 是什么

clock skew 错误消息表示 monitor 的时钟没有同步。时钟同步很重要，因为 monitor 依赖于时间精度，如果时钟不同步，则行为不可预测。

mon_clock_drift_allowed 参数决定时钟之间的差别是容许的。默认情况下，此参数设置为 0.05 秒。

clock skew 错误的原因可能包括网络问题或者网络时间协议(NTP)同步问题（如果已配置）。此外，时间同步无法在虚拟机上部署的 monitor 上正常工作。

要排除这个问题，请执行以下操作

另请参阅

ceph health 命令返回类似如下的错误消息：

mon.ceph1 store is getting too big! 48031 MB >= 15360 MB -- 62% avail

此 Means 是什么

Ceph 监控存储实际上是一个 LevelDB 数据库，将条目存储为键值对。数据库包含一个集群映射，默认位于 /var/lib/ceph/mon/<cluster-name>-<short-host-name>/store.db。

查询大型 monitor 存储可能需要时间。因此，在响应客户端查询时可能会延迟 monitor。

另外，如果 /var/ 分区已满，monitor 无法对存储执行任何写入操作并终止。有关此问题故障排除的详情，请查看 第 4.1.1 节 “Quorum 以外的 monitor”。

要排除这个问题，请执行以下操作

另请参阅

mon_status 命令返回有关 monitor 的信息，例如：

如果 monitor 能够形成仲裁，请在 ceph 命令行工具中使用 mon_status。

如果 monitor 无法形成仲裁，但 ceph-mon 守护进程正在运行，请使用管理套接字来执行 mon_status。详情请参阅《红帽 Ceph 存储 3 管理指南 》中的"使用管理套接字 "一节。

{
    "name": "mon.3",
    "rank": 2,
    "state": "peon",
    "election_epoch": 96,
    "quorum": [
        1,
        2
    ],
    "outside_quorum": [],
    "extra_probe_peers": [],
    "sync_provider": [],
    "monmap": {
        "epoch": 1,
        "fsid": "d5552d32-9d1d-436c-8db1-ab5fc2c63cd0",
        "modified": "0.000000",
        "created": "0.000000",
        "mons": [
            {
                "rank": 0,
                "name": "mon.1",
                "addr": "172.25.1.10:6789\/0"
            },
            {
                "rank": 1,
                "name": "mon.2",
                "addr": "172.25.1.12:6789\/0"
            },
            {
                "rank": 2,
                "name": "mon.3",
                "addr": "172.25.1.13:6789\/0"
            }
        ]
    }
}

monitor 状态