第 2 章 配置日志记录
本章论述了如何为各种 Ceph 子系统配置日志记录。
日志记录是资源密集型的。另外,详细日志记录可以在相对短时间内生成大量数据。如果您在集群的特定子系统中遇到问题,请仅启用该子系统的日志记录。请参阅 第 2.1 节 “Ceph 子系统” 了解更多信息。
另外,请考虑设置日志文件轮转。详情请查看 第 2.4 节 “加速日志轮转”。
在遇到的所有问题都被修复后,将子系统日志和内存级别更改为默认值。有关所有 Ceph 子系统及其默认值的列表,请参阅 附录 A, Ceph 子系统默认日志记录级别值。
您可以通过以下方法配置 Ceph 日志记录:
-
在运行时使用
ceph
命令.这是最常见的方法。详情请查看 第 2.2 节 “在运行时配置日志记录”。 - 更新 Ceph 配置文件。如果您在启动集群时遇到问题,请使用这种方法。详情请查看 第 2.3 节 “在配置文件中配置日志”。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
2.1. Ceph 子系统
本节包含有关 Ceph 子系统及其日志记录级别的信息。
了解 Ceph 子系统及其日志记录级别
Ceph 由多个子系统组成。
每个子系统都有一个日志级别:
-
输出日志默认存储在
/var/log/ceph/CLUSTER_FSID/
目录(日志级别) - 存储在内存缓存中的日志(内存级别)
通常,Ceph 不会将内存中存储的日志发送到输出日志,除非:
- 引发致命信号
- 触发源代码中的 assert
- 您请求它
您可以为每个子系统设置不同的值。Ceph 日志级别在 1
到 20
范围内运行,其中 1
最简洁,20
最详细。
对日志级别和内存级别使用单个值,以将它们都设置为相同的值。例如,debug_osd = 5
将 ceph-osd
守护进程的 debug 级别设置为 5
。
要将不同的值用于输出日志级别和内存级别,请使用正斜杠(/
)分隔它们的值。例如,debug_mon = 1/5
将 ceph-mon
守护进程的 debug 日志级别设置为 1
,并将其内存日志级别设置为 5
。
子系统 | 日志级别 | 内存级别 | 描述 |
---|---|---|---|
| 1 | 5 | 管理套接字 |
| 1 | 5 | 身份验证 |
| 0 | 5 |
使用 |
| 1 | 5 | BlueStore OSD 后端 |
| 1 | 5 | OSD 日志 |
| 1 | 5 | 元数据服务器 |
| 0 | 5 | Monitor 客户端处理大多数 Ceph 守护进程和 monitor 之间的通信 |
| 1 | 5 | Monitors |
| 0 | 5 | Ceph 组件之间的消息传递系统 |
| 0 | 5 | OSD 守护进程 |
| 0 | 5 | Monitor 用来建立共识的算法 |
| 0 | 5 | 可靠的自主分布式对象存储,Ceph 的核心组件 |
| 0 | 5 | Ceph 块设备 |
| 1 | 5 | Ceph 对象网关 |
日志输出示例
下例演示了当您提高 monitor 和 OSD 的详细程度时,日志中的消息类型。
监控调试设置
debug_ms = 5 debug_mon = 20 debug_paxos = 20 debug_auth = 20
Monitor Debug 设置的日志输出示例
2022-05-12 12:37:04.278761 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 e322: 2 osds: 2 up, 2 in 2022-05-12 12:37:04.278792 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 min_last_epoch_clean 322 2022-05-12 12:37:04.278795 7f45a9afc700 10 mon.cephn2@0(leader).log v1010106 log 2022-05-12 12:37:04.278799 7f45a9afc700 10 mon.cephn2@0(leader).auth v2877 auth 2022-05-12 12:37:04.278811 7f45a9afc700 20 mon.cephn2@0(leader) e1 sync_trim_providers 2022-05-12 12:37:09.278914 7f45a9afc700 11 mon.cephn2@0(leader) e1 tick 2022-05-12 12:37:09.278949 7f45a9afc700 10 mon.cephn2@0(leader).pg v8126 v8126: 64 pgs: 64 active+clean; 60168 kB data, 172 MB used, 20285 MB / 20457 MB avail 2022-05-12 12:37:09.278975 7f45a9afc700 10 mon.cephn2@0(leader).paxosservice(pgmap 7511..8126) maybe_trim trim_to 7626 would only trim 115 < paxos_service_trim_min 250 2022-05-12 12:37:09.278982 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 e322: 2 osds: 2 up, 2 in 2022-05-12 12:37:09.278989 7f45a9afc700 5 mon.cephn2@0(leader).paxos(paxos active c 1028850..1029466) is_readable = 1 - now=2021-08-12 12:37:09.278990 lease_expire=0.000000 has v0 lc 1029466 .... 2022-05-12 12:59:18.769963 7f45a92fb700 1 -- 192.168.0.112:6789/0 <== osd.1 192.168.0.114:6800/2801 5724 ==== pg_stats(0 pgs tid 3045 v 0) v1 ==== 124+0+0 (2380105412 0 0) 0x5d96300 con 0x4d5bf40 2022-05-12 12:59:18.770053 7f45a92fb700 1 -- 192.168.0.112:6789/0 --> 192.168.0.114:6800/2801 -- pg_stats_ack(0 pgs tid 3045) v1 -- ?+0 0x550ae00 con 0x4d5bf40 2022-05-12 12:59:32.916397 7f45a9afc700 0 mon.cephn2@0(leader).data_health(1) update_stats avail 53% total 1951 MB, used 780 MB, avail 1053 MB .... 2022-05-12 13:01:05.256263 7f45a92fb700 1 -- 192.168.0.112:6789/0 --> 192.168.0.113:6800/2410 -- mon_subscribe_ack(300s) v1 -- ?+0 0x4f283c0 con 0x4d5b440
OSD 调试设置
debug_ms = 5 debug_osd = 20
OSD 调试设置的日志输出示例
2022-05-12 11:27:53.869151 7f5d55d84700 1 -- 192.168.17.3:0/2410 --> 192.168.17.4:6801/2801 -- osd_ping(ping e322 stamp 2021-08-12 11:27:53.869147) v2 -- ?+0 0x63baa00 con 0x578dee0 2022-05-12 11:27:53.869214 7f5d55d84700 1 -- 192.168.17.3:0/2410 --> 192.168.0.114:6801/2801 -- osd_ping(ping e322 stamp 2021-08-12 11:27:53.869147) v2 -- ?+0 0x638f200 con 0x578e040 2022-05-12 11:27:53.870215 7f5d6359f700 1 -- 192.168.17.3:0/2410 <== osd.1 192.168.0.114:6801/2801 109210 ==== osd_ping(ping_reply e322 stamp 2021-08-12 11:27:53.869147) v2 ==== 47+0+0 (261193640 0 0) 0x63c1a00 con 0x578e040 2022-05-12 11:27:53.870698 7f5d6359f700 1 -- 192.168.17.3:0/2410 <== osd.1 192.168.17.4:6801/2801 109210 ==== osd_ping(ping_reply e322 stamp 2021-08-12 11:27:53.869147) v2 ==== 47+0+0 (261193640 0 0) 0x6313200 con 0x578dee0 .... 2022-05-12 11:28:10.432313 7f5d6e71f700 5 osd.0 322 tick 2022-05-12 11:28:10.432375 7f5d6e71f700 20 osd.0 322 scrub_random_backoff lost coin flip, randomly backing off 2022-05-12 11:28:10.432381 7f5d6e71f700 10 osd.0 322 do_waiters -- start 2022-05-12 11:28:10.432383 7f5d6e71f700 10 osd.0 322 do_waiters -- finish
其它资源