Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

11.3. 生成可读的核心转储文件

当 Ceph 守护进程意外终止分段错误时，请收集关于其故障的信息，并将其提供给红帽支持工程师。

此类信息可加快初步调查的速度。此外，支持工程师还可以将核心转储文件中的信息与红帽 Ceph 存储集群已知问题进行比较。

11.3.1. 先决条件
复制链接

  1. 安装 ceph-debuginfo 软件包（如果尚未安装）。

    1. 启用包含 ceph-debuginfo 软件包的存储库：

      Red Hat Enterprise Linux 7:

      subscription-manager repos --enable=rhel-7-server-rhceph-4-DAEMON-debug-rpms

      根据 Ceph 节点的类型，将 DAEMON 替换为 osd 或 mon。

      Red Hat Enterprise Linux 8:

      subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-debug-rpms

    2. 安装 ceph-debuginfo 软件包： 

      [root@mon ~]# yum install ceph-debuginfo

  2. 确定安装了 gdb 软件包，如果未安装，请安装它： 

    [root@mon ~]# yum install gdb

根据部署类型继续执行此步骤：

11.3.2. 在裸机部署中生成可读的核心转储文件
复制链接

如果您在裸机上使用 Red Hat Ceph Storage，请按照以下步骤生成核心转储文件。

流程

  1. 为 Ceph 生成核心转储文件。

    1. 通过在 /etc/systemd/system.conf 文件中添加以下参数，为 内核转储文件设置正确的 u limit： 

      DefaultLimitCORE=infinity

    2. 注释掉 Ceph 守护进程服务文件中的 PrivateTmp=true 参数，默认位于 /lib/systemd/system/CLUSTER_NAME-DAEMON@.service ： 

      [root@mon ~]# PrivateTmp=true

    3. 将 suid_dumpable 标志设置为 2，以允许 Ceph 守护进程生成转储核心文件： 

      [root@mon ~]# sysctl fs.suid_dumpable=2

    4. 调整内核转储文件位置： 

      [root@mon ~]# sysctl kernel.core_pattern=/tmp/core

    5. 通过在 [Coredump] 部分中添加以下行修改 /etc/systemd/coredump.conf 文件： 

      ProcessSizeMax=8G
ExternalSizeMax=8G
JournalSizeMax=8G

    6. 重新载入 systemd 服务以使更改生效： 

      [root@mon ~]# systemctl daemon-reload

    7. 重启 Ceph 守护进程使更改生效： 

      [root@mon ~]# systemctl restart ceph-DAEMON@ID

      指定守护进程类型（osd 或 mon）及其 ID（OSD 的数字，或 monitor 的短主机名），例如： 

      [root@mon ~]# systemctl restart ceph-osd@1
  2. 重现失败，例如尝试再次启动 守护进程。

  3. 使用 GNU Debugger(GDB)从应用程序核心转储文件中生成可读回追踪： 

    gdb /usr/bin/ceph-DAEMON /tmp/core.PID

    指定失败进程的守护进程类型和 PID，例如： 

    $ gdb /usr/bin/ceph-osd /tmp/core.123456

    在 GDB 命令提示中，输入设置 pag 并设置日志的命令来禁用分页并启用文件日志 ： 

    (gdb) set pag off
(gdb) set log on

    通过输入 bt full，将 backtrace 命令应用到进程的所有线程： 

    (gdb) thr a a bt full

    在生成回溯追踪后，输入 设置的 log off 来关闭 日志记录： 

    (gdb) set log off
  4. 将日志文件 gdb.txt 传输到您访问红帽客户门户的系统，并将其附加到支持票据。

如果您在容器中使用 Red Hat Ceph Storage，请按照以下步骤生成核心转储文件。该流程涉及捕获内核转储文件的两个场景：

  • 当 Ceph 进程因为 SIGILL、SIGTRAP、SIGABRT 或 SIGSEGV 错误而意外终止时。

或

  • 例如，用于调试 Ceph 进程等问题的手动消耗 CPU 周期较高，或者没有响应。

先决条件

  • 对运行 Ceph 容器的容器节点的根级别访问权限。
  • 安装适当的调试软件包。
  • 安装 GNU Project Debugger(gdb)软件包。

流程

  1. 如果 Ceph 进程因为 SIGILL、SIGTRAP、SIGABRT 或 SIGSEGV 错误意外终止：

    1. 在运行失败 Ceph 进程的容器的节点上，将内核模式设置为 systemd-coredump 服务，例如： 

      [root@mon]# echo "| /usr/lib/systemd/systemd-coredump %P %u %g %s %t %e" > /proc/sys/kernel/core_pattern

    2. 监视由于 Ceph 进程导致的下一个容器失败，并在 /var/lib/systemd/coredump/ 目录中搜索内核转储文件，例如： 

      [root@mon]# ls -ltr /var/lib/systemd/coredump
total 8232
-rw-r-----. 1 root root 8427548 Jan 22 19:24 core.ceph-osd.167.5ede29340b6c4fe4845147f847514c12.15622.1584573794000000.xz

  2. 为 Ceph 监控器和 Ceph Manager 手动捕获核心转储文件 ：

    1. 从容器中获取 Ceph 守护进程的 ceph-mon 软件包详情：

      Red Hat Enterprise Linux 7:

      [root@mon]# docker exec -it NAME /bin/bash
[root@mon]# rpm -qa | grep ceph

      Red Hat Enterprise Linux 8:

      [root@mon]# podman exec -it NAME /bin/bash
[root@mon]# rpm -qa | grep ceph

      将 NAME 替换为 Ceph 容器的名称。

    2. 创建备份副本并打开 以编辑 ceph-mon@.service 文件： 

      [root@mon]# cp /etc/systemd/system/ceph-mon@.service /etc/systemd/system/ceph-mon@.service.orig

    3. 在 ceph-mon@.service 文件中，将这三个选项添加到 [Service] 部分，每个选项位于单独的行上： 

      --pid=host \
--ipc=host \
--cap-add=SYS_PTRACE \

      示例

      [Unit]
Description=Ceph Monitor
After=docker.service

[Service]
EnvironmentFile=-/etc/environment
ExecStartPre=-/usr/bin/docker rm ceph-mon-%i
ExecStartPre=/bin/sh -c '"$(command -v mkdir)" -p /etc/ceph /var/lib/ceph/mon'
ExecStart=/usr/bin/docker run --rm --name ceph-mon-%i \
  --memory=924m \
--cpu-quota=100000 \
-v /var/lib/ceph:/var/lib/ceph:z \
  -v /etc/ceph:/etc/ceph:z \
  -v /var/run/ceph:/var/run/ceph:z \
-v /etc/localtime:/etc/localtime:ro \
--net=host \
--privileged=true \
--ipc=host \
      1 
      
--pid=host \
      2 
      
--cap-add=SYS_PTRACE \
      3 
      
-e IP_VERSION=4 \
        -e MON_IP=10.74.131.17 \
      -e CLUSTER=ceph \
  -e FSID=9448efca-b1a1-45a3-bf7b-b55cba696a6e \
  -e CEPH_PUBLIC_NETWORK=10.74.131.0/24 \
  -e CEPH_DAEMON=MON \
   \
  registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest
ExecStop=-/usr/bin/docker stop ceph-mon-%i
ExecStopPost=-/bin/rm -f /var/run/ceph/ceph-mon.pd-cephcontainer-mon01.asok
Restart=always
RestartSec=10s
TimeoutStartSec=120
TimeoutStopSec=15

[Install]
WantedBy=multi-user.target

    4. 重启 Ceph 监控守护进程：

      语法

      systemctl restart ceph-mon@MONITOR_ID

      将 MONITOR_ID 替换为 Ceph monitor 的 ID 号。

      示例

      [root@mon]# systemctl restart ceph-mon@1

    5. 在 Ceph 监控容器中安装 gdb 软件包：

      Red Hat Enterprise Linux 7:

      [root@mon]# docker exec -it ceph-mon-MONITOR_ID /bin/bash
sh $ yum install gdb

      Red Hat Enterprise Linux 8:

      [root@mon]# podman exec -it ceph-mon-MONITOR_ID /bin/bash
sh $ yum install gdb

      将 MONITOR_ID 替换为 Ceph monitor 的 ID 号。

    6. 查找进程 ID：

      语法

      ps -aef | grep PROCESS | grep -v run

      将 PROCESS 替换为失败进程的名称，如 ceph-mon。

      示例

      [root@mon]# ps -aef | grep ceph-mon | grep -v run
ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 5
ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 2

    7. 生成内核转储文件：

      语法

      gcore ID

      将 ID 替换为您在上一步中获取的失败进程的 ID，例如 18110 ：

      示例

      [root@mon]# gcore 18110
warning: target file /proc/18110/cmdline contained unexpected null characters
Saved corefile core.18110

    8. 验证核心转储文件是否已正确生成。

      示例

      [root@mon]# ls -ltr
total 709772
-rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110

    9. 在 Ceph 监控容器外部复制内核转储文件：

      Red Hat Enterprise Linux 7:

      [root@mon]# docker cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      Red Hat Enterprise Linux 8:

      [root@mon]# podman cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      将 MONITOR_ID 替换为 Ceph monitor 的 ID 号，并将 MONITOR_PID 替换为进程 ID 号。

    10. 恢复 ceph-mon@.service 文件的备份副本： 

      [root@mon]# cp /etc/systemd/system/ceph-mon@.service.orig /etc/systemd/system/ceph-mon@.service

    11. 重启 Ceph 监控守护进程：

      语法

      systemctl restart ceph-mon@MONITOR_ID

      将 MONITOR_ID 替换为 Ceph monitor 的 ID 号。

      示例

      [root@mon]# systemctl restart ceph-mon@1

    12. 上传内核转储文件以获取红帽支持分析，请参阅第 4 步。

  3. 为 Ceph OSD 手动捕获核心转储文件：

    1. 从容器中获取 Ceph 守护进程的 ceph-osd 软件包详情：

      Red Hat Enterprise Linux 7:

      [root@osd]# docker exec -it NAME /bin/bash
[root@osd]# rpm -qa | grep ceph

      Red Hat Enterprise Linux 8:

      [root@osd]# podman exec -it NAME /bin/bash
[root@osd]# rpm -qa | grep ceph

      将 NAME 替换为 Ceph 容器的名称。

    2. 在运行 Ceph 容器的节点中，为同一版本的 ceph-osd 软件包安装 Ceph 软件包：

      Red Hat Enterprise Linux 7:

      [root@osd]# yum install ceph-osd

      Red Hat Enterprise Linux 8:

      [root@osd]# dnf install ceph-osd

      如果需要，请先启用适当的存储库。详情请参阅《安装指南 》中的启用红帽 Ceph 存储存储库 一节。

    3. 查找失败的进程的 ID： 

      ps -aef | grep PROCESS | grep -v run

      将 PROCESS 替换为失败进程的名称，如 ceph-osd。 

      [root@osd]# ps -aef | grep ceph-osd | grep -v run
ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-osd --cluster ceph --setroot ceph --setgroup ceph -d -i 5
ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-osd --cluster ceph --setroot ceph --setgroup ceph -d -i 2

    4. 生成内核转储文件： 

      gcore ID

      将 ID 替换为您在上一步中获取的失败进程的 ID，例如 18110 ： 

      [root@osd]# gcore 18110
warning: target file /proc/18110/cmdline contained unexpected null characters
Saved corefile core.18110

    5. 验证核心转储文件是否已正确生成。 

      [root@osd]# ls -ltr
total 709772
-rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110
    6. 上传内核转储文件供红帽支持分析，请参见下一步。
  4. 将核心转储文件上传至红帽支持问题单中。详情请参阅向红帽支持工程师提供信息。

11.3.4. 其它资源
复制链接

Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2026 Red Hat返回顶部