10.2. 읽을 수 있는 코어 덤프 파일 생성

절차

1. SIGILL, SIGTRAP, SIGABRT 또는 SIGSEGV 오류로 인해 Ceph 프로세스가 예기치 않게 종료되면 다음을 수행합니다.

   1. 오류가 발생한 Ceph 프로세스가 실행 중인 노드에서 코어 패턴을 systemd-coredump 서비스로 설정합니다.

      예제

      [root@mon]# echo "| /usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e" > /proc/sys/kernel/core_pattern

      Copy to Clipboard Toggle word wrap

   2. Ceph 프로세스로 인해 다음 컨테이너 실패를 조사하고 /var/lib/systemd/coredump/ 디렉토리에서 코어 덤프 파일을 검색합니다.

      예제

      [root@mon]# ls -ltr /var/lib/systemd/coredump
      total 8232
      -rw-r-----. 1 root root 8427548 Jan 22 19:24 core.ceph-osd.167.5ede29340b6c4fe4845147f847514c12.15622.1584573794000000.xz

      Copy to Clipboard Toggle word wrap

2. Ceph Monitors 및 Ceph OSD 의 코어 덤프 파일을 수동으로 캡처하려면 다음을 수행합니다.

   1. MONITOR_ID 또는 OSD_ID 를 가져와서 컨테이너를 입력합니다.

      구문

      podman ps
      podman exec -it MONITOR_ID_OR_OSD_ID bash

      Copy to Clipboard Toggle word wrap

      예제

      [root@host01 ~]# podman ps
      [root@host01 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-osd-2 bash

      Copy to Clipboard Toggle word wrap

   2. 컨테이너 내부에 procps-ng 및 gdb 패키지를 설치합니다.

      예제

      [root@host01 ~]# dnf install procps-ng gdb

      Copy to Clipboard Toggle word wrap

   3. 프로세스 ID를 찾습니다.

      구문

      ps -aef | grep PROCESS | grep -v run

      Copy to Clipboard Toggle word wrap

      PROCESS 를 실행 중인 프로세스의 이름으로 교체합니다(예: ceph-mon 또는 ceph-osd ).

      예제

      [root@host01 ~]# ps -aef | grep ceph-mon | grep -v run
      ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 5
      ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 2

      Copy to Clipboard Toggle word wrap

   4. 코어 덤프 파일을 생성합니다.

      구문

      gcore ID

      Copy to Clipboard Toggle word wrap

      ID 를 이전 단계에서 얻은 프로세스의 ID로 바꿉니다(예: 18110 ).

      예제

      [root@host01 ~]# gcore 18110
      warning: target file /proc/18110/cmdline contained unexpected null characters
      Saved corefile core.18110

      Copy to Clipboard Toggle word wrap

   5. 코어 덤프 파일이 올바르게 생성되었는지 확인합니다.

      예제

      [root@host01 ~]# ls -ltr
      total 709772
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110

      Copy to Clipboard Toggle word wrap

   6. Ceph Monitor 컨테이너 외부에서 코어 덤프 파일을 복사합니다.

      구문

      podman cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      Copy to Clipboard Toggle word wrap

      MONITOR_ID 를 Ceph Monitor의 ID 번호로 바꾸고 MONITOR_PID 를 프로세스 ID 번호로 교체합니다.

3. 다른 Ceph 데몬의 코어 덤프 파일을 수동으로 캡처하려면 다음을 수행합니다.

   1. cephadm 쉘에 로그인합니다.

      예제

      [root@host03 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   2. 데몬에 ptrace 를 활성화합니다.

      예제

      [ceph: root@host01 /]# ceph config set mgr mgr/cephadm/allow_ptrace true

      Copy to Clipboard Toggle word wrap

   3. 데몬 서비스를 재배포합니다.

      구문

      ceph orch redeploy SERVICE_ID

      Copy to Clipboard Toggle word wrap

      예제

      [ceph: root@host01 /]# ceph orch redeploy mgr
      [ceph: root@host01 /]# ceph orch redeploy rgw.rgw.1

      Copy to Clipboard Toggle word wrap

   4. cephadm 쉘 을 종료하고 데몬이 배포된 호스트에 로그인합니다.

      예제

      [ceph: root@host01 /]# exit
      [root@host01 ~]# ssh root@10.0.0.11

      Copy to Clipboard Toggle word wrap

   5. DAEMON_ID 를 가져와서 컨테이너를 입력합니다.

      예제

      [root@host04 ~]# podman ps
      [root@host04 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-rgw-rgw-1-host04 bash

      Copy to Clipboard Toggle word wrap

   6. procps-ng 및 gdb 패키지를 설치합니다.

      예제

      [root@host04 /]# dnf install procps-ng gdb

      Copy to Clipboard Toggle word wrap

   7. 프로세스의 PID를 가져옵니다.

      예제

      [root@host04 /]# ps aux | grep rados
      ceph           6  0.3  2.8 5334140 109052 ?      Sl   May10   5:25 /usr/bin/radosgw -n client.rgw.rgw.1.host04 -f --setuser ceph --setgroup ceph --default-log-to-file=false --default-log-to-stderr=true --default-log-stderr-prefix=debug

      Copy to Clipboard Toggle word wrap

   8. 코어 덤프 수집:

      구문

      gcore PID

      Copy to Clipboard Toggle word wrap

      예제

      [root@host04 /]# gcore 6

      Copy to Clipboard Toggle word wrap

   9. 코어 덤프 파일이 올바르게 생성되었는지 확인합니다.

      예제

      [root@host04 /]# ls -ltr
      total 108798
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.6

      Copy to Clipboard Toggle word wrap

   10. 컨테이너 외부에서 코어 덤프 파일을 복사합니다.

       구문

       podman cp ceph-mon-DAEMON_ID:/tmp/mon.core.PID /tmp

       Copy to Clipboard Toggle word wrap

       DAEMON_ID 를 Ceph 데몬의 ID 번호로 바꾸고 PID 를 프로세스 ID 번호로 바꿉니다.

4. systemd-coredump 가 충돌된 ceph 데몬의 코어 덤프를 성공적으로 저장할 수 있도록 하려면 다음을 수행합니다.

   1. 충돌된 프로세스의 코어 덤프 컬렉션을 허용하려면 DefaultLimitCORE 를 /etc/systemd/system.conf 에서 무한 으로 설정합니다.

      구문

      # cat /etc/systemd/system.conf
      
      DefaultLimitCORE=infinity

      Copy to Clipboard Toggle word wrap

   2. systemd 또는 노드를 다시 시작하여 업데이트된 systemd 설정을 적용합니다.

      구문

      # sudo systemctl daemon-reexec

      Copy to Clipboard Toggle word wrap

   3. 이전 데몬과 관련된 코어 덤프 파일이 충돌하는지 확인합니다.

      구문

      # ls -ltr /var/lib/systemd/coredump/

      Copy to Clipboard Toggle word wrap

5. 분석을 위해 코어 덤프 파일을 Red Hat 지원 케이스에 업로드합니다. 자세한 내용은 Red Hat 지원 엔지니어에게 정보 제공 에서 참조하십시오.