10.2. 判読可能なコアダンプファイルの生成

手順

1. SIGILL、SIGTRAP、SIGABRT、または SIGSEGV エラーにより、Ceph プロセスが予期せず終了した場合。

   1. 障害の発生した Ceph プロセスのあるコンテナーが実行しているノードの systemd-coredump サービスにコアパターンを設定します。

      例

      [root@mon]# echo "| /usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e" > /proc/sys/kernel/core_pattern

      Copy to Clipboard Toggle word wrap

   2. Ceph プロセスが原因でコンテナーに関する次の障害の有無を確認し、/var/lib/systemd/coredump/ ディレクトリーでコアダンプファイルを検索します。

      例

      [root@mon]# ls -ltr /var/lib/systemd/coredump
      total 8232
      -rw-r-----. 1 root root 8427548 Jan 22 19:24 core.ceph-osd.167.5ede29340b6c4fe4845147f847514c12.15622.1584573794000000.xz

      Copy to Clipboard Toggle word wrap

2. Ceph OSD および Ceph Monitors のコアダンプファイルを手動でキャプチャーするには、以下を実行します。

   1. MONITOR_ID または OSD_ID を取得して、コンテナーを入力します。

      構文

      podman ps
      podman exec -it MONITOR_ID_OR_OSD_ID bash

      Copy to Clipboard Toggle word wrap

      例

      [root@host01 ~]# podman ps
      [root@host01 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-osd-2 bash

      Copy to Clipboard Toggle word wrap

   2. procps-ng パッケージおよび gdb パッケージをコンテナーにインストールします。

      例

      [root@host01 ~]# dnf install procps-ng gdb

      Copy to Clipboard Toggle word wrap

   3. プロセス ID を検索します。

      構文

      ps -aef | grep PROCESS | grep -v run

      Copy to Clipboard Toggle word wrap

      PROCESS は、実行中のプロセスの名前に置き換えます (例: ceph-mon または ceph-osd)。

      例

      [root@host01 ~]# ps -aef | grep ceph-mon | grep -v run
      ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 5
      ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 2

      Copy to Clipboard Toggle word wrap

   4. コアダンプファイルを生成します。

      構文

      gcore ID

      Copy to Clipboard Toggle word wrap

      ID を、前の手順で取得したプロセスの ID に置き換えます (例: 18110)。

      例

      [root@host01 ~]# gcore 18110
      warning: target file /proc/18110/cmdline contained unexpected null characters
      Saved corefile core.18110

      Copy to Clipboard Toggle word wrap

   5. コアダンプファイルが正しく生成されていることを確認します。

      例

      [root@host01 ~]# ls -ltr
      total 709772
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110

      Copy to Clipboard Toggle word wrap

   6. Ceph Monitor コンテナー外部でコアダンプファイルをコピーします。

      構文

      podman cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      Copy to Clipboard Toggle word wrap

      MONITOR_ID を Ceph Monitor の ID 番号に置き換え、MONITOR_PID をプロセス ID 番号に置き換えます。

3. 他の Ceph デーモンのコアダンプファイルを手動でキャプチャーするには、以下を実行します。

   1. cephadm シェルにログインします。

      例

      [root@host03 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   2. デーモンの ptrace を有効にします。

      例

      [ceph: root@host01 /]# ceph config set mgr mgr/cephadm/allow_ptrace true

      Copy to Clipboard Toggle word wrap

   3. デーモンサービスを再デプロイします。

      構文

      ceph orch redeploy SERVICE_ID

      Copy to Clipboard Toggle word wrap

      例

      [ceph: root@host01 /]# ceph orch redeploy mgr
      [ceph: root@host01 /]# ceph orch redeploy rgw.rgw.1

      Copy to Clipboard Toggle word wrap

   4. cephadm shell を終了し、デーモンがデプロイされているホストにログインします。

      例

      [ceph: root@host01 /]# exit
      [root@host01 ~]# ssh root@10.0.0.11

      Copy to Clipboard Toggle word wrap

   5. DAEMON_ID を取得して、コンテナーを入力します。

      例

      [root@host04 ~]# podman ps
      [root@host04 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-rgw-rgw-1-host04 bash

      Copy to Clipboard Toggle word wrap

   6. procps-ng パッケージおよび gdb パッケージをインストールします。

      例

      [root@host04 /]# dnf install procps-ng gdb

      Copy to Clipboard Toggle word wrap

   7. プロセスの PID を取得します。

      例

      [root@host04 /]# ps aux | grep rados
      ceph           6  0.3  2.8 5334140 109052 ?      Sl   May10   5:25 /usr/bin/radosgw -n client.rgw.rgw.1.host04 -f --setuser ceph --setgroup ceph --default-log-to-file=false --default-log-to-stderr=true --default-log-stderr-prefix=debug

      Copy to Clipboard Toggle word wrap

   8. コアダンプを収集します。

      構文

      gcore PID

      Copy to Clipboard Toggle word wrap

      例

      [root@host04 /]# gcore 6

      Copy to Clipboard Toggle word wrap

   9. コアダンプファイルが正しく生成されていることを確認します。

      例

      [root@host04 /]# ls -ltr
      total 108798
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.6

      Copy to Clipboard Toggle word wrap

   10. コンテナー外でコアダンプファイルをコピーします。

       構文

       podman cp ceph-mon-DAEMON_ID:/tmp/mon.core.PID /tmp

       Copy to Clipboard Toggle word wrap

       DAEMON_ID は Ceph デーモンの ID 番号に、PID はプロセス ID 番号に置き換えます。

4. systemd-coredump が クラッシュした ceph デーモンのコアダンプを正常に保存できるようにするには、次の手順を実行します。

   1. /etc/systemd/system.conf で DefaultLimitCORE を無限大 に設定して、クラッシュしたプロセスのコアダンプ収集を許可します。

      構文

      # cat /etc/systemd/system.conf
      
      DefaultLimitCORE=infinity

      Copy to Clipboard Toggle word wrap

   2. systemd またはノードを再起動して、更新された systemd 設定を適用します。

      構文

      # sudo systemctl daemon-reexec

      Copy to Clipboard Toggle word wrap

   3. 以前のデーモンのクラッシュに関連するコアダンプファイルを確認します。

      構文

      # ls -ltr /var/lib/systemd/coredump/

      Copy to Clipboard Toggle word wrap

5. Red Hat サポートケースに分析用のコアダンプファイルをアップロードします。詳細は、Red Hat サポートエンジニアへの情報の提供 を参照してください。