11.3. 判読可能なコアダンプファイルの生成

1. ceph-debuginfo パッケージがインストールされていない場合はインストールします。

   1. ceph-debuginfo パッケージを含むリポジトリーを有効にします。

      Red Hat Enterprise Linux 7:

      subscription-manager repos --enable=rhel-7-server-rhceph-4-DAEMON-debug-rpms

      Copy to Clipboard Toggle word wrap

      Ceph ノードの種別に応じて、DAEMON を osd または mon に置き換えます。

      Red Hat Enterprise Linux 8:

      subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-debug-rpms

      Copy to Clipboard Toggle word wrap

   2. ceph-debuginfo パッケージをインストールします。

      [root@mon ~]# yum install ceph-debuginfo

      Copy to Clipboard Toggle word wrap

2. gdb パッケージがインストールされていることを確認します。インストールされていない場合は、インストールします。

   [root@mon ~]# yum install gdb

   Copy to Clipboard Toggle word wrap

手順

1. Ceph のコアダンプファイルの生成を有効にします。

   1. /etc/systemd/system.conf ファイルに以下のパラメーターを追加して、コアダンプファイルに適切な ulimits を設定します。

      DefaultLimitCORE=infinity

      Copy to Clipboard Toggle word wrap

   2. デフォルトでは、/lib/systemd/system/CLUSTER_NAME-DAEMON@.service にある Ceph デーモンサービスファイルの PrivateTmp=true パラメーターをコメントアウトします。

      [root@mon ~]# PrivateTmp=true

      Copy to Clipboard Toggle word wrap

   3. suid_dumpable フラグを 2 に設定して、Ceph デーモンがダンプコアファイルを生成できるようにします。

      [root@mon ~]# sysctl fs.suid_dumpable=2

      Copy to Clipboard Toggle word wrap

   4. コアダンプファイルの場所を調整します。

      [root@mon ~]# sysctl kernel.core_pattern=/tmp/core

      Copy to Clipboard Toggle word wrap

   5. セクション [Coredump] の下に次の行を追加して、/ etc/systemd/coredump.conf ファイルを変更します。

      ProcessSizeMax=8G
      ExternalSizeMax=8G
      JournalSizeMax=8G

      Copy to Clipboard Toggle word wrap

   6. systemd サービスを再読み込みし、変更を反映します。

      [root@mon ~]# systemctl daemon-reload

      Copy to Clipboard Toggle word wrap

   7. 変更を反映するために、Ceph デーモンを再起動します。

      [root@mon ~]# systemctl restart ceph-DAEMON@ID

      Copy to Clipboard Toggle word wrap

      デーモンタイプ (osd または mon) とその ID (OSD の場合は数値、または Monitors の短縮ホスト名) を指定します。以下に例を示します。

      [root@mon ~]# systemctl restart ceph-osd@1

      Copy to Clipboard Toggle word wrap
2. デーモンを再度起動するなど、障害を再現します。

3. GNU Debugger (GDB) を使用して、アプリケーションのコアダンプファイルから判読可能なバックトレースを生成します。

   gdb /usr/bin/ceph-DAEMON /tmp/core.PID

   Copy to Clipboard Toggle word wrap

   以下のように、デーモンのタイプと失敗したプロセスの PID を指定します。

   $ gdb /usr/bin/ceph-osd /tmp/core.123456

   Copy to Clipboard Toggle word wrap

   GDB コマンドプロンプトで set pag off 子マンとおよび set log on コマンドを入力し、ページングを無効にし、ファイルへのロギングを有効にします。

   (gdb) set pag off
   (gdb) set log on

   Copy to Clipboard Toggle word wrap

   backtrace を入力して、thr a a bt full コマンドをプロセスのすべてのスレッドに適用します。

   (gdb) thr a a bt full

   Copy to Clipboard Toggle word wrap

   バックトレースが生成されたら、set log off を入力して電源をオフにします。

   (gdb) set log off

   Copy to Clipboard Toggle word wrap
4. Red Hat カスタマーポータルにアクセスするシステムに gdb.txt ログファイルを転送して、サポートチケットにアタッチします。

手順

1. SIGILL、SIGTRAP、SIGABRT、または SIGSEGV エラーにより、Ceph プロセスが予期せず終了した場合。

   1. 障害の発生した Ceph プロセスのあるコンテナーが実行しているノードの systemd-coredump サービスにコアパターンを設定します。以下に例を示します。

      [root@mon]# echo "| /usr/lib/systemd/systemd-coredump %P %u %g %s %t %e" > /proc/sys/kernel/core_pattern

      Copy to Clipboard Toggle word wrap

   2. Ceph プロセスが原因でコンテナーに関する次の障害の有無を確認し、/var/lib/systemd/coredump/ ディレクトリーでコアダンプファイルを検索します。以下に例を示します。

      [root@mon]# ls -ltr /var/lib/systemd/coredump
      total 8232
      -rw-r-----. 1 root root 8427548 Jan 22 19:24 core.ceph-osd.167.5ede29340b6c4fe4845147f847514c12.15622.1584573794000000.xz

      Copy to Clipboard Toggle word wrap

2. Ceph Monitors および Ceph Managers のコアダンプファイルを手動でキャプチャーするには、以下を実行します。

   1. コンテナーから Ceph デーモンの ceph-mon パッケージの詳細を取得します。

      Red Hat Enterprise Linux 7:

      [root@mon]# docker exec -it NAME /bin/bash
      [root@mon]# rpm -qa | grep ceph

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8:

      [root@mon]# podman exec -it NAME /bin/bash
      [root@mon]# rpm -qa | grep ceph

      Copy to Clipboard Toggle word wrap

      NAME を、Ceph コンテナーの名前に置き換えます。

   2. バックアップコピーを作成し、ceph-mon@.service ファイルを編集するために開きます。

      [root@mon]# cp /etc/systemd/system/ceph-mon@.service /etc/systemd/system/ceph-mon@.service.orig

      Copy to Clipboard Toggle word wrap

   3. ceph-mon@.service ファイルで、これらの 3 つのオプションを [Service] セクションに追加します。各オプションは 1 行ずつ追加します。

      --pid=host \
      --ipc=host \
      --cap-add=SYS_PTRACE \

      Copy to Clipboard Toggle word wrap

      例

      [Unit]
      Description=Ceph Monitor
      After=docker.service
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/docker rm ceph-mon-%i
      ExecStartPre=/bin/sh -c '"$(command -v mkdir)" -p /etc/ceph /var/lib/ceph/mon'
      ExecStart=/usr/bin/docker run --rm --name ceph-mon-%i \
        --memory=924m \
      --cpu-quota=100000 \
      -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
      -v /etc/localtime:/etc/localtime:ro \
      --net=host \
      --privileged=true \
      --ipc=host \ 

      1

      
      --pid=host \ 

      2

      
      --cap-add=SYS_PTRACE \ 

      3

      
      -e IP_VERSION=4 \
              -e MON_IP=10.74.131.17 \
            -e CLUSTER=ceph \
        -e FSID=9448efca-b1a1-45a3-bf7b-b55cba696a6e \
        -e CEPH_PUBLIC_NETWORK=10.74.131.0/24 \
        -e CEPH_DAEMON=MON \
         \
        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest
      ExecStop=-/usr/bin/docker stop ceph-mon-%i
      ExecStopPost=-/bin/rm -f /var/run/ceph/ceph-mon.pd-cephcontainer-mon01.asok
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      
      [Install]
      WantedBy=multi-user.target

      Copy to Clipboard Toggle word wrap

   4. Ceph Monitor デーモンを再起動します。

      構文

      systemctl restart ceph-mon@MONITOR_ID

      Copy to Clipboard Toggle word wrap

      MONITOR_ID を Ceph Monitor の ID 番号に置き換えます。

      例

      [root@mon]# systemctl restart ceph-mon@1

      Copy to Clipboard Toggle word wrap

   5. Ceph Monitor コンテナーに gdb パッケージをインストールします。

      Red Hat Enterprise Linux 7:

      [root@mon]# docker exec -it ceph-mon-MONITOR_ID /bin/bash
      sh $ yum install gdb

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8:

      [root@mon]# podman exec -it ceph-mon-MONITOR_ID /bin/bash
      sh $ yum install gdb

      Copy to Clipboard Toggle word wrap

      MONITOR_ID を Ceph Monitor の ID 番号に置き換えます。

   6. プロセス ID を検索します。

      構文

      ps -aef | grep PROCESS | grep -v run

      Copy to Clipboard Toggle word wrap

      PROCESS は、失敗したプロセス名 (例: ceph-mon) に置き換えます。

      例

      [root@mon]# ps -aef | grep ceph-mon | grep -v run
      ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 5
      ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 2

      Copy to Clipboard Toggle word wrap

   7. コアダンプファイルを生成します。

      構文

      gcore ID

      Copy to Clipboard Toggle word wrap

      ID を、前の手順で取得した失敗したプロセスの ID に置き換えます (例: 18110)。

      例

      [root@mon]# gcore 18110
      warning: target file /proc/18110/cmdline contained unexpected null characters
      Saved corefile core.18110

      Copy to Clipboard Toggle word wrap

   8. コアダンプファイルが正しく生成されていることを確認します。

      例

      [root@mon]# ls -ltr
      total 709772
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110

      Copy to Clipboard Toggle word wrap

   9. Ceph Monitor コンテナー外部でコアダンプファイルをコピーします。

      Red Hat Enterprise Linux 7:

      [root@mon]# docker cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8:

      [root@mon]# podman cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp

      Copy to Clipboard Toggle word wrap

      MONITOR_ID を Ceph Monitor の ID 番号に置き換え、MONITOR_PID をプロセス ID 番号に置き換えます。

   10. ceph-mon@.service ファイルのバックアップコピーを復元します。

       [root@mon]# cp /etc/systemd/system/ceph-mon@.service.orig /etc/systemd/system/ceph-mon@.service

       Copy to Clipboard Toggle word wrap

   11. Ceph Monitor デーモンを再起動します。

       構文

       systemctl restart ceph-mon@MONITOR_ID

       Copy to Clipboard Toggle word wrap

       MONITOR_ID を Ceph Monitor の ID 番号に置き換えます。

       例

       [root@mon]# systemctl restart ceph-mon@1

       Copy to Clipboard Toggle word wrap

   12. Red Hat サポートが分析するコアダンプファイルをアップロードする場合は、ステップ 4 を参照してください。

3. Ceph OSD のコアダンプファイルを手動でキャプチャーするには、以下を実行します。

   1. コンテナーから Ceph デーモンの ceph-osd パッケージの詳細を取得します。

      Red Hat Enterprise Linux 7:

      [root@osd]# docker exec -it NAME /bin/bash
      [root@osd]# rpm -qa | grep ceph

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8:

      [root@osd]# podman exec -it NAME /bin/bash
      [root@osd]# rpm -qa | grep ceph

      Copy to Clipboard Toggle word wrap

      NAME を、Ceph コンテナーの名前に置き換えます。

   2. Ceph コンテナーが実行しているノードに、同じバージョンの ceph-osd パッケージ用の Ceph パッケージをインストールします。

      Red Hat Enterprise Linux 7:

      [root@osd]# yum install ceph-osd

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8:

      [root@osd]# dnf install ceph-osd

      Copy to Clipboard Toggle word wrap

      必要に応じて、適切なリポジトリーを最初に有効にします。詳細は、インストールガイドの Red Hat Ceph Storage の有効化 セクションを参照してください。

   3. 障害が発生したプロセスの ID を検索します。

      ps -aef | grep PROCESS | grep -v run

      Copy to Clipboard Toggle word wrap

      PROCESS は、失敗したプロセス名 (例: ceph-osd) に置き換えます。

      [root@osd]# ps -aef | grep ceph-osd | grep -v run
      ceph       15390   15266  0 18:54 ?        00:00:29 /usr/bin/ceph-osd --cluster ceph --setroot ceph --setgroup ceph -d -i 5
      ceph       18110   17985  1 19:40 ?        00:00:08 /usr/bin/ceph-osd --cluster ceph --setroot ceph --setgroup ceph -d -i 2

      Copy to Clipboard Toggle word wrap

   4. コアダンプファイルを生成します。

      gcore ID

      Copy to Clipboard Toggle word wrap

      ID を、前の手順で取得した失敗したプロセスの ID に置き換えます (例: 18110)。

      [root@osd]# gcore 18110
      warning: target file /proc/18110/cmdline contained unexpected null characters
      Saved corefile core.18110

      Copy to Clipboard Toggle word wrap

   5. コアダンプファイルが正しく生成されていることを確認します。

      [root@osd]# ls -ltr
      total 709772
      -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110

      Copy to Clipboard Toggle word wrap
   6. Red Hat サポートが分析するコアダンプファイルをアップロードする場合は、次のステップを参照してください。
4. Red Hat サポートケースに分析用のコアダンプファイルをアップロードします。詳細は、Red Hat サポートエンジニアへの情報の提供 を参照してください。