トラブルシューティングガイド

手順

1. サポート対象外の設定を使用する場合は、特定の問題が発生する可能性があります。設定がサポートされていることを確認してください。

2. どの Ceph コンポーネントが問題を引き起こすかを把握しているか ?

   1. いいえ。Red Hat Ceph Storage トラブルシューティングガイドの Ceph Storage クラスターの健全性の診断 の手順に従います。
   2. Ceph 監視Red Hat Ceph Storage トラブルシューティングガイドの Ceph モニターのトラブルシューティング セクションを参照してください。
   3. Ceph OSDRed Hat Ceph Storage トラブルシューティングガイドの Ceph OSD のトラブルシューティング セクションを参照してください。
   4. Ceph の配置グループRed Hat Ceph Storage トラブルシューティングガイド の Ceph 配置グループのトラブルシューティング セクションを参照してください。
   5. マルチサイトの Ceph Object GatewayRed Hat Ceph Storage トラブルシューティングガイド の マルチサイトの Ceph Object Gateway のトラブルシューティング セクションを参照してください。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. ストレージクラスターの全体的なステータスを確認します。

   例

   [ceph: root@host01 /]# ceph health detail

   Copy to Clipboard Toggle word wrap

   コマンドが HEALTH_WARN または HEALTH_ERR を返す場合は、Ceph の正常性の理解 を参照してください。

3. ストレージクラスターのログを監視します。

   例

   [ceph: root@host01 /]# ceph -W cephadm

   Copy to Clipboard Toggle word wrap

4. クラスターのログをファイルに取り込むには、以下のコマンドを実行します。

   例

   [ceph: root@host01 /]# ceph config set global log_to_file true
   [ceph: root@host01 /]# ceph config set global mon_cluster_log_to_file true

   Copy to Clipboard Toggle word wrap

   デフォルトでは、ログは /var/log/ceph/CLUSTER_FSID/ ディレクトリーにあります。Ceph ログについてに記載されているエラーメッセージがないか、Ceph ログを確認します。

5. ログに十分な情報が含まれていない場合は、デバッグレベルを上げて、失敗したアクションを再現してみてください。詳細は、ログの設定 を参照してください。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. ceph health detail コマンドを実行して、Red Hat Ceph Storage クラスターの正常性を確認します。

   例

   [ceph: root@host01 /]# ceph health detail
   
   HEALTH_WARN 1 osds down; 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
   [WRN] OSD_DOWN: 1 osds down
       osd.1 (root=default,host=host01) is down
   [WRN] OSD_FLAGS: 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set
       osd.1 has flags noup

   Copy to Clipboard Toggle word wrap

   ストレージクラスターは、OSD の 1 つがダウンしているため、HEALTH_WARN 状態になっていることがわかります。

3. アラートをミュートします。

   構文

   ceph health mute HEALTH_MESSAGE

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN

   Copy to Clipboard Toggle word wrap

4. オプション: 正常性チェックのミュートに TTL (time to live) を設定することができ、指定した時間が経過するとミュートが自動的に失効します。コマンドの任意の duration 引数として TTL を指定します。

   構文

   ceph health mute HEALTH_MESSAGE DURATION

   Copy to Clipboard Toggle word wrap

   DURATION は、s、sec、m、min、h、hour で指定できます。

   例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 10m

   Copy to Clipboard Toggle word wrap

   この例では、アラート OSD_DOWN が 10 分間ミュートされます。

5. Red Hat Ceph Storage クラスターのステータスが HEALTH_OK に変更されているかどうかを確認します。

   例

   [ceph: root@host01 /]# ceph -s
     cluster:
       id:     81a4597a-b711-11eb-8cb8-001a4a000740
       health: HEALTH_OK
               (muted: OSD_DOWN(9m) OSD_FLAGS(9m))
   
     services:
       mon: 3 daemons, quorum host01,host02,host03 (age 33h)
       mgr: host01.pzhfuh(active, since 33h), standbys: host02.wsnngf, host03.xwzphg
       osd: 11 osds: 10 up (since 4m), 11 in (since 5d)
   
     data:
       pools:   1 pools, 1 pgs
       objects: 13 objects, 0 B
       usage:   85 MiB used, 165 GiB / 165 GiB avail
       pgs:     1 active+clean

   Copy to Clipboard Toggle word wrap

   この例では、OSD_DOWN および OSD_FLAG の警告がミュートされ、そのミュートが 9 分間有効であることがわかります。

6. オプション: ミュートを スティッキー にすることで、アラートが解除された後もミュートを保持することができます。

   構文

   ceph health mute HEALTH_MESSAGE DURATION --sticky

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph health mute OSD_DOWN 1h --sticky

   Copy to Clipboard Toggle word wrap

7. 次のコマンドを実行して、ミュートを削除できます。

   構文

   ceph health unmute HEALTH_MESSAGE

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph health unmute OSD_DOWN

   Copy to Clipboard Toggle word wrap

手順

1. sos パッケージをインストールするには、以下のコマンドを実行します。

   例

   [root@host01 ~]# dnf install sos

   Copy to Clipboard Toggle word wrap

2. sos report を実行して、ストレージクラスターのシステム情報を取得します。

   例

   [root@host01 ~]# sos report -a --all-logs

   Copy to Clipboard Toggle word wrap

   レポートは /var/tmp ファイルに保存されます。

   特定の Ceph デーモン情報を取得するには、次のコマンドを実行します。

   例

   [root@host01 ~]# sos report --all-logs -e ceph_mgr,ceph_common,ceph_mon,ceph_osd,ceph_ansible,ceph_mds,ceph_rgw

   Copy to Clipboard Toggle word wrap

手順

1. ランタイム時に Ceph デバッグ出力である dout() をアクティベートするには、以下を実行します。

   ceph tell TYPE.ID injectargs --debug-SUBSYSTEM VALUE [--NAME VALUE]

   Copy to Clipboard Toggle word wrap

2. 以下を置き換えます。

   • TYPE を、Ceph デーモンのタイプ (osd、mon、または mds) に置き換えます。
   • ID を、Ceph デーモンの特定の ID に。特定タイプのすべてのデーモンにランタイム設定を適用するには、* を使用します。
   • SUBSYSTEM を、特定のサブシステムに。

   • VALUE を、1 から 20 までの数字。1 は簡潔で、20 は詳細です。

     たとえば、osd.0 という名前の OSD サブシステムのログレベルを 0 に設定し、メモリーレベルを 5 に設定するには、以下を実行します。

     # ceph tell osd.0 injectargs --debug-osd 0/5

     Copy to Clipboard Toggle word wrap

1. 実行中の Ceph デーモン (例: ceph-osd または ceph-mon) でホストにログインします。

2. 設定を表示します。

   構文

   ceph daemon NAME config show | less

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph daemon osd.0 config show | less

   Copy to Clipboard Toggle word wrap

手順

1. 起動時に Ceph のデバッグ出力を有効にするには、システムの起動時に dout() のデバッグ設定を Ceph 設定ファイルに追加します。

   1. 各デーモンに共通するサブシステムの場合は、[global] セクションに設定を追加します。

   2. 特定のデーモンのサブシステムについては、[mon]、[osd]、[mds] などのデーモンセクションに設定を追加します。

      例

      [global]
              debug_ms = 1/5
      
      [mon]
              debug_mon = 20
              debug_paxos = 1/5
              debug_auth = 2
      
      [osd]
              debug_osd = 1/5
              debug_monc = 5/20
      
      [mds]
              debug_mds = 1

      Copy to Clipboard Toggle word wrap

手順

1. ログローテーションファイルで、ローテーション頻度の後にサイズの設定を追加します。

   rotate 7
   weekly
   size SIZE
   compress
   sharedscripts

   Copy to Clipboard Toggle word wrap

   たとえば、ログファイルが 500 MB に達した時点でローテーションを行います。

   rotate 7
   weekly
   size 500 MB
   compress
   sharedscripts
   size 500M

   Copy to Clipboard Toggle word wrap
   注記

   サイズの値は、'500 MB' または '500M' で表すことができます。

2. crontab エディターを開きます。

   [root@mon ~]# crontab -e

   Copy to Clipboard Toggle word wrap

3. エントリーを追加して、/etc/logrotate.d/ceph-<fsid> ファイルを確認します。たとえば、Cron に 30 分ごとに /etc/logrotate.d/ceph-<fsid> をチェックするように指示するには、以下を実行します。

   30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph-d3bb5396-c404-11ee-9e65-002590fc2a2e >/dev/null 2>&1

   Copy to Clipboard Toggle word wrap

手順

1. ログの場所を見つけます。

   構文

   logrotate -f

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# logrotate -f
   /etc/logrotate.d/ceph-12ab345c-1a2b-11ed-b736-fa163e4f6220

   Copy to Clipboard Toggle word wrap

2. 指定された場所内のログをリスト表示します。

   構文

   ll LOG_LOCATION

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    -rw-r--r--. 1 ceph ceph    412 Sep 28 09:26 opslog.log.1.gz

   Copy to Clipboard Toggle word wrap

3. 現在のバケットをリストします。

   例

   [root@host01 ~]# /usr/local/bin/s3cmd ls

   Copy to Clipboard Toggle word wrap

4. バケットを作成します。

   構文

   /usr/local/bin/s3cmd mb s3://NEW_BUCKET_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# /usr/local/bin/s3cmd mb s3://bucket1
   Bucket `s3://bucket1` created

   Copy to Clipboard Toggle word wrap

5. 現在のログをリスト表示します。

   構文

   ll LOG_LOCATION

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220
    total 852
    ...
    -rw-r--r--. 1 ceph ceph    920 Jun 29 02:17 opslog.log
    -rw-r--r--. 1 ceph ceph    412 Jun 28 09:26 opslog.log.1.gz

   Copy to Clipboard Toggle word wrap

6. ログを収集します。

   構文

   tail -f LOG_LOCATION/opslog.log

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# tail -f /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220/opslog.log
   
   {"bucket":"","time":"2022-09-29T06:17:03.133488Z","time_local":"2022-09-
   29T06:17:03.133488+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"list_buckets","uri":"GET /
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":232,
   "bytes_received":0,"object_size":0,"total_time":9,"user_agent":"","referrer":
   "","trans_id":"tx00000c80881a9acd2952a-006335385f-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}
   
   {"bucket":"cn1","time":"2022-09-29T06:17:10.521156Z","time_local":"2022-09-
   29T06:17:10.521156+0000","remote_addr":"10.0.211.66","user":"test1",
   "operation":"create_bucket","uri":"PUT /cn1/
   HTTP/1.1","http_status":"200","error_code":"","bytes_sent":0,
   "bytes_received":0,"object_size":0,"total_time":106,"user_agent":"",
   "referrer":"","trans_id":"tx0000058d60c593632c017-0063353866-175e5-primary",
   "authentication_type":"Local","access_key_id":"1234","temp_url":false}

   Copy to Clipboard Toggle word wrap

手順

1. net-tools および telnet パッケージをインストールすると、Ceph Storage クラスターで発生する可能性のあるネットワーク問題のトラブルシューティングに役立ちます。

   例

   [root@host01 ~]# dnf install net-tools
   [root@host01 ~]# dnf install telnet

   Copy to Clipboard Toggle word wrap

2. cephadm シェルにログインし、Ceph 設定ファイルの public_network パラメーターに正しい値が含まれていることを確認します。

   例

   [ceph: root@host01 /]# cat /etc/ceph/ceph.conf
   # minimal ceph.conf for 57bddb48-ee04-11eb-9962-001a4a000672
   [global]
   	fsid = 57bddb48-ee04-11eb-9962-001a4a000672
   	mon_host = [v2:10.74.249.26:3300/0,v1:10.74.249.26:6789/0] [v2:10.74.249.163:3300/0,v1:10.74.249.163:6789/0] [v2:10.74.254.129:3300/0,v1:10.74.254.129:6789/0]
   [mon.host01]
   public network = 10.74.248.0/21

   Copy to Clipboard Toggle word wrap

3. シェルを終了し、ネットワークインターフェイスが起動していることを確認します。

   例

   [root@host01 ~]# ip link list
   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
       link/ether 00:1a:4a:00:06:72 brd ff:ff:ff:ff:ff:ff

   Copy to Clipboard Toggle word wrap

4. Ceph ノードは、短縮ホスト名を使用して相互に通信できることを確認します。ストレージクラスターの各ノードでこれを確認します。

   構文

   ping SHORT_HOST_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# ping host02

   Copy to Clipboard Toggle word wrap

5. ファイアウォールを使用する場合、Ceph ノードが適切なポートでお互いにノードにアクセスできることを確認します。firewall-cmd ツールと telnet ツールは、ポートの状態を検証し、ポートが開いているかどうかを確認できます。

   構文

   firewall-cmd --info-zone=ZONE
   telnet IP_ADDRESS PORT

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# firewall-cmd --info-zone=public
   public (active)
     target: default
     icmp-block-inversion: no
     interfaces: ens3
     sources:
     services: ceph ceph-mon cockpit dhcpv6-client ssh
     ports: 9283/tcp 8443/tcp 9093/tcp 9094/tcp 3000/tcp 9100/tcp 9095/tcp
     protocols:
     masquerade: no
     forward-ports:
     source-ports:
     icmp-blocks:
     rich rules:
   
   [root@host01 ~]# telnet 192.168.0.22 9100

   Copy to Clipboard Toggle word wrap

6. インターフェイスカウンターにエラーがないことを確認します。ノード間のネットワーク接続で遅延が予想され、パケットロスがないことを確認します。

   1. ethtool コマンドの使用:

      構文

      ethtool -S INTERFACE

      Copy to Clipboard Toggle word wrap

      例

      [root@host01 ~]# ethtool -S ens3 | grep errors
      NIC statistics:
           rx_fcs_errors: 0
           rx_align_errors: 0
           rx_frame_too_long_errors: 0
           rx_in_length_errors: 0
           rx_out_length_errors: 0
           tx_mac_errors: 0
           tx_carrier_sense_errors: 0
           tx_errors: 0
           rx_errors: 0

      Copy to Clipboard Toggle word wrap

   2. ifconfig コマンドの使用:

      例

      [root@host01 ~]# ifconfig
      ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
              inet 10.74.249.26  netmask 255.255.248.0  broadcast 10.74.255.255
              inet6 fe80::21a:4aff:fe00:672  prefixlen 64  scopeid 0x20<link>
              inet6 2620:52:0:4af8:21a:4aff:fe00:672  prefixlen 64  scopeid 0x0<global>
              ether 00:1a:4a:00:06:72  txqueuelen 1000  (Ethernet)
              RX packets 150549316  bytes 56759897541 (52.8 GiB)
              RX errors 0  dropped 176924  overruns 0  frame 0
              TX packets 55584046  bytes 62111365424 (57.8 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
      
      lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
              inet 127.0.0.1  netmask 255.0.0.0
              inet6 ::1  prefixlen 128  scopeid 0x10<host>
              loop  txqueuelen 1000  (Local Loopback)
              RX packets 9373290  bytes 16044697815 (14.9 GiB)
              RX errors 0  dropped 0  overruns 0  frame 0
              TX packets 9373290  bytes 16044697815 (14.9 GiB)
              TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

      Copy to Clipboard Toggle word wrap

   3. netstat コマンドの使用:

      例

      [root@host01 ~]# netstat -ai
      Kernel Interface table
      Iface             MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
      ens3             1500 311847720      0 364903 0      114341918      0      0      0 BMRU
      lo              65536 19577001      0      0 0      19577001      0      0      0 LRU

      Copy to Clipboard Toggle word wrap

7. パフォーマンスの問題では、レイテンシーの確認の他に、ストレージクラスターのすべてのノード間のネットワーク帯域幅を検証するため、iperf3 ツールを使用します。iperf3 ツールは、サーバーとクライアント間のシンプルなポイントツーポイントネットワーク帯域幅テストを実行します。

   1. 帯域幅を確認する Red Hat Ceph Storage ノードに iperf3 パッケージをインストールします。

      例

      [root@host01 ~]# dnf install iperf3

      Copy to Clipboard Toggle word wrap

   2. Red Hat Ceph Storage ノードで、iperf3 サーバーを起動します。

      例

      [root@host01 ~]# iperf3 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------

      Copy to Clipboard Toggle word wrap

      注記

      デフォルトのポートは 5201 ですが、-P コマンド引数を使用して設定できます。

   3. 別の Red Hat Ceph Storage ノードで、iperf3 クライアントを起動します。

      例

      [root@host02 ~]# iperf3 -c mon
      Connecting to host mon, port 5201
      [  4] local xx.x.xxx.xx port 52270 connected to xx.x.xxx.xx port 5201
      [ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [  4]   0.00-1.00   sec   114 MBytes   954 Mbits/sec    0    409 KBytes
      [  4]   1.00-2.00   sec   113 MBytes   945 Mbits/sec    0    409 KBytes
      [  4]   2.00-3.00   sec   112 MBytes   943 Mbits/sec    0    454 KBytes
      [  4]   3.00-4.00   sec   112 MBytes   941 Mbits/sec    0    471 KBytes
      [  4]   4.00-5.00   sec   112 MBytes   940 Mbits/sec    0    471 KBytes
      [  4]   5.00-6.00   sec   113 MBytes   945 Mbits/sec    0    471 KBytes
      [  4]   6.00-7.00   sec   112 MBytes   937 Mbits/sec    0    488 KBytes
      [  4]   7.00-8.00   sec   113 MBytes   947 Mbits/sec    0    520 KBytes
      [  4]   8.00-9.00   sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      [  4]   9.00-10.00  sec   112 MBytes   939 Mbits/sec    0    520 KBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ ID] Interval           Transfer     Bandwidth       Retr
      [  4]   0.00-10.00  sec  1.10 GBytes   943 Mbits/sec    0             sender
      [  4]   0.00-10.00  sec  1.10 GBytes   941 Mbits/sec                  receiver
      
      iperf Done.

      Copy to Clipboard Toggle word wrap

      この出力では、Red Hat Ceph Storage ノード間のネットワーク帯域幅が 1.1Gbits/秒であることと、テスト中に再送 (Retr) がないことが示されています。

      Red Hat は、ストレージクラスター内のすべてのノード間のネットワーク帯域幅を検証することを推奨します。

8. すべてのノードでネットワークの相互接続速度が同じであることを確認します。接続されているノードの速度が遅いと、アタッチされたノードの速度が遅くなることがあります。また、スイッチ間リンクが、アタッチされたノードの集約された帯域幅を処理できることを確認してください。

   構文

   ethtool INTERFACE

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# ethtool ens3
   Settings for ens3:
   Supported ports: [ TP ]
   Supported link modes:   10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Supported pause frame use: No
   Supports auto-negotiation: Yes
   Supported FEC modes: Not reported
   Advertised link modes:  10baseT/Half 10baseT/Full
                           100baseT/Half 100baseT/Full
                           1000baseT/Half 1000baseT/Full
   Advertised pause frame use: Symmetric
   Advertised auto-negotiation: Yes
   Advertised FEC modes: Not reported
   Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                        100baseT/Half 100baseT/Full
                                        1000baseT/Full
   Link partner advertised pause frame use: Symmetric
   Link partner advertised auto-negotiation: Yes
   Link partner advertised FEC modes: Not reported
   Speed: 1000Mb/s 

   1

   
   Duplex: Full 

   2

   
   Port: Twisted Pair
   PHYAD: 1
   Transceiver: internal
   Auto-negotiation: on
   MDI-X: off
   Supports Wake-on: g
   Wake-on: d
   Current message level: 0x000000ff (255)
          drv probe link timer ifdown ifup rx_err tx_err
   Link detected: yes 

   3

   Copy to Clipboard Toggle word wrap

手順

1. chronyd デーモンが Ceph Monitor ホストで実行されていることを確認します。

   例

   [root@mon ~]# systemctl status chronyd

   Copy to Clipboard Toggle word wrap

2. chronyd が実行されていない場合は、有効にして起動します。

   例

   [root@mon ~]# systemctl enable chronyd
   [root@mon ~]# systemctl start chronyd

   Copy to Clipboard Toggle word wrap

3. chronyd がクロックを正しく同期していることを確認します。

   例

   [root@mon ~]# chronyc sources
   [root@mon ~]# chronyc sourcestats
   [root@mon ~]# chronyc tracking

   Copy to Clipboard Toggle word wrap

手順

1. 残りの Ceph Monitor がクォーラムを形成できる場合には、ceph mon getmap コマンドを使用して Ceph Monitor マップを取得します。

   例

   [ceph: root@host01 /]# ceph mon getmap -o /tmp/monmap

   Copy to Clipboard Toggle word wrap

2. 残りの Ceph Monitor がクォーラムを形成できず、正しい Ceph Monitor マップを持つ Ceph Monitor が少なくとも 1 つある場合は、その Ceph Monitor からコピーします。

   1. Ceph Monitor マップのコピー元の Ceph Monitor マップを停止します。

      構文

      systemctl stop ceph-FSID@DAEMON_NAME

      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

      Copy to Clipboard Toggle word wrap

   2. Ceph Monitor マップをコピーします。

      構文

      ceph-mon -i ID --extract-monmap /tmp/monmap

      Copy to Clipboard Toggle word wrap

      ID を、Ceph Monitor マップをコピーする Ceph Monitor の ID に置き換えます。

      例

      [ceph: root@host01 /]#  ceph-mon -i mon.a  --extract-monmap /tmp/monmap

      Copy to Clipboard Toggle word wrap

3. 破損したまたは古くなった Ceph Monitor マップを持つ Ceph Monitor を停止します。

   構文

   systemctl stop ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

4. Ceph Monitor マップを注入します。

   構文

   ceph-mon -i ID --inject-monmap /tmp/monmap

   Copy to Clipboard Toggle word wrap

   ID を、破損した Ceph Monitor マップまたは古くなった Ceph Monitor マップに置き換えます。

   例

   [root@mon ~]# ceph-mon -i mon.host01 --inject-monmap /tmp/monmap

   Copy to Clipboard Toggle word wrap

5. Ceph Monitor を起動します。

   構文

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

   別の Ceph Monitor から Ceph Monitor マップをコピーした場合は、その Ceph Monitor も起動します。

   構文

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

手順

1. Monitor ホストから、デフォルトで /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME にある Monitor ストアを削除します。

   rm -rf /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME

   Copy to Clipboard Toggle word wrap

   Monitor ホストの短縮ホスト名とクラスター名を指定します。たとえば、host1 で実行している Monitor の Monitor ストアを、remote という名前のクラスターから削除するには、以下を実行します。

   [root@mon ~]# rm -rf /var/lib/ceph/mon/remote-host1

   Copy to Clipboard Toggle word wrap

2. Monitor マップ (monmap) から Monitor を削除します。

   ceph mon remove SHORT_HOST_NAME --cluster CLUSTER_NAME

   Copy to Clipboard Toggle word wrap

   Monitor ホストの短縮ホスト名とクラスター名を指定します。たとえば、host1 で実行しているモニターを remote というクラスターから削除するには、以下を実行します。

   [ceph: root@host01 /]# ceph mon remove host01 --cluster remote

   Copy to Clipboard Toggle word wrap
3. 基盤のファイルシステムまたは Monitor ホストのハードウェアに関連する問題をトラブルシューティングおよび修正します。

手順

1. ceph-mon デーモンの実行中に Monitor ストアを圧縮するには、以下を実行します。

   構文

   ceph tell mon.HOST_NAME compact

   Copy to Clipboard Toggle word wrap

2. HOST_NAME を、ceph-mon を実行しているホストの短いホスト名に置き換えます。不明な場合は hostname -s コマンドを使用します。

   例

   [ceph: root@host01 /]# ceph tell mon.host01 compact

   Copy to Clipboard Toggle word wrap

3. [mon] セクションの Ceph 設定に以下のパラメーターを追加します。

   [mon]
   mon_compact_on_start = true

   Copy to Clipboard Toggle word wrap

4. ceph-mon デーモンを再起動します。

   構文

   systemctl restart ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

5. Monitor がクォーラムを形成することを確認します。

   [ceph: root@host01 /]# ceph mon stat

   Copy to Clipboard Toggle word wrap

6. 必要に応じて、他の Monitor でこの手順を繰り返します。

   注記

   開始する前に、ceph-test パッケージがインストールされていることを確認します。

7. 大型ストアを使用する ceph-mon デーモンが実行していないことを確認します。必要に応じてデーモンを停止します。

   構文

   systemctl status ceph-FSID@DAEMON_NAME
   systemctl stop ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
   [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

8. Monitor ストアを圧縮します。

   構文

   ceph-monstore-tool /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME compact

   Copy to Clipboard Toggle word wrap

   HOST_NAME は、Monitor ホストの短縮ホスト名に置き換えます。

   例

   [ceph: root@host01 /]# ceph-monstore-tool /var/lib/ceph/b404c440-9e4c-11ec-a28a-001a4a0001df/mon.host01 compact

   Copy to Clipboard Toggle word wrap

9. ceph-mon を再度起動します。

   構文

   systemctl start ceph-FSID@DAEMON_NAME

   Copy to Clipboard Toggle word wrap

   例

   [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service

   Copy to Clipboard Toggle word wrap

手順

1. この状況を解決するには、ceph-mgr デーモンを実行している各ホストでポート 6800-7300 を開きます。

   例

   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp
   [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp --permanent

   Copy to Clipboard Toggle word wrap

2. ceph-mgr デーモンを再起動します。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. OSD を停止する前に noout フラグを設定します。

   例

   [ceph: root@host01 /]# ceph osd set noout

   Copy to Clipboard Toggle word wrap

3. トラブルシューティングまたはメンテナンスが完了したら、noout フラグの設定を解除して、リバランスを開始します。

   例

   [ceph: root@host01 /]# ceph osd unset noout

   Copy to Clipboard Toggle word wrap

1. Ceph クラスターから OSD を取り除きます。詳細は、Ceph クラスターからの OSD の削除の手順を参照してください。
2. ドライブを交換します。詳細は、物理ドライブの置き換え セクションを参照してください。
3. OSD をクラスターに追加します。詳細は、OSD の Ceph クラスターへの追加の手順を参照してください。

Ceph クラスターからの OSD の削除

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. down になっている OSD を特定します。

   例

   [ceph: root@host01 /]# ceph osd tree | grep -i down
   ID  CLASS  WEIGHT   TYPE NAME           STATUS  REWEIGHT  PRI-AFF
    0   hdd 0.00999        osd.0     down  1.00000          1.00000

   Copy to Clipboard Toggle word wrap

3. クラスターがデータをリバランスして他の OSD にそのテータをコピーできるように、OSD を out としてマークします。

   構文

   ceph osd out OSD_ID.

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd out osd.0
   marked out osd.0.

   Copy to Clipboard Toggle word wrap

   注記

   OSD が down していると、mon_osd_down_out_interval パラメーターに基づいて OSD からハートビートパケットを受信しないと、Ceph は、600 秒後に OSD を自動的に out とマークします。この場合、障害が発生した OSD データのコピーを持つ他の OSD がバックフィルを開始し、クラスター内部に必要な数のコピーが存在するようにします。クラスターがバックフィル状態である間、クラスターの状態は degraded します。

4. 障害が発生した OSD がバックフィルされていることを確認します。

   例

   [ceph: root@host01 /]# ceph -w | grep backfill
   2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering
   2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering
   2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639
   2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079
   2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847
   2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496
   2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544

   Copy to Clipboard Toggle word wrap

   配置グループの状態が active+clean から active になり、一部の劣化したオブジェクトに変化し、移行が完了すると最終的に active+clean に変化するはずです。

5. OSD を停止します。

   構文

   ceph orch daemon stop OSD_ID

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph orch daemon stop osd.0

   Copy to Clipboard Toggle word wrap

6. ストレージクラスターから OSD を削除します。

   構文

   ceph orch osd rm OSD_ID --replace

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

   Copy to Clipboard Toggle word wrap

   OSD_IDは保存されます。

1. ドライブがホットスワップ可能な場合は、故障したドライブを新しいものと交換します。
2. ドライブがホットスワップに対応しておらず、ノードに複数の OSD が含まれる場合は、ノード全体をシャットダウンして物理ドライブを交換する必要がある場合があります。クラスターのバックフィルを防ぐことを検討してください。詳細は、Red Hat Ceph Storage トラブルシューティングガイド の リバランスの停止および開始 の章を参照してください。
3. ドライブが /dev/ ディレクトリー配下に表示されたら、ドライブパスを書き留めます。
4. OSD を手動で追加する必要がある場合には、OSD ドライブを見つけ、ディスクをフォーマットします。

Ceph クラスターへの OSD の追加

1. 新しいドライブを挿入したら、以下のオプションを使用して OSD をデプロイすることができます。

   • OSD は、--unmanaged パラメーターが設定されていない場合は、Ceph Orchestrator によって自動的にデプロイされます。

     例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

     Copy to Clipboard Toggle word wrap

   • unmanaged パラメーターを true に設定して、利用可能なすべてのデバイスに OSD をデプロイします。

     例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

     Copy to Clipboard Toggle word wrap

   • 特定のデバイスやホストに OSD をデプロイします。

     例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

     Copy to Clipboard Toggle word wrap

2. CRUSH 階層が正確であることを確認します。

   例

   [ceph: root@host01 /]# ceph osd tree

   Copy to Clipboard Toggle word wrap