トラブルシューティングガイド

手順

1. ストレージクラスターの全体的なステータスを確認します。

   [root@mon ~]# ceph health detail

   コマンドが HEALTH_WARN または HEALTH_ERR を返す場合は、Ceph の正常性の理解 を参照してください。

2. Ceph ログで Ceph ログの概要 に記載されているエラーメッセージの有無を確認します。ログは、デフォルトで /var/log/ceph/ ディレクトリーにあります。
3. ログに十分な情報が含まれていない場合は、デバッグレベルを上げて、失敗したアクションを再現してみてください。詳細は、ログの設定 を参照してください。

1. Ceph Monitor、Ceph Manager、Ceph Object Gateway、およびその他のデーモンのロギングを有効にするには、[global] 設定の下で log_to_file を true に設定します。

   例

   [ceph: root@host01 ~]# ceph config set global log_to_file true

2. Ceph Monitor クラスターおよび監査ログのロギングを有効にするには、mon_cluster_log_to_file を true に設定します。

   例

   [ceph: root@host01 ~]# ceph config set mon mon_cluster_log_to_file true

この問題を解決するには、以下を行います。

1. ceph-mon デーモンが実行していることを確認します。そうでない場合は、起動します。

   [root@mon ~]# systemctl status ceph-mon@HOST_NAME
   [root@mon ~]# systemctl start ceph-mon@HOST_NAME

   HOST_NAME を、デーモンが実行されているホストの短縮名に置き換えます。不明な場合は hostname -s コマンドを使用します。

2. ceph-mon を起動できない場合は、ceph-mon デーモンが起動できないの手順を行ってください。
3. ceph-mon デーモンを起動できるものの、down とマークされている場合は、ceph-mon デーモンが実行しているが、`down` としてマークされている の手順に従います。

ceph-mon デーモンを起動できない

1. デフォルトでは /var/log/ceph/ceph-mon.HOST_NAME.log にある対応する Ceph Monitor ログを確認します。

2. ログに以下のようなエラーメッセージが含まれる場合、Ceph Monitor のストアが破損している可能性があります。

   Corruption: error in middle of record
   Corruption: 1 missing files; e.g.: /var/lib/ceph/mon/mon.0/store.db/1234567.ldb

   この問題を修正するには、Ceph Monitor を置き換えます。失敗したモニターの置き換え を参照してください。

3. ログに以下のようなエラーメッセージが含まれる場合は、/var/ パーティションが満杯になっている可能性があります。/var/ から不要なデータを削除します。

   Caught signal (Bus error)

   重要

   Monitor ディレクトリーからデータを手動で削除しないでください。代わりに、ceph-monstore-tool を使用して圧縮します。詳細は、Ceph Monitor ストアの圧縮 を参照してください。

4. 他のエラーメッセージが表示された場合は、サポートチケットを作成します。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

ceph-mon デーモンが実行しているが、down としてマークされている

1. クォーラムに達していない Ceph Monitor ホストから、mon_status コマンドを使用してその状態を確認します。

   [root@mon ~]# ceph daemon ID mon_status

   ID を、Ceph Monitor の ID に置き換えてください。以下に例を示します。

   [root@mon ~]# ceph daemon mon.a mon_status

2. ステータスが probing の場合は、mon_status 出力内の他の Ceph Monitor の場所を確認します。

   1. アドレスが正しくない場合は、Ceph Monitor の誤った Ceph Monitor マップ (monmap) が検出されます。この問題を修正するには、Ceph Monitor マップの注入 を参照してください。
   2. アドレスが正しい場合は、Ceph Monitor クロックが同期されていることを確認します。詳細は、クロックスキュー を参照してください。また、ネットワークの問題のトラブルシューティングについては、ネットワーク問題のトラブルシューティング を参照してください。
3. ステータスが 選択中 の場合は、Ceph Monitor クロックが同期されていることを確認します。詳細は、クロックスキュー を参照してください。
4. 状態が 選択中 から 同期中 に変わる場合は、サポートチケットを作成してください。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。
5. Ceph Monitor が leader または peon である場合は、Ceph Monitor クロックが同期されていることを確認します。詳細は、クロックスキュー を参照してください。クロックを同期させても問題が解決しない場合は、サポートチケットを作成します。。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

この問題を解決するには、以下を行います。

1. ネットワークが正しく機能することを確認します。詳細は、ネットワーク問題のトラブルシューティング を参照してください。NTP を使用している場合は、特に NTP クライアントに関する問題をトラブルシューティングします。

   1. NTP に chrony を使用する場合は、基本的な chrony NTP のトラブルシューティング セクションを参照してください。
   2. ntpd を使用する場合は、基本的な NTP のトラブルシューティング を参照してください。

2. リモートの NTP サーバーを使用する場合は、ネットワーク上に独自の NTP サーバーをデプロイすることを検討してください。

   1. 詳細は、Red Hat Enterprise Linux 8 のConfiguring basic system settingsの Using the Chrony suite to configure NTP の章を参照してください。
   2. Red Hat Enterprise Linux 7 のSystem Administrator's Guideの Configuring NTP Using ntpd の章を参照してください。

この問題を解決するには、以下を行います。

1. データベースのサイズを確認します。

   du -sch /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME/store.db

   クラスターの名前と、ceph-mon が実行しているホストの短縮ホスト名を指定します。

   例

   # du -sch /var/lib/ceph/mon/ceph-host1/store.db
   47G     /var/lib/ceph/mon/ceph-ceph1/store.db/
   47G     total

2. Ceph Monitor ストアを圧縮します。詳細は、Ceph Monitor ストアの圧縮 を参照してください。

手順

1. コンテナー で Ceph を使用する場合は、Ceph データを含むすべてのディスクを一時的な場所にマウントします。すべての OSD ノードに対してこの手順を繰り返します。

   1. データパーティションをリスト表示します。デバイスの設定に使用したユーティリティーに応じて、ceph-volume または ceph-disk を使用します。

      [root@osd ~]# ceph-volume lvm list

      または

      [root@osd ~]# ceph-disk list

   2. データパーティションを一時的な場所にマウントします。

      mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i

   3. SELinux コンテキストを復元します。

      for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done

      OSD_ID を、OSD ノード上の Ceph OSD ID の数値のスペース区切りリストに置き換えます。

   4. 所有者とグループを ceph:ceph に変更します。

      for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done

      OSD_ID を、OSD ノード上の Ceph OSD ID の数値のスペース区切りリストに置き換えます。

      重要

      update-mon-db コマンドが Monitor データベースに追加の db ディレクトリーおよび db.slow ディレクトリーを使用するバグにより、このディレクトリーもコピーする必要があります。これを行うには、以下を行います。

      1. コンテナー外部の一時的な場所を準備して、OSD データベースをマウントしてアクセスし、Ceph Monitor を復元するために必要な OSD マップをデプロイメントします。

         ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID

         OSD-DATA は OSD データへのボリュームグループ (VG) または論理ボリューム (LV) パスに、OSD-ID は OSD の ID に置き換えます。

      2. BlueStore データベースと block.db との間のシンボリックリンクを作成します。

         ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db

         BLUESTORE-DATABASE を BlueStore データベースへのボリュームグループ (VG) または論理ボリューム (LV) パスに置き換え、OSD-ID を OSD の ID に置き換えます。

2. 破損したストアのある Ceph Monitor ノードから次のコマンドを使用します。すべてのノードのすべての OSD に対してこれを繰り返します。

   1. すべての OSD ノードからクラスターマップを収集します。

      [root@ mon~]# cd /root/
      [root@mon ~]# ms=/tmp/monstore/
      [root@mon ~]# db=/root/db/
      [root@mon ~]# db_slow=/root/db.slow/
      
      [root@mon ~]# mkdir $ms
      [root@mon ~]# for host in $osd_nodes; do
                      echo "$host"
                      rsync -avz $ms $host:$ms
                      rsync -avz $db $host:$db
                      rsync -avz $db_slow $host:$db_slow
      
                      rm -rf $ms
                      rm -rf $db
                      rm -rf $db_slow
      
                      sh -t $host <<EOF
                        for osd in /var/lib/ceph/osd/ceph-*; do
                          ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms
      
                         done
                      EOF
      
                            rsync -avz $host:$ms $ms
                            rsync -avz $host:$db $db
                            rsync -avz $host:$db_slow $db_slow
                      done

   2. 適切なケーパビリティーを設定します。

      [root@mon ~]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key
      [root@mon ~]# cat /etc/ceph/ceph.client.admin.keyring
        [mon.]
          key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
          caps mon = "allow *"
        [client.admin]
          key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
          auid = 0
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

   3. db ディレクトリーおよび db.slow ディレクトリーから、すべての sst ファイルを一時的な場所に移動します。

      [root@mon ~]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db

   4. 収集したマップから Monitor ストアを再構築します。

      [root@mon ~]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin

      注記

      このコマンドを実行後に、OSD から抽出したキーリングと、ceph-monstore-tool コマンドラインで指定されたキーリングのみが Ceph の認証データベースにあります。クライアント、Ceph Manager、Ceph Object Gateway などの他のすべてのキーリングを再作成またはインポートし、それらのクライアントがクラスターにアクセスできるようにする必要があります。

   5. 破損したストアをバックアップします。すべての Ceph Monitor ノードでこの手順を繰り返します。

      mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted

      HOSTNAME は、Ceph Monitor ノードのホスト名に置き換えます。

   6. 破損したストアを交換します。すべての Ceph Monitor ノードでこの手順を繰り返します。

      scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/

      HOSTNAME は、Monitor ノードのホスト名に置き換えます。

   7. 新しいストアの所有者を変更します。すべての Ceph Monitor ノードでこの手順を繰り返します。

      chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db

      HOSTNAME は、Ceph Monitor ノードのホスト名に置き換えます。

3. コンテナーで Ceph を使用する場合は、すべてのノードで一時的にマウントされた OSD をアンマウントします。

   [root@osd ~]# umount /var/lib/ceph/osd/ceph-*

4. すべての Ceph Monitor デーモンを起動します。

   [root@mon ~]# systemctl start ceph-mon *

5. Monitor がクォーラムを形成できることを確認します。

   • ベアメタルデプロイメント

     [root@mon ~]# ceph -s

   • コンテナー

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     HOSTNAME は、Ceph Monitor ノードのホスト名に置き換えます。

6. Ceph Manager キーリングをインポートして、すべての Ceph Manager プロセスを起動します。

   ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring
   systemctl start ceph-mgr@HOSTNAME

   HOSTNAME は、Ceph Manager ノードのホスト名に置き換えてください。

7. すべての OSD ノード全体ですべての OSD プロセスを起動します。

   [root@osd ~]# systemctl start ceph-osd *

8. OSD がサービスに返されることを確認します。

   • ベアメタルデプロイメント

     [root@mon ~]# ceph -s

   • コンテナー

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     HOSTNAME は、Ceph Monitor ノードのホスト名に置き換えます。

この問題を解決するには、以下を行います。

1. PG 数が十分であることを確認し、必要に応じてこれを増やします。
2. クラスターのバージョンに最適な CRUSH tunable を使用していることを確認し、そうでない場合は調整します。
3. 使用率別に OSD の重みを変更します。

4. バランスの取れた分散を実現するために OSD 間で配置グループ (PG) の配置を最適化する Ceph Manager バランサーモジュールを有効にします。

   例

   [root@mon ~]# ceph mgr module enable balancer

5. OSD によって使用されるディスクの残りの容量を確認します。

   1. OSD が一般的に使用する容量を表示します。

      [root@mon ~]# ceph osd df

   2. 特定のノードで OSD が使用する容量を表示します。nearful OSD が含まれるノードから以下のコマンドを使用します。

      $ df

   3. 必要な場合は、新規 OSD ノードを追加します。

この問題を解決するには、以下を行います。

1. down になっている OSD を特定します。

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

2. ceph-osd デーモンの再起動を試行します。

   [root@mon ~]# systemctl restart ceph-osd@OSD_NUMBER

   OSD_NUMBER を、down している OSD の ID に置き換えます。以下に例を示します。

   [root@mon ~]# systemctl restart ceph-osd@0

   1. ceph-osd を起動できない場合は、ceph-osd デーモンが起動しないの手順を行ってください。
   2. ceph-osd デーモンを起動できるものの、down とマークされている場合には、ceph-osd デーモンが実行しているが、`down` としてマークされているの手順に従ってください。

ceph-osd デーモンを起動できない

1. 複数の OSD (通常は 13 以上) が含まれる場合には、デフォルトの最大スレッド数 (PID 数) が十分であることを確認します。詳細は、PID 数の増加 を参照してください。
2. OSD データおよびジャーナルパーティションが正しくマウントされていることを確認します。ceph-volume lvm list コマンドを使用して、Ceph Storage Cluster に関連付けられたデバイスおよびボリュームをリスト表示してから、適切にマウントされているかどうかを確認することができます。詳細は、man ページの mount(8) を参照してください。
3. ERROR: missing keyring, cannot use cephx for authentication が返された場合、OSD にはキーリングがありません。

4. ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-1 エラーメッセージが出力されると、ceph-osd デーモンは基礎となるファイルシステムを読み込むことができません。このエラーをトラブルシューティングおよび修正する方法については、以下の手順を参照してください。

   注記

   OSD ホストのブート時にこのエラーメッセージが返される場合は、サポートチケットを開きます。これは、Red Hat Bugzilla 1439210 で追跡される既知の問題を示すためです。

5. 対応するログファイルを確認して、障害の原因を特定します。デフォルトでは、Ceph はベアメタルデプロイメントの /var/log/ceph/ ディレクトリーにログファイルを保存します。

   注記

   コンテナーベースのデプロイメントの場合、Ceph は journald へのログを生成します。/var/log/ceph のファイルへのロギングを有効にするには、Ceph 設定ファイルの [global] の下にある log_to_file パラメーターを true に設定します。詳細は、Ceph のログについて を参照してください。

   1. 以下の EIO エラーメッセージのような EIO エラーメッセージは、基礎となるディスクの失敗を示しています。

      この問題を修正するには、基礎となる OSD ディスクを交換します。詳細は、OSD ドライブを置き換え を参照してください。

   2. ログに、以下のような他の FAILED assert エラーが含まれる場合は、サポートチケットを作成してください。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

      FAILED assert(0 == "hit suicide timeout")

6. dmesg 出力で、基礎となるファイルシステムまたはディスクのエラーを確認します。

   $ dmesg

   1. dmesg 出力に SCSI error エラーメッセージが含まれる場合は、Red Hat カスタマーポータルの SCSI Error Codes Solution Finder ソリューションを参照して、問題を修正する最適な方法を判断してください。
   2. または、基礎となるファイルシステムを修正できない場合は、OSD ドライブを交換します。詳細は、OSD ドライブを置き換え を参照してください。

7. OSD が以下のようなセグメンテーション違反で失敗した場合には、必要な情報を収集してサポートチケットを作成します。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

   Caught signal (Segmentation fault)

ceph-osd が実行中だが、down とマークされている。

1. 対応するログファイルを確認して、障害の原因を特定します。デフォルトでは、Ceph はベアメタルデプロイメントの /var/log/ceph/ ディレクトリーにログファイルを保存します。

   注記

   コンテナーベースのデプロイメントの場合、Ceph は journald へのログを生成します。/var/log/ceph のファイルへのロギングを有効にするには、Ceph 設定ファイルの [global] の下にある log_to_file パラメーターを true に設定します。詳細は、Ceph のログについて を参照してください。

   1. ログに以下のようなエラーメッセージが含まれる場合は、OSD のフラッピング を参照してください。

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

   2. 他のエラーが表示される場合は、サポートチケットを作成します。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

この問題を解決するには、以下を行います。

1. ceph health detail コマンドの出力を再度確認します。slow requests エラーメッセージが含まれる場合は、この問題のトラブルシューティング方法の詳細を参照してください。

   # ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

2. down としてマークされている OSD と、その OSD が置かれているノードを判別します。

   # ceph osd tree | grep down

3. フラッピング OSD が含まれるノードで、ネットワークの問題をトラブルシューティングおよび修正します。詳細は、ネットワーク問題のトラブルシューティング を参照してください。

4. noup フラグおよび nodown フラグを設定して、OSD を down および up としてマークするのを停止するための一時的な強制モニターを実行できます。

   # ceph osd set noup
   # ceph osd set nodown

   重要

   noup フラグおよび nodown フラグを使用しても、問題の根本的な原因は修正されず、OSD がフラッピングしないようにします。サポートチケットを作成するには、Red Hat Suppor サービスの問い合わせ セクションを参照してください。

この問題を解決するには、以下を行います。

1. 遅いリクエストまたはブロックされたリクエストのある OSD がディスクドライブ、ホスト、ラック、ネットワークスイッチなど、共通のハードウェアを共有しているかどうかを判断します。

2. OSD がディスクを共有する場合は、以下を実行します。

   1. smartmontools ユーティリティーを使用して、ディスクまたはログの状態をチェックして、ディスクのエラーを確認します。

      注記

      smartmontools ユーティリティーは、smartmontools パッケージに含まれています。

   2. iostat ユーティリティーを使用して OSD ディスクの I/O 待機レポート (%iowai) を取得し、ディスク負荷が大きいかどうかを判断します。

      注記

      iostat ユーティリティーは、sysstat パッケージに含まれています。

3. OSD が他のサービスとノードを共有している場合:

   1. RAM および CPU の使用率を確認します。
   2. netstat ユーティリティーを使用して、ネットワークインターフェイスコントローラー (NIC) のネットワーク統計を確認し、ネットワークの問題のトラブルシューティングを行います。詳細は、ネットワーク問題のトラブルシューティング を参照してください。
4. OSD がラックを共有している場合は、ラックのネットワークスイッチを確認します。たとえば、ジャンボフレームを使用する場合は、パスの NIC にジャンボフレームが設定されていることを確認します。
5. リクエストが遅い OSD が共有している共通のハードウェアを特定できない場合や、ハードウェアやネットワークの問題をトラブルシューティングして解決できない場合は、サポートチケットを作成します。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

手順

1. Ansible 管理ノードにログインします。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   例

   [ansible@admin ~]$ cd /usr/share/ceph-ansible

3. Ansible の Playbook shrink-mds.yml を実行します。プロンプトが表示されたら、yes と入力して、クラスターの縮小を確認します。

   Syntax

   ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=ID -i hosts

   ID は、削除する MDS ノードの ID に置き換えます。1 回の Playbook の実行で削除できるのは 1 つの Ceph MDS だけです。

   例

   [ansible @admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=node02 -i hosts

4. root または sudo アクセスで、/usr/share/ceph-ansible/hosts インベントリーファイルを開いて編集し、[mdss] セクションの MDS ノードを削除します。

   Syntax

   [mdss]
   MDS_NODE_NAME
   MDS_NODE_NAME

   例

   [mdss]
   node01
   node03

   この例では、node02 が [mdss] のリストから削除されました。

手順

1. MDS デーモンを削除する Ceph MDS ノードにログインします。

2. Ceph MDS サービスを停止します。

   Syntax

   sudo systemctl stop ceph-mds@HOST_NAME

   HOST_NAME を、デーモンが実行されているホストの短縮名に置き換えます。

   例

   [admin@node02 ~]$ sudo systemctl stop ceph-mds@node02

3. MDS をこのノードに再デプロイしない場合は、MDS サービスを無効にします。

   Syntax

   sudo systemctl disable ceph-mds@HOST_NAME

   HOST_NAME を、デーモンを無効にするホストの短縮名に置き換えます。

   例

   [admin@node02 ~]$ sudo systemctl disable ceph-mds@node02

4. MDS ノードの /var/lib/ceph/mds/ceph-MDS_ID ディレクトリーを削除します。

   Syntax

   sudo rm -fr /var/lib/ceph/mds/ceph-MDS_ID

   MDS_ID を、MDS デーモンを削除する MDS ノードの ID に置き換えます。

   例

   [admin@node02 ~]$ sudo rm -fr /var/lib/ceph/mds/ceph-node02

手順

1. Ansible 管理ノードにログインします。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   例

   [ansible@admin ~]$ cd /usr/share/ceph-ansible

3. root または sudo アクセスで、/usr/share/ceph-ansible/hosts インベントリーファイルを開いて編集し、[mdss] セクションで MDS ノードを追加します。

   Syntax

   [mdss]
   MDS_NODE_NAME
   NEW_MDS_NODE_NAME

   NEW_MDS_NODE_NAME を、MDS サーバーをインストールするノードのホスト名に置き換えます。

   あるいは、[osds] セクションおよび [mdss] セクションに同じノードを追加して、1 つのノード上に MDS デーモンと OSD デーモンを共存させることができます。

   例

   [mdss]
   node01
   node03

4. ansible ユーザーとして、Ansible Playbook を実行して MDS ノードをプロビジョニングします。

   • ベアメタル デプロイメント:

     [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss -i hosts

   • コンテナー デプロイメント:

     [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit mdss -i hosts

     Ansible Playbook の実行が終了すると、新しい Ceph MDS ノードがストレージクラスターに表示されます。

手順

1. ノードにログインして MDS マウントポイントを作成して、MDS ノードを追加します。

   Syntax

   sudo mkdir /var/lib/ceph/mds/ceph-MDS_ID

   MDS_ID を、MDS デーモンを追加する MDS ノードの ID に置き換えます。

   例

   [admin@node03 ~]$ sudo mkdir /var/lib/ceph/mds/ceph-node03

2. これが新しい MDS ノードである場合は、Cephx 認証を使用している場合は認証キーを作成します。

   Syntax

   sudo ceph auth get-or-create mds.MDS_ID mon 'profile mds' mgr 'profile mds' mds 'allow *' osd 'allow *' > /var/lib/ceph/mds/ceph-MDS_ID/keyring

   MDS_ID を、MDS デーモンをデプロイする MDS ノードの ID に置き換えます。

   例

   [admin@node03 ~]$ sudo ceph auth get-or-create mds.node03 mon 'profile mds' mgr 'profile mds' mds 'allow *' osd 'allow *' > /var/lib/ceph/mds/ceph-node03/keyring

   注記

   Cephx 認証はデフォルトで有効になっています。Cephx 認証の詳細は、関連情報セクションの Cephx 認証のリンクを参照してください。

3. MDS デーモンを起動します。

   Syntax

   sudo systemctl start ceph-mds@HOST_NAME

   HOST_NAME を、デーモンを起動するホストの短縮名に置き換えます。

   例

   [admin@node03 ~]$ sudo systemctl start ceph-mds@node03

4. MDS サービスを有効にします。

   Syntax

   systemctl enable ceph-mds@HOST_NAME

   HOST_NAME を、サービスを有効にするホストの短縮名に置き換えます。

   例

   [admin@node03 ~]$ sudo systemctl enable ceph-mds@node03

この問題を解決するには、以下を行います。

1. 古い PG とそれらが保存される OSD を特定します。エラーメッセージには、以下の例のような情報が含まれます。

   例

   # ceph health detail
   HEALTH_WARN 24 pgs stale; 3/300 in osds are down
   ...
   pg 2.5 is stuck stale+active+remapped, last acting [2,0]
   ...
   osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080
   osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539
   osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861

2. down とマークされている OSD の問題のトラブルシューティング。詳細は、Down OSD を参照してください。

この問題を解決するには、以下を行います。

1. どの配置グループが 一貫性のない 状態かを決定します。

   # ceph health detail
   HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
   pg 0.6 is active+clean+inconsistent, acting [0,1,2]
   2 scrub errors

2. 配置グループに inconsistent な理由を決定します。

   1. 配置グループでディープスクラビングプロセスを開始します。

      [root@mon ~]# ceph pg deep-scrub ID

      ID を、以下のように inconsistent 配置グループの ID に置き換えます。

      [root@mon ~]# ceph pg deep-scrub 0.6
      instructing pg 0.6 on osd.0 to deep-scrub

   2. ceph -w の出力で、その配置グループに関連するメッセージを探します。

      ceph -w | grep ID

      ID を、以下のように inconsistent 配置グループの ID に置き換えます。

      [root@mon ~]# ceph -w | grep 0.6
      2015-02-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes.
      2015-02-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors

3. 出力に以下のようなエラーメッセージが含まれる場合は、inconsistent 配置グループを修復できます。詳細は、一貫性のない配置グループの修正 を参照してください。

   PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE
   PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE
   PG.ID shard OSD: soid OBJECT size 0 != known size SIZE
   PG.ID deep-scrub stat mismatch, got MISMATCH
   PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST

4. 出力に以下のようなエラーメッセージが含まれる場合は、データが失われる可能性があるため、inconsistent のない配置グループを修正しても安全ではありません。この場合、サポートチケットを作成します。詳細は Red Hat サポートへの問い合わせ を参照してください。

   PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST
   PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST

この問題を解決するには、以下を行います。

1. down になっている OSD を特定します。

   # ceph osd tree

2. OSD の問題をトラブルシューティングし、修正します。詳細は、Down OSD を参照してください。

この問題を解決するには、以下を行います。

1. down になっている OSD を特定します。

   # ceph osd tree

2. OSD の問題をトラブルシューティングし、修正します。

1. osd.1 は down します。
2. osd.2 は一部の書き込み操作を処理します。
3. osd.1 が up とないります。
4. osd.1 と osd.2 の間のピアリングプロセスは開始し、osd.1 にないオブジェクトはリカバリーのためにキューに置かれます。
5. Ceph が新規オブジェクトをコピーする前に、osd.2 が down となります。

この問題を解決するには、以下を行います。

1. unfound オブジェクトが含まれる配置グループを決定します。

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%)
   pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0]
   pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound
   recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**

2. 配置グループに関する詳細情報を表示します。

   [root@mon ~]# ceph pg ID query

   ID を、以下のように、unfound オブジェクトを含む配置グループの ID に置き換えます。

   [root@mon ~]# ceph pg 3.8a5 query
   { "state": "active+recovering",
     "epoch": 10741,
     "up": [
           320,
           248,
           0],
     "acting": [
           320,
           248,
           0],
   <snip>
     "recovery_state": [
           { "name": "Started\/Primary\/Active",
             "enter_time": "2015-01-28 19:30:12.058136",
             "might_have_unfound": [
                   { "osd": "0",
                     "status": "already probed"},
                   { "osd": "248",
                     "status": "already probed"},
                   { "osd": "301",
                     "status": "already probed"},
                   { "osd": "362",
                     "status": "already probed"},
                   { "osd": "395",
                     "status": "already probed"},
                   { "osd": "429",
                     "status": "osd is down"}],
             "recovery_progress": { "backfill_targets": [],
                 "waiting_on_backfill": [],
                 "last_backfill_started": "0\/\/0\/\/-1",
                 "backfill_info": { "begin": "0\/\/0\/\/-1",
                     "end": "0\/\/0\/\/-1",
                     "objects": []},
                 "peer_backfill_info": [],
                 "backfills_in_flight": [],
                 "recovering": [],
                 "pg_backend": { "pull_from_peer": [],
                     "pushing": []}},
             "scrub": { "scrubber.epoch_start": "0",
                 "scrubber.active": 0,
                 "scrubber.block_writes": 0,
                 "scrubber.finalizing": 0,
                 "scrubber.waiting_on": 0,
                 "scrubber.waiting_on_whom": []}},
           { "name": "Started",
             "enter_time": "2015-01-28 19:30:11.044020"}],

   might_have_unfound セクションには、Ceph が unfound オブジェクトの検索を試行する OSD が含まれます。

   • already probed ステータスは、Ceph が OSD 内で unfound オブジェクトを検出できないことを示します。
   • osd is down 状態は、Ceph が OSD と通信できないことを示します。
3. down とマークされている OSD のトラブルシューティング詳細は、Down OSD を参照してください。
4. OSD が down となる問題を修正できない場合は、サポートチケットを作成してください。詳細は、サービスについて Red Hat サポートへの問い合わせ を参照してください。

手順

1. 適切な OSD がダウンしていることを確認します。

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 配置グループに関係なく、OSD 内のすべてのオブジェクトを特定します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list

4. 配置グループ内のすべてのオブジェクトを特定します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op list

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op list

5. オブジェクトが属する PG を特定します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list OBJECT_ID

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list default.region

6. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. 適切な OSD がダウンしていることを確認します。

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. ceph-objectstore-tool ユーティリティーを使用して、失われたオブジェクトおよび存在しないオブジェクト のオブジェクトをリスト表示します。適切な状況を選択します。

   1. 失われたすべてのオブジェクトをリストします。

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list-lost

      例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list-lost

   2. 配置グループ内の失われたすべてのオブジェクトをリストします。

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op list-lost

      例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op list-lost

   3. 失われたオブジェクトをその識別子でリストします。

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list-lost OBJECT_ID

      例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list-lost default.region

4. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. 適切な OSD がダウンしていることを確認します。

   構文

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 失われたレガシーオブジェクトをすべてリスト表示します。

   構文

   ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost --dry-run

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost --dry-run

4. ceph-objectstore-tool ユーティリティーを使用して、ceph ユーザーとして失われたオブジェクトおよび存在しないオブジェクト を修正します。適切な状況を選択します。

   • 失われたオブジェクトをすべて修正します。

     構文

     su - ceph -c 'ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost'

     例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost'

   • 配置グループ内の失われたすべてのオブジェクトを修正します。

     su - ceph -c 'ceph-objectstore-tool --data-path _PATH_TO_OSD_ --pgid _PG_ID_ --op fix-lost'

     例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op fix-lost'

   • 失われたオブジェクトを識別子で修正します。

     構文

     su - ceph -c 'ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost OBJECT_ID'

     例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost default.region'

5. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. 適切な OSD がダウンしていることを確認します。

   [root@osd ~]# systemctl status ceph-osd@$OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. OSD または配置グループ (PG) のオブジェクトをリスト表示してオブジェクトを見つけます。

4. オブジェクトにバイトを設定する前に、そのオブジェクトのバックアップと作業コピーを作成します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   get-bytes > OBJECT_FILE_NAME
   
   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   get-bytes > OBJECT_FILE_NAME

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   get-bytes > zone_info.default.backup
   
   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   get-bytes > zone_info.default.working-copy

5. 作業コピーオブジェクトファイルを編集し、それに応じてオブジェクトの内容を変更します。

6. オブジェクトのバイトを設定します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   set-bytes < OBJECT_FILE_NAME

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   set-bytes < zone_info.default.working-copy

7. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. 適切な OSD がダウンしていることを確認します。

   [root@osd ~]# systemctl status ceph-osd@$OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. オブジェクトの削除

   構文

   ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   remove

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   remove

4. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. 適切な OSD がダウンしていることを確認します。

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

2. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. オブジェクトマップをリスト表示します。

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   list-omap

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   list-omap

4. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

手順

1. コンテナー化されたデプロイメントの場合、bluestore tool にアクセスするには、次の手順に従います。

   1. クラスターに noout フラグを設定します。

      例

      [root@mon ~]# ceph osd set noout

   2. OSD コンテナーをホストするノードにログインします。

   3. /etc/systemd/system/ceph-osd@.service ユニットファイルを /root ディレクトリーにバックアップします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. /run/ceph-osd@OSD_ID.service-cid ファイルを /root に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. /etc/systemd/system/ceph-osd@.service ユニットファイルを編集し、-it --entrypoint /bin/bash オプションを podman コマンドに追加します。

      例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   7. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      systemctl restart ceph-osd@OSD_ID.service

      OSD_ID を OSD の ID に置き換えます。

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. OSD_ID に関連付けられたコンテナーにログインします。

      Syntax

      podman exec -it ceph-osd-OSD_ID /bin/bash

      例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. osd fsid を取得し、OSD をアクティベートして OSD の論理ボリューム (LV) をマウントします。

      Syntax

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

2. 適切な OSD がダウンしていることを確認します。

   構文

   systemctl status ceph-osd@OSD_NUMBER

   例

   [root@osd ~]# systemctl status ceph-osd@1

3. オブジェクトマップヘッダーを取得します。

   構文

   ceph-objectstore-tool --data-path PATH_TO_OSD \
   --pgid PG_ID OBJECT \
   get-omaphdr > OBJECT_MAP_FILE_NAME

   例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \
   --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   get-omaphdr > zone_info.default.omaphdr.txt

4. オブジェクトマップヘッダーを設定します。

   構文

   ceph-objectstore-tool --data-path PATH_TO_OSD \
   --pgid PG_ID OBJECT \
   get-omaphdr < OBJECT_MAP_FILE_NAME

   例

   [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \
   --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   set-omaphdr < zone_info.default.omaphdr.txt

5. コンテナー化されたデプロイメントの場合、変更を元に戻すには、次の手順に従います。

   1. コンテナーを終了したら、/root ディレクトリーから /etc/systemd/system/ceph-osd@.service ユニットファイルをコピーします。

      例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. systemd マネージャーの設定を再ロードします。

      例

      [root@osd ~]# systemctl daemon-reload

   3. /run/ceph-osd@OSD_ID.service-cid ファイルを /tmp に移動します。

      例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. OSD_ID に関連付けられた OSD サービスを再起動します。

      Syntax

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      例

      [root@osd ~]# systemctl restart ceph-osd@0.service