6.5. 障害からの復旧

手順

1. プライマリーイメージを使用するクライアントをすべて停止します。この手順は、どのクライアントがイメージを使用するかにより異なります。たとえば、イメージを使用する OpenStack インスタンスからボリュームの割り当てを解除します。

2. site-a クラスターのモニターノードで以下のコマンドを実行して、site-a クラスターにあるプライマリーイメージをデモートします。

   構文

   rbd mirror image demote POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd mirror image demote data/image1
   [root@rbd-client ~]# rbd mirror image demote data/image2

3. site-b クラスターにあるプライマリー以外のイメージをプロモートするには、site-b クラスターのモニターノードで以下のコマンドを実行します。

   構文

   rbd mirror image promote POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd mirror image promote data/image1
   [root@rbd-client ~]# rbd mirror image promote data/image2

4. しばらくすると、site-b クラスターのモニターノードからイメージのステータスを確認します。イメージのステータスは、up+stopped の状態を表示し、プライマリーとしてリストされているはずです。

   [root@rbd-client ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopped
     description: local image is primary
     last_update: 2019-04-17 16:04:37
   [root@rbd-client ~]# rbd mirror image status data/image2
   image2:
     global_id:   596f41bc-874b-4cd4-aefe-4929578cc834
     state:       up+stopped
     description: local image is primary
     last_update: 2019-04-17 16:04:37

5. イメージへのアクセスを再開します。この手順は、どのクライアントがイメージを使用するかにより異なります。

手順

1. プライマリーストレージクラスターが停止していることを確認します。
2. プライマリーイメージを使用するクライアントをすべて停止します。この手順は、どのクライアントがイメージを使用するかにより異なります。たとえば、イメージを使用する OpenStack インスタンスからボリュームの割り当てを解除します。

3. site-b ストレージクラスターの Ceph Monitor ノードからプライマリー以外のイメージをプロモートします。site-a ストレージクラスターにデモートが伝播されないので、--force オプションを使用します。

   構文

   rbd mirror image promote --force POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd mirror image promote --force data/image1
   [root@rbd-client ~]# rbd mirror image promote --force data/image2

4. site-b ストレージクラスターの Ceph Monitor ノードからイメージのステータスを確認します。up+stopping_replay の状態が表示されるはずです。説明には、force promoted と書かれている必要があります。これは、断続的な状態にあることを意味します。状態が up+stopped になるまで待って、サイトが正常に昇格されたことを確認します。

   例

   [root@rbd-client ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopping_replay
     description: force promoted
     last_update: 2023-04-17 13:25:06
   
   [root@rbd-client ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopped
     description: force promoted
     last_update: 2023-04-17 13:25:06

手順

1. Cephadm シェルにログインします。

   例

   [root@rbd-client ~]# cephadm shell

2. site-a ストレージクラスターで、以下のコマンドを実行します。

   例

   [ceph: root@rbd-client /]# ceph orch apply rbd-mirror --placement=host01

3. アクセスできないピアをすべて削除します。

   重要

   この手順は、稼働中のピアサイトで実行する必要があります。

   注記

   複数のピアは一方向のミラーリングでのみサポートされます。

   1. プールの UUID を取得します。

      構文

      rbd mirror pool info POOL_NAME

      例

      [ceph: root@host01 /]# rbd mirror pool info pool_failback

   2. アクセスできないピアを削除します。

      構文

      rbd mirror pool peer remove POOL_NAME PEER_UUID

      例

      [ceph: root@host01 /]# rbd mirror pool peer remove pool_failback f055bb88-6253-4041-923d-08c4ecbe799a

4. ピアミラープールと同じ名前でブロックデバイスプールを作成します。

   1. rbd プールを作成するには、以下を実行します。

      構文

      ceph osd pool create POOL_NAME PG_NUM
      ceph osd pool application enable POOL_NAME rbd
      rbd pool init -p POOL_NAME

      例

      [root@rbd-client ~]# ceph osd pool create pool1
      [root@rbd-client ~]# ceph osd pool application enable pool1 rbd
      [root@rbd-client ~]# rbd pool init -p pool1

5. Ceph クライアントノードで、ストレージクラスターのピアをブートストラップします。

   1. Ceph ユーザーアカウントを作成し、ストレージクラスターのピアをプールに登録します。

      構文

      rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN

      例

      [ceph: root@rbd-client-site-a /]# rbd mirror pool peer bootstrap create --site-name site-a data > /root/bootstrap_token_site-a

      注記

      以下の bootstrap コマンド例では、client.rbd-mirror.site-a および client.rbd-mirror-peer Ceph ユーザーを作成します。

   2. ブートストラップトークンファイルを site-b ストレージクラスターにコピーします。

   3. site-b ストレージクラスターでブートストラップトークンをインポートします。

      構文

      rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-only POOL_NAME PATH_TO_BOOTSTRAP_TOKEN

      例

      [ceph: root@rbd-client-site-b /]# rbd mirror pool peer bootstrap import --site-name site-b --direction rx-only data /root/bootstrap_token_site-a

      注記

      一方向 RBD ミラーリングでは、ピアのブートストラップ時に双方向のミラーリングがデフォルトであるため --direction rx-only 引数を使用する必要があります。

6. site-a ストレージクラスターのモニターノードから、site-b ストレージクラスターがピアとして正常に追加されたことを確認します。

   例

   [ceph: root@rbd-client /]# rbd mirror pool info -p data
   Mode: image
   Peers:
     UUID                                 NAME   CLIENT
     d2ae0594-a43b-4c67-a167-a36c646e8643 site-b client.site-b

手順

1. site-a ストレージクラスターから、ピアとしての site-b ストレージクラスターを削除します。

   例

   [root@rbd-client ~]# rbd mirror pool peer remove data client.remote@remote --cluster local
   [root@rbd-client ~]# rbd --cluster site-a mirror pool peer remove data client.site-b@site-b -n client.site-a

2. site-a クライアントで rbd-mirror デーモンを停止して無効にします。

   構文

   systemctl stop ceph-rbd-mirror@CLIENT_ID
   systemctl disable ceph-rbd-mirror@CLIENT_ID
   systemctl disable ceph-rbd-mirror.target

   例

   [root@rbd-client ~]# systemctl stop ceph-rbd-mirror@site-a
   [root@rbd-client ~]# systemctl disable ceph-rbd-mirror@site-a
   [root@rbd-client ~]# systemctl disable ceph-rbd-mirror.target