ブロックデバイスガイド

手順

1. rbd help コマンドを使用して、特定の rbd コマンドとそのサブコマンドのヘルプを表示します。

   構文

   rbd help COMMAND SUBCOMMAND

2. snap list コマンドのヘルプを表示するには、次のコマンドを実行します。

   [root@rbd-client ~]# rbd help snap list

手順

1. rbd プールを作成するには、以下を実行します。

   構文

   ceph osd pool create POOL_NAME PG_NUM
   ceph osd pool application enable POOL_NAME rbd
   rbd pool init -p POOL_NAME

   例

   [root@rbd-client ~]# ceph osd pool create example 128
   [root@rbd-client ~]# ceph osd pool application enable example rbd
   [root@rbd-client ~]# rbd pool init -p example

手順

1. ブロックデバイスイメージを作成するには、以下のコマンドを実行します。

   構文

   rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME

   例

   [root@rbd-client ~]# rbd create data --size 1024 --pool stack

   以下の例では、stack という名前のプールに情報を格納する data という名前のイメージが 1 GB のサイズで作成されます。

   注記

   イメージを作成する前に、プールが存在することを確認します。

手順

1. rbd プールのブロックデバイスを一覧表示するには、以下を実行します (rbd はデフォルトのプール名です)。

   [root@rbd-client ~]# rbd ls

2. 特定のプールのブロックデバイスを一覧表示するには、以下を実行します。ただし、POOL_NAME はプールの名前に置き換えます。

   構文

   rbd ls POOL_NAME

   例

   [root@rbd-client ~]# rbd ls swimmingpool

手順

1. 特定のイメージから情報を取得するには、以下を実行します。ただし、IMAGE_NAME はイメージの名前に置き換えます。

   構文

   rbd --image IMAGE_NAME info

   例

   [root@rbd-client ~]# rbd --image foo info

2. プール内のイメージから情報を取得するには、以下を実行します。ただし、IMAGE_NAME はイメージの名前に、POOL_NAME はプールの名前に置き換えます。

   構文

   rbd --image IMAGE_NAME -p POOL_NAME info

   例

   [root@rbd-client ~]# rbd --image bar -p swimmingpool info

手順

1. Ceph ブロックデバイスイメージの最大サイズを増減するには、以下を実行します。

   構文

   [root@rbd-client ~]# rbd resize --image IMAGE_NAME --size SIZE

手順

1. ブロックデバイスを削除するには以下を実行します。ただし、IMAGE_NAME は削除するイメージの名前に置き換えます。

   構文

   rbd rm IMAGE_NAME

   例

   [root@rbd-client ~]# rbd rm foo

2. プールからブロックデバイスを削除するには以下を実行します。ただし、IMAGE_NAME は、削除するイメージの名前に、POOL_NAME はプールの名前に置き換えます。

   構文

   rbd rm IMAGE_NAME -p POOL_NAME

   例

   [root@rbd-client ~]# rbd rm bar -p swimmingpool

手順

1. 機能を有効にします。

   構文

   rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME

   1. data プールの image1 イメージで exclusive-lock 機能を有効にするには、以下を実行します。

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock

      重要

      fast-diff および object-map 機能を有効にする場合には、オブジェクトマップを再構築します。

      + 構文

      rbd object-map rebuild POOL_NAME/IMAGE_NAME

2. 機能を無効にします。

   構文

   rbd feature disable POOL_NAME/IMAGE_NAME FEATURE_NAME

   1. data プールの image2 イメージで fast-diff 機能を無効にするには、以下を実行します。

      例

      [root@rbd-client ~]# rbd feature disable data/image2 fast-diff

手順

1. 新しいメタデータのキー/値のペアを設定するには、以下を行います。

   構文

   rbd image-meta set POOL_NAME/IMAGE_NAME KEY VALUE

   例

   [root@rbd-client ~]# rbd image-meta set data/dataset last_update 2016-06-06

   この例では、last_update キーを、data プールの dataset イメージの 2016-06-06 値に設定します。

2. メタデータのキー/値のペアを削除するには、以下を実行します。

   構文

   rbd image-meta remove POOL_NAME/IMAGE_NAME KEY

   例

   [root@rbd-client ~]# rbd image-meta remove data/dataset last_update

   この例では、data プール内の dataset イメージから last_update のキーと値のペアを削除します。

3. キーの値を表示するには、次のコマンドを実行します。

   構文

   rbd image-meta get POOL_NAME/IMAGE_NAME KEY

   例

   [root@rbd-client ~]# rbd image-meta get data/dataset last_update

   この例では、last_update キーの値を確認します。

4. イメージの全メタデータを表示するには、以下のコマンドを実行します。

   構文

   rbd image-meta list POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd data/dataset image-meta list

   この例では、data プールの dataset イメージに設定されたメタデータを一覧表示しています。

5. 特定のイメージの Ceph 設定ファイルに設定されている RBD イメージ設定を上書きするには、以下を実行します。

   構文

   rbd config image set POOL_NAME/IMAGE_NAME  PARAMETER VALUE

   例

   [root@rbd-client ~]# rbd config image set data/dataset rbd_cache false

   この例では、data プールの dataset イメージの RBD キャッシュを無効にします。

手順

1. ソースおよびターゲットイメージをクロスリンクする新規ターゲットイメージを作成して、移行を準備します。

   構文

   rbd migration prepare SOURCE_IMAGE TARGET_IMAGE

   以下を置き換えます。

   • SOURCE_IMAGE: 移動するイメージの名前に置き換えます。POOL/IMAGE_NAME 形式を使用します。
   • TARGET_IMAGE: 新しいイメージの名前。POOL/IMAGE_NAME 形式を使用します。

   例

   [root@rbd-client ~]# rbd migration prepare data/source stack/target

2. 作成 予定の新しいターゲットイメージの状態を確認します。

   構文

   rbd status TARGET_IMAGE

   例

   [root@rbd-client ~]# rbd status stack/target
   Watchers: none
   Migration:
               source: data/source (5e2cba2f62e)
               destination: stack/target (5e2ed95ed806)
               state: prepared

3. 必要に応じて、新規ターゲットイメージ名を使用してクライアントを再起動します。

4. ソースイメージをターゲットイメージにコピーします。

   構文

   rbd migration execute TARGET_IMAGE

   例

   [root@rbd-client ~]# rbd migration execute stack/target

5. 移行が完了したことを確認します。

   例

   [root@rbd-client ~]# rbd status stack/target
   Watchers:
       watcher=1.2.3.4:0/3695551461 client.123 cookie=123
   Migration:
               source: data/source (5e2cba2f62e)
               destination: stack/target (5e2ed95ed806)
               state: executed

6. ソースとターゲットイメージ間のクロスリンクを削除して移行をコミットします。これにより、ソースイメージも削除されます。

   構文

   rbd migration commit TARGET_IMAGE

   例

   [root@rbd-client ~]# rbd migration commit stack/target

   ソースイメージが 1 つ以上のクローンの親である場合は、クローンイメージが使用されていないことを確認した後に --force オプションを使用します。

   例

   [root@rbd-client ~]# rbd migration commit stack/target --force

7. 準備手順の後にクライアントを再起動しなかった場合は、新規ターゲットイメージ名を使用してクライアントを再起動します。

手順

1. /etc/ceph/rbdmap 設定ファイルを開いて編集します。

2. RBD イメージを設定ファイルに追加します。

   例

   foo/bar1    id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
   foo/bar2    id=admin,keyring=/etc/ceph/ceph.client.admin.keyring,options='lock_on_read,queue_depth=1024'

3. 設定ファイルに加えた変更を保存します。

4. RBD マッピングサービスを有効にします。

   例

   [root@client ~]# systemctl enable rbdmap.service

手順

1. rbd_support Ceph Manager モジュールを有効にします。

   例

   [user@mon ~]$ ceph mgr module enable rbd_support

2. iotop スタイルのイメージを表示するには、以下のコマンドを実行します。

   例

   [user@mon ~]$ rbd perf image iotop

   注記

   ops、read-ops、write-bytes、read-bytes、write-latency、および read-latency の列は、右と左矢印キーを使用して動的にソートできます。

3. iostat スタイルのイメージを表示するには、以下を実行します。

   例

   [user@mon ~]$ rbd perf image iostat

   注記

   このコマンドは JSON または XML 形式で出力でき、他のコマンドラインツールを使用してソートできます。

手順

1. ブロックデバイスイメージをマウントするには、まずイメージの一覧を返します。

   [root@rbd-client ~]# rbd list

手順

1. イメージ名をカーネルモジュールにマッピングします。

   構文

   rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME

   例

   [root@rbd-client ~]# rbd device map rbd/myimage --id admin

2. cephx 認証を使用する場合に、キーリングか、シークレットを含むファイルでシークレットを指定します。

   構文

   [root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyring PATH_TO_KEYRING

   または

   [root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyfile PATH_TO_FILE

手順

1. マップされたブロックデバイスを表示します。

   [root@rbd-client ~]# rbd device list

手順

1. ブロックデバイスイメージのマッピングを解除します。

   構文

   rbd device unmap /dev/rbd/POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd device unmap /dev/rbd/rbd/foo

手順

1. rbd プールを作成します。

   構文

   ceph osd pool create POOL_NAME PG_NUM

   例

   [root@mon ~]# ceph osd pool create mypool 100
   pool 'mypool' created

2. rbd プールを RBD アプリケーションに関連付けます。

   構文

   ceph osd pool application enable POOL_NAME rbd

   例

   [root@mon ~]# ceph osd pool application enable mypool rbd
   enabled application 'rbd' on pool 'mypool'

3. RBD アプリケーションでプールを初期化します。

   構文

   rbd pool init -p POOL_NAME

   例

   [root@mon ~]#  rbd pool init -p mypool

4. 2 つの名前空間を作成します。

   構文

   rbd namespace create --namespace NAMESPACE

   例

   [root@mon ~]# rbd namespace create --namespace namespace1
   
   [root@mon ~]# rbd namespace create --namespace namespace2
   
   [root@mon ~]# rbd namespace ls --format=json
   [{"name":"namespace2"},{"name":"namespace1"}]

5. ユーザー 2 つにこの名前空間へのアクセスを割り当てます。

   構文

   ceph auth get-or-create client.USER_NAME mon 'profile rbd' osd 'profile rbd pool=rbd namespace=NAMESPACE' -o /etc/ceph/client.USER_NAME.keyring

   例

   [root@mon ~]# ceph auth get-or-create client.testuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace1' -o /etc/ceph/client.testuser.keyring
   
   [root@mon ~]# ceph auth get-or-create client.newuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace2' -o /etc/ceph/client.newuser.keyring

6. クライアントのキーを取得します。

   構文

   ceph auth get client.USER_NAME

   例

   [root@mon ~]# ceph auth get client.testuser
   
   [client.testuser]
   	key = AQDMp61hBf5UKRAAgjQ2In0Z3uwAase7mrlKnQ==
   	caps mon = "profile rbd"
   	caps osd = "profile rbd pool=rbd namespace=namespace1"
   exported keyring for client.testuser
   
   [root@mon ~]# ceph auth get client.newuser
   
   [client.newuser]
   	key = AQDfp61hVfLFHRAA7D80ogmZl80ROY+AUG4A+Q==
   	caps mon = "profile rbd"
   	caps osd = "profile rbd pool=rbd namespace=namespace2"
   exported keyring for client.newuser

7. ブロックデバイスイメージを作成し、プール内の事前定義済みの名前空間を使用します。

   構文

   rbd create --namespace NAMESPACE IMAGE_NAME --size SIZE_IN_GB

   例

   [root@mon ~]# rbd create --namespace namespace1 image01 --size 1G
   
   [root@mon ~]# rbd create --namespace namespace2 image02 --size 1G

8. オプション: 名前空間および関連付けられたイメージの詳細を取得します。

   構文

   rbd --namespace NAMESPACE ls --long

   例

   [root@mon ~]#  rbd --namespace namespace1 ls --long
   NAME    SIZE  PARENT FMT PROT LOCK
   image01 1 GiB          2
   
   [root@mon ~]# rbd --namespace namespace2 ls --long
   NAME    SIZE  PARENT FMT PROT LOCK
   image02 1 GiB          2

9. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。

   scp /etc/ceph/ceph.conf root@CLIENT_NODE:/etc/ceph/

   例

   [root@mon ~]# scp /etc/ceph/ceph.conf root@host02:/etc/ceph/
   
   root@host02's password:
   ceph.conf                                                                          100%  497   724.9KB/s   00:00

10. 管理キーリングを Ceph Monitor ノードからクライアントノードにコピーします。

    構文

    scp /etc/ceph/ceph.client.admin.keyring root@CLIENT_NODE:/etc/ceph

    例

    [root@mon ~]# scp /etc/ceph/ceph.client.admin.keyring root@host02:/etc/ceph/
    
    root@host02's password:
    ceph.client.admin.keyring                                                          100%  151   265.0KB/s   00:00

11. ユーザーのキーリングを Ceph Monitor ノードからクライアントノードにコピーします。

    構文

    scp /etc/ceph/ceph.client.USER_NAME.keyring root@CLIENT_NODE:/etc/ceph/

    例

    [root@mon ~]# scp /etc/ceph/client.newuser.keyring root@host02:/etc/ceph/
    
    [root@mon ~]# scp /etc/ceph/client.testuser.keyring root@host02:/etc/ceph/

12. ブロックデバイスイメージをマッピングします。

    構文

    rbd map --name NAMESPACE IMAGE_NAME -n client.USER_NAME --keyring /etc/ceph/client.USER_NAME.keyring

    例

    [root@mon ~]# rbd map --namespace namespace1 image01  -n  client.testuser --keyring=/etc/ceph/client.testuser.keyring
    
    /dev/rbd0
    
    [root@mon ~]# rbd map --namespace namespace2 image02 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring
    
    /dev/rbd1

    これにより、同じプール内の他の名前空間のユーザーにはアクセスできません。

    例

    [root@mon ~]# rbd map --namespace namespace2 image02  -n  client.testuser --keyring=/etc/ceph/client.testuser.keyring
    
    rbd: warning: image already mapped as /dev/rbd1
    rbd: sysfs write failed
    rbd: error asserting namespace: (1) Operation not permitted
    In some cases useful info is found in syslog - try "dmesg | tail".
    2021-12-06 02:49:08.106 7f8d4fde2500 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted
    rbd: map failed: (1) Operation not permitted
    
    [root@mon ~]# rbd map --namespace namespace1 image01 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring
    
    rbd: warning: image already mapped as /dev/rbd0
    rbd: sysfs write failed
    rbd: error asserting namespace: (1) Operation not permitted
    In some cases useful info is found in syslog - try "dmesg | tail".
    2021-12-03 12:16:24.011 7fcad776a040 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted
    rbd: map failed: (1) Operation not permitted

13. デバイスを確認します。

    例

    [root@mon ~]# rbd showmapped
    
    id pool namespace      image   snap device
    0  rbd  namespace1  image01 -  /dev/rbd0
    1  rbd  namespace2   image02 -  /dev/rbd1

手順

1. snap create オプション、プール名、およびイメージ名を指定します。

   構文

   rbd --pool POOL_NAME snap create --snap SNAP_NAME IMAGE_NAME
   rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap create --snap snapname foo
   [root@rbd-client ~]# rbd snap create rbd/foo@snapname

手順

1. プール名とイメージ名を指定します。

   構文

   rbd --pool POOL_NAME snap ls IMAGE_NAME
   rbd snap ls POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap ls foo
   [root@rbd-client ~]# rbd snap ls rbd/foo

手順

1. snap rollback オプション、プール名、イメージ名、および snap 名を指定します。

   構文

   rbd --pool POOL_NAME snap rollback --snap SNAP_NAME IMAGE_NAME
   rbd snap rollback POOL_NAME/IMAGE_NAME@SNAP_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap rollback --snap snapname foo
   [root@rbd-client ~]# rbd snap rollback rbd/foo@snapname

手順

1. snap rm オプション、プール名、イメージ名、およびスナップショット名を指定します。

   構文

   rbd --pool POOL_NAME snap rm --snap SNAP_NAME IMAGE_NAME
   rbd snap rm POOL_NAME-/IMAGE_NAME@SNAP_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap rm --snap snapname foo
   [root@rbd-client ~]# rbd snap rm rbd/foo@snapname

手順

1. snap purge オプションとイメージ名を指定します。

   構文

   rbd --pool POOL_NAME snap purge IMAGE_NAME
   rbd snap purge POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap purge foo
   [root@rbd-client ~]# rbd snap purge rbd/foo

手順

1. スナップショットの名前を変更するには、以下のコマンドを実行します。

   構文

   rbd snap rename POOL_NAME/IMAGE_NAME@ORIGINAL_SNAPSHOT_NAME POOL_NAME/IMAGE_NAME@NEW_SNAPSHOT_NAME

   例

   [root@rbd-client ~]# rbd snap rename data/dataset@snap1 data/dataset@snap2

   これにより、data プールにある データセット イメージの snap1 スナップショットの名前が snap2 に変更されます。

2. rbd help snap rename コマンドを実行して、スナップショットの名前変更に関する追加情報を表示します。

手順

1. 以下のコマンドで POOL_NAME、IMAGE_NAME、および SNAP_SHOT_NAME を指定します。

   構文

   rbd --pool POOL_NAME snap protect --image IMAGE_NAME --snap SNAPSHOT_NAME
   rbd snap protect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap protect --image my-image --snap my-snapshot
   [root@rbd-client ~]# rbd snap protect rbd/my-image@my-snapshot

   注記

   保護されたスナップショットは削除できません。

手順

1. スナップショットのクローンを作成するには、親プール、スナップショット、子プール、およびイメージ名を指定する必要があります。

   構文

   rbd --pool POOL_NAME --image PARENT_IMAGE --snap SNAP_NAME --dest-pool POOL_NAME --dest CHILD_IMAGE_NAME
   rbd clone POOL_NAME/PARENT_IMAGE@SNAP_NAME  POOL_NAME/CHILD_IMAGE_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd --image my-image --snap my-snapshot --dest-pool rbd --dest new-image
   [root@rbd-client ~]# rbd clone rbd/my-image@my-snapshot rbd/new-image

手順

1. 以下のコマンドを実行します。

   構文

   rbd --pool POOL_NAME snap unprotect --image IMAGE_NAME --snap SNAPSHOT_NAME
   rbd snap unprotect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd snap unprotect --image my-image --snap my-snapshot
   [root@rbd-client ~]# rbd snap unprotect rbd/my-image@my-snapshot

手順

1. スナップショットの子を一覧表示するには、以下のコマンドを実行します。

   構文

   rbd --pool POOL_NAME children --image IMAGE_NAME --snap SNAP_NAME
   rbd children POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME

   例

   rbd --pool rbd children --image my-image --snap my-snapshot
   rbd children rbd/my-image@my-snapshot

手順

1. 子イメージに関連付けられた親イメージのスナップショットを削除するには、最初に子イメージをフラット化する必要があります。

   構文

   rbd --pool POOL_NAME flatten --image IMAGE_NAME
   rbd flatten POOL_NAME/IMAGE_NAME

   例

   [root@rbd-client ~]# rbd --pool rbd flatten --image my-image
   [root@rbd-client ~]# rbd flatten rbd/my-image

手順

1. イメージの元のクラスターで、イメージの排他的ロックおよびジャーナリング機能を有効にします。

   1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling

   2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling

   3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。

      rbd_default_features = 125

2. site-a クラスターで、以下の手順を実行します。

   1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-a ユーザーを作成し、そのキーを site-a.client.site-a.keyring という名前のファイルに出力します。

      構文

      ceph auth get-or-create client.CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/CLUSTER_NAME.client.USER_NAME.keyring

      例

      [root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring

   2. Ceph 設定ファイルおよび新たに作成された鍵ファイルをモニターノードから site-b のモニターおよびクライアントノードにコピーします。
   3. Ceph 設定ファイルの名前を ceph.conf から CLUSTER-NAME.conf に変更します。この例では、ファイルは /etc/ceph/site-a.conf です。

3. site-b クラスターで、以下の手順を実行します。

   1. Ansible 管理ノードで、Ansible インベントリーファイルに [rbdmirrors] グループを追加します。通常のインベントリーファイルは /etc/ansible/hosts です。

   2. [rbdmirrors] グループの下に、 rbd-mirror デーモンが実行される site-b クライアントノードの名前を追加します。デーモンは、イメージの変更を site-a から site-b にプルします。

      [rbdmirrors]
      ceph-client

   3. /usr/share/ceph-ansible ディレクトリーに移動します。

      [root@admin ~]# cd /usr/share/ceph-ansible

   4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml

   5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

   6. ceph_rbd_mirror_configure を true に設定します。ceph_rbd_mirror_pool は、イメージをミラーリングするプールに設定します。この例では、data はプールの名前です。

      ceph_rbd_mirror_configure: true
      ceph_rbd_mirror_pool: "data"

   7. デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。

      ceph_rbd_mirror_mode: image

   8. rbd-mirror がプルするクラスターの名前を設定します。以下の例では、他のクラスターは site-a です。

      ceph_rbd_mirror_remote_cluster: "site-a"

   9. Ansible 管理ノードで、ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。キーの作成時に使用した同じ名前を使用します。この例では、ユーザーの名前は client.site-a です。

      ceph_rbd_mirror_remote_user: "client.site-a"

   10. ceph-ansible ユーザーとして、Ansible Playbook を実行します。

       • ベアメタルデプロイメント

         [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts

       • コンテナーデプロイメント

         [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts

4. site-a クラスターと site-b クラスターの両方で、必要なイメージのミラーリングを明示的に有効にします。

   構文

   ジャーナルベースのミラーリング

   rbd mirror image enable POOL/IMAGE

   スナップショットベースのミラーリング

   rbd mirror image enable POOL/IMAGE snapshot

   例

   [root@mon ~]# rbd mirror image enable data/image1
   [root@mon ~]# rbd mirror image enable data/image1 snapshot

   注記

   新規イメージをピアクラスターにミラーリングする場合は常にこの手順を繰り返します。

5. ミラーリングのステータスを確認します。site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

   例

   ジャーナルベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
     state:       up+replaying 1
     description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
     last_update: 2019-04-22 13:19:27

   スナップショットベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
     state:       up+replaying 1
     description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
     service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:41:57

   1 1

   イメージが up+replaying の場合には、ミラーリングが正常に機能します。

   注記

   サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

手順

1. イメージの元のクラスターで、イメージの排他的ロックおよびジャーナリング機能を有効にします。

   1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling

   2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling

   3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。

      rbd_default_features = 125

2. site-a クラスターで、以下の手順を実行します。

   1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-a ユーザーを作成し、そのキーを site-a.client.site-a.keyring という名前のファイルに出力します。Ceph 設定ファイルは /etc/ceph/site-a.conf です。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/PRIMARY_CLUSTER_NAME.conf

      例

      [root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring -c /etc/ceph/site-a.conf

   2. キーリングは site-b クラスターにコピーします。rbd-daemon が実行される site-b クラスターのクライアントノードにファイルをコピーします。このファイルを /etc/ceph/site-a.client.site-a.keyring に保存します。

      構文

      scp /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring root@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring

      例

      [root@mon ~]# scp /etc/ceph/site-a.client.site-a.keyring root@client.site-b:/etc/ceph/site-a.client.site-a.keyring

   3. Ceph 設定ファイルをモニターノードから site-b モニターノードおよびクライアントノードにコピーします。この例の Ceph 設定ファイルは /etc/ceph/site-a.conf です。

      構文

      scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf root@SECONDARY_MONITOR_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf
      scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf user@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf

      例

      [root@mon ~]# scp /etc/ceph/site-a.conf root@mon.site-b:/etc/ceph/site-a.conf
      [root@mon ~]# scp /etc/ceph/site-a.conf user@client.site-b:/etc/ceph/site-a.conf

3. site-b クラスターで、以下の手順を実行します。

   1. site-a から site-b へのミラーリングを設定します。Ansible 管理ノードで、rbdmirrors グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。

   2. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-b クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-a から site-b にプルします。

      例

      [rbdmirrors]
      client.site-b

   3. /usr/share/ceph-ansible ディレクトリーに移動します。

      [root@admin ~]$ cd /usr/share/ceph-ansible

   4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml

   5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

   6. ceph_rbd_mirror_configure を true に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。

      ceph_rbd_mirror_configure: true
      ceph_rbd_mirror_pool: "data"

   7. デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。

      ceph_rbd_mirror_mode: image

   8. group_vars/rbdmirrors.yml ファイルに rbd-mirror のクラスターの名前を設定します。以下の例では、他のクラスターは site-a です。

      ceph_rbd_mirror_remote_cluster: "site-a"

   9. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルの ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。キーの作成時に使用した同じ名前を使用します。この例では、ユーザーの名前は client.site-a です。

      ceph_rbd_mirror_remote_user: "client.site-a"

   10. ansible ユーザーとして、Ansible Playbook を実行します。

       • ベアメタルデプロイメント

         [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts

       • コンテナーデプロイメント

         [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts

4. ミラーリングのステータスを確認します。site-b クラスターで、Ceph Monitor ノードから以下のコマンドを実行します。

   例

   ジャーナルベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
     state:       up+replaying 1
     description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
     last_update: 2021-04-22 13:19:27

   スナップショットベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
     state:       up+replaying 1
     description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
     service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:41:57

   1 1

   イメージが up+replaying の場合には、ミラーリングが正常に機能します。

   注記

   サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

5. site-b クラスターで、以下の手順を実行します。手順は上記とほぼ同じです。

   1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-b ユーザーを作成し、そのキーを site-b.client.site-b.keyring という名前のファイルに出力します。Ceph 設定ファイルは /etc/ceph/site-b.conf です。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/SECONDARY_CLUSTER_NAME.conf

      例

      [root@mon ~]# ceph auth get-or-create client.site-b mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-b.client.site-b.keyring -c /etc/ceph/site-b.conf

   2. キーリングを site-a クラスターにコピーします。rbd-daemon が実行される site-a クラスターのクライアントノードにファイルをコピーします。ファイルを /etc/ceph/site-b.client.site-b.keyring に保存します。

      構文

      scp /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring root@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring

      例

      [root@mon ~]# scp /etc/ceph/site-b.client.site-b.keyring root@client.site-a:/etc/ceph/site-b.client.site-b.keyring

   3. Ceph 設定ファイルをモニターノードから site-a モニターノードおよびクライアントノードにコピーします。この例の Ceph 設定ファイルは /etc/ceph/site-b.conf です。

      構文

      scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf root@PRIMARY_MONITOR_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf
      scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf user@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf

      例

      [root@mon ~]# scp /etc/ceph/site-b.conf root@mon.site-a:/etc/ceph/site-b.conf
      [root@mon ~]# scp /etc/ceph/site-b.conf user@client.site-a:/etc/ceph/site-b.conf

6. site-a クラスターで、以下の手順を実行します。

   1. site-b から site-a へのミラーリングを設定します。Ansible 管理ノードで、rbdmirrors グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。

   2. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-a クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-b から site-a にプルします。

      例

      [rbdmirrors]
      client.site-a

   3. /usr/share/ceph-ansible ディレクトリーに移動します。

      [root@admin ~]# cd /usr/share/ceph-ansible

   4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml

   5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

   6. ceph_rbd_mirror_configure を true に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。

      ceph_rbd_mirror_configure: true
      ceph_rbd_mirror_pool: "data"

   7. オプション: デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。

      ceph_rbd_mirror_mode: image

   8. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルに rbd-mirror クラスターの名前を設定します。例に従い、その他のクラスターの名前は site-b とします。

      ceph_rbd_mirror_remote_cluster: "site-b"

   9. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルの ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。この例では、ユーザーの名前は client.site-b です。

      ceph_rbd_mirror_remote_user: "client.site-b"

   10. 管理ノードで Ansible ユーザーとして、Ansible Playbook を実行します。

       • ベアメタルデプロイメント

         [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts

       • コンテナーデプロイメント

         [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts

7. site-a クラスターと site-b クラスターの両方で、必要なイメージのミラーリングを明示的に有効にします。

   構文

   ジャーナルベースのミラーリング

   rbd mirror image enable POOL/IMAGE

   スナップショットベースのミラーリング

   rbd mirror image enable POOL/IMAGE snapshot

   例

   [root@mon ~]# rbd mirror image enable data/image1
   [root@mon ~]# rbd mirror image enable data/image1 snapshot

   注記

   新規イメージをピアクラスターにミラーリングする場合は常にこの手順を繰り返します。

8. ミラーリングのステータスを確認します。site-a クラスターのクライアントノードから以下のコマンドを実行します。

   例

   ジャーナルベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopped 1
     description: local image is primary
     last_update: 2021-04-16 15:45:31

   スナップショットベースのミラーリング

   [root@mon ~]# rbd mirror image status data/image1
   image1:
     global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
     state:       up+stopped 1
     description: local image is primary
     service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:42:54
     peer_sites:
       name: rbd-mirror.site-b
       state: up+replaying
       description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
       last_update: 2022-01-20 12:42:59
     snapshots:
       5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])

   1 1

   イメージは up+stopped 状態である必要があります。ここでは、up は rbd-mirror デーモンが実行中で、stopped は、イメージが別のクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのクラスターのプライマリーであるためです。

手順

1. site-b ストレージクラスターに接続されているクライアントノードに rbd-mirror パッケージをインストールします。

   Red Hat Enterprise Linux 7

   [root@rbd-client ~]# yum install rbd-mirror

   Red Hat Enterprise Linux 8

   [root@rbd-client ~]# dnf install rbd-mirror

   注記

   パッケージは Red Hat Ceph Storage Tools リポジトリーによって提供されます。

2. イメージ上で排他的ロックおよびジャーナリング機能を有効にします。

   1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE [,FEATURE]

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling

   2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE [,FEATURE]

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling

   3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。

      rbd_default_features = 125

3. ミラーリングモード (pool または image モード) を選択します。

   重要

   スナップショットベースのミラーリングには、イメージモードを使用します。

   1. プールモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE

      例

      [root@rbd-client ~]# rbd mirror pool enable data pool

      この例では、data という名前のプール全体のミラーリングを有効にします。

   2. イメージモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE

      例

      [root@rbd-client ~]# rbd mirror pool enable data image

      この例では、data という名前のプールでイメージモードのミラーリングを有効にします。

   3. ミラーリングが正常に有効になっていることを確認します。

      構文

      rbd mirror pool info POOL_NAME

      例

      [root@rbd-client ~]# rbd mirror pool info data
      Mode: image
      Site Name: 94cbd9ca-7f9a-441a-ad4b-52a33f9b7148
      
      Peer Sites: none

4. site-a クラスターで、以下の手順を実行します。

   1. Ceph クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring

      例

      [root@rbd-client-site-a ~]# ceph auth get-or-create client.rbd-mirror.site-a mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring

   2. キーリングを site-b クラスターにコピーします。

      構文

      scp /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring root@SECONDARY_CLUSTER:_PATH_

      例

      [root@rbd-client-site-a ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-a.keyring root@rbd-client-site-b:/etc/ceph/

   3. Ceph クライアントノードで、ストレージクラスターのピアをブートストラップします。

      1. ストレージクラスターのピアをプールに登録します。

         構文

         rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN

         例

         [root@rbd-client-site-a ~]# rbd mirror pool peer bootstrap create --site-name rbd-mirror.site-a data > /root/bootstrap_token_rbd-mirror.site-a

         注記

         bootstrap コマンドの例では、client.rbd-mirror-peer Ceph ユーザーを作成します。

      2. ブートストラップトークンファイルを site-b ストレージクラスターにコピーします。

         構文

         scp PATH_TO_BOOTSTRAP_TOKEN root@SECONDARY_CLUSTER:/root/

         例

         [root@rbd-client-site-a ~]# scp /root/bootstrap_token_site-a root@ceph-rbd2:/root/

5. site-b クラスターで、以下の手順を実行します。

   1. クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring

      例

      [root@rbd-client-site-b ~]# ceph auth get-or-create client.rbd-mirror.site-b mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-b.keyring

   2. キーリングを site-a クラスター (Ceph クライアントノード) にコピーします。

      構文

      scp /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring root@PRIMARY_CLUSTER:_PATH_

      例

      [root@rbd-client-site-b ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-b.keyring root@rbd-client-site-a:/etc/ceph/

   3. ブートストラップトークンをインポートします。

      構文

      rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-only POOL_NAME PATH_TO_BOOTSTRAP_TOKEN

      例

      [root@rbd-client-site-b ~]# rbd mirror pool peer bootstrap import --site-name rbd-mirror.site-b --direction rx-only data /root/bootstrap_token_rbd-mirror.site-a

      注記

      一方向 RBD ミラーリングでは、ピアのブートストラップ時に双方向のミラーリングがデフォルトであるため --direction rx-only 引数を使用する必要があります。

   4. クライアントノードで rbd-mirror デーモンを有効にして起動します。

      構文

      systemctl enable ceph-rbd-mirror.target
      systemctl enable ceph-rbd-mirror@rbd-mirror.CLIENT_ID
      systemctl start ceph-rbd-mirror@rbd-mirror.CLIENT_ID

      CLIENT_ID は、先ほど作成した Ceph ユーザーに置き換えます。

      例

      [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror.target
      [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
      [root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a

   重要

   各 rbd-mirror デーモンには一意のクライアント ID が必要です。

6. ミラーリングのステータスを確認するには、site-a および site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

   構文

   rbd mirror image status POOL_NAME/IMAGE_NAME

   例

   ジャーナルベースのミラーリング

   [root@mon-site-a ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopped 1
     description: local image is primary
     last_update: 2021-04-22 13:45:31

   スナップショットベースのミラーリング

   [root@mon-site-a ~]# rbd mirror image status data/image1
   image1:
     global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
     state:       up+stopped 1
     description: local image is primary
     service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:42:54
     peer_sites:
       name: rbd-mirror.site-b
       state: up+replaying
       description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
       last_update: 2022-01-20 12:42:59
     snapshots:
       5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])

   1 1

   ここでは up は rbd-mirror デーモンが実行中で、stopped は、このイメージが別のストレージクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのストレージクラスターのプライマリーであるためです。

   例

   ジャーナルベースのミラーリング

   [root@mon-site-b ~]# rbd mirror image status data/image1
   image1:
     global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
     state:       up+replaying 1
     description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
     last_update: 2021-04-22 14:19:27

   スナップショットベースのミラーリング

   [root@mon-site-b ~]# rbd mirror image status data/image1
   image1:
     global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
     state:       up+replaying 1
     description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
     service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:41:57

   1 1

   イメージが up+replaying の場合には、ミラーリングが正常に機能します。ここでは up は rbd-mirror デーモンが実行中で、replaying は、このイメージが別のストレージクラスターからのレプリケーション先であることを意味します。

   注記

   サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

手順

1. site-a ストレージクラスターに接続されたクライアントノードおよび site-b ストレージクラスターに接続されたクライアントノードに rbd-mirror パッケージをインストールします。

   Red Hat Enterprise Linux 7

   [root@rbd-client ~]# yum install rbd-mirror

   Red Hat Enterprise Linux 8

   [root@rbd-client ~]# dnf install rbd-mirror

   注記

   パッケージは Red Hat Ceph Storage Tools リポジトリーによって提供されます。

2. イメージ上で排他的ロックおよびジャーナリング機能を有効にします。

   1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE [,FEATURE]

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling

   2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE [,FEATURE]

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling

   3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。

      rbd_default_features = 125

3. ミラーリングモード (pool または image モード) を選択します。

   重要

   スナップショットベースのミラーリングには、イメージモードを使用します。

   1. プールモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE

      例

      [root@rbd-client ~]# rbd mirror pool enable data pool

      この例では、data という名前のプール全体のミラーリングを有効にします。

   2. イメージモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE

      例

      [root@rbd-client ~]# rbd mirror pool enable data image

      この例では、data という名前のプールでイメージモードのミラーリングを有効にします。

   3. ミラーリングが正常に有効になっていることを確認します。

      構文

      rbd mirror pool info POOL_NAME

      例

      [root@rbd-client ~]# rbd mirror pool info data
      Mode: image
      Site Name: 94cbd9ca-7f9a-441a-ad4b-52a33f9b7148
      
      Peer Sites: none

4. site-a クラスターで、以下の手順を実行します。

   1. Ceph クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring

      例

      [root@rbd-client-site-a ~]# ceph auth get-or-create client.rbd-mirror.site-a mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring

   2. キーリングを site-b クラスターにコピーします。

      構文

      scp /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring root@SECONDARY_CLUSTER:_PATH_

      例

      [root@rbd-client-site-a ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-a.keyring root@rbd-client-site-b:/etc/ceph/

   3. Ceph クライアントノードで、ストレージクラスターのピアをブートストラップします。

      1. ストレージクラスターのピアをプールに登録します。

         構文

         rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN

         例

         [root@rbd-client-site-a ~]# rbd mirror pool peer bootstrap create --site-name rbd-mirror.site-a data > /root/bootstrap_token_rbd-mirror.site-a

         注記

         bootstrap コマンドの例では、client.rbd-mirror-peer Ceph ユーザーを作成します。

      2. ブートストラップトークンファイルを site-b ストレージクラスターにコピーします。

         構文

         scp PATH_TO_BOOTSTRAP_TOKEN root@SECONDARY_CLUSTER:/root/

         例

         [root@rbd-client-site-a ~]# scp /root/bootstrap_token_site-a root@ceph-rbd2:/root/

5. site-b クラスターで、以下の手順を実行します。

   1. クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring

      例

      [root@rbd-client-site-b ~]# ceph auth get-or-create client.rbd-mirror.site-b mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-b.keyring

   2. キーリングを site-a クラスター (Ceph クライアントノード) にコピーします。

      構文

      scp /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring root@PRIMARY_CLUSTER:_PATH_

      例

      [root@rbd-client-site-b ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-b.keyring root@rbd-client-site-a:/etc/ceph/

   3. ブートストラップトークンをインポートします。

      構文

      rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-tx POOL_NAME PATH_TO_BOOTSTRAP_TOKEN

      例

      [root@rbd-client-site-b ~]# rbd mirror pool peer bootstrap import --site-name rbd-mirror.site-b --direction rx-tx data /root/bootstrap_token_rbd-mirror.site-a

      注記

      ピアのブートストラップ時には双方向ミラーリングがデフォルトであるため、--direction 引数はオプションです。

6. プライマリーおよびセカンダリークライアントノードで rbd-mirror デーモンを有効にして起動します。

   構文

   systemctl enable ceph-rbd-mirror.target
   systemctl enable ceph-rbd-mirror@rbd-mirror.CLIENT_ID
   systemctl start ceph-rbd-mirror@rbd-mirror.CLIENT_ID

   CLIENT_ID は、先ほど作成した Ceph ユーザーに置き換えます。

   例

   [root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror.target
   [root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
   [root@rbd-client-site-a ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a
   [root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-b
   [root@rbd-client-site-a ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-b

   上記の例では、プライマリークラスター site-a でユーザーを有効化されています。

   例

   [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror.target
   [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
   [root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a
   [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-b
   [root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-b

   上記の例では、ユーザーはセカンダリークラスター site-b で有効にされています。

   重要

   各 rbd-mirror デーモンには一意のクライアント ID が必要です。

7. ミラーリングのステータスを確認するには、site-a および site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

   構文

   rbd mirror image status POOL_NAME/IMAGE_NAME

   例

   ジャーナルベースのミラーリング

   [root@mon-site-a ~]# rbd mirror image status data/image1
   image1:
     global_id:   08027096-d267-47f8-b52e-59de1353a034
     state:       up+stopped 1
     description: local image is primary
     last_update: 2021-04-22 13:45:31

   スナップショットベースのミラーリング

   [root@mon-site-a ~]# rbd mirror image status data/image1
   image1:
     global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
     state:       up+stopped 1
     description: local image is primary
     service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:42:54
     peer_sites:
       name: rbd-mirror.site-b
       state: up+replaying
       description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
       last_update: 2022-01-20 12:42:59
     snapshots:
       5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])

   1 1

   ここでは up は rbd-mirror デーモンが実行中で、stopped は、このイメージが別のストレージクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのストレージクラスターのプライマリーであるためです。

   例

   ジャーナルベースのミラーリング

   [root@mon-site-b ~]# rbd mirror image status data/image1
   image1:
     global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
     state:       up+replaying 1
     description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
     last_update: 2021-04-22 14:19:27

   スナップショットベースのミラーリング

   [root@mon-site-b ~]# rbd mirror image status data/image1
   image1:
     global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
     state:       up+replaying 1
     description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
     service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
     last_update: 2022-01-20 12:41:57

   1 1

   イメージが up+replaying の場合には、ミラーリングが正常に機能します。ここでは up は rbd-mirror デーモンが実行中で、replaying は、このイメージが別のストレージクラスターからのレプリケーション先であることを意味します。

   注記

   サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

手順

1. サービスを起動するには、以下を実行します。

   # systemctl start rbd-target-api
   # systemctl start rbd-target-gw

2. サービスを再起動するには、以下を実行します。

   # systemctl restart rbd-target-api
   # systemctl restart rbd-target-gw

3. サービスを再読み込みするには、以下を実行します。

   # systemctl reload rbd-target-api
   # systemctl reload rbd-target-gw

   reload 要求は rbd-target-api が設定を再読み取りし、現在の実行環境に適用します。Ansible からすべての iSCSI ゲートウェイノードに変更が並行してデプロイされるため、これは通常は不要です。

4. サービスを停止するには、以下を実行します。

   # systemctl stop rbd-target-api
   # systemctl stop rbd-target-gw

   stop リクエストはゲートウェイのポータルインターフェイスを閉じ、クライアントへの接続をドロップし、カーネルから現在の Linux iSCSI ターゲット設定を消去します。これにより、iSCSI ゲートウェイがクリーンな状態に戻ります。クライアントが切断されると、アクティブな I/O はクライアント側マルチパス層によって他の iSCSI ゲートウェイに再スケジュールされます。

手順

1. iSCSI ゲートウェイのコマンドラインインターフェイスを起動します。

   [root@iscsigw ~]# gwcli

2. イニシエーターが iSCSI ターゲットを接続していることを確認します。

   /> goto hosts
   /iscsi-target...csi-igw/hosts> ls
   o- hosts .............................. [Hosts: 1: Auth: None]
     o- iqn.1994-05.com.redhat:rh7-client  [LOGGED-IN, Auth: None, Disks: 0(0.00Y)]

   接続されている場合は、イニシエーターのステータスは LOGGED-IN になります。

3. LUN が iSCSI ゲートウェイ全体で分散されていることを確認します。

   /> goto hosts
   /iscsi-target...csi-igw/hosts> ls
   o- hosts ................................. [Hosts: 2: Auth: None]
     o- iqn.2005-03.com.ceph:esx ............ [Auth: None, Disks: 4(310G)]
     | o- lun 0 ............................. [rbd.disk_1(100G), Owner: ceph-gw-1]
     | o- lun 1 ............................. [rbd.disk_2(10G), Owner: ceph-gw-2]

   ディスクの作成時に、ディスクには、マッピングされている LUN が最も少ないゲートウェイに基づいて、iSCSI ゲートウェイが Owner として割り当てられます。この数字が分散されると、ゲートウェイはラウンドロビン割り当てに基づいて割り当てられます。現在、LUN のバランスは動的ではなく、ユーザーが選択できません。

   イニシエーターがターゲットにログインし、multipath レイヤーが最適化された状態になると、イニシエーターのオペレーティングシステムの multipath ユーティリティーが ALUA Active-Optimized (AO) 状態であるように、Owner ゲートウェイへのパスを報告します。multipath ユーティリティーは、ALUA Active-non-Optimized (ANO) 状態である他のパスを報告します。

   AO パスが失敗すると、他の iSCSI ゲートウェイの 1 つが使用されます。フェイルオーバーゲートウェイの順序は、イニシエーターの multipath レイヤーによって異なります。通常、この順序は最初に検出したパスに基づきます。

手順

1. 正しい iSCSI ゲートウェイノードが Ansible インベントリーファイル (/etc/ansible/hosts) に一覧表示されていることを確認します。

2. ローリングアップグレード Playbook を実行します。

   [admin@ansible ceph-ansible]$ ansible-playbook rolling_update.yml

3. 適切な Playbook を実行してアップグレードを終了します。

   ベアメタルデプロイメント

   [admin@ansible ceph-ansible]$ ansible-playbook site.yml --limit iscsigws -i hosts

   コンテナーデプロイメント

   [admin@ansible ceph-ansible]$ ansible-playbook site-container.yml --limit iscsigws -i hosts

手順

1. iSCSI ゲートウェイパッケージを更新します。

   [root@iscsigw ~]# yum update ceph-iscsi

2. iSCSI ゲートウェイデーモンを停止します。

   [root@iscsigw ~]# systemctl stop rbd-target-api
   [root@iscsigw ~]# systemctl stop rbd-target-gw

3. iSCSI ゲートウェイデーモンが正常に停止したことを確認します。

   [root@iscsigw ~]# systemctl status rbd-target-gw

   1. rbd-target-gw サービスが正常に停止している場合は、手順 4 に進みます。

   2. rbd-target-gw サービスを停止できない場合は、以下の手順を実行します。

      1. targetcli パッケージがインストールされていない場合は、targetcli パッケージをインストールします。

         [root@iscsigw ~]# yum install targetcli

      2. 既存のターゲットオブジェクトを確認します。

         [root@iscsigw ~]# targetcli ls

         例

         o- / ............................................................. [...]
         o- backstores .................................................... [...]
         | o- user:rbd ..................................... [Storage Objects: 0]
         o- iscsi .................................................. [Targets: 0]

         backstores および Storage Object が空の場合は、iSCSI ターゲットが正常にシャットダウンされ、ステップ 4 に進むことができ ます。

      3. ターゲットオブジェクトがまだある場合には、以下のコマンドを使用して、すべてのターゲットオブジェクトを強制的に削除します。

         [root@iscsigw ~]# targetcli clearconfig confirm=True

         警告

         複数のサービスが iSCSI ターゲットを使用している場合は、インタラクティブモードで targetcli を使用して、これらの特定のオブジェクトを削除します。

4. tcmu-runner パッケージを更新します。

   [root@iscsigw ~]# yum update tcmu-runner

5. tcmu-runner サービスを停止します。

   [root@iscsigw ~]# systemctl stop tcmu-runner

6. 以下の順序で iSCSI ゲートウェイサービスを再起動します。

   [root@iscsigw ~]# systemctl start tcmu-runner
   [root@iscsigw ~]# systemctl start rbd-target-gw
   [root@iscsigw ~]# systemctl start rbd-target-api

手順

1. iSCSI ゲートウェイのコマンドラインユーティリティーを実行します。

   [root@iscsigw ~]# gwcli

2. ホストを削除します。

   構文

   /> cd /iscsi-target/iqn.2003-01.com.redhat.iscsi-gw:$TARGET_NAME/hosts
   /> /iscsi-target...TARGET_NAME/hosts> delete CLIENT_NAME

   TARGET_NAME を、設定された iSCSI ターゲット名に置き換え、CLIENT_NAME を iSCSI イニシエーター名に置き換えます。以下に例を示します。

   例

   /> cd /iscsi-target/iqn.2003-01.com.redhat.iscsi-gw:ceph-igw/hosts
   /> /iscsi-target...eph-igw/hosts> delete iqn.1994-05.com.redhat:rh7-client

3. ディスクを削除します。

   構文

   /> cd /disks/
   /disks> delete POOL_NAME.IMAGE_NAME

   POOL_NAME はプールの名前に、IMAGE_NAME はイメージの名前に置き換えます。

   例

   /> cd /disks/
   /disks> delete rbd.disk_1

4. コンテナー化 されたデプロイメントの場合には root ユーザーとして、すべての Red Hat Ceph Storage ツールとリポジトリーが iSCSI ゲートウェイノードで有効になっていることを確認します。

   Red Hat Enterprise Linux 7

   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-extras-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms --enable=rhel-7-server-ansible-2.9-rpms

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms
   [root@admin ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

   注記

   ベアメタルデプロイメント の場合は、クライアントインストールで Ceph ツールが有効になります。

5. 各 iSCSI ゲートウェイノードで、ceph-common パッケージおよび ceph-iscsi パッケージをインストールします。

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum install -y ceph-common
   [root@admin ~]# yum install -y ceph-iscsi

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf install -y ceph-common
   [root@admin ~]# dnf install -y ceph-iscsi

6. yum history list コマンドを実行し、ceph-iscsi インストールのトランザクション ID を取得します。

7. Ansible ユーザーに切り替えます。

   例

   [root@admin ~]# su ansible

8. /usr/share/ceph-ansible ディレクトリーに移動します。

   例

   [ansible@admin ~]# cd /usr/share/ceph-ansible

9. ansible ユーザーとして、iSCSI gateway purge Ansible Playbook を実行します。

   [ansible@admin ceph-ansible]$ ansible-playbook purge-iscsi-gateways.yml

10. プロンプトが表示されたら、パージのタイプを入力します。

    lio

    このモードでは、Linux iSCSI ターゲット設定は、定義されたすべての iSCSI ゲートウェイで消去されます。作成されたディスクは、Ceph ストレージクラスター内で変更されないままになります。

    all

    all を選択すると、Linux iSCSI ターゲット設定は、iSCSI ゲートウェイ環境内で定義されたすべての RBD イメージと共に削除され、その他の関連の RBD イメージは削除されません。この操作によりデータが削除されるので、必ず正しいモードを選択してください。

    例

    [ansible@rh7-iscsi-client ceph-ansible]$ ansible-playbook purge-iscsi-gateways.yml
    Which configuration elements should be purged? (all, lio or abort) [abort]: all
    
    
    PLAY [Confirm removal of the iSCSI gateway configuration] *********************
    
    
    GATHERING FACTS ***************************************************************
    ok: [localhost]
    
    
    TASK: [Exit playbook if user aborted the purge] *******************************
    skipping: [localhost]
    
    
    TASK: [set_fact ] *************************************************************
    ok: [localhost]
    
    
    PLAY [Removing the gateway configuration] *************************************
    
    
    GATHERING FACTS ***************************************************************
    ok: [ceph-igw-1]
    ok: [ceph-igw-2]
    
    
    TASK: [igw_purge | purging the gateway configuration] *************************
    changed: [ceph-igw-1]
    changed: [ceph-igw-2]
    
    
    TASK: [igw_purge | deleting configured rbd devices] ***************************
    changed: [ceph-igw-1]
    changed: [ceph-igw-2]
    
    
    PLAY RECAP ********************************************************************
    ceph-igw-1                 : ok=3    changed=2    unreachable=0    failed=0
    ceph-igw-2                 : ok=3    changed=2    unreachable=0    failed=0
    localhost                  : ok=2    changed=0    unreachable=0    failed=0

11. アクティブなコンテナーが削除されているかどうかを確認します。

    Red Hat Enterprise Linux 7

    [root@admin ~]# docker ps

    Red Hat Enterprise Linux 8

    [root@admin ~]# podman ps

    Ceph iSCSI コンテナー ID が削除されます。

12. 必要に応じて、ceph-iscsi パッケージを削除します。

    構文

    yum history undo TRANSACTION_ID

    例

    [root@admin ~]# yum history undo 4

    警告

    ceph-common パッケージを削除しないでください。削除すると、/etc/ceph の内容が削除され、そのノードのデーモンが起動できなくなります。