Red Hat Summit Red Hat Summitサポートコンソール開発者トライアルの開始お問い合わせ

ブロックデバイスガイド

Red Hat Ceph Storage 4

Red Hat Ceph Storage ブロックデバイスの管理、作成、設定、および使用

Red Hat Ceph Storage Documentation Team

概要

本書では、Red Hat Ceph Storage ブロックデバイスを管理、作成、設定、および使用する方法を説明します。
Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、弊社の CTO、Chris Wright のメッセージを参照してください。

第1章 Ceph ブロックデバイスの概要
リンクのコピー

ブロックは、シーケンスでのデータの長さ (例: 512 バイトのデータブロック) をバイト単位で設定したものです。多くのブロックを 1 つのファイルに統合すると、読み取り/書き込みが可能なストレージデバイスとして使用できます。以下のような回転メディアを使用してデータを保存する最も一般的な方法として、ブロックベースのストレージインターフェイスが挙げられます。

  • ハードドライブ
  • CD/DVD ディスク
  • フロッピーディスク
  • 従来の 9 トラックテープ

ブロックデバイスインターフェイスは偏在するので、Red Hat Ceph Storage などのマーシャルデータストレージシステムの操作には仮想ブロックデバイスが理想的です。

Ceph ブロックデバイスは、シンプロビジョニングされ、サイズ変更が可能で、Ceph Storage クラスター内の複数の Object Storage Devices (OSD) にストライプ化したストアデータです。Ceph ブロックデバイスは、Reliable Autonomic Distributed Object Store (RADOS) ブロックデバイス (RBD) としても知られています。Ceph ブロックデバイスは、以下のような RADOS 機能を利用します。

  • スナップショット
  • レプリケーション
  • データの整合性

Ceph ブロックデバイスは、librbd ライブラリーを使用して OSD と対話します。

Ceph ブロックデバイスは、libvirt ユーティリティーおよび QEMU ユーティリティーに依存して Ceph ブロックデバイスと統合するために、Quick Emulator (QEMU) などの Kernel Virtual Machines (KVM) や OpenStack などのクラウドベースのコンピューティングシステムに、無限のスケーラビリティーと、高いパフォーマンスをもたらします。同じストレージクラスターを使用して、Ceph Object Gateway および Ceph ブロックデバイスを同時に運用できます。

重要

Ceph ブロックデバイスを使用するには、実行中の Ceph Storage クラスターにアクセスできる必要があります。Red Hat Ceph Storage クラスターのインストールの詳細は、Red Hat Ceph Storage インストールガイド を参照してください。

第2章 Ceph ブロックデバイスコマンド
リンクのコピー

ストレージ管理者は、Ceph のブロックデバイスコマンドについて理解しておくと、Red Hat Ceph Storage クラスターを効果的に管理しやすくなります。Ceph ブロックデバイスのさまざまな機能を有効または無効にしたり、ブロックデバイスのプールとイメージを作成および管理したりできます。

2.1. 前提条件
リンクのコピー

  • 稼働中の Red Hat Ceph Storage クラスターがある。

2.2. コマンドのヘルプの表示
リンクのコピー

コマンドラインインターフェイスから、コマンドとサブコマンドのヘルプを表示します。

注記

-h オプションは引き続き、使用できるすべてのコマンドのヘルプを表示します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. rbd help コマンドを使用して、特定の rbd コマンドとそのサブコマンドのヘルプを表示します。

    構文

    rbd help COMMAND SUBCOMMAND
    Copy to Clipboard Toggle word wrap

  2. snap list コマンドのヘルプを表示するには、次のコマンドを実行します。 

    [root@rbd-client ~]# rbd help snap list
    Copy to Clipboard Toggle word wrap

2.3. ブロックデバイスプールの作成
リンクのコピー

ブロックデバイスクライアントを使用する前に、rbd のプールが存在し、初期化されていることを確認します。

注記

最初にプールを作成してから、これをソースとして指定する必要があります。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. rbd プールを作成するには、以下を実行します。

    構文

    ceph osd pool create POOL_NAME PG_NUM
ceph osd pool application enable POOL_NAME rbd
rbd pool init -p POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# ceph osd pool create example 128
[root@rbd-client ~]# ceph osd pool application enable example rbd
[root@rbd-client ~]# rbd pool init -p example
    Copy to Clipboard Toggle word wrap

関連情報

  • 詳細は、Red Hat Ceph Storage ストラテジーガイドの プール の章を参照してください。

2.4. ブロックデバイスイメージの作成
リンクのコピー

ブロックデバイスをノードに追加する前に、Ceph Storage クラスターにそのイメージを作成します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. ブロックデバイスイメージを作成するには、以下のコマンドを実行します。

    構文

    rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd create data --size 1024 --pool stack
    Copy to Clipboard Toggle word wrap

    以下の例では、stack という名前のプールに情報を格納する data という名前のイメージが 1 GB のサイズで作成されます。

    注記

    イメージを作成する前に、プールが存在することを確認します。

関連情報

2.5. ブロックデバイスイメージの一覧表示
リンクのコピー

ブロックデバイスイメージを一覧表示します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. rbd プールのブロックデバイスを一覧表示するには、以下を実行します (rbd はデフォルトのプール名です)。 

    [root@rbd-client ~]# rbd ls
    Copy to Clipboard Toggle word wrap

  2. 特定のプールのブロックデバイスを一覧表示するには、以下を実行します。ただし、POOL_NAME はプールの名前に置き換えます。

    構文

    rbd ls POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd ls swimmingpool
    Copy to Clipboard Toggle word wrap

2.6. ブロックデバイスイメージ情報の取得
リンクのコピー

ブロックデバイスイメージに関する情報を取得します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. 特定のイメージから情報を取得するには、以下を実行します。ただし、IMAGE_NAME はイメージの名前に置き換えます。

    構文

    rbd --image IMAGE_NAME info
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --image foo info
    Copy to Clipboard Toggle word wrap

  2. プール内のイメージから情報を取得するには、以下を実行します。ただし、IMAGE_NAME はイメージの名前に、POOL_NAME はプールの名前に置き換えます。

    構文

    rbd --image IMAGE_NAME -p POOL_NAME info
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --image bar -p swimmingpool info
    Copy to Clipboard Toggle word wrap

2.7. ブロックデバイスイメージのサイズ変更
リンクのコピー

Ceph ブロックデバイスイメージはシンプロビジョニングされています。データの保存を開始する前に、実際には物理ストレージを使用しません。ただし、--size オプションでは、設定する最大容量があります。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. Ceph ブロックデバイスイメージの最大サイズを増減するには、以下を実行します。

    構文

    [root@rbd-client ~]# rbd resize --image IMAGE_NAME --size SIZE
    Copy to Clipboard Toggle word wrap

2.8. ブロックデバイスイメージの削除
リンクのコピー

ブロックデバイスイメージを削除します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. ブロックデバイスを削除するには以下を実行します。ただし、IMAGE_NAME は削除するイメージの名前に置き換えます。

    構文

    rbd rm IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd rm foo
    Copy to Clipboard Toggle word wrap

  2. プールからブロックデバイスを削除するには以下を実行します。ただし、IMAGE_NAME は、削除するイメージの名前に、POOL_NAME はプールの名前に置き換えます。

    構文

    rbd rm IMAGE_NAME -p POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd rm bar -p swimmingpool
    Copy to Clipboard Toggle word wrap

2.9. trash コマンドを使用したブロックデバイスイメージの管理
リンクのコピー

RADOS Block Device (RBD) イメージは、rbd trash コマンドを使用してゴミ箱に移動できます。

このコマンドは、以下のようなさまざまなオプションを使用できます。

  • ゴミ箱からイメージを取り除く。
  • ゴミ箱からイメージを一覧表示する。
  • ゴミ箱からのイメージの削除を延期する。
  • ゴミ箱からイメージを削除する。
  • ゴミ箱からのイメージを復元する。
  • ゴミ箱からイメージの復元して、名前を変更する。
  • ゴミ箱から期限切れのイメージをパージする。
  • ゴミ箱からパージをスケジューリングする。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  • イメージをゴミ箱に移動します。

    構文

    rbd trash mv POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash mv mypool/myimage
    Copy to Clipboard Toggle word wrap

    イメージがゴミ箱に入ると、一意のイメージ ID が割り当てられます。

    注記

    ゴミ箱オプションのいずれかを使用する必要がある場合は、後でこのイメージを指定するのにこのイメージ ID が必要です。

  • ゴミ箱のイメージを一覧表示します。

    構文

    rbd trash ls POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash ls mypool

1558a57fa43b rename_image
    Copy to Clipboard Toggle word wrap

    一意の IMAGE_ID 1558a57fa43b は、任意の trash オプションに使用できます。

  • イメージをゴミ箱に移動し、ゴミ箱からイメージの削除を延期します。

    構文

    rbd trash mv POOL_NAME/IMAGE_NAME --expires-at "EXPIRATION_TIME"
    Copy to Clipboard Toggle word wrap

    EXPIRATION_TIME は、"HH:MM:SS" または "tomorrow" の秒数、時間、日付、時間です。

    例

    [root@rbd-client ~]# rbd trash mv mypool/myimage --expires-at "60 seconds"
    Copy to Clipboard Toggle word wrap

    この例では、myimage はごみ箱に移動します。ただし、60 秒経過するまでゴミ箱から削除できません。

  • ゴミ箱からイメージを復元します。

    構文

    rbd trash restore POOL_NAME/IMAGE_ID
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash restore mypool/14502ff9ee4d
    Copy to Clipboard Toggle word wrap

  • ゴミ箱からイメージを削除します。

    構文

    rbd trash rm POOL_NAME/IMAGE_ID [--force]
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash rm mypool/14502ff9ee4d
Removing image: 100% complete...done.
    Copy to Clipboard Toggle word wrap

    イメージの削除を延期した場合は、有効期限までゴミ箱から削除できません。以下のエラーメッセージが表示されます。

    例

    Deferment time has not expired, please use --force if you really want to remove the image
Removing image: 0% complete...failed.
2021-12-02 06:37:49.573 7fb5d237a500 -1 librbd::api::Trash: remove: error: deferment time has not expired.
    Copy to Clipboard Toggle word wrap

    重要

    イメージをゴミ箱から削除したら、復元できません。

  • イメージの名前を変更し、ゴミ箱から元の場所に戻します。

    構文

    rbd trash restore POOL_NAME/IMAGE_ID --image NEW_IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash restore mypool/14502ff9ee4d --image test_image
    Copy to Clipboard Toggle word wrap

  • ゴミ箱から期限切れのイメージを削除します。

    構文

    rbd trash purge POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd trash purge mypool
    Copy to Clipboard Toggle word wrap

    この例では、mypool からゴミ箱に移動したイメージをすべて削除します。

2.10. イメージ機能の有効化および無効化
リンクのコピー

既存のイメージでは、fast-diff、exclusive-lock、object-map または journaling などのイメージ機能を有効または無効にできます。

注記

ディープフラット化 機能は、既存のイメージでのみ無効にできますが、有効化できません。ディープフラット化 を使用するには、イメージ作成時に有効化します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. 機能を有効にします。

    構文

    rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME
    Copy to Clipboard Toggle word wrap

    1. data プールの image1 イメージで exclusive-lock 機能を有効にするには、以下を実行します。

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock
      Copy to Clipboard Toggle word wrap

      重要

      fast-diff および object-map 機能を有効にする場合には、オブジェクトマップを再構築します。

      + 構文 

      rbd object-map rebuild POOL_NAME/IMAGE_NAME
      Copy to Clipboard Toggle word wrap

  2. 機能を無効にします。

    構文

    rbd feature disable POOL_NAME/IMAGE_NAME FEATURE_NAME
    Copy to Clipboard Toggle word wrap

    1. data プールの image2 イメージで fast-diff 機能を無効にするには、以下を実行します。

      例

      [root@rbd-client ~]# rbd feature disable data/image2 fast-diff
      Copy to Clipboard Toggle word wrap

2.11. イメージメタデータの使用
リンクのコピー

Ceph は、カスタムイメージメタデータをキーと値のペアとして追加することをサポートしています。ペアには厳密な形式がありません。

また、メタデータを使用して特定のイメージの RADOS Block Device (RBD) 設定パラメーターを設定することもできます。

rbd image-meta コマンドを使用して、メタデータと連携します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • クライアントノードへの root レベルのアクセス。

手順

  1. 新しいメタデータのキー/値のペアを設定するには、以下を行います。

    構文

    rbd image-meta set POOL_NAME/IMAGE_NAME KEY VALUE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd image-meta set data/dataset last_update 2016-06-06
    Copy to Clipboard Toggle word wrap

    この例では、last_update キーを、data プールの dataset イメージの 2016-06-06 値に設定します。

  2. メタデータのキー/値のペアを削除するには、以下を実行します。

    構文

    rbd image-meta remove POOL_NAME/IMAGE_NAME KEY
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd image-meta remove data/dataset last_update
    Copy to Clipboard Toggle word wrap

    この例では、data プール内の dataset イメージから last_update のキーと値のペアを削除します。

  3. キーの値を表示するには、次のコマンドを実行します。

    構文

    rbd image-meta get POOL_NAME/IMAGE_NAME KEY
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd image-meta get data/dataset last_update
    Copy to Clipboard Toggle word wrap

    この例では、last_update キーの値を確認します。

  4. イメージの全メタデータを表示するには、以下のコマンドを実行します。

    構文

    rbd image-meta list POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd data/dataset image-meta list
    Copy to Clipboard Toggle word wrap

    この例では、data プールの dataset イメージに設定されたメタデータを一覧表示しています。

  5. 特定のイメージの Ceph 設定ファイルに設定されている RBD イメージ設定を上書きするには、以下を実行します。

    構文

    rbd config image set POOL_NAME/IMAGE_NAME  PARAMETER VALUE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd config image set data/dataset rbd_cache false
    Copy to Clipboard Toggle word wrap

    この例では、data プールの dataset イメージの RBD キャッシュを無効にします。

関連情報

2.12. プール間のイメージの移動
リンクのコピー

同じクラスターにある異なるプール間で RADOS Block Device (RBD) イメージを移動できます。レプリケートされたプール間、イレイジャーコードのプール間、またはレプリケートされたプールとイレイジャーコードのプールの間での移行が可能です。

このプロセスで、ソースイメージはすべてのスナップショット履歴を含めて、ターゲットイメージにコピーされます。また、オプションでスパースの保持に役立つソースイメージの親へのリンクもコピーされます。ソースイメージは読み取り専用で、ターゲットイメージは書き込み可能です。移行時に、ターゲットイメージがソースイメージにリンクされます。

このプロセスは、新規ターゲットイメージの使用中に、バックグラウンドで安全に実行できます。ただし、新規ターゲットのイメージが、イメージを使用するクライアントの参照先として更新されるように、準備手順前にターゲットイメージを使用してすべてのクライアントを停止してください。

重要

現時点では、krbd カーネルモジュールはライブ移行に対応していません。

前提条件

  • ソースイメージを使用するすべてのクライアントを停止しておく。
  • クライアントノードへの root レベルのアクセス。

手順

  1. ソースおよびターゲットイメージをクロスリンクする新規ターゲットイメージを作成して、移行を準備します。

    構文

    rbd migration prepare SOURCE_IMAGE TARGET_IMAGE
    Copy to Clipboard Toggle word wrap

    以下を置き換えます。

    • SOURCE_IMAGE: 移動するイメージの名前に置き換えます。POOL/IMAGE_NAME 形式を使用します。
    • TARGET_IMAGE: 新しいイメージの名前。POOL/IMAGE_NAME 形式を使用します。

    例

    [root@rbd-client ~]# rbd migration prepare data/source stack/target
    Copy to Clipboard Toggle word wrap

  2. 作成 予定の新しいターゲットイメージの状態を確認します。

    構文

    rbd status TARGET_IMAGE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd status stack/target
Watchers: none
Migration:
            source: data/source (5e2cba2f62e)
            destination: stack/target (5e2ed95ed806)
            state: prepared
    Copy to Clipboard Toggle word wrap

  3. 必要に応じて、新規ターゲットイメージ名を使用してクライアントを再起動します。

  4. ソースイメージをターゲットイメージにコピーします。

    構文

    rbd migration execute TARGET_IMAGE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd migration execute stack/target
    Copy to Clipboard Toggle word wrap

  5. 移行が完了したことを確認します。

    例

    [root@rbd-client ~]# rbd status stack/target
Watchers:
    watcher=1.2.3.4:0/3695551461 client.123 cookie=123
Migration:
            source: data/source (5e2cba2f62e)
            destination: stack/target (5e2ed95ed806)
            state: executed
    Copy to Clipboard Toggle word wrap

  6. ソースとターゲットイメージ間のクロスリンクを削除して移行をコミットします。これにより、ソースイメージも削除されます。

    構文

    rbd migration commit TARGET_IMAGE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd migration commit stack/target
    Copy to Clipboard Toggle word wrap

    ソースイメージが 1 つ以上のクローンの親である場合は、クローンイメージが使用されていないことを確認した後に --force オプションを使用します。

    例

    [root@rbd-client ~]# rbd migration commit stack/target --force
    Copy to Clipboard Toggle word wrap

  7. 準備手順の後にクライアントを再起動しなかった場合は、新規ターゲットイメージ名を使用してクライアントを再起動します。

2.13. rbdmap サービス
リンクのコピー

systemd ユニットファイル、rbdmap.service は、ceph-common パッケージに含まれています。rbdmap.service ユニットは、rbdmap シェルスクリプトを実行します。

このスクリプトは、1 つ以上の RBD イメージの RADOS Block Device (RBD) のマッピングと解除を自動化しています。スクリプトはいつでも手動で実行できますが、通常のユースケースでは、システムの起動時に RBD イメージを自動的にマウントし、シャットダウン時にアンマウントします。スクリプトでは、RBD イメージをマウントする map またはマウントを解除する unmap のいずれか 1 つの引数を使用できます。。スクリプトは設定ファイルを解析します。デフォルトは /etc/ceph/rbdmap ですが、RBDMAPFILE という環境変数を使用して上書きできます。設定ファイルの各行は RBD イメージに対応します。

設定ファイルの形式は以下のようになります。

IMAGE_SPEC RBD_OPTS

ここで、IMAGE_SPEC は POOL_NAME / IMAGE_NAME、または IMAGE_NAME だけを指定します。IMAGE_NAME だけを指定する場合は、POOL_NAME は rbd に設定されます。RBD_OPTS は、基礎となる rbd map コマンドに渡すオプションの一覧です。以下のパラメーターとその値は、コンマ区切りの文字列で指定する必要があります。

OPT1=VAL1,OPT2=VAL2,…​,OPT_N=VAL_N

これにより、スクリプトは以下のような rbd map コマンドを実行します。

rbd map POOLNAME/IMAGE_NAME --OPT1 VAL1 --OPT2 VAL2

注記

コンマまたは等価記号など、オプションおよび値の場合には、これらの値が置き換えられないように、単純にアポストロフィーを使用することができます。

成功すると、rbd map の操作はイメージを /dev/rbd/rbdX デバイスにマッピングします。この時点で、udev ルールがトリガーされ、分かりやすいデバイス名のシンボリックリンク (例: /dev/rbd/POOL_NAME/IMAGE_NAME) を作成し、実際のマップされたデバイスを参照します。マウントまたはマウント解除を行うには、わかりやすいデバイス名に対応するエントリーを /etc/fstab ファイルに指定する必要があります。RBD イメージの /etc/fstab エントリーを作成する場合は、noauto または nofail マウントオプションを指定することが推奨されます。これにより、init システムが、デバイスの作成前に、先にマウントするのを防ぎます。

2.14. rbdmap サービスの設定
リンクのコピー

起動時に RADOS Block Device (RBD)、またはシャットダウン時に RADOS Block Device (RBD) を自動的にマップしてマウントするか、マップとマウントを解除します。

前提条件

  • マウントを実行するノードへの Root レベルのアクセス。
  • ceph-common パッケージのインストール。

手順

  1. /etc/ceph/rbdmap 設定ファイルを開いて編集します。

  2. RBD イメージを設定ファイルに追加します。

    例

    foo/bar1    id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
foo/bar2    id=admin,keyring=/etc/ceph/ceph.client.admin.keyring,options='lock_on_read,queue_depth=1024'
    Copy to Clipboard Toggle word wrap

  3. 設定ファイルに加えた変更を保存します。

  4. RBD マッピングサービスを有効にします。

    例

    [root@client ~]# systemctl enable rbdmap.service
    Copy to Clipboard Toggle word wrap

Red Hat Ceph Storage 4.1 以降、パフォーマンスメトリック収集フレームワークは、Ceph OSD および Manager コンポーネントに統合されます。このフレームワークには、他の Ceph ブロックデバイスのパフォーマンス監視ソリューションの構築時にパフォーマンスメトリックを生成して処理するための手段が含まれます。

新しい Ceph Manager モジュール rbd_support は、有効になっている場合にパフォーマンスメトリックを集約します。rbd コマンドには、iotop と iostat の新しい 2 つのアクションがあります。

注記

これらのアクションの初回使用じには、データフィールドの設定に約 30 秒かかります。

前提条件

  • Ceph Monitor ノードへのユーザーレベルのアクセス。

手順

  1. rbd_support Ceph Manager モジュールを有効にします。

    例

    [user@mon ~]$ ceph mgr module enable rbd_support
    Copy to Clipboard Toggle word wrap

  2. iotop スタイルのイメージを表示するには、以下のコマンドを実行します。

    例

    [user@mon ~]$ rbd perf image iotop
    Copy to Clipboard Toggle word wrap

    注記

    ops、read-ops、write-bytes、read-bytes、write-latency、および read-latency の列は、右と左矢印キーを使用して動的にソートできます。

  3. iostat スタイルのイメージを表示するには、以下を実行します。

    例

    [user@mon ~]$ rbd perf image iostat
    Copy to Clipboard Toggle word wrap

    注記

    このコマンドは JSON または XML 形式で出力でき、他のコマンドラインツールを使用してソートできます。

2.16. 関連情報
リンクのコピー

第3章 rbd カーネルモジュール
リンクのコピー

ストレージ管理者は、rbd カーネルモジュールを使用して Ceph ブロックデバイスにアクセスできます。ブロックデバイスをマップして、マッピングを解除し、これらのマッピングを表示できます。また、rbd カーネルモジュールを使用してイメージの一覧を取得することもできます。

重要

Red Hat Enterprise Linux (RHEL) 以外の Linux ディストリビューションのカーネルクライアントは使用できますが、サポートされていません。これらのカーネルクライアントの使用時に問題がストレージクラスターにある場合には、Red Hat は対応しますが、根本的な原因がカーネルクライアント側にある場合は、ソフトウェアベンダーが問題に対処する必要があります。

3.1. 前提条件
リンクのコピー

  • 稼働中の Red Hat Ceph Storage クラスターがある。

ストレージ管理者は、Red Hat Ceph Storage ダッシュボードで Linux カーネルモジュールクライアントの Ceph ブロックデバイスを作成できます。システム管理者は、コマンドラインを使用して Linux クライアントでそのブロックデバイスをマップし、パーティション作成、フォーマットおよびマウントが可能です。その後、そのファイルの読み取りと書き込みが可能になります。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • Red Hat Enterprise Linux クライアント。

ダッシュボードの Web インターフェイスを使用して、必要な機能だけを有効にし、Linux カーネルモジュールクライアント専用の Ceph ブロックデバイスを作成できます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。

手順

  1. ダッシュボードにログインします。

  2. ナビゲーションバーで、Pools をクリックします。

    Click pools
    View larger image
    Click pools

  3. Create ボタンをクリックします。

    Click create
    View larger image
    Click create

  4. ダイアログウィンドウで、名前を設定します。

    Set name
    View larger image
    Set name

  5. プールタイプを Replicated (レプリケート) に設定します。

    replicated
    View larger image
    replicated

  6. 配置グループ (PG) 番号を設定します。

    Set PG number
    View larger image
    Set PG number

    PG 番号の選択には、PG calculator を使用します。不明な場合は、Red Hat テクニカルサポート にお問い合わせください。

  7. レプリケートされたサイズを設定します。

    Replicated size
    View larger image
    Replicated size

  8. rbd アプリケーションを有効にします。

    Enable rbd
    View larger image
    Enable rbd

  9. プールの作成 をクリックします。

    Click Create pool
    View larger image
    Click Create pool

  10. プールが正常に作成されたことを示す通知が表示されます。

    Creation notifications
    View larger image
    Creation notifications

  11. Block をクリックします。

    Click Block
    View larger image
    Click Block

  12. Images をクリックします。

    Click Images
    View larger image
    Click Images

  13. Create をクリックします。

    Click Create
    View larger image
    Click Create

  14. 1 は任意のイメージ名、 2 は先ほど作成した Pool、 3 は任意サイズのイメージ、 4 では Layering と Exclusive lock だけが有効な機能となるように設定します。

    Set image parameters
    View larger image
    Set image parameters

  15. CreateRBD をクリックします。

    Clck CreateRBD
    View larger image
    Clck CreateRBD

  16. イメージが正常に作成されたことを示す通知が表示されます。

    Image creation notification
    View larger image
    Image creation notification

関連情報

3.2.2. コマンドラインを使用した Linux への Ceph ブロックデバイスのマッピングとマウント
リンクのコピー

Linux rbd カーネルモジュールを使用して、Red Hat Enterprise Linux クライアントから Ceph ブロックデバイスをマッピングできます。マッピング後には、パーティション、フォーマット、およびマウントができるため、ファイルに書き込みができます。

前提条件

手順

  1. Red Hat Enterprise Linux クライアントノードで、Red Hat Ceph Storage 4 Tools リポジトリーを有効にします。

    Red Hat Enterprise Linux 7

    [root@client1 ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@client1 ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms
    Copy to Clipboard Toggle word wrap

  2. ceph-common RPM パッケージをインストールします。

    Red Hat Enterprise Linux 7

    [root@client1 ~]# yum install ceph-common
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@client1 ~]# dnf install ceph-common
    Copy to Clipboard Toggle word wrap

  3. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。 

    scp root@MONITOR_NODE:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# scp root@cluster1-node2:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
root@192.168.0.32's password:
ceph.conf                                                                          100%  497   724.9KB/s   00:00
    Copy to Clipboard Toggle word wrap

  4. キーファイルを Monitor ノードからクライアントノードにコピーします。 

    scp root@MONITOR_NODE:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# scp root@cluster1-node2:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring
root@192.168.0.32's password:
ceph.client.admin.keyring                                                          100%  151   265.0KB/s   00:00
    Copy to Clipboard Toggle word wrap

  5. イメージをマップします。 

    rbd map --pool POOL_NAME IMAGE_NAME --id admin
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# rbd map --pool block-device-pool image1 --id admin
/dev/rbd0
[root@client1 ~]#
    Copy to Clipboard Toggle word wrap

  6. ブロックデバイスにパーティションテーブルを作成します。 

    parted /dev/MAPPED_BLOCK_DEVICE mklabel msdos
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# parted /dev/rbd0 mklabel msdos
Information: You may need to update /etc/fstab.
    Copy to Clipboard Toggle word wrap

  7. XFS ファイルシステムのパーティションを作成します。 

    parted /dev/MAPPED_BLOCK_DEVICE mkpart primary xfs 0% 100%
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# parted /dev/rbd0 mkpart primary xfs 0% 100%
Information: You may need to update /etc/fstab.
    Copy to Clipboard Toggle word wrap

  8. パーティションをフォーマットします。 

    mkfs.xfs /dev/MAPPED_BLOCK_DEVICE_WITH_PARTITION_NUMBER
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# mkfs.xfs /dev/rbd0p1
meta-data=/dev/rbd0p1            isize=512    agcount=16, agsize=163824 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=2621184, imaxpct=25
         =                       sunit=16     swidth=16 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=16 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
    Copy to Clipboard Toggle word wrap

  9. 新しいファイルシステムをマウントするディレクトリーを作成します。 

    mkdir PATH_TO_DIRECTORY
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# mkdir /mnt/ceph
    Copy to Clipboard Toggle word wrap

  10. ファイルシステムをマウントします。 

    mount /dev/MAPPED_BLOCK_DEVICE_WITH_PARTITION_NUMBER PATH_TO_DIRECTORY
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# mount /dev/rbd0p1 /mnt/ceph/
    Copy to Clipboard Toggle word wrap

  11. ファイルシステムがマウントされ、正しいサイズを表示していることを確認します。 

    df -h PATH_TO_DIRECTORY
    Copy to Clipboard Toggle word wrap

    例

    [root@client1 ~]# df -h /mnt/ceph/
Filesystem      Size  Used Avail Use% Mounted on
/dev/rbd0p1      10G  105M  9.9G   2% /mnt/ceph
    Copy to Clipboard Toggle word wrap

関連情報

3.3. イメージ一覧の取得
リンクのコピー

Ceph ブロックデバイスイメージの一覧を取得します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ブロックデバイスイメージをマウントするには、まずイメージの一覧を返します。 

    [root@rbd-client ~]# rbd list
    Copy to Clipboard Toggle word wrap

3.4. ブロックデバイスのマッピング
リンクのコピー

rbd を使用して、イメージ名をカーネルモジュールにマッピングします。イメージ名、プール名、およびユーザー名を指定する必要があります。rbd がまだロードされていない場合は、RBD カーネルモジュールを読み込みます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. イメージ名をカーネルモジュールにマッピングします。

    構文

    rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd device map rbd/myimage --id admin
    Copy to Clipboard Toggle word wrap

  2. cephx 認証を使用する場合に、キーリングか、シークレットを含むファイルでシークレットを指定します。

    構文

    [root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyring PATH_TO_KEYRING
    Copy to Clipboard Toggle word wrap

    または 

    [root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyfile PATH_TO_FILE
    Copy to Clipboard Toggle word wrap

3.5. マップされたブロックデバイスの表示
リンクのコピー

rbd コマンドを使用して、カーネルモジュールにマップされるブロックデバイスイメージを表示できます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. マップされたブロックデバイスを表示します。 

    [root@rbd-client ~]# rbd device list
    Copy to Clipboard Toggle word wrap

3.6. ブロックデバイスのマッピング解除
リンクのコピー

unmap オプションを使用してデバイス名を指定し、rbd コマンドでブロックデバイスイメージのマッピングを解除できます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ブロックデバイスイメージのマッピングを解除します。

    構文

    rbd device unmap /dev/rbd/POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd device unmap /dev/rbd/rbd/foo
    Copy to Clipboard Toggle word wrap

3.7. 同じプール内の分離された名前空間内でのイメージの分離
リンクのコピー

OpenStack または OpenShift Container Storage などの上位システムなしで Ceph ブロックデバイスを直接使用する場合、特定のブロックデバイスイメージへのユーザーアクセスを制限することができませんでした。CephX 機能と組み合わせると、ユーザーを特定のプール名前空間に制限して、イメージへのアクセスを制限することができます。

新規レベルのアイデンティティーである RADOS 名前空間を使用してオブジェクトを特定し、プール内の rados クライアント間を分離できます。たとえば、クライアントは、クライアント向けの名前空間でのみ完全なパーミッションが割り当てられます。これにより、テナントごとに異なる RADOS クライアントが使用されるので、多くの異なるテナントが独自のブロックデバイスイメージにアクセスしているブロックデバイスに特に便利です。

同じプール内の分離された名前空間内でブロックデバイスイメージを分離することができます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • すべてのカーネルを 4x および librbd、全クライアントの Librados にアップグレードする。
  • モニターおよびクライアントノードへの root レベルのアクセス。

手順

  1. rbd プールを作成します。

    構文

    ceph osd pool create POOL_NAME PG_NUM
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# ceph osd pool create mypool 100
pool 'mypool' created
    Copy to Clipboard Toggle word wrap

  2. rbd プールを RBD アプリケーションに関連付けます。

    構文

    ceph osd pool application enable POOL_NAME rbd
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# ceph osd pool application enable mypool rbd
enabled application 'rbd' on pool 'mypool'
    Copy to Clipboard Toggle word wrap

  3. RBD アプリケーションでプールを初期化します。

    構文

    rbd pool init -p POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]#  rbd pool init -p mypool
    Copy to Clipboard Toggle word wrap

  4. 2 つの名前空間を作成します。

    構文

    rbd namespace create --namespace NAMESPACE
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# rbd namespace create --namespace namespace1

[root@mon ~]# rbd namespace create --namespace namespace2

[root@mon ~]# rbd namespace ls --format=json
[{"name":"namespace2"},{"name":"namespace1"}]
    Copy to Clipboard Toggle word wrap

  5. ユーザー 2 つにこの名前空間へのアクセスを割り当てます。

    構文

    ceph auth get-or-create client.USER_NAME mon 'profile rbd' osd 'profile rbd pool=rbd namespace=NAMESPACE' -o /etc/ceph/client.USER_NAME.keyring
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# ceph auth get-or-create client.testuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace1' -o /etc/ceph/client.testuser.keyring

[root@mon ~]# ceph auth get-or-create client.newuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace2' -o /etc/ceph/client.newuser.keyring
    Copy to Clipboard Toggle word wrap

  6. クライアントのキーを取得します。

    構文

    ceph auth get client.USER_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# ceph auth get client.testuser

[client.testuser]
	key = AQDMp61hBf5UKRAAgjQ2In0Z3uwAase7mrlKnQ==
	caps mon = "profile rbd"
	caps osd = "profile rbd pool=rbd namespace=namespace1"
exported keyring for client.testuser

[root@mon ~]# ceph auth get client.newuser

[client.newuser]
	key = AQDfp61hVfLFHRAA7D80ogmZl80ROY+AUG4A+Q==
	caps mon = "profile rbd"
	caps osd = "profile rbd pool=rbd namespace=namespace2"
exported keyring for client.newuser
    Copy to Clipboard Toggle word wrap

  7. ブロックデバイスイメージを作成し、プール内の事前定義済みの名前空間を使用します。

    構文

    rbd create --namespace NAMESPACE IMAGE_NAME --size SIZE_IN_GB
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# rbd create --namespace namespace1 image01 --size 1G

[root@mon ~]# rbd create --namespace namespace2 image02 --size 1G
    Copy to Clipboard Toggle word wrap

  8. オプション: 名前空間および関連付けられたイメージの詳細を取得します。

    構文

    rbd --namespace NAMESPACE ls --long
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]#  rbd --namespace namespace1 ls --long
NAME    SIZE  PARENT FMT PROT LOCK
image01 1 GiB          2

[root@mon ~]# rbd --namespace namespace2 ls --long
NAME    SIZE  PARENT FMT PROT LOCK
image02 1 GiB          2
    Copy to Clipboard Toggle word wrap

  9. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。 

    scp /etc/ceph/ceph.conf root@CLIENT_NODE:/etc/ceph/
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# scp /etc/ceph/ceph.conf root@host02:/etc/ceph/

root@host02's password:
ceph.conf                                                                          100%  497   724.9KB/s   00:00
    Copy to Clipboard Toggle word wrap

  10. 管理キーリングを Ceph Monitor ノードからクライアントノードにコピーします。

    構文

    scp /etc/ceph/ceph.client.admin.keyring root@CLIENT_NODE:/etc/ceph
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# scp /etc/ceph/ceph.client.admin.keyring root@host02:/etc/ceph/

root@host02's password:
ceph.client.admin.keyring                                                          100%  151   265.0KB/s   00:00
    Copy to Clipboard Toggle word wrap

  11. ユーザーのキーリングを Ceph Monitor ノードからクライアントノードにコピーします。

    構文

    scp /etc/ceph/ceph.client.USER_NAME.keyring root@CLIENT_NODE:/etc/ceph/
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# scp /etc/ceph/client.newuser.keyring root@host02:/etc/ceph/

[root@mon ~]# scp /etc/ceph/client.testuser.keyring root@host02:/etc/ceph/
    Copy to Clipboard Toggle word wrap

  12. ブロックデバイスイメージをマッピングします。

    構文

    rbd map --name NAMESPACE IMAGE_NAME -n client.USER_NAME --keyring /etc/ceph/client.USER_NAME.keyring
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# rbd map --namespace namespace1 image01  -n  client.testuser --keyring=/etc/ceph/client.testuser.keyring

/dev/rbd0

[root@mon ~]# rbd map --namespace namespace2 image02 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring

/dev/rbd1
    Copy to Clipboard Toggle word wrap

    これにより、同じプール内の他の名前空間のユーザーにはアクセスできません。

    例

    [root@mon ~]# rbd map --namespace namespace2 image02  -n  client.testuser --keyring=/etc/ceph/client.testuser.keyring

rbd: warning: image already mapped as /dev/rbd1
rbd: sysfs write failed
rbd: error asserting namespace: (1) Operation not permitted
In some cases useful info is found in syslog - try "dmesg | tail".
2021-12-06 02:49:08.106 7f8d4fde2500 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted
rbd: map failed: (1) Operation not permitted

[root@mon ~]# rbd map --namespace namespace1 image01 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring

rbd: warning: image already mapped as /dev/rbd0
rbd: sysfs write failed
rbd: error asserting namespace: (1) Operation not permitted
In some cases useful info is found in syslog - try "dmesg | tail".
2021-12-03 12:16:24.011 7fcad776a040 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted
rbd: map failed: (1) Operation not permitted
    Copy to Clipboard Toggle word wrap

  13. デバイスを確認します。

    例

    [root@mon ~]# rbd showmapped

id pool namespace      image   snap device
0  rbd  namespace1  image01 -  /dev/rbd0
1  rbd  namespace2   image02 -  /dev/rbd1
    Copy to Clipboard Toggle word wrap

第4章 スナップショット管理
リンクのコピー

ストレージ管理者は、Ceph のスナップショット機能を十分に理解している場合には、Red Hat Ceph Storage クラスターに保存されているイメージのスナップショットの管理や、クローン作成に役立ちます。

4.1. 前提条件
リンクのコピー

  • 稼働中の Red Hat Ceph Storage クラスターがある。

4.2. Ceph ブロックデバイスのスナップショット
リンクのコピー

スナップショットは、特定の時点におけるイメージの状態の読み取り専用コピーです。Ceph ブロックデバイスの高度な機能の 1 つとして、イメージのスナップショットを作成して、イメージの状態の履歴を保持できることが挙げられます。Ceph は、スナップショット階層機能もサポートしており、仮想マシンイメージなどのイメージのクローンをすばやく簡単に作成できます。Ceph は、QEMU、libvirt、OpenStack、および CloudStack など、rbd コマンドと、より上層レベルのインターフェイスを使用するブロックデバイススナップショットをサポートします。

注記

I/O の発生中にスナップショットが作成された場合、スナップショットは正確なイメージデータまたは最新のイメージデータを取得できず、マウントできる新規イメージに、スナップショットをクローンする必要がある場合があります。Red Hat は、イメージのスナップショットを作成する前に I/O を停止することを推奨します。イメージにファイルシステムが含まれる場合に、ファイルシステムはスナップショットの作成前に整合性のある状態でなければなりません。I/O を停止するには、fsfreeze コマンドを使用します。仮想マシンの場合には、qemu-guest-agent を使用してスナップショットの作成時にファイルシステムを自動的にフリーズできます。

diag 4159dacfb6618377a0165242566e9e0b
View larger image
diag 4159dacfb6618377a0165242566e9e0b

関連情報

  • 詳細は、 fsfreeze(8) の man ページを参照してください。

4.3. Ceph ユーザーおよびキーリング
リンクのコピー

cephx が有効な場合には、ユーザー名または ID とユーザーに対応するキーが含まれるキーリングへのパスを指定する必要があります。

注記

Cephx はデフォルトで有効化されています。

以下のパラメーターのエントリーを再追加しなくてもいいように、CEPH_ARGS 環境変数を追加することもできます。

構文

rbd --id USER_ID --keyring=/path/to/secret [commands]
rbd --name USERNAME --keyring=/path/to/secret [commands]
Copy to Clipboard Toggle word wrap

例

[root@rbd-client ~]# rbd --id admin --keyring=/etc/ceph/ceph.keyring [commands]
[root@rbd-client ~]# rbd --name client.admin --keyring=/etc/ceph/ceph.keyring [commands]
Copy to Clipboard Toggle word wrap

ヒント

ユーザーとシークレットを CEPH_ARGS 環境変数に追加して、毎回入力する必要がないようにします。

4.4. ブロックデバイススナップショットの作成
リンクのコピー

Ceph ブロックデバイスのスナップショットを作成します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. snap create オプション、プール名、およびイメージ名を指定します。

    構文

    rbd --pool POOL_NAME snap create --snap SNAP_NAME IMAGE_NAME
rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap create --snap snapname foo
[root@rbd-client ~]# rbd snap create rbd/foo@snapname
    Copy to Clipboard Toggle word wrap

4.5. ブロックデバイススナップショットの一覧表示
リンクのコピー

ブロックデバイスのスナップショットを一覧表示します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プール名とイメージ名を指定します。

    構文

    rbd --pool POOL_NAME snap ls IMAGE_NAME
rbd snap ls POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap ls foo
[root@rbd-client ~]# rbd snap ls rbd/foo
    Copy to Clipboard Toggle word wrap

4.6. ブロックデバイススナップショットのロールバック
リンクのコピー

ブロックデバイスのスナップショットをロールバックします。

注記

イメージをスナップショットにロールバックすると、イメージの現行バージョンがスナップショットからのデータで上書きされます。ロールバックの実行にかかる時間は、イメージのサイズとともに増加します。スナップショットにイメージを ロールバック するよりも、クローンするほうが短時間ででき、既存の状態戻す方法として推奨の方法です。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. snap rollback オプション、プール名、イメージ名、および snap 名を指定します。

    構文

    rbd --pool POOL_NAME snap rollback --snap SNAP_NAME IMAGE_NAME
rbd snap rollback POOL_NAME/IMAGE_NAME@SNAP_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap rollback --snap snapname foo
[root@rbd-client ~]# rbd snap rollback rbd/foo@snapname
    Copy to Clipboard Toggle word wrap

4.7. ブロックデバイススナップショットの削除
リンクのコピー

Ceph ブロックデバイスのスナップショットを削除します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. snap rm オプション、プール名、イメージ名、およびスナップショット名を指定します。

    構文

    rbd --pool POOL_NAME snap rm --snap SNAP_NAME IMAGE_NAME
rbd snap rm POOL_NAME-/IMAGE_NAME@SNAP_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap rm --snap snapname foo
[root@rbd-client ~]# rbd snap rm rbd/foo@snapname
    Copy to Clipboard Toggle word wrap

重要

イメージにクローンがある場合には、クローン作成されたイメージは、親イメージのスナップショットへの参照を保持します。親イメージのスナップショットを削除するには、最初に子イメージをフラット化する必要があります。

注記

Ceph OSD デーモンはデータを非同期的に削除するため、スナップショットを削除してもディスク領域がすぐに解放されません。

関連情報

4.8. ブロックデバイススナップショットのパージ
リンクのコピー

ブロックデバイススナップショットをパージします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. snap purge オプションとイメージ名を指定します。

    構文

    rbd --pool POOL_NAME snap purge IMAGE_NAME
rbd snap purge POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap purge foo
[root@rbd-client ~]# rbd snap purge rbd/foo
    Copy to Clipboard Toggle word wrap

4.9. ブロックデバイススナップショットの名前変更
リンクのコピー

ブロックデバイスのスナップショットの名前を変更します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. スナップショットの名前を変更するには、以下のコマンドを実行します。

    構文

    rbd snap rename POOL_NAME/IMAGE_NAME@ORIGINAL_SNAPSHOT_NAME POOL_NAME/IMAGE_NAME@NEW_SNAPSHOT_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd snap rename data/dataset@snap1 data/dataset@snap2
    Copy to Clipboard Toggle word wrap

    これにより、data プールにある データセット イメージの snap1 スナップショットの名前が snap2 に変更されます。

  2. rbd help snap rename コマンドを実行して、スナップショットの名前変更に関する追加情報を表示します。

4.10. Ceph ブロックデバイスの階層化
リンクのコピー

Ceph は、ブロックデバイススナップショットの多数のコピーオンライト (COW) またはコピーオンリード (COR) のクローンを作成する機能をサポートしています。スナップショットの階層化により、Ceph ブロックデバイスクライアントはイメージを非常に迅速に作成できます。たとえば、Linux 仮想マシンで書き込んだブロックデバイスイメージを作成できます。次に、イメージのスナップショットを作成して、スナップショットを保護し、必要な数のクローンを作成します。スナップショットは読み取り専用であるため、スナップショットのクローンを作成するとセマンティクスが簡素化され、クローンの作成時間を短縮できます。

diag 967b328072067089c89ce979bb26daff
View larger image
diag 967b328072067089c89ce979bb26daff
注記

親 および 子 という用語は、Ceph ブロックデバイスのスナップショット (親)、およびスナップショットからクローン作成された対応のイメージ (子) を意味します。以下のコマンドラインを使用する場合に、これらの用語が重要です。

クローン作成された各イメージ (子) は、親イメージへの参照を保存し、クローン作成されたイメージで親スナップショットを開き、読み取ることができるようになります。この参照は、クローンが フラット化 (スナップショットからの情報が完全にクローンにコピー) されると、削除されます。

スナップショットのクローン作成は、他の Ceph ブロックデバイスイメージのように動作します。クローン作成されたイメージを読み取り、書き込み、クローンし、サイズを変更できます。クローン作成されたイメージには、特別な制限はありません。ただし、スナップショットのクローンはスナップショットを参照するので、クローンを作成する前にスナップショットを保護する 必要があります。

スナップショットのクローンは、コピーオンライト (COW) またはコピーオンリード (COR) のいずれかです。クローンではコピーオンライト (COW) は常に有効で、コピーオンリード (COR) は明示的に有効化する必要があります。コピーオンライト (COW) は、クローン内の未割り当てのオブジェクトへの書き込み時に、親からクローンにデータをコピーします。コピーオンリード (COR) は、クローン内の未割り当てのオブジェクトから読み取る時に、親からクローンにデータをコピーします。クローンからデータの読み取りは、オブジェクトがクローンに存在しない場合、親からのデータのみを読み取ります。RADOS ブロックデバイスは、サイズの大きいイメージを複数のオブジェクトに分割します。デフォルトは 4 MB に設定され、すべてのコピーオンライト (COW) およびすべてのコピーオンリード (COR) 操作が完全なオブジェクトで行われます。つまり、クローンに 1 バイトが書き込まれると、4 MB オブジェクトが親から読み取られ、まだ以前の COW/COR 操作から宛先オブジェクトがクローンに存在しない場合には、クローンに書き込まれます。

コピーオンリード (COR) が有効になっているかどうか。クローンから下層にあるオブジェクトを読み取ることができない場合には、親に再ルーティングされます。実質的に親の数に制限が特にないため、クローンのクローンを作成できます。これは、オブジェクトが見つかるまで、またはベースの親イメージに到達するまで、この再ルーティングが続行されます。コピーオンリード (COR) が有効になっている場合には、クローンから直接読み取ることができない場合には、親からすべてのオブジェクトを読み取り、そのデータをクローンに書き込むことで、今後、親から読み取る必要なく、同じエクステントの読み取りがクローン自体で行われるようにします。

これは基本的に、オンデマンドのオブジェクトごとのフラット化操作です。これは、クローンが親から離れた高遅延接続の場所 (別の地理的場所の別のプールにある親など) にある場合に特に便利です。コピーオンリード (COR) では、読み取りのならし遅延が短縮されます。最初の数回読み取りは、親から追加のデータが読み取られるため、レイテンシーが高くなっています。たとえば、クローンから 1 バイトを読み取る場合に、4 MB を親から読み取り、クローンに書き込みする必要がありますが、それ以降はクローン自体からすべての読み取りが行われます。

スナップショットからコピーオンリード (COR) のクローンを作成するには、ceph.conf ファイルの [global] セクションまたは [client] セクションに rbd_clone_copy_on_read = true を追加してこの機能を明示的に有効にする必要があります。

関連情報

4.11. ブロックデバイススナップショットの保護
リンクのコピー

親スナップショットのクローン作成は、親スナップショットにアクセスします。ユーザーが親のスナップショットを誤って削除した場合に、クローンはすべて破損します。データの損失を防ぐために、デフォルトで、スナップショットをクローンする前に保護する必要があります。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. 以下のコマンドで POOL_NAME、IMAGE_NAME、および SNAP_SHOT_NAME を指定します。

    構文

    rbd --pool POOL_NAME snap protect --image IMAGE_NAME --snap SNAPSHOT_NAME
rbd snap protect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap protect --image my-image --snap my-snapshot
[root@rbd-client ~]# rbd snap protect rbd/my-image@my-snapshot
    Copy to Clipboard Toggle word wrap

    注記

    保護されたスナップショットは削除できません。

4.12. ブロックデバイススナップショットのクローン作成
リンクのコピー

ブロックデバイスのスナップショットのクローンを作成して、同じプール内または別のプール内に、スナップショットの子イメージ (読み取りまたは書き込みイメージ) を作成します。ユースケースの例として、読み取り専用のイメージおよびスナップショットをプールでテンプレートとして維持し、別のプールで書き込み可能なクローンとして維持します。

重要

デフォルトでは、クローンを作成する前に、スナップショットを保護する必要があります。クローンの作成前にスナップショットを保護しなくてもいいようにするには、ceph osd set-require-min-compat-client mimic を設定します。これは mimic よりも高い値に設定できます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. スナップショットのクローンを作成するには、親プール、スナップショット、子プール、およびイメージ名を指定する必要があります。

    構文

    rbd --pool POOL_NAME --image PARENT_IMAGE --snap SNAP_NAME --dest-pool POOL_NAME --dest CHILD_IMAGE_NAME
rbd clone POOL_NAME/PARENT_IMAGE@SNAP_NAME  POOL_NAME/CHILD_IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd --image my-image --snap my-snapshot --dest-pool rbd --dest new-image
[root@rbd-client ~]# rbd clone rbd/my-image@my-snapshot rbd/new-image
    Copy to Clipboard Toggle word wrap

4.13. ブロックデバイススナップショットの保護解除
リンクのコピー

スナップショットを削除する前に、そのスナップショットを保護解除する必要があります。さらに、クローンからの参照があるスナップショットは、削除できません。スナップショットを削除する前に、スナップショットの各クローンをフラット化する必要があります。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. 以下のコマンドを実行します。

    構文

    rbd --pool POOL_NAME snap unprotect --image IMAGE_NAME --snap SNAPSHOT_NAME
rbd snap unprotect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd snap unprotect --image my-image --snap my-snapshot
[root@rbd-client ~]# rbd snap unprotect rbd/my-image@my-snapshot
    Copy to Clipboard Toggle word wrap

4.14. スナップショットの子の一覧表示
リンクのコピー

スナップショットの子を一覧表示します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. スナップショットの子を一覧表示するには、以下のコマンドを実行します。

    構文

    rbd --pool POOL_NAME children --image IMAGE_NAME --snap SNAP_NAME
rbd children POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
    Copy to Clipboard Toggle word wrap

    例

    rbd --pool rbd children --image my-image --snap my-snapshot
rbd children rbd/my-image@my-snapshot
    Copy to Clipboard Toggle word wrap

4.15. クローンしたイメージのフラット化
リンクのコピー

クローン作成されたイメージは、親スナップショットへの参照を保持します。親スナップショットへの参照を子クローンから削除すると、実質的に、その情報をスナップショットからクローンにコピーしてイメージをフラット化できます。クローンのフラット化にかかる時間は、スナップショットのサイズとともに増加します。フラット化イメージにはスナップショットからのすべての情報が含まれるため、フラット化されるイメージは階層化されたクローンよりも多くのストレージ領域を使用します。

注記

イメージで ディープフラット 機能が有効になっている場合には、イメージのクローンは、デフォルトで親から分離されます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. 子イメージに関連付けられた親イメージのスナップショットを削除するには、最初に子イメージをフラット化する必要があります。

    構文

    rbd --pool POOL_NAME flatten --image IMAGE_NAME
rbd flatten POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --pool rbd flatten --image my-image
[root@rbd-client ~]# rbd flatten rbd/my-image
    Copy to Clipboard Toggle word wrap

第5章 Ceph ブロックデバイスのミラーリング
リンクのコピー

ストレージ管理者は、Red Hat Ceph Storage クラスター間でデータイメージをミラーリングして、冗長性向けに別の階層を Ceph ブロックデバイスに追加できます。Ceph ブロックデバイスのミラーリングについて理解して使用すると、サイト障害など、データ損失から守ることができます。Ceph ブロックデバイスのミラーリングには、一方向ミラーリングまたは双方向ミラーリングの 2 つの設定があり、プールと個別のイメージにミラーリングを設定できます。

5.1. 前提条件
リンクのコピー

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • 2 つのストレージクラスター間のネットワーク接続。
  • 各 Red Hat Ceph Storage クラスターの Ceph クライアントノードへのアクセス。

5.2. Ceph ブロックデバイスのミラーリング
リンクのコピー

RADOS Block Device (RBD) ミラーリングとは、2 つ以上の Ceph Storage クラスター間で Ceph ブロックデバイスイメージを非同期にレプリケーションするプロセスのことです。異なる地理的な場所にある Ceph Storage クラスターを配置することで、RBD ミラーリングはサイトの障害からの復旧に役立ちます。ジャーナルベースの Ceph ブロックデバイスのミラーリングにより、読み取りと書き込み、ブロックデバイスのサイズ調整、スナップショット、クローンおよびフラット化など、イメージに対する全変更を含む、ある時点の一貫したレプリカが作成されるようにします。

RBD ミラーリングは排他的ロックとジャーナリング機能を使用して、イメージに対するすべての変更を順番に記録します。これにより、イメージのクラッシュ整合性のあるミラーが利用できるようになりました。

重要

ブロックデバイスイメージをミラーリングするプライマリーおよびセカンダリープールに対応する CRUSH 階層には、容量とパフォーマンスの特性が同じである必要があり、また、追加のレイテンシーなしにミラーリングを行うために十分な帯域幅が必要になります。たとえば、プライマリーストレージクラスター内のイメージへの平均書き込みスループットが X MB/s である場合に、ネットワークはセカンダリーサイトへのネットワーク接続で N * X スループットと、N イメージをミラーリングする安全係数 Y% に対応している必要があります。

rbd-mirror デーモンは、リモートプライマリーイメージから変更を取得し、プライマリーイメージ以外のローカルイメージにそれらの変更を書き込むことで、別の Ceph Storage クラスターにイメージを同期します。rbd-mirror デーモンは、Ceph Storage クラスター 1 台では一方向ミラーリング、Ceph Storage クラスター 2 台ではミラーリング関係に参加する双方向ミラーリングを実行します。

一方向または双方向レプリケーションのどちらかを使用して RBD ミラーリングを機能させる場合に、いくつかの前提条件があります。

  • 同じ名前のプールが両方のストレージクラスターに存在する。
  • プールには、ジャーナルが有効化された、ミラーリングするイメージが含まれている。
重要

一方向または双方向レプリケーションでは、rbd-mirror の各インスタンスは他の Ceph Storage クラスターを同時に接続できる必要があります。また、ミラーリングを処理するために、ネットワークには 2 つのデータセンターサイトの間で十分な帯域幅が必要です。

一方向レプリケーション

一方向ミラーリングは、ストレージクラスター内のプライマリーイメージまたはプールのイメージがセカンダリーのストレージクラスターにレプリケートされることを意味します。一方向ミラーリングは、複数のセカンダリーストレージクラスターへのレプリケーションにも対応します。

セカンダリーストレージクラスターでは、イメージはプライマリー以外のレプリケーションであるため、Ceph クライアントはイメージに書き込むことができません。データがプライマリーストレージクラスターからセカンダリーストレージクラスターにミラーリングされると、rbd-mirror はセカンダリーストレージクラスター上でのみを実行します。

一方向のミラーリングを機能させるには、いくつかの前提条件があります。

  • 2 つの Ceph Storage クラスターがあり、プライマリーストレージクラスターからセカンダリーストレージクラスターにイメージをレプリケートする必要がある。
  • セカンダリーストレージクラスターには、rbd-mirror デーモンを実行する Ceph クライアントノードがアタッチされている。rbd-mirror デーモンは、プライマリーストレージクラスターに接続して、イメージをセカンダリーストレージクラスターに同期します。
One-way mirroring
View larger image
One-way mirroring

双方向レプリケーション

双方向レプリケーションは、プライマリークラスターに rbd-mirror デーモンを追加して、そのクラスターでイメージをデモートし、セカンダリークラスターでプロモートできるようにします。その後、セカンダリークラスターのイメージに対して変更が行われ、セカンダリーからプライマリーに逆方向にレプリケートされます。どちらかのクラスターでのイメージのプロモートとデモートを可能にするには、両方のクラスターで rbd-mirror が実行されている必要があります。現在、双方向レプリケーションは 2 つのサイトの間でのみサポートされています。

双方向のミラーリングを機能させるには、いくつかの前提条件があります。

  • ストレージクラスターが 2 台あり、それらのクラスター間でイメージをどちらの方向にでも複製できる。
  • 両方のストレージクラスターには、rbd-mirror デーモンを実行するクライアントノードが割り当てられている。セカンダリーストレージクラスターで実行される rbd-mirror デーモンは、プライマリーストレージクラスターに接続してイメージをセカンダリーに同期し、プライマリーストレージクラスターで実行されている rbd-mirror デーモンは、セカンダリーストレージクラスターに接続し、イメージをプライマリーに同期します。
Two-way mirroring
View larger image
Two-way mirroring
注記

Red Hat Ceph Storage 4 では、1 つのクラスターで複数のアクティブな rbd-mirror デーモンを実行するがサポートされます。

ミラーリングモード

ミラーリングは、ストレージクラスターのミラーリングを使用して、プールごとに設定されます。Ceph は、プールのイメージの種類に応じて、2 つのミラーリングモードをサポートします。

プールモード
ジャーナリング機能が有効になっているプール内のイメージはすべてミラーリングされます。
イメージモード
プール内の特定のイメージのサブセットのみがミラーリングされます。各イメージのミラーリングを別々に有効にする必要があります。

イメージの状態

イメージの変更が可能かどうかは、その状態により異なります。

  • プライマリー状態のイメージを変更できます。
  • プライマリー状態以外のイメージは変更できません。

イメージでミラーリングが最初に有効化された時点で、イメージはプライマリーに自動的にプロモートされます。以下でプロモートが可能です。

  • プールモードでミラーリングを暗黙的に有効にする。
  • 特定のイメージのミラーリングを明示的に有効にする。

プライマリーイメージをデモートし、プライマリー以外のイメージをプロモートすることができます。

関連情報

5.3. Ansible を使用した一方向ミラーリングの設定
リンクのコピー

以下の手順では、ceph-ansible を使用して site-a と呼ばれるプライマリーストレージクラスターでイメージの一方向レプリケーションを、site-b と呼ばれるセカンダリーストレージクラスターに設定します。以下の例では、data はミラーリングされるイメージが含まれるプールの名前です。

前提条件

  • Red Hat Ceph Storage クラスターを実行する 2 つ。
  • Ceph クライアントノード。
  • 同じ名前のプールが両方のクラスターに存在する。
  • ジャーナルベースのミラーリングでは、プール内のイメージで排他的ロックとジャーナリングを有効にする必要があります。
注記

一方向レプリケーションを使用する場合は、複数のセカンダリーストレージクラスターにミラーリングできます。

手順

  1. イメージの元のクラスターで、イメージの排他的ロックおよびジャーナリング機能を有効にします。

    1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。 

      rbd_default_features = 125
      Copy to Clipboard Toggle word wrap

  2. site-a クラスターで、以下の手順を実行します。

    1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-a ユーザーを作成し、そのキーを site-a.client.site-a.keyring という名前のファイルに出力します。

      構文

      ceph auth get-or-create client.CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/CLUSTER_NAME.client.USER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring
      Copy to Clipboard Toggle word wrap

    2. Ceph 設定ファイルおよび新たに作成された鍵ファイルをモニターノードから site-b のモニターおよびクライアントノードにコピーします。
    3. Ceph 設定ファイルの名前を ceph.conf から CLUSTER-NAME.conf に変更します。この例では、ファイルは /etc/ceph/site-a.conf です。

  3. site-b クラスターで、以下の手順を実行します。

    1. Ansible 管理ノードで、Ansible インベントリーファイルに [rbdmirrors] グループを追加します。通常のインベントリーファイルは /etc/ansible/hosts です。

    2. [rbdmirrors] グループの下に、 rbd-mirror デーモンが実行される site-b クライアントノードの名前を追加します。デーモンは、イメージの変更を site-a から site-b にプルします。 

      [rbdmirrors]
ceph-client
      Copy to Clipboard Toggle word wrap

    3. /usr/share/ceph-ansible ディレクトリーに移動します。 

      [root@admin ~]# cd /usr/share/ceph-ansible
      Copy to Clipboard Toggle word wrap

    4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。 

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml
      Copy to Clipboard Toggle word wrap
    5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

    6. ceph_rbd_mirror_configure を true に設定します。ceph_rbd_mirror_pool は、イメージをミラーリングするプールに設定します。この例では、data はプールの名前です。 

      ceph_rbd_mirror_configure: true
ceph_rbd_mirror_pool: "data"
      Copy to Clipboard Toggle word wrap

    7. デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。 

      ceph_rbd_mirror_mode: image
      Copy to Clipboard Toggle word wrap

    8. rbd-mirror がプルするクラスターの名前を設定します。以下の例では、他のクラスターは site-a です。 

      ceph_rbd_mirror_remote_cluster: "site-a"
      Copy to Clipboard Toggle word wrap

    9. Ansible 管理ノードで、ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。キーの作成時に使用した同じ名前を使用します。この例では、ユーザーの名前は client.site-a です。 

      ceph_rbd_mirror_remote_user: "client.site-a"
      Copy to Clipboard Toggle word wrap

    10. ceph-ansible ユーザーとして、Ansible Playbook を実行します。

      • ベアメタルデプロイメント 

        [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

      • コンテナーデプロイメント 

        [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

  4. site-a クラスターと site-b クラスターの両方で、必要なイメージのミラーリングを明示的に有効にします。

    構文

    ジャーナルベースのミラーリング 

    rbd mirror image enable POOL/IMAGE
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    rbd mirror image enable POOL/IMAGE snapshot
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# rbd mirror image enable data/image1
[root@mon ~]# rbd mirror image enable data/image1 snapshot
    Copy to Clipboard Toggle word wrap

    注記

    新規イメージをピアクラスターにミラーリングする場合は常にこの手順を繰り返します。

  5. ミラーリングのステータスを確認します。site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

    例

    ジャーナルベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
  state:       up+replaying
    1 
    
  description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
  last_update: 2019-04-22 13:19:27
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
  state:       up+replaying
    1 
    
  description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
  service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:41:57
    Copy to Clipboard Toggle word wrap
    1 1
    イメージが up+replaying の場合には、ミラーリングが正常に機能します。
    注記

    サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

5.4. Ansible を使用した双方向ミラーリングの設定
リンクのコピー

この手順では、ceph-ansible を使用して双方向のレプリケーションを設定し、イメージを site-a と site-b と呼ばれる 2 つのクラスター間でミラーリングできるようにします。以下の例では、data はミラーリングされるイメージが含まれるプールの名前です。

注記

双方向ミラーリングでは、どちらのクラスターにおいても、同じイメージへの同時書き込みはできません。イメージは一方のクラスターでプロモートされ、他方のクラスターではデモートされます。ステータスに応じて、それらは一方向または反対方向でミラリングされます。

前提条件

  • Red Hat Ceph Storage クラスターを実行する 2 つ。
  • 各クラスターにクライアントノードがある。
  • 同じ名前のプールが両方のクラスターに存在する。
  • ジャーナルベースのミラーリングでは、プール内のイメージで排他的ロックとジャーナリングを有効にする必要があります。

手順

  1. イメージの元のクラスターで、イメージの排他的ロックおよびジャーナリング機能を有効にします。

    1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。 

      rbd_default_features = 125
      Copy to Clipboard Toggle word wrap

  2. site-a クラスターで、以下の手順を実行します。

    1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-a ユーザーを作成し、そのキーを site-a.client.site-a.keyring という名前のファイルに出力します。Ceph 設定ファイルは /etc/ceph/site-a.conf です。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/PRIMARY_CLUSTER_NAME.conf
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring -c /etc/ceph/site-a.conf
      Copy to Clipboard Toggle word wrap

    2. キーリングは site-b クラスターにコピーします。rbd-daemon が実行される site-b クラスターのクライアントノードにファイルをコピーします。このファイルを /etc/ceph/site-a.client.site-a.keyring に保存します。

      構文

      scp /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring root@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# scp /etc/ceph/site-a.client.site-a.keyring root@client.site-b:/etc/ceph/site-a.client.site-a.keyring
      Copy to Clipboard Toggle word wrap

    3. Ceph 設定ファイルをモニターノードから site-b モニターノードおよびクライアントノードにコピーします。この例の Ceph 設定ファイルは /etc/ceph/site-a.conf です。

      構文

      scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf root@SECONDARY_MONITOR_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf
scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf user@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# scp /etc/ceph/site-a.conf root@mon.site-b:/etc/ceph/site-a.conf
[root@mon ~]# scp /etc/ceph/site-a.conf user@client.site-b:/etc/ceph/site-a.conf
      Copy to Clipboard Toggle word wrap

  3. site-b クラスターで、以下の手順を実行します。

    1. site-a から site-b へのミラーリングを設定します。Ansible 管理ノードで、rbdmirrors グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。

    2. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-b クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-a から site-b にプルします。

      例

      [rbdmirrors]
client.site-b
      Copy to Clipboard Toggle word wrap

    3. /usr/share/ceph-ansible ディレクトリーに移動します。 

      [root@admin ~]$ cd /usr/share/ceph-ansible
      Copy to Clipboard Toggle word wrap

    4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。 

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml
      Copy to Clipboard Toggle word wrap
    5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

    6. ceph_rbd_mirror_configure を true に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。 

      ceph_rbd_mirror_configure: true
ceph_rbd_mirror_pool: "data"
      Copy to Clipboard Toggle word wrap

    7. デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。 

      ceph_rbd_mirror_mode: image
      Copy to Clipboard Toggle word wrap

    8. group_vars/rbdmirrors.yml ファイルに rbd-mirror のクラスターの名前を設定します。以下の例では、他のクラスターは site-a です。 

      ceph_rbd_mirror_remote_cluster: "site-a"
      Copy to Clipboard Toggle word wrap

    9. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルの ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。キーの作成時に使用した同じ名前を使用します。この例では、ユーザーの名前は client.site-a です。 

      ceph_rbd_mirror_remote_user: "client.site-a"
      Copy to Clipboard Toggle word wrap

    10. ansible ユーザーとして、Ansible Playbook を実行します。

      • ベアメタルデプロイメント 

        [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

      • コンテナーデプロイメント 

        [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

  4. ミラーリングのステータスを確認します。site-b クラスターで、Ceph Monitor ノードから以下のコマンドを実行します。

    例

    ジャーナルベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
  state:       up+replaying
    1 
    
  description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
  last_update: 2021-04-22 13:19:27
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
  state:       up+replaying
    1 
    
  description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
  service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:41:57
    Copy to Clipboard Toggle word wrap
    1 1
    イメージが up+replaying の場合には、ミラーリングが正常に機能します。
    注記

    サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

  5. site-b クラスターで、以下の手順を実行します。手順は上記とほぼ同じです。

    1. モニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-b ユーザーを作成し、そのキーを site-b.client.site-b.keyring という名前のファイルに出力します。Ceph 設定ファイルは /etc/ceph/site-b.conf です。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/SECONDARY_CLUSTER_NAME.conf
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# ceph auth get-or-create client.site-b mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-b.client.site-b.keyring -c /etc/ceph/site-b.conf
      Copy to Clipboard Toggle word wrap

    2. キーリングを site-a クラスターにコピーします。rbd-daemon が実行される site-a クラスターのクライアントノードにファイルをコピーします。ファイルを /etc/ceph/site-b.client.site-b.keyring に保存します。

      構文

      scp /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring root@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# scp /etc/ceph/site-b.client.site-b.keyring root@client.site-a:/etc/ceph/site-b.client.site-b.keyring
      Copy to Clipboard Toggle word wrap

    3. Ceph 設定ファイルをモニターノードから site-a モニターノードおよびクライアントノードにコピーします。この例の Ceph 設定ファイルは /etc/ceph/site-b.conf です。

      構文

      scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf root@PRIMARY_MONITOR_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf
scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf user@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# scp /etc/ceph/site-b.conf root@mon.site-a:/etc/ceph/site-b.conf
[root@mon ~]# scp /etc/ceph/site-b.conf user@client.site-a:/etc/ceph/site-b.conf
      Copy to Clipboard Toggle word wrap

  6. site-a クラスターで、以下の手順を実行します。

    1. site-b から site-a へのミラーリングを設定します。Ansible 管理ノードで、rbdmirrors グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。

    2. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-a クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-b から site-a にプルします。

      例

      [rbdmirrors]
client.site-a
      Copy to Clipboard Toggle word wrap

    3. /usr/share/ceph-ansible ディレクトリーに移動します。 

      [root@admin ~]# cd /usr/share/ceph-ansible
      Copy to Clipboard Toggle word wrap

    4. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。 

      [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml
      Copy to Clipboard Toggle word wrap
    5. group_vars/rbdmirrors.yml ファイルを開いて編集します。

    6. ceph_rbd_mirror_configure を true に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。 

      ceph_rbd_mirror_configure: true
ceph_rbd_mirror_pool: "data"
      Copy to Clipboard Toggle word wrap

    7. オプション: デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。ミラーリングが明示的に有効になっているイメージのみがミラーリングされるイメージモードを有効にします。イメージモードを有効にするには、ceph_rbd_mirror_mode を image に設定します。 

      ceph_rbd_mirror_mode: image
      Copy to Clipboard Toggle word wrap

    8. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルに rbd-mirror クラスターの名前を設定します。例に従い、その他のクラスターの名前は site-b とします。 

      ceph_rbd_mirror_remote_cluster: "site-b"
      Copy to Clipboard Toggle word wrap

    9. Ansible 管理ノードで、group_vars/rbdmirrors.yml ファイルの ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。この例では、ユーザーの名前は client.site-b です。 

      ceph_rbd_mirror_remote_user: "client.site-b"
      Copy to Clipboard Toggle word wrap

    10. 管理ノードで Ansible ユーザーとして、Ansible Playbook を実行します。

      • ベアメタルデプロイメント 

        [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

      • コンテナーデプロイメント 

        [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
        Copy to Clipboard Toggle word wrap

  7. site-a クラスターと site-b クラスターの両方で、必要なイメージのミラーリングを明示的に有効にします。

    構文

    ジャーナルベースのミラーリング 

    rbd mirror image enable POOL/IMAGE
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    rbd mirror image enable POOL/IMAGE snapshot
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# rbd mirror image enable data/image1
[root@mon ~]# rbd mirror image enable data/image1 snapshot
    Copy to Clipboard Toggle word wrap

    注記

    新規イメージをピアクラスターにミラーリングする場合は常にこの手順を繰り返します。

  8. ミラーリングのステータスを確認します。site-a クラスターのクライアントノードから以下のコマンドを実行します。

    例

    ジャーナルベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
    1 
    
  description: local image is primary
  last_update: 2021-04-16 15:45:31
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon ~]# rbd mirror image status data/image1
image1:
  global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
  state:       up+stopped
    1 
    
  description: local image is primary
  service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:42:54
  peer_sites:
    name: rbd-mirror.site-b
    state: up+replaying
    description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
    last_update: 2022-01-20 12:42:59
  snapshots:
    5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])
    Copy to Clipboard Toggle word wrap
    1 1
    イメージは up+stopped 状態である必要があります。ここでは、up は rbd-mirror デーモンが実行中で、stopped は、イメージが別のクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのクラスターのプライマリーであるためです。

5.5. コマンドラインインターフェイスを使用した一方向ミラーリングの設定
リンクのコピー

この手順では、プライマリーストレージクラスターからセカンダリーストレージクラスターへのプールの一方向レプリケーションを設定します。

注記

一方向レプリケーションを使用する場合は、複数のセカンダリーストレージクラスターにミラーリングできます。

注記

このセクションの例には、プライマリーイメージでプライマリーストレージクラスターを site-a として、そのイメージをレプリケートするセカンダリーストレージクラスターを site-b として参照し、2 つのストレージクラスターを区別します。これらの例で使用されるプール名は data と呼ばれます。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • 各ストレージクラスターの Ceph クライアントノードへの Root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • ジャーナルベースのミラーリングでは、プール内のイメージで排他的ロックとジャーナリングを有効にする必要があります。

手順

  1. site-b ストレージクラスターに接続されているクライアントノードに rbd-mirror パッケージをインストールします。

    Red Hat Enterprise Linux 7

    [root@rbd-client ~]# yum install rbd-mirror
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@rbd-client ~]# dnf install rbd-mirror
    Copy to Clipboard Toggle word wrap

    注記

    パッケージは Red Hat Ceph Storage Tools リポジトリーによって提供されます。

  2. イメージ上で排他的ロックおよびジャーナリング機能を有効にします。

    1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE [,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE [,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。 

      rbd_default_features = 125
      Copy to Clipboard Toggle word wrap

  3. ミラーリングモード (pool または image モード) を選択します。

    重要

    スナップショットベースのミラーリングには、イメージモードを使用します。

    1. プールモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool enable data pool
      Copy to Clipboard Toggle word wrap

      この例では、data という名前のプール全体のミラーリングを有効にします。

    2. イメージモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool enable data image
      Copy to Clipboard Toggle word wrap

      この例では、data という名前のプールでイメージモードのミラーリングを有効にします。

    3. ミラーリングが正常に有効になっていることを確認します。

      構文

      rbd mirror pool info POOL_NAME
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool info data
Mode: image
Site Name: 94cbd9ca-7f9a-441a-ad4b-52a33f9b7148

Peer Sites: none
      Copy to Clipboard Toggle word wrap

  4. site-a クラスターで、以下の手順を実行します。

    1. Ceph クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth get-or-create client.rbd-mirror.site-a mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring
      Copy to Clipboard Toggle word wrap

    2. キーリングを site-b クラスターにコピーします。

      構文

      scp /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring root@SECONDARY_CLUSTER:_PATH_
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-a.keyring root@rbd-client-site-b:/etc/ceph/
      Copy to Clipboard Toggle word wrap

    3. Ceph クライアントノードで、ストレージクラスターのピアをブートストラップします。

      1. ストレージクラスターのピアをプールに登録します。

        構文

        rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN
        Copy to Clipboard Toggle word wrap

        例

        [root@rbd-client-site-a ~]# rbd mirror pool peer bootstrap create --site-name rbd-mirror.site-a data > /root/bootstrap_token_rbd-mirror.site-a
        Copy to Clipboard Toggle word wrap

        注記

        bootstrap コマンドの例では、client.rbd-mirror-peer Ceph ユーザーを作成します。

      2. ブートストラップトークンファイルを site-b ストレージクラスターにコピーします。

        構文

        scp PATH_TO_BOOTSTRAP_TOKEN root@SECONDARY_CLUSTER:/root/
        Copy to Clipboard Toggle word wrap

        例

        [root@rbd-client-site-a ~]# scp /root/bootstrap_token_site-a root@ceph-rbd2:/root/
        Copy to Clipboard Toggle word wrap

  5. site-b クラスターで、以下の手順を実行します。

    1. クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# ceph auth get-or-create client.rbd-mirror.site-b mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-b.keyring
      Copy to Clipboard Toggle word wrap

    2. キーリングを site-a クラスター (Ceph クライアントノード) にコピーします。

      構文

      scp /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring root@PRIMARY_CLUSTER:_PATH_
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-b.keyring root@rbd-client-site-a:/etc/ceph/
      Copy to Clipboard Toggle word wrap

    3. ブートストラップトークンをインポートします。

      構文

      rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-only POOL_NAME PATH_TO_BOOTSTRAP_TOKEN
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# rbd mirror pool peer bootstrap import --site-name rbd-mirror.site-b --direction rx-only data /root/bootstrap_token_rbd-mirror.site-a
      Copy to Clipboard Toggle word wrap

      注記

      一方向 RBD ミラーリングでは、ピアのブートストラップ時に双方向のミラーリングがデフォルトであるため --direction rx-only 引数を使用する必要があります。

    4. クライアントノードで rbd-mirror デーモンを有効にして起動します。

      構文

      systemctl enable ceph-rbd-mirror.target
systemctl enable ceph-rbd-mirror@rbd-mirror.CLIENT_ID
systemctl start ceph-rbd-mirror@rbd-mirror.CLIENT_ID
      Copy to Clipboard Toggle word wrap

      CLIENT_ID は、先ほど作成した Ceph ユーザーに置き換えます。

      例

      [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror.target
[root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
[root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a
      Copy to Clipboard Toggle word wrap

    重要

    各 rbd-mirror デーモンには一意のクライアント ID が必要です。

  6. ミラーリングのステータスを確認するには、site-a および site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

    構文

    rbd mirror image status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    ジャーナルベースのミラーリング 

    [root@mon-site-a ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
    1 
    
  description: local image is primary
  last_update: 2021-04-22 13:45:31
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon-site-a ~]# rbd mirror image status data/image1
image1:
  global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
  state:       up+stopped
    1 
    
  description: local image is primary
  service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:42:54
  peer_sites:
    name: rbd-mirror.site-b
    state: up+replaying
    description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
    last_update: 2022-01-20 12:42:59
  snapshots:
    5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])
    Copy to Clipboard Toggle word wrap
    1 1
    ここでは up は rbd-mirror デーモンが実行中で、stopped は、このイメージが別のストレージクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのストレージクラスターのプライマリーであるためです。

    例

    ジャーナルベースのミラーリング 

    [root@mon-site-b ~]# rbd mirror image status data/image1
image1:
  global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
  state:       up+replaying
    1 
    
  description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
  last_update: 2021-04-22 14:19:27
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon-site-b ~]# rbd mirror image status data/image1
image1:
  global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
  state:       up+replaying
    1 
    
  description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
  service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:41:57
    Copy to Clipboard Toggle word wrap
    1 1
    イメージが up+replaying の場合には、ミラーリングが正常に機能します。ここでは up は rbd-mirror デーモンが実行中で、replaying は、このイメージが別のストレージクラスターからのレプリケーション先であることを意味します。
    注記

    サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

関連情報

5.6. コマンドラインインターフェイスを使用した双方向ミラーリングの設定
リンクのコピー

この手順では、プライマリーストレージクラスターとセカンダリーストレージクラスターとの間に、プールの双方向レプリケーションを設定します。

注記

双方向レプリケーションを使用する場合にミラーリングできるのは、2 つのストレージクラスター間だけです。

注記

このセクションの例には、プライマリーイメージでプライマリーストレージクラスターを site-a として、そのイメージをレプリケートするセカンダリーストレージクラスターを site-b として参照し、2 つのストレージクラスターを区別します。これらの例で使用されるプール名は data と呼ばれます。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • 各ストレージクラスターの Ceph クライアントノードへの Root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • ジャーナルベースのミラーリングでは、プール内のイメージで排他的ロックとジャーナリングを有効にする必要があります。

手順

  1. site-a ストレージクラスターに接続されたクライアントノードおよび site-b ストレージクラスターに接続されたクライアントノードに rbd-mirror パッケージをインストールします。

    Red Hat Enterprise Linux 7

    [root@rbd-client ~]# yum install rbd-mirror
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@rbd-client ~]# dnf install rbd-mirror
    Copy to Clipboard Toggle word wrap

    注記

    パッケージは Red Hat Ceph Storage Tools リポジトリーによって提供されます。

  2. イメージ上で排他的ロックおよびジャーナリング機能を有効にします。

    1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE [,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE [,FEATURE]
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling
      Copy to Clipboard Toggle word wrap

    3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。 

      rbd_default_features = 125
      Copy to Clipboard Toggle word wrap

  3. ミラーリングモード (pool または image モード) を選択します。

    重要

    スナップショットベースのミラーリングには、イメージモードを使用します。

    1. プールモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool enable data pool
      Copy to Clipboard Toggle word wrap

      この例では、data という名前のプール全体のミラーリングを有効にします。

    2. イメージモード の有効化:

      構文

      rbd mirror pool enable POOL_NAME MODE
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool enable data image
      Copy to Clipboard Toggle word wrap

      この例では、data という名前のプールでイメージモードのミラーリングを有効にします。

    3. ミラーリングが正常に有効になっていることを確認します。

      構文

      rbd mirror pool info POOL_NAME
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client ~]# rbd mirror pool info data
Mode: image
Site Name: 94cbd9ca-7f9a-441a-ad4b-52a33f9b7148

Peer Sites: none
      Copy to Clipboard Toggle word wrap

  4. site-a クラスターで、以下の手順を実行します。

    1. Ceph クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth get-or-create client.rbd-mirror.site-a mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring
      Copy to Clipboard Toggle word wrap

    2. キーリングを site-b クラスターにコピーします。

      構文

      scp /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring root@SECONDARY_CLUSTER:_PATH_
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-a.keyring root@rbd-client-site-b:/etc/ceph/
      Copy to Clipboard Toggle word wrap

    3. Ceph クライアントノードで、ストレージクラスターのピアをブートストラップします。

      1. ストレージクラスターのピアをプールに登録します。

        構文

        rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN
        Copy to Clipboard Toggle word wrap

        例

        [root@rbd-client-site-a ~]# rbd mirror pool peer bootstrap create --site-name rbd-mirror.site-a data > /root/bootstrap_token_rbd-mirror.site-a
        Copy to Clipboard Toggle word wrap

        注記

        bootstrap コマンドの例では、client.rbd-mirror-peer Ceph ユーザーを作成します。

      2. ブートストラップトークンファイルを site-b ストレージクラスターにコピーします。

        構文

        scp PATH_TO_BOOTSTRAP_TOKEN root@SECONDARY_CLUSTER:/root/
        Copy to Clipboard Toggle word wrap

        例

        [root@rbd-client-site-a ~]# scp /root/bootstrap_token_site-a root@ceph-rbd2:/root/
        Copy to Clipboard Toggle word wrap

  5. site-b クラスターで、以下の手順を実行します。

    1. クライアントノードで、ユーザーを作成します。

      構文

      ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# ceph auth get-or-create client.rbd-mirror.site-b mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd-mirror.site-b.keyring
      Copy to Clipboard Toggle word wrap

    2. キーリングを site-a クラスター (Ceph クライアントノード) にコピーします。

      構文

      scp /etc/ceph/ceph.SECONDARY_CLUSTER_NAME.keyring root@PRIMARY_CLUSTER:_PATH_
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# scp /etc/ceph/ceph.client.rbd-mirror.site-b.keyring root@rbd-client-site-a:/etc/ceph/
      Copy to Clipboard Toggle word wrap

    3. ブートストラップトークンをインポートします。

      構文

      rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-tx POOL_NAME PATH_TO_BOOTSTRAP_TOKEN
      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-b ~]# rbd mirror pool peer bootstrap import --site-name rbd-mirror.site-b --direction rx-tx data /root/bootstrap_token_rbd-mirror.site-a
      Copy to Clipboard Toggle word wrap

      注記

      ピアのブートストラップ時には双方向ミラーリングがデフォルトであるため、--direction 引数はオプションです。

  6. プライマリーおよびセカンダリークライアントノードで rbd-mirror デーモンを有効にして起動します。

    構文

    systemctl enable ceph-rbd-mirror.target
systemctl enable ceph-rbd-mirror@rbd-mirror.CLIENT_ID
systemctl start ceph-rbd-mirror@rbd-mirror.CLIENT_ID
    Copy to Clipboard Toggle word wrap

    CLIENT_ID は、先ほど作成した Ceph ユーザーに置き換えます。

    例

    [root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror.target
[root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
[root@rbd-client-site-a ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a
[root@rbd-client-site-a ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-b
[root@rbd-client-site-a ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-b
    Copy to Clipboard Toggle word wrap

    上記の例では、プライマリークラスター site-a でユーザーを有効化されています。

    例

    [root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror.target
[root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-a
[root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-a
[root@rbd-client-site-b ~]# systemctl enable ceph-rbd-mirror@rbd-mirror.site-b
[root@rbd-client-site-b ~]# systemctl start ceph-rbd-mirror@rbd-mirror.site-b
    Copy to Clipboard Toggle word wrap

    上記の例では、ユーザーはセカンダリークラスター site-b で有効にされています。

    重要

    各 rbd-mirror デーモンには一意のクライアント ID が必要です。

  7. ミラーリングのステータスを確認するには、site-a および site-b クラスターの Ceph Monitor ノードから以下のコマンドを実行します。

    構文

    rbd mirror image status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    ジャーナルベースのミラーリング 

    [root@mon-site-a ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
    1 
    
  description: local image is primary
  last_update: 2021-04-22 13:45:31
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon-site-a ~]# rbd mirror image status data/image1
image1:
  global_id:   47fd1aae-5f19-4193-a5df-562b5c644ea7
  state:       up+stopped
    1 
    
  description: local image is primary
  service:     admin on ceph-rbd1-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:42:54
  peer_sites:
    name: rbd-mirror.site-b
    state: up+replaying
    description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"}
    last_update: 2022-01-20 12:42:59
  snapshots:
    5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])
    Copy to Clipboard Toggle word wrap
    1 1
    ここでは up は rbd-mirror デーモンが実行中で、stopped は、このイメージが別のストレージクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのストレージクラスターのプライマリーであるためです。

    例

    ジャーナルベースのミラーリング 

    [root@mon-site-b ~]# rbd mirror image status data/image1
image1:
  global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
  state:       up+replaying
    1 
    
  description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
  last_update: 2021-04-22 14:19:27
    Copy to Clipboard Toggle word wrap

    スナップショットベースのミラーリング 

    [root@mon-site-b ~]# rbd mirror image status data/image1
image1:
  global_id:   06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33
  state:       up+replaying
    1 
    
  description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"}
  service:     admin on ceph-rbd2-vasi-43-5hwia4-node2
  last_update: 2022-01-20 12:41:57
    Copy to Clipboard Toggle word wrap
    1 1
    イメージが up+replaying の場合には、ミラーリングが正常に機能します。ここでは up は rbd-mirror デーモンが実行中で、replaying は、このイメージが別のストレージクラスターからのレプリケーション先であることを意味します。
    注記

    サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

関連情報

5.7. Ceph ブロックデバイスのミラーリングの管理
リンクのコピー

ストレージ管理者は、Ceph ブロックデバイスのミラーリング環境の管理に役立つさまざまなタスクを実行できます。次のタスクを実行できます。

  • ストレージクラスターピアの情報を表示する。
  • ストレージクラスターピアを追加または削除する。
  • プールまたはイメージのミラーリングステータスを取得する。
  • プールまたはイメージでのミラーリングを有効化する。
  • プールまたはイメージでのミラーリングを無効化する。
  • ブロックデバイスのレプリケーションを遅延する。
  • イメージをプロモートおよびデモートする。

5.7.1. 前提条件
リンクのコピー

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Ceph クライアントノードへの root レベルのアクセス。
  • 一方向または双方向 Ceph ブロックデバイスのミラーリング関係。

5.7.2. ピアに関する情報の表示
リンクのコピー

ストレージクラスターピアの情報を表示します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ピアの情報を表示するには、以下を実行します。

    構文

    rbd mirror pool info POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool info data
Mode: pool
Site Name: site-a

Peer Sites:

UUID: 950ddadf-f995-47b7-9416-b9bb233f66e3
Name: site-b
Mirror UUID: 4696cd9d-1466-4f98-a97a-3748b6b722b3
Direction: rx-tx
Client: client.site-b
    Copy to Clipboard Toggle word wrap

5.7.3. プールでのミラーリングの有効化
リンクのコピー

両方のピアクラスターで以下のコマンドを実行して、プールのミラーリングを有効にします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プールのミラーリングを有効にするには、以下を実行します。

    構文

    rbd mirror pool enable POOL_NAME MODE
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool enable data pool
    Copy to Clipboard Toggle word wrap

    この例では、data という名前のプール全体のミラーリングを有効にします。

    例

    [root@rbd-client ~]# rbd mirror pool enable data image
    Copy to Clipboard Toggle word wrap

    この例では、data という名前のプールでイメージモードのミラーリングを有効にします。

関連情報

5.7.4. プールでのミラーリングの無効化
リンクのコピー

ミラーリングを無効にする前に、ピアクラスターを削除します。

注記

プールのミラーリングを無効にすると、ミラーリングを別に有効化していたプール内にあるイメージに対するミラーリングも無効化されます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プールのミラーリングを無効にするには、以下を実行します。

    構文

    rbd mirror pool disable POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool disable data
    Copy to Clipboard Toggle word wrap

    この例では、data という名前のプールのミラーリングを無効にします。

関連情報

5.7.5. イメージミラーリングの有効化
リンクのコピー

両方のピアストレージクラスターで、イメージモードのプール全体のミラーリングを有効にします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プール内の特定イメージのミラーリングを有効にします。

    構文

    rbd mirror image enable POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image enable data/image2
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 イメージのミラーリングを有効にします。

関連情報

5.7.6. イメージミラーリングの無効化
リンクのコピー

イメージのミラーリングを無効にします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. 特定のイメージのミラーリングを無効にするには、以下を実行します。

    構文

    rbd mirror image disable POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image disable data/image2
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 イメージのミラーリングを無効にします。

5.7.7. イメージのプロモートおよびデモート
リンクのコピー

イメージをプロモートまたはデモートします。

注記

プロモート後にイメージは有効にならないので、プライマリー以外の同期中のイメージを強制的にプロモートしないでください。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プライマリー以外にイメージをデモートするには、以下のコマンドを実行します。

    構文

    rbd mirror image demote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image demote data/image2
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 イメージをデモートします。

  2. イメージをプライマリーにプロモートするには、以下のコマンドを実行します。

    構文

    rbd mirror image promote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image promote data/image2
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 をプロモートします。

    使用しているミラーリングのタイプに応じて、一方向ミラーリングを使用した障害からの復旧 または 双方向ミラーリングを使用した障害からの復旧 を参照してください。

  3. --force オプションを使用して、プライマリー以外のイメージを強制的にプロモートします。

    構文

    rbd mirror image promote --force POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image promote --force data/image2
    Copy to Clipboard Toggle word wrap

    ピア Ceph Storage クラスターに伝播できない場合には、強制プロモートを使用します。伝播できない理由として、クラスターの障害や通信の停止などが挙げられます。

関連情報

5.7.8. イメージの再同期
リンクのコピー

イメージを再同期します。2 つのピアクラスターの間で整合性がない状態の場合に、rbd-mirror デーモンは、不整合の原因となるイメージのミラーリングは試行しません。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プライマリーイメージに再同期を要求するには、以下を実行します。

    構文

    rbd mirror image resync POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image resync data/image2
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 の再同期を要求します。

関連情報

5.7.9. ストレージクラスターピアの追加
リンクのコピー

rbd-mirror デーモンのストレージクラスターピアを追加して、ピアストレージクラスターを検出します。たとえば、site-a ストレージクラスターをピアとして site-b ストレージクラスターに追加するには、site-b ストレージクラスターのクライアントノードから以下の手順を実行します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ピアをプールに登録します。

    構文

    rbd --cluster CLUSTER_NAME mirror pool peer add POOL_NAME PEER_CLIENT_NAME@PEER_CLUSTER_NAME -n CLIENT_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --cluster site-b mirror pool peer add data client.site-a@site-a -n client.site-b
    Copy to Clipboard Toggle word wrap

5.7.10. ストレージクラスターピアの削除
リンクのコピー

ピア UUID を指定してストレージクラスターピアを削除します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. プール名とピア一意識別子 (UUID) を指定します。

    構文

    rbd mirror pool peer remove POOL_NAME PEER_UUID
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool peer remove data 7e90b4ce-e36d-4f07-8cbc-42050896825d
    Copy to Clipboard Toggle word wrap

    ヒント

    ピア UUID を表示するには、rbd mirror pool info コマンドを使用します。

5.7.11. プールのミラーリングステータスの取得
リンクのコピー

プールのミラーステータスを取得します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ミラーリングプールの概要を取得するには、以下を実行します。

    構文

    rbd mirror pool status POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool status data
health: OK
images: 1 total
    Copy to Clipboard Toggle word wrap

    ヒント

    プールのすべてのミラーリングイメージのステータス詳細を出力するには、--verbose オプションを使用します。

5.7.12. 単一イメージのミラーリングステータスの取得
リンクのコピー

イメージのミラーリングステータスを取得します。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. ミラーリングされたイメージのステータスを取得するには、以下を実行します。

    構文

    rbd mirror image status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image status data/image2
image2:
  global_id:   703c4082-100d-44be-a54a-52e6052435a5
  state:       up+replaying
  description: replaying, master_position=[object_number=0, tag_tid=3, entry_tid=0], mirror_position=[object_number=0, tag_tid=3, entry_tid=0], entries_behind_master=0
  last_update: 2019-04-23 13:39:15
    Copy to Clipboard Toggle word wrap

    この例では、data プールの image2 イメージのステータスを取得します。

5.7.13. ブロックデバイスレプリケーションの遅延
リンクのコピー

一方向レプリケーションを使用する場合でも、RADOS Block Device (RBD) ミラーリングイメージ間でレプリケーションを遅延させることができます。セカンダリーイメージにレプリケーションされる前に、プライマリーイメージへの不要な変更を元に戻せるように、猶予の期間が必要な場合には、遅延レプリケーションを実装することができます。

遅延レプリケーションを実装するには、宛先ストレージクラスター内の rbd-mirror デーモンで rbd_mirroring_replay_delay = MINIMUM_DELAY_IN_SECONDS 設定オプションを指定する必要があります。この設定は、rbd-mirror デーモンが使用する ceph.conf ファイル内でグローバルに適用することも、個別のイメージベースで適用することも可能です。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. 特定のイメージで遅延レプリケーションを使用するには、プライマリーイメージで以下の rbd CLI コマンドを実行します。

    構文

    rbd image-meta set POOL_NAME/IMAGE_NAME conf_rbd_mirroring_replay_delay MINIMUM_DELAY_IN_SECONDS
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd image-meta set vms/vm-1 conf_rbd_mirroring_replay_delay 600
    Copy to Clipboard Toggle word wrap

    この例では、vms プールの イメージ vm-1 に、最小レプリケーション遅延を 10 分に設定します。

5.7.14. 非同期更新および Ceph ブロックデバイスのミラーリング
リンクのコピー

非同期更新で Ceph ブロックデバイスのミラーリングを使用してストレージクラスターを更新する場合は、Red Hat Ceph Storage インストールガイド の更新手順に従います。更新が完了したら、Ceph ブロックデバイスインスタンスを再起動します。

注記

規定されているインスタンスの再起動の順番はありません。Red Hat では、プライマリーイメージで、プールを参照するインスタンスを再起動して、その後にミラーリングされたプールを参照するインスタンスを再起動することを推奨します。

5.7.15. イメージのミラーリングスナップショットの作成
リンクのコピー

スナップショットベースのミラーリングの使用時に RBD イメージの変更をミラーリングする必要がある場合には、イメージのミラーリングスナップショットを作成します。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Red Hat Ceph Storage クラスターの Ceph クライアントノードへの root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • スナップショットのミラーリングの作成先の Red Hat Ceph Storage クラスターへのアクセス。
重要

デフォルトでは、イメージのミラーリングスナップショットはイメージごとに 3 つだけ作成できます。上限に達すると、最新のイメージのミラーリングスナップショットが自動的に削除されます。必要な場合は、rbd_mirroring_max_mirroring_snapshots 設定で制限を上書きできます。イメージのミラーリングスナップショットは、イメージが削除された場合、ミラーリングが無効になっている場合に自動的に削除されます。

手順

  1. イメージのミラーリングスナップショットを作成するには、以下を実行します。

    構文

    rbd --cluster CLUSTER_NAME mirror image snapshot POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    root@rbd-client ~]# rbd --cluster site-a mirror image snapshot data/image1
    Copy to Clipboard Toggle word wrap

関連情報

5.7.16. ミラーリングスナップショットのスケジューリング
リンクのコピー

ミラーリングスナップショットは、ミラーリングスナップショットのスケジュールが定義されると自動的に作成されます。ミラーリングスナップショットは、グローバルに、プールごとに、またはイメージレベルで、スケジュールできます。複数のミラーリングスナップショットのスケジュールはどのレベルでも定義できますが、個別のミラーリングイメージに一致する最も具体的なスナップショットスケジュールのみが実行されます。

関連情報

5.7.17. ミラーリングスナップショットのスケジュールの作成
リンクのコピー

ミラーリングスナップショットのスケジュールを作成します。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Red Hat Ceph Storage クラスターの Ceph クライアントノードへの root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • スナップショットのミラーリングの作成先の Red Hat Ceph Storage クラスターへのアクセス。

手順

  1. ミラーリングスナップショットのスケジュールを作成するには、以下を実行します。

    構文

    rbd mirror snapshot schedule add --pool POOL_NAME --image IMAGE_NAME INTERVAL START_TIME
    Copy to Clipboard Toggle word wrap

    間隔は、d、h、または m の接尾辞を使用して、日、時間、または分単位で指定できます。オプションで ISO 8601 の時間形式を使用する START_TIME を指定できます。

    例

    イメージレベルでのスケジューリング： 

    [root@rbd-client ~]# rbd mirror snapshot schedule add --pool data --image image1 6h
    Copy to Clipboard Toggle word wrap

    プールレベルでのスケジューリング： 

    [root@rbd-client ~]# rbd mirror snapshot schedule add --pool data 24h 14:00:00-05:00
    Copy to Clipboard Toggle word wrap

    グローバルレベルでのスケジュール： 

    [root@rbd-client ~]# rbd mirror snapshot schedule add 48h
    Copy to Clipboard Toggle word wrap

関連情報

5.7.18. 特定のレベルでの全スナップショットスケジュールの一覧表示
リンクのコピー

特定のレベルで全スナップショットスケジュールを一覧表示します。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Red Hat Ceph Storage クラスターの Ceph クライアントノードへの root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • スナップショットのミラーリングの作成先の Red Hat Ceph Storage クラスターへのアクセス。

手順

  1. プールまたはイメージ名を任意で指定して、グローバル、プール、またはイメージレベルごとにすべてのスナップショットスケジュールを一覧表示するには、以下を実行します。

    構文

    rbd --cluster site-a mirror snapshot schedule ls --pool POOL_NAME --recursive
    Copy to Clipboard Toggle word wrap

    また、以下のように '--recursive オプションを指定して、指定したレベルですべてのスケジュールを一覧表示することもできます。

    例

    [root@rbd-client ~]# rbd --cluster site-a mirror snapshot schedule ls --pool data --recursive
POOL        NAMESPACE IMAGE  SCHEDULE
data         -         -      every 1d starting at 14:00:00-05:00
data         -        image1   every 6h
    Copy to Clipboard Toggle word wrap

関連情報

5.7.19. ミラーリングスナップショットのスケジュールの削除
リンクのコピー

ミラーリングスナップショットのスケジュールを削除します。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Red Hat Ceph Storage クラスターの Ceph クライアントノードへの root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • スナップショットのミラーリングの作成先の Red Hat Ceph Storage クラスターへのアクセス。

手順

  1. ミラーリングスナップショットのスケジュールを削除するには、以下を実行します。

    構文

    rbd --cluster CLUSTER_NAME mirror snapshot schedule remove POOL_NAME/IMAGE_NAME INTERVAL START_TIME
    Copy to Clipboard Toggle word wrap

    間隔は、d、h、m の接尾辞を使用して、日、時間、または分単位で指定できます。オプションで ISO 8601 の時間形式を使用する START_TIME を指定できます。

    例

    [root@rbd-client ~]# rbd --cluster site-a mirror snapshot schedule remove data/image1 6h
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --cluster site-a mirror snapshot schedule remove data/image1 24h 14:00:00-05:00
    Copy to Clipboard Toggle word wrap

関連情報

5.7.20. 次に作成するスナップショットのステータスの表示
リンクのコピー

スナップショットベースのミラーリング RBD イメージとして次に作成されるスナップショットのステータスを表示します。

前提条件

  • 少なくとも、正常に実行されている Red Hat Ceph Storage クラスター 2 台。
  • Red Hat Ceph Storage クラスターの Ceph クライアントノードへの root レベルのアクセス。
  • 管理者レベル権限が割り当てられた CephX ユーザー。
  • スナップショットのミラーリングの作成先の Red Hat Ceph Storage クラスターへのアクセス。

手順

  1. 次の作成されるスナップショットの状態を表示するには、以下を実行します。

    構文

    rbd --cluster site-a mirror snapshot schedule status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd --cluster site-a mirror snapshot schedule status
SCHEDULE    TIME       IMAGE
2020-02-26 18:00:00 data/image1
    Copy to Clipboard Toggle word wrap

関連情報

5.8. 障害からの復旧
リンクのコピー

ストレージ管理者は、ミラーリングが設定された別のストレージクラスターからデータを回復する方法を理解することで、致命的なハードウェアの障害に備えることができます。

この例では、プライマリーストレージクラスターは site-a と呼ばれ、セカンダリーストレージクラスターは site-b と呼ばれます。また、ストレージクラスターにはどちらも image1 と image2 の 2 つのイメージが含まれる data プールがあります。

5.8.1. 前提条件
リンクのコピー

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • 一方向または双方向ミラーリングが設定されている。

5.8.2. 障害回復
リンクのコピー

2 つ以上の Red Hat Ceph Storage クラスターの間でブロックデータを非同期にレプリケーションすることで、データセンターで大規模な障害が発生した場合にデータの損失を防ぎ、ダウンタイムが削減されます。このような障害の影響は 大規模な爆発半径 とも呼ばれ、広範囲にわたります。また、送配電網への影響や、天然災害などが原因となります。

顧客データはこれらのシナリオに備え、保護する必要があります。ボリュームは、Micre Recovery Pointive (RPO) および Recovery Time Objective (RTO) ターゲット内で、一貫性と効率性を使用してレプリケーションする必要があります。このソリューションは、Dnaly Area Network- Disaster Recovery (WAN-DR) と呼ばれます。

このようなシナリオでは、プライマリーシステムとデータセンターを復元することが困難です。最も簡単に復元する方法として、別の Red Hat Ceph Storage クラスター (障害回復サイト) にアプリケーションをフェイルオーバーして、利用可能な最新のデータのコピーでクラスターを稼働させることなどが挙げられます。このような障害シナリオから回復するのに使用されるソリューションは、アプリケーションによりガイドされます。

  • Recovery Point Objective (RPO): 最悪の場合にアプリケーションが許容するデータ損失量。
  • Recovery Time Objective (RTO): 利用可能なデータの最新コピーで、アプリケーションをオンラインに戻すのにかかる時間。

関連情報

  • 詳細は、Red Hat Ceph Storage ブロックデバイスガイドの Ceph ブロックデバイスのミラーリング セクションを参照してください。
  • 暗号化された状態のデータ転送の詳細は、Red Hat Ceph Storage データのセキュリティーおよび強化ガイドの 転送中での暗号化 セクションを参照してください。

5.8.3. 一方向ミラーリングを使用した障害からの復旧
リンクのコピー

一方向のミラーリングで障害から回復するには、以下の手順を使用します。以下で、プライマリークラスターを終了してからセカンダリークラスターにフェイルオーバーする方法、およびフェイルバックする方法が紹介します。シャットダウンは規定の順序で行うことも、順序関係なく行うこともできます。

重要

一方向ミラーリングは、複数のセカンダリーサイトをサポートします。追加のセカンダリークラスターを使用している場合は、セカンダリークラスターの中から 1 つ選択してフェイルオーバーします。フェイルバック中に同じクラスターから同期します。

5.8.4. 双方向ミラーリングを使用した障害からの復旧
リンクのコピー

双方向ミラーリングで障害から回復するには、以下の手順を使用します。以下で、プライマリークラスターを終了してからセカンダリークラスターのミラーリングデータにフェイルオーバーする方法、およびフェイルバックする方法が紹介します。シャットダウンは、正常でもそうでなくても構いません。

関連情報

  • イメージのデモート、プロモート、および同期の詳細は、Red Hat Ceph Storage ブロックデバイスガイドの イメージでのミラーリングの設定 セクションを参照してください。

5.8.5. 正常なシャットダウン後のフェイルオーバー
リンクのコピー

正常にシャットダウンした後にセカンダリーストレージクラスターにファイルオーバーします。

前提条件

  • 少なくとも実行中の Red Hat Ceph Storage クラスターが 2 台ある。
  • ノードへのルートレベルのアクセス。
  • 一方向ミラーリング を使用して設定されるプールのミラーリングまたはイメージミラーリング。

手順

  1. プライマリーイメージを使用するクライアントをすべて停止します。この手順は、どのクライアントがイメージを使用するかにより異なります。たとえば、イメージを使用する OpenStack インスタンスからボリュームの割り当てを解除します。

  2. site-a クラスターのモニターノードで以下のコマンドを実行して、site-a クラスターにあるプライマリーイメージをデモートします。

    構文

    rbd mirror image demote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image demote data/image1
[root@rbd-client ~]# rbd mirror image demote data/image2
    Copy to Clipboard Toggle word wrap

  3. site-b クラスターにあるプライマリー以外のイメージをプロモートするには、site-b クラスターのモニターノードで以下のコマンドを実行します。

    構文

    rbd mirror image promote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image promote data/image1
[root@rbd-client ~]# rbd mirror image promote data/image2
    Copy to Clipboard Toggle word wrap

  4. しばらくすると、site-b クラスターのモニターノードからイメージのステータスを確認します。イメージのステータスは、up+stopped の状態を表示し、プライマリーとしてリストされているはずです。 

    [root@rbd-client ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-17 16:04:37
[root@rbd-client ~]# rbd mirror image status data/image2
image2:
  global_id:   596f41bc-874b-4cd4-aefe-4929578cc834
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-17 16:04:37
    Copy to Clipboard Toggle word wrap
  5. イメージへのアクセスを再開します。この手順は、どのクライアントがイメージを使用するかにより異なります。

関連情報

5.8.6. 正常にシャットダウンされなかった場合のフェイルオーバー
リンクのコピー

正常でないシャットダウン後にセカンダリーストレージクラスターにフェイルオーバーします。

前提条件

  • 少なくとも実行中の Red Hat Ceph Storage クラスターが 2 台ある。
  • ノードへのルートレベルのアクセス。
  • 一方向ミラーリング を使用して設定されるプールのミラーリングまたはイメージミラーリング。

手順

  1. プライマリーストレージクラスターが停止していることを確認します。
  2. プライマリーイメージを使用するクライアントをすべて停止します。この手順は、どのクライアントがイメージを使用するかにより異なります。たとえば、イメージを使用する OpenStack インスタンスからボリュームの割り当てを解除します。

  3. site-b ストレージクラスターの Ceph Monitor ノードからプライマリー以外のイメージをプロモートします。site-a ストレージクラスターにデモートが伝播されないので、--force オプションを使用します。

    構文

    rbd mirror image promote --force POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image promote --force data/image1
[root@rbd-client ~]# rbd mirror image promote --force data/image2
    Copy to Clipboard Toggle word wrap

  4. site-b ストレージクラスターの Ceph Monitor ノードからイメージのステータスを確認します。状態として、up+stopping_replay が、説明に force promoted と表示されるはずです。

    例

    [root@rbd-client ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopping_replay
  description: force promoted
  last_update: 2019-04-17 13:25:06
[root@rbd-client ~]# rbd mirror image status data/image2
image2:
  global_id:   596f41bc-874b-4cd4-aefe-4929578cc834
  state:       up+stopping_replay
  description: force promoted
  last_update: 2019-04-17 13:25:06
    Copy to Clipboard Toggle word wrap

関連情報

5.8.7. フェイルバックの準備
リンクのコピー

2 つのストレージクラスターが元々、一方向ミラーリングだけ設定されていた場合に、フェイルバックするには、プライマリーストレージクラスターのミラーリングを設定して、反対方向にイメージをレプリケートできるようにします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. site-a ストレージクラスターのクライアントノードで、rbd-mirror パッケージをインストールします。 

    [root@rbd-client ~]# yum install rbd-mirror
    Copy to Clipboard Toggle word wrap
    注記

    パッケージは Red Hat Ceph Storage Tools リポジトリーによって提供されます。

  2. site-a ストレージクラスターのクライアントノードで、 CLUSTER オプションを /etc/sysconfig/ceph ファイルに追加して、ストレージクラスター名を指定します。 

    CLUSTER=site-b
    Copy to Clipboard Toggle word wrap

  3. site-b Ceph 設定ファイルおよびキーリングファイルを site-b Ceph Monitor ノードから site-a の Ceph Monitor およびクライアントノードにコピーします。

    構文

    scp /etc/ceph/ceph.conf USER@SITE_A_MON_NODE_NAME:/etc/ceph/site-b.conf
scp /etc/ceph/site-b.client.site-b.keyring root@SITE_A_MON_NODE_NAME:/etc/ceph/
scp /etc/ceph/ceph.conf user@SITE_A_CLIENT_NODE_NAME:/etc/ceph/site-b.conf
scp /etc/ceph/site-b.client.site-b.keyring user@SITE_A_CLIENT_NODE_NAME:/etc/ceph/
    Copy to Clipboard Toggle word wrap

    注記

    Ceph 設定ファイルを site-b Ceph Monitor ノードから site-a の Ceph Monitor およびクライアントノードに転送する scp コマンドをし用すると、ファイルの名前が site-a.conf に変更されます。キーリングファイル名は同じままです。

  4. site-a キーリングファイルを site-a Ceph Monitor ノードから site-a クライアントノード にコピーします。

    構文

    scp /etc/ceph/site-a.client.site-a.keyring <user>@SITE_A_CLIENT_HOST_NAME:/etc/ceph/
    Copy to Clipboard Toggle word wrap

  5. site-a クライアントノードで rbd-mirror デーモンを有効にして起動します。

    構文

    systemctl enable ceph-rbd-mirror.target
systemctl enable ceph-rbd-mirror@CLIENT_ID
systemctl start ceph-rbd-mirror@CLIENT_ID
    Copy to Clipboard Toggle word wrap

    CLIENT_ID は、rbd-mirror デーモンが使用する Ceph Storage クラスターユーザーに変更します。ユーザーには、ストレージクラスターへの適切な cephx アクセスが必要です。

    例

    [root@rbd-client ~]# systemctl enable ceph-rbd-mirror.target
[root@rbd-client ~]# systemctl enable ceph-rbd-mirror@site-a
[root@rbd-client ~]# systemctl start ceph-rbd-mirror@site-a
    Copy to Clipboard Toggle word wrap

  6. site-a クラスターのクライアントノードから、site-b クラスターをピアとして追加します。

    例

    [root@rbd-client ~]# rbd --cluster site-a mirror pool peer add data client.site-b@site-b -n client.site-a
    Copy to Clipboard Toggle word wrap

    複数のセカンダリーストレージクラスターを使用している場合には、フェイルオーバー先とフェイルバック元に選択されたセカンダリーストレージクラスターを追加する必要があります。

  7. site-a ストレージクラスターのモニターノードから、site-b ストレージクラスターがピアとして正常に追加されたことを確認します。

    構文

    rbd mirror pool info POOL_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror pool info data
Mode: image
Site Name: site-a

Peer Sites:

UUID: 950ddadf-f995-47b7-9416-b9bb233f66e3
Name: site-b
Mirror UUID: 4696cd9d-1466-4f98-a97a-3748b6b722b3
Direction: rx-tx
Client: client.site-b
    Copy to Clipboard Toggle word wrap

関連情報

  • 詳細は、Red Hat Ceph Storage 管理ガイドの User Management の章を参照してください。
5.8.7.1. プライマリーストレージクラスターへのフェイルバック
リンクのコピー

以前のプライマリーストレージクラスターが復元されたら、そのクラスターがプライマリーストレージクラスターにフェイルバックされます。

前提条件

  • 少なくとも実行中の Red Hat Ceph Storage クラスターが 2 台ある。
  • ノードへのルートレベルのアクセス。
  • 一方向ミラーリング を使用して設定されるプールのミラーリングまたはイメージミラーリング。

手順

  1. もう一度、site-b クラスターのモニターノードからイメージのステータスを確認します。状態として up-stopped、説明として local image is primary と表示されるはずです。

    例

    [root@rbd-client ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-22 17:37:48
[root@rbd-client ~]# rbd mirror image status data/image2
image2:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-22 17:38:18
    Copy to Clipboard Toggle word wrap

  2. site-a ストレージクラスターの Ceph Monitor ノードから、イメージがプライマリーかどうかを確認します。

    構文

    rbd info POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd info data/image1
[root@rbd-client ~]# rbd info data/image2
    Copy to Clipboard Toggle word wrap

    コマンドの出力で、mirroring primary: true または mirroring primary: false を検索し、状態を判断します。

  3. site-a ストレージクラスターの Ceph Monitor ノードから以下のようなコマンドを実行して、プライマリーとして表示されているイメージをデモートします。

    構文

    rbd mirror image demote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image demote data/image1
    Copy to Clipboard Toggle word wrap

  4. 正常にシャットダウンされなかった場合にのみ、イメージをもう一度同期します。site-a ストレージクラスターのモニターノードで以下のコマンドを実行し、イメージを site-b から site-a に再同期します。

    構文

    rbd mirror image resync POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image resync data/image1
Flagged image for resync from primary
[root@rbd-client ~]# rbd mirror image resync data/image2
Flagged image for resync from primary
    Copy to Clipboard Toggle word wrap

  5. しばらくしたら、状態が up+replaying かをチェックして、イメージの最同期が完了していることを確認します。site-a ストレージクラスターのモニターノードで以下のコマンドを実行して、イメージの状態を確認します。

    構文

    rbd mirror image status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image status data/image1
[root@rbd-client ~]# rbd mirror image status data/image2
    Copy to Clipboard Toggle word wrap

  6. site-b ストレージクラスターの Ceph Monitor ノードで以下のコマンドを実行して、site-b ストレージクラスターのイメージをデモートします。

    構文

    rbd mirror image demote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image demote data/image1
[root@rbd-client ~]# rbd mirror image demote data/image2
    Copy to Clipboard Toggle word wrap

    注記

    複数のセカンダリーストレージクラスターがある場合に、上記の実行は、プロモートされたセカンダリーストレージクラスターからだけで結構です。

  7. site-a ストレージクラスターの Ceph Monitor ノードで以下のコマンドを実行して、site-a ストレージクラスターに配置されていた、以前のプライマリーイメージをプロモートします。

    構文

    rbd mirror image promote POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image promote data/image1
[root@rbd-client ~]# rbd mirror image promote data/image2
    Copy to Clipboard Toggle word wrap

  8. site-a ストレージクラスターの Ceph Monitor ノードからイメージのステータスを確認します。状態として up+stopped、説明として local image is primary と表示されるはずです。

    構文

    rbd mirror image status POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# rbd mirror image status data/image1
image1:
  global_id:   08027096-d267-47f8-b52e-59de1353a034
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-22 11:14:51
[root@rbd-client ~]# rbd mirror image status data/image2
image2:
  global_id:   596f41bc-874b-4cd4-aefe-4929578cc834
  state:       up+stopped
  description: local image is primary
  last_update: 2019-04-22 11:14:51
    Copy to Clipboard Toggle word wrap

5.8.8. 双方向ミラーリングの削除
リンクのコピー

フェイルバックが完了したら、双方向ミラーリングを削除し、Ceph ブロックデバイスのミラーリングサービスを無効にできます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. site-a ストレージクラスターから、ピアとしての site-b ストレージクラスターを削除します。

    例

    [root@rbd-client ~]# rbd mirror pool peer remove data client.remote@remote --cluster local
[root@rbd-client ~]# rbd --cluster site-a mirror pool peer remove data client.site-b@site-b -n client.site-a
    Copy to Clipboard Toggle word wrap

  2. site-a クライアントで rbd-mirror デーモンを停止して無効にします。

    構文

    systemctl stop ceph-rbd-mirror@CLIENT_ID
systemctl disable ceph-rbd-mirror@CLIENT_ID
systemctl disable ceph-rbd-mirror.target
    Copy to Clipboard Toggle word wrap

    例

    [root@rbd-client ~]# systemctl stop ceph-rbd-mirror@site-a
[root@rbd-client ~]# systemctl disable ceph-rbd-mirror@site-a
[root@rbd-client ~]# systemctl disable ceph-rbd-mirror.target
    Copy to Clipboard Toggle word wrap

第6章 Ceph ブロックデバイス Python モジュールの使用
リンクのコピー

rbd python モジュールでは、Ceph ブロックデバイスイメージにファイルのようにアクセスできます。この組み込みツールを使用するには、rbd モジュールおよび rados Python モジュールをインポートします。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ノードへのルートレベルのアクセス。

手順

  1. RADOS に接続し、IO コンテキストを開きます。 

    cluster = rados.Rados(conffile='my_ceph.conf')
cluster.connect()
ioctx = cluster.open_ioctx('mypool')
    Copy to Clipboard Toggle word wrap

  2. イメージの作成に使用する :class:rbd.RBD オブジェクトをインスタンス化します。 

    rbd_inst = rbd.RBD()
size = 4 * 1024**3  # 4 GiB
rbd_inst.create(ioctx, 'myimage', size)
    Copy to Clipboard Toggle word wrap

  3. イメージで I/O を実行するには、:class:rbd.Image オブジェクトをインスタンス化します。 

    image = rbd.Image(ioctx, 'myimage')
data = 'foo' * 200
image.write(data, 0)
    Copy to Clipboard Toggle word wrap

    これにより、イメージの最初の 600 バイトに foo が書き込まれます。データは :type:unicode に指定できない点に注意してください。librbd は :c:type:char よりも幅の広い文字の処理方法を認識していません。

  4. イメージ、IO コンテキスト、および RADOS への接続を終了します。 

    image.close()
ioctx.close()
cluster.shutdown()
    Copy to Clipboard Toggle word wrap

    念のために、これらの呼び出しごとに、個別の :finally ブロックを割り当てる必要があります。 

    import rados
import rbd

cluster = rados.Rados(conffile='my_ceph_conf')
try:
    ioctx = cluster.open_ioctx('my_pool')
    try:
        rbd_inst = rbd.RBD()
        size = 4 * 1024**3  # 4 GiB
        rbd_inst.create(ioctx, 'myimage', size)
        image = rbd.Image(ioctx, 'myimage')
        try:
            data = 'foo' * 200
            image.write(data, 0)
        finally:
            image.close()
    finally:
        ioctx.close()
finally:
    cluster.shutdown()
    Copy to Clipboard Toggle word wrap

    これは面倒な場合があるので、自動的に終了またはシャットダウンするコンテキストマネージャーとしてRados、Ioctx および Image クラスを使用できます。これらのクラスをコンテキストマネージャーとして使用すると、上記の例は以下のようになります。 

    with rados.Rados(conffile='my_ceph.conf') as cluster:
    with cluster.open_ioctx('mypool') as ioctx:
        rbd_inst = rbd.RBD()
        size = 4 * 1024**3  # 4 GiB
        rbd_inst.create(ioctx, 'myimage', size)
        with rbd.Image(ioctx, 'myimage') as image:
            data = 'foo' * 200
            image.write(data, 0)
    Copy to Clipboard Toggle word wrap

第7章 Ceph iSCSI ゲートウェイ (利用制限あり)
リンクのコピー

ストレージ管理者は、Red Hat Ceph Storage クラスターの iSCSI ゲートウェイをインストールし、設定できます。Ceph の iSCSI ゲートウェイの場合には、従来のストレージエリアネットワーク (SAN) のすべての機能および利点を使用して、完全に統合されたブロックストレージインフラストラクチャーを効率的に実行できます。

注記

この技術には、利用制限があります。詳細は、Deprecated functionality の章を参照してください。

警告

SCSI の永続的な予約はサポートされていません。SCSI の永続的な予約に依存しないクラスター対応ファイルシステムまたはクラスターリングソフトウェアを使用している場合、複数の iSCSI イニシエーターを RBD イメージへのマッピングに対応しています。たとえば、ATS を使用する VMware vSphere 環境はサポートされますが、Microsoft のクラスターリングサーバー (MSCS) の使用はサポートされていません。

7.1. Ceph iSCSI ゲートウェイの概要
リンクのコピー

従来は、Ceph ストレージクラスターへのブロックレベルのアクセスは QEMU および librbd に制限されていました。これは、OpenStack 環境で採用するための主要なイネーブラーです。Ceph Storage クラスターにブロックレベルでアクセスできると、iSCSI 標準を活用してデータストレージを提供できます。

iSCSI ゲートウェイは Red Hat Ceph Storage と iSCSI 標準を統合し、RADOS Block Device (RBD) イメージを SCSI ディスクとしてエクスポートする可用性の高い (HA) iSCSI ターゲットを提供します。iSCSI プロトコルは、イニシエーターと呼ばれるクライアントが、TCP/IP ネットワークを介してターゲットと呼ばれる SCSI ストレージデバイスに SCSI コマンドを送信します。これにより、Microsoft Windows などの異種クライアントが Red Hat Ceph Storage クラスターにアクセスできるようになります。

図7.1 Ceph iSCSI Gateway HA 設計

Ceph iSCSI HA 424879 1116 ECE 01
View larger image
Ceph iSCSI HA 424879 1116 ECE 01

7.2. iSCSI ターゲットの要件
リンクのコピー

Red Hat Ceph Storage の高可用性 (HA) iSCSI ゲートウェイソリューションには、ゲートウェイノード数、メモリー容量、ダウンしている OSD を検出するタイマー設定の要件があります。

必要なノード数

最低でも 2 つの iSCSI ゲートウェイノードをインストールします。レジリエンスおよび I/O 処理を向上するには、最大 4 つの iSCSI ゲートウェイノードをインストールします。

メモリーの要件

RBD イメージのメモリーフットプリントのサイズが大きくなる可能性があります。iSCSI ゲートウェイノードにマッピングされる各 RBD イメージは、約 90 MB のメモリーを使用します。マッピングされた各 RBD イメージをサポートするのに十分なメモリーが、iSCSI ゲートウェイノードにあることを確認します。

ダウンした OSD の検出

Ceph Monitor または OSD には特定の iSCSI ゲートウェイオプションはありませんが、OSD を検出するためのデフォルトのタイマーの時間を減らし、イニシエーターがタイムアウトする可能性を少なくすることが重要です。ダウンした OSD を検出するためにタイマー設定の数値を下げる 手順に従って、イニシエーターのタイムアウトの可能性を低減します。

関連情報

7.3. iSCSI ゲートウェイのインストール
リンクのコピー

ストレージ管理者は、必要なソフトウェアパッケージをインストールしてからでないと、Ceph iSCSI ゲートウェイの利点を活用できません。Ansible デプロイメントツールを使用するか、コマンドラインインターフェイス を使用して、Ceph iSCSI ゲートウェイをインストールできます。

各 iSCSI ゲートウェイは、Linux I/O ターゲットカーネルサブシステム (LIO) を実行して、iSCSI プロトコルをサポートします。LIO はユーザー空間パススルー (TCMU) を使用して Ceph librbd ライブラリーと対話し、RBD イメージを iSCSI クライアントに公開します。Ceph の iSCSI ゲートウェイの場合には、従来のストレージエリアネットワーク (SAN) のすべての機能および利点を使用して、完全に統合されたブロックストレージインフラストラクチャーを効率的に実行できます。

7.3.1. 前提条件
リンクのコピー

  • Red Hat Enterprise Linux 8 または 7.7 以降。
  • 稼働中の Red Hat Ceph Storage 4 以降のクラスター。

7.3.2. Ansible を使用した Ceph iSCSI ゲートウェイのインストール
リンクのコピー

Ansible ユーティリティーを使用して、パッケージをインストールし、Ceph iSCSI ゲートウェイのデーモンを設定します。

前提条件

  • ceph-ansible パッケージがインストールされている Ansible 管理ノード

手順

  1. iSCSI ゲートウェイノードで、Red Hat Ceph Storage 4 Tools リポジトリーを有効にします。詳細は、Red Hat Ceph Storage インストールガイドの Red Hat Ceph Storage リポジトリーの有効化 セクションを参照してください。

  2. Ansible 管理ノードで、ゲートウェイグループの /etc/ansible/hosts ファイルにエントリーを追加します。iSCSI ゲートウェイを OSD ノードと同じ場所に配置する場合には、OSD ノードを [iscsigws] セクションに追加します。 

    [iscsigws]
ceph-igw-1
ceph-igw-2
    Copy to Clipboard Toggle word wrap
  3. Ansible は、/usr/share/ceph-ansible/group_vars/ ディレクトリーにファイル (iscsigws.yml.sample) を配置します。iscsigws.yml という名前を付けて、iscsigws.yml.sample ファイルのコピーを作成します。
  4. iscsigws.yml ファイルを開いて編集します。

  5. trusted_ip_list オプションのコメントを解除し、IPv4 アドレスまたは IPv6 アドレスを使用して値を適宜更新します。

    例

    IPv4 アドレスが 10.172.19.21 および 10.172.19.22 の 2 つのゲートウェイを追加して、trusted_ip_list を以下のように設定します。 

    trusted_ip_list: 10.172.19.21,10.172.19.22
    Copy to Clipboard Toggle word wrap

  6. 必要に応じて、iSCSI Gateway Variables セクションの Ansible 変数と説明を確認し、iscsigws.yml を更新します。

    警告

    ゲートウェイ設定の変更は、一度に 1 つのゲートウェイからのみサポートされます。複数のゲートウェイで同時に変更を実行しようとすると、設定が不安定になり、不整合が発生する可能性があります。

    警告

    ansible-playbook コマンドが使用されると、Ansible は ceph-iscsi パッケージをインストールして、group_vars/iscsigws.yml ファイルの設定をもとに /etc/ceph/iscsi-gateway.cfg ファイルを作成して更新します。コマンドラインインターフェイスを使用した iSCSI ゲートウェイのインストール で記載のとおり、コマンドラインインターフェイスを使用して ceph-iscsi パッケージを以前にインストールした場合には、既存の設定を iscsi-gateway.cfg ファイルから group_vars/iscsigws.yml ファイルにコピーします。

  7. Ansible 管理ノードで、Ansible Playbook を実行します。

    • ベアメタル デプロイメント: 

      [admin@ansible ~]$ cd /usr/share/ceph-ansible
[admin@ansible ceph-ansible]$ ansible-playbook site.yml -i hosts
      Copy to Clipboard Toggle word wrap

    • コンテナー デプロイメント: 

      [admin@ansible ~]$ cd /usr/share/ceph-ansible
[admin@ansible ceph-ansible]$ ansible-playbook site-container.yml -i hosts
      Copy to Clipboard Toggle word wrap
      警告

      スタンドアロン iSCSI ゲートウェイノードで、正しい Red Hat Ceph Storage 4 ソフトウェアリポジトリーが有効であることを確認します。リポジトリーが利用できない場合には、Ansible は誤ったパッケージをインストールする可能性があります。

  8. ターゲット、LUN、およびクライアントを作成するには、gwcli ユーティリティーまたは Red Hat Ceph Storage ダッシュボードを使用します。

    重要

    targetcli ユーティリティーを使用して設定を変更しないでください。これにより、ALUA のご設定とパスのフェイルオーバーという問題が発生します。データが破損して iSCSI ゲートウェイ間で設定が一致しない場合や、WWN 情報が一致しなくなる可能性があり、クライアントのパスに問題が生じます。

関連情報

7.3.3. コマンドラインインターフェイスを使用した Ceph iSCSI ゲートウェイのインストール
リンクのコピー

Ceph iSCSI ゲートウェイは、iSCSI ターゲットノードおよび Ceph クライアントノードです。Ceph iSCSI ゲートウェイはスタンドアロンノードにすることも、Ceph Object Store Disk (OSD) ノードと同じ場所に配置することもできます。Ceph iSCSI ゲートウェイをインストールするには、以下の手順を実施します。

前提条件

  • Red Hat Enterprise Linux 8 または 7.7 以降
  • Red Hat Ceph Storage 4 クラスター以降

  • ストレージクラスターのすべての Ceph Monitor ノードで、root ユーザーとして ceph-mon サービスを再起動します。

    構文

    systemctl restart ceph-mon@MONITOR_HOST_NAME
    Copy to Clipboard Toggle word wrap

    例

    [root@mon ~]# systemctl restart ceph-mon@monitor1
    Copy to Clipboard Toggle word wrap

  • Ceph iSCSI ゲートウェイが OSD ノードと同じ場所に配置されていない場合には、/etc/ceph/ ディレクトリーにある Ceph 設定ファイルを、ストレージクラスターにある実行中の Ceph ノードから iSCSI ゲートウェイノードすべてにコピーしてください。Ceph 設定ファイルは、/etc/ceph/ の iSCSI ゲートウェイノードに存在している必要があります。
  • すべての Ceph iSCSI ゲートウェイノードで、Ceph Tools リポジトリーを有効にします。詳細は、インストールガイドの Red Hat Ceph Storage リポジトリーの有効化 セクションを参照してください。
  • すべての Ceph iSCSI ゲートウェイノードに、Ceph コマンドラインインターフェイスをインストールおよび設定します。詳細は、Red Hat Ceph Storage 4 インストールガイドの Ceph コマンドラインインターフェイスのインストール の章を参照してください。
  • 必要に応じて、すべての Ceph iSCSI ノードのファイアウォールで TCP ポート 3260 および 5000 を開きます。
  • 新規を作成するか、既存の RADOS ブロックデバイス (RBD) を使用します。

手順

  1. すべての Ceph iSCSI ゲートウェイノードで、ceph-iscsi パッケージと tcmu-runner パッケージをインストールします。 

    [root@iscsigw ~]# yum install ceph-iscsi tcmu-runner
    Copy to Clipboard Toggle word wrap
    重要

    これらのパッケージの以前のバージョンが存在する場合には、新しいバージョンをインストールする前に削除します。これらの新しいバージョンを Red Hat Ceph Storage リポジトリーからインストールする必要があります。

  2. 必要に応じて、すべての Ceph iSCSI ゲートウェイノードで OpenSSL ユーティリティーをインストールし、設定します。

    1. openssl パッケージをインストールします。 

      [root@iscsigw ~]# yum install openssl
      Copy to Clipboard Toggle word wrap

    2. プライマリー iSCSI ゲートウェイノードで、SSL キーを保存するディレクトリーを作成します。 

      [root@iscsigw ~]# mkdir ~/ssl-keys
[root@iscsigw ~]# cd ~/ssl-keys
      Copy to Clipboard Toggle word wrap

    3. プライマリー iSCSI ゲートウェイノードで、証明書およびキーファイルを作成します。プロンプトが表示されたら、環境情報を入力します。 

      [root@iscsigw ~]# openssl req -newkey rsa:2048 -nodes -keyout iscsi-gateway.key -x509 -days 365 -out iscsi-gateway.crt
      Copy to Clipboard Toggle word wrap

    4. プライマリー iSCSI ゲートウェイノードで、PEM ファイルを作成します。 

      [root@iscsigw ~]# cat iscsi-gateway.crt iscsi-gateway.key > iscsi-gateway.pem
      Copy to Clipboard Toggle word wrap

    5. プライマリー iSCSI ゲートウェイノードで、公開鍵を作成します。 

      [root@iscsigw ~]# openssl x509 -inform pem -in iscsi-gateway.pem -pubkey -noout > iscsi-gateway-pub.key
      Copy to Clipboard Toggle word wrap
    6. プライマリー iSCSI ゲートウェイノードから、iscsi-gateway.crt、iscsi-gateway.pem、iscsi-gateway-pub.key および iscsi-gateway.key ファイルを、他の iSCSI ゲートウェイノードの /etc/ceph/ ディレクトリーにコピーします。

  3. Ceph iSCSI ゲートウェイノードに設定ファイルを作成し、これをすべての iSCSI ゲートウェイノードにコピーします。

    1. /etc/ceph/ ディレクトリーに iscsi-gateway.cfg という名前のファイルを作成します。 

      [root@iscsigw ~]# touch /etc/ceph/iscsi-gateway.cfg
      Copy to Clipboard Toggle word wrap

    2. iscsi-gateway.cfg ファイルを編集し、以下の行を追加します。

      構文

      [config]
cluster_name = CLUSTER_NAME
gateway_keyring = CLIENT_KEYRING
api_secure = false
trusted_ip_list = IP_ADDR,IP_ADDR
      Copy to Clipboard Toggle word wrap

      例

      [config]
cluster_name = ceph
gateway_keyring = ceph.client.admin.keyring
api_secure = false
trusted_ip_list = 192.168.0.10,192.168.0.11
      Copy to Clipboard Toggle word wrap

    3. iscsi-gateway.cfg ファイルをすべての iSCSI ゲートウェイノードにコピーします。このファイルは、すべての iSCSI ゲートウェイノードで同じでなければなりません。

  4. すべての Ceph iSCSI ゲートウェイノードで、API サービスを有効にして起動します。 

    [root@iscsigw ~]# systemctl enable rbd-target-api
[root@iscsigw ~]# systemctl start rbd-target-api
[root@iscsigw ~]# systemctl enable rbd-target-gw
[root@iscsigw ~]# systemctl start rbd-target-gw
    Copy to Clipboard Toggle word wrap
  5. 次に、ターゲット、LUN、およびクライアントを設定します。詳細は、コマンドラインインターフェイスを使用した iSCSI ターゲットの設定 セクションを参照してください。

関連情報

7.3.4. 関連情報
リンクのコピー

7.4. iSCSI ターゲットの設定
リンクのコピー

ストレージ管理者は、gwcli コマンドラインユーティリティーを使用して、ターゲット、LUN、およびクライアントを 設定 できます。iSCSI ターゲットの パフォーマンスを最適化 s して、gwcli reconfigure サブコマンドを使用することもできます。

警告

Red Hat は、gwcli および ceph-ansible など、Ceph iSCSI ゲートウェイツールでエクスポートされた Ceph ブロックデバイスイメージの管理はサポートしていません。また、rbd コマンドを使用して Ceph iSCSI ゲートウェイでエクスポートされた RBD イメージの名前を変更または削除すると、ストレージクラスターが不安定になる可能性があります。

警告

iSCSI ゲートウェイ設定から RBD イメージを削除する前に、オペレーティングシステムからストレージデバイスを削除する標準的な手順に従います。詳細は、Red Hat Enterprise Linux 7 のストレージ管理ガイドの ストレージデバイスの削除 の章または Red Hat Enterprise Linux 8 向けの システム設計ガイド を参照してください。

7.4.1. 前提条件
リンクのコピー

  • Ceph iSCSI ゲートウェイソフトウェアのインストール。

7.4.2. コマンドラインインターフェイスを使用した iSCSI ターゲットの設定
リンクのコピー

Ceph iSCSI ゲートウェイは、iSCSI ターゲットノードおよび Ceph クライアントノードです。Ceph iSCSI ゲートウェイをスタンドアロンノード上に設定するか、Ceph Object Storage Device (OSD) ノードと同じ場所に配置します。

警告

本書に規定されているか、Red Hat サポートからの指示がない限り、gwcli reconfigure サブコマンドを使用して他のオプションを調整しないようにしてください。

前提条件

  • Ceph iSCSI ゲートウェイソフトウェアのインストール。

手順

  1. iSCSI ゲートウェイのコマンドラインインターフェイスを起動します。 

    [root@iscsigw ~]# gwcli
    Copy to Clipboard Toggle word wrap

  2. IPv4 アドレスまたは IPv6 アドレスのいずれかを使用して iSCSI ゲートウェイを作成します。

    構文

    >/iscsi-targets create iqn.2003-01.com.redhat.iscsi-gw:_target_name_
> goto gateways
> create ISCSI_GW_NAME IP_ADDR_OF_GW
> create ISCSI_GW_NAME IP_ADDR_OF_GW
    Copy to Clipboard Toggle word wrap

    例

    >/iscsi-targets create iqn.2003-01.com.redhat.iscsi-gw:ceph-igw
> goto gateways
> create ceph-gw-1 10.172.19.21
> create ceph-gw-2 10.172.19.22
    Copy to Clipboard Toggle word wrap

    注記

    IPv4 アドレスと IPv6 アドレスを混在させることはできません。

  3. Ceph ブロックデバイスを追加します。

    構文

    > cd /disks
>/disks/ create POOL_NAME image=IMAGE_NAME size=IMAGE_SIZE_m|g|t
    Copy to Clipboard Toggle word wrap

    例

    > cd /disks
>/disks/ create rbd image=disk_1 size=50g
    Copy to Clipboard Toggle word wrap

    注記

    プールまたはイメージ名では、ピリオド (.) を使用しないでください。

  4. クライアントを作成します。

    構文

    > goto hosts
> create iqn.1994-05.com.redhat:_client_name_
> auth use username=USER_NAME password=PASSWORD
    Copy to Clipboard Toggle word wrap

    例

    > goto hosts
> create iqn.1994-05.com.redhat:rh7-client
> auth username=iscsiuser1 password=temp12345678
    Copy to Clipboard Toggle word wrap

    重要

    Red Hat は、Challenge Handshake Authentication Protocol (CHAP) が一部で有効になっており、他で無効になっているなど、クライアントの混同はサポートしていません。すべてのクライアントの CHAP を有効にするか、無効にする必要があります。デフォルトの動作としては、イニシエーター名でイニシエーターを認証するだけです。

    イニシエーターがターゲットへのログインに失敗した場合には、以下のように、イニシエーターに CHAP 認証が正しく設定されない場合があります。 

    o- hosts ................................ [Hosts: 2: Auth: MISCONFIG]
    Copy to Clipboard Toggle word wrap

    ホスト レベルで次のコマンドを使用して、CHAP 認証をすべてリセットします。 

    /> goto hosts
/iscsi-target...csi-igw/hosts> auth nochap
ok
ok
/iscsi-target...csi-igw/hosts> ls
o- hosts ................................ [Hosts: 2: Auth: None]
  o- iqn.2005-03.com.ceph:esx ........... [Auth: None, Disks: 4(310G)]
  o- iqn.1994-05.com.redhat:rh7-client .. [Auth: None, Disks: 0(0.00Y)]
    Copy to Clipboard Toggle word wrap

  5. ディスクをクライアントに追加します。

    構文

    >/iscsi-target..eph-igw/hosts
> cd iqn.1994-05.com.redhat:_CLIENT_NAME_
> disk add POOL_NAME/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    >/iscsi-target..eph-igw/hosts
> cd iqn.1994-05.com.redhat:rh7-client
> disk add rbd/disk_1
    Copy to Clipboard Toggle word wrap

  6. API が SSL が正しく使用されていることを確認するには、/var/log/rbd-target-api.log または /var/log/rbd-target/rbd-target-api.log に配置されている rbd-target-api ログファイルを (https など) を検索します。 

    Aug 01 17:27:42 test-node.example.com python[1879]:  * Running on https://0.0.0.0:5000/
    Copy to Clipboard Toggle word wrap

  7. Ceph ISCSI ゲートウェイが機能していることを確認します。 

    /> goto gateways
/iscsi-target...-igw/gateways> ls
o- gateways ............................ [Up: 2/2, Portals: 2]
  o- ceph-gw-1  ........................ [ 10.172.19.21 (UP)]
  o- ceph-gw-2  ........................ [ 10.172.19.22 (UP)]
    Copy to Clipboard Toggle word wrap

    ステータスが UNKNOWN の場合は、ネットワークの問題と設定ミスがないか確認します。ファイアウォールを使用している場合は、適切な TCP ポートが開いていることを確認します。iSCSI ゲートウェイが trusted_ip_list オプションに一覧表示されていることを確認します。rbd-target-api サービスが iSCSI ゲートウェイノードで実行されていることを確認します。

  8. 必要に応じて、max_data_area_mb オプションを再設定します。

    構文

    >/disks/ reconfigure POOL_NAME/IMAGE_NAME max_data_area_mb NEW_BUFFER_SIZE
    Copy to Clipboard Toggle word wrap

    例

    >/disks/ reconfigure rbd/disk_1 max_data_area_mb 64
    Copy to Clipboard Toggle word wrap

    注記

    max_data_area_mb オプションは、iSCSI ターゲットと Ceph クラスターの間で SCSI コマンドデータを渡す時に各イメージが使用できるメモリー量をメガバイト単位で制御します。この値が小さすぎると、キューが過剰に再試行され、パフォーマンスに影響する可能性があります。値が大きすぎると、1 つのディスクで過剰にシステムメモリーが使用あれ、他のサブシステムの割り当てに失敗する可能性があります。max_data_area_mb オプションのデフォルト値は 8 です。

  9. iSCSI イニシエーターを設定します。

関連情報

7.4.3. iSCSI ターゲットのパフォーマンスの最適化
リンクのコピー

ネットワーク上で iSCSI ターゲット転送データを送信する方法を制御する設定は多数あります。これらの設定を使用して、iSCSI ゲートウェイのパフォーマンスを最適化できます。

警告

Red Hat サポートの指示または本書の記載がない限り、この設定は変更しないでください。

gwcli reconfigure サブコマンドは、iSCSI ゲートウェイのパフォーマンスの最適化に使用される設定を制御します。

iSCSI ターゲットのパフォーマンスに影響する設定

  • max_data_area_mb
  • cmdsn_depth
  • immediate_data
  • initial_r2t
  • max_outstanding_r2t
  • first_burst_length
  • max_burst_length
  • max_recv_data_segment_length
  • max_xmit_data_segment_length

関連情報

7.4.4. ダウンしている OSD を検出するためのタイマー設定の低減
リンクのコピー

ダウンしている OSD を検出するためにタイマー設定の時間を減らす必要がある場合があります。たとえば、Red Hat Ceph Storage を iSCSI ゲートウェイとして使用する場合に、ダウンしている OSD を検出するためにタイマー設定の時間を減らすことで、イニシエーターがタイムアウトする可能性を軽減できます。

前提条件

  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • Ansible 管理ノードへのアクセス

手順

  1. 新しいタイマー設定を使用するように Ansible を設定します。

    1. Ansible 管理ノードで、以下のような group_vars/all.yml ファイルに ceph_conf_overrides セクションを追加するか、既存の ceph_conf_overrides セクションを編集します。 

      ceph_conf_overrides:
     osd:
       osd_client_watch_timeout: 15
       osd_heartbeat_grace: 20
       osd_heartbeat_interval: 5
      Copy to Clipboard Toggle word wrap

      上記の設定は、Ansible Playbook の実行時に OSD ノードの ceph.conf 設定ファイルに追加されます。

    2. ceph-ansible ディレクトリーに移動します。 

      [admin@ansible ~]$ cd /usr/share/ceph-ansible
      Copy to Clipboard Toggle word wrap

    3. Ansible を使用して ceph.conf ファイルを更新し、すべての OSD ノードで OSD デーモンを再起動します。Ansible 管理ノードで、以下のコマンドを実行します。

      ベアメタル デプロイメント

      [admin@ansible ceph-ansible]$ ansible-playbook site.yml --limit osds
      Copy to Clipboard Toggle word wrap

      コンテナー デプロイメント

      [admin@ansible ceph-ansible]$ ansible-playbook site-container.yml --limit osds -i hosts
      Copy to Clipboard Toggle word wrap

  2. タイマー設定が ceph_conf_overrides で設定されている値と同じであることを確認します。

    構文

    ceph daemon osd.OSD_ID config get osd_client_watch_timeout
ceph daemon osd.OSD_ID config get osd_heartbeat_grace
ceph daemon osd.OSD_ID config get osd_heartbeat_interval
    Copy to Clipboard Toggle word wrap

    例

    [root@osd ~]# ceph daemon osd.0 config get osd_client_watch_timeout
{
    "osd_client_watch_timeout": "15"
}

[root@osd ~]#  ceph daemon osd.0 config get osd_heartbeat_grace
{
    "osd_heartbeat_grace": "20"
}

[root@osd ~]# ceph daemon osd.0 config get osd_heartbeat_interval
{
    "osd_heartbeat_interval": "5"
}
    Copy to Clipboard Toggle word wrap

  3. オプション: OSD デーモンをすぐに再起動できない場合は、Ceph Monitor ノードからオンラインの更新を行うか、全 Ceph OSD ノードを直接更新できます。OSD デーモンの再起動ができたら、上記のように Ansible を使用して新しいタイマー設定を ceph.conf に追加し、設定が再起動後も維持されるようにします。

    1. Ceph Monitor ノードから OSD タイマー設定のオンライン更新を実行するには、以下を実行します。

      構文

      ceph tell osd.OSD_ID injectargs '--osd_client_watch_timeout 15'
ceph tell osd.OSD_ID injectargs '--osd_heartbeat_grace 20'
ceph tell osd.OSD_ID injectargs '--osd_heartbeat_interval 5'
      Copy to Clipboard Toggle word wrap

      例

      [root@mon ~]# ceph tell osd.0 injectargs '--osd_client_watch_timeout 15'
[root@mon ~]# ceph tell osd.0 injectargs '--osd_heartbeat_grace 20'
[root@mon ~]# ceph tell osd.0 injectargs '--osd_heartbeat_interval 5'
      Copy to Clipboard Toggle word wrap

    2. Ceph OSD ノードから OSD タイマー設定のオンライン更新を実行するには、以下を実行します。

      構文

      ceph daemon osd.OSD_ID config set osd_client_watch_timeout 15
ceph daemon osd.OSD_ID config set osd_heartbeat_grace 20
ceph daemon osd.OSD_ID config set osd_heartbeat_interval 5
      Copy to Clipboard Toggle word wrap

      例

      [root@osd ~]# ceph daemon osd.0 config set osd_client_watch_timeout 15
[root@osd ~]# ceph daemon osd.0 config set osd_heartbeat_grace 20
[root@osd ~]# ceph daemon osd.0 config set osd_heartbeat_interval 5
      Copy to Clipboard Toggle word wrap

関連情報

  • Red Hat Ceph Storage を iSCSI ゲートウェイとして使用する方法は、Red Hat Ceph Storage ブロックデバイスガイドの Ceph iSCSI ゲートウェイ を参照してください。

7.4.5. コマンドラインインターフェイスを使用した iSCSI ホストグループの設定
リンクのコピー

Ceph iSCSI ゲートウェイは、同じディスク設定を共有するサーバーを複数管理するホストグループを設定できます。iSCSI ホストグループでは、ホストの論理グループと、グループ内の各ホストがアクセスできるディスクが作成されます。

重要

複数のホストへのディスクデバイスの共有は、クラスター対応のファイルシステムを使用する必要があります。

前提条件

  • Ceph iSCSI ゲートウェイソフトウェアのインストール。
  • Ceph iSCSI ゲートウェイノードへの root レベルのアクセス。

手順

  1. iSCSI ゲートウェイのコマンドラインインターフェイスを起動します。 

    [root@iscsigw ~]# gwcli
    Copy to Clipboard Toggle word wrap

  2. 新規ホストグループを作成します。

    構文

    cd iscsi-targets/
cd IQN/host-groups
create group_name=GROUP_NAME
    Copy to Clipboard Toggle word wrap

    例

    /> cd iscsi-targets/
/iscsi-targets> cd iqn.2003-01.com.redhat.iscsi-gw:ceph-igw/host-groups/
/iscsi-target.../host-groups> create group_name=igw_grp01
    Copy to Clipboard Toggle word wrap

  3. ホストグループにホストを追加します。

    構文

    cd GROUP_NAME
host add client_iqn=CLIENT_IQN
    Copy to Clipboard Toggle word wrap

    例

    > cd igw_grp01
/iscsi-target.../host-groups/igw_grp01> host add client_iqn=iqn.1994-05.com.redhat:rh8-client
    Copy to Clipboard Toggle word wrap

    この手順を繰り返して、追加のホストをグループに追加します。

  4. ホストグループにディスクを追加します。

    構文

    cd /disks/
/disks> create pool=POOL image=IMAGE_NAME size=SIZE
cd /IQN/host-groups/GROUP_NAME
disk add POOL/IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    例

    > cd /disks/
/disks> create pool=rbd image=rbdimage size=1G
/> cd iscsi-targets/iqn.2003-01.com.redhat.iscsi-gw:ceph-igw/host-groups/igw_grp01/
/iscsi-target...s/igw_grp01> disk add rbd/rbdimage
    Copy to Clipboard Toggle word wrap

    この手順を繰り返して、グループにディスクを追加します。

7.4.6. 関連情報
リンクのコピー

  • Red Hat Ceph Storage ダッシュボードを使用して iSCSI ターゲットを設定する方法は、Red Hat Ceph Storage ダッシュボードガイドの iSCSI ターゲットの作成 セクションを参照してください。

7.5. iSCSI イニシエーターの設定
リンクのコピー

iSCSI イニシエーターを設定して、以下のプラットフォームの Ceph iSCSI ゲートウェイに接続できます。

7.5.1. Red Hat Enterprise Linux の iSCSI イニシエーターの設定
リンクのコピー

前提条件

  • Red Hat Enterprise Linux 7.7 以降。
  • パッケージ iscsi-initiator-utils-6.2.0.873-35 以降がインストールされている。
  • パッケージ device-mapper-multipath-0.4.9-99 以降がインストールされている。

手順

  1. iSCSI イニシエーターおよびマルチパスツールをインストールします。 

    [root@rhel ~]# yum install iscsi-initiator-utils
[root@rhel ~]# yum install device-mapper-multipath
    Copy to Clipboard Toggle word wrap
  2. /etc/iscsi/initiatorname.iscsi ファイルを編集してイニシエーター名を設定します。イニシエーター名は、gwcli コマンドでの初期設定中に使用されたイニシエーター名と同じである必要がある点に注意してください。

  3. マルチパス I/O を設定します。

    1. デフォルトの /etc/multipath.conf ファイルを作成し、multipathd サービスを有効にします。 

      [root@rhel ~]# mpathconf --enable --with_multipathd y
      Copy to Clipboard Toggle word wrap

    2. 以下のように /etc/multipath.conf ファイルを更新します。 

      devices {
        device {
                vendor                 "LIO-ORG"
                product                "TCMU device"
                hardware_handler       "1 alua"
                path_grouping_policy   "failover"
                path_selector          "queue-length 0"
                failback               60
                path_checker           tur
                prio                   alua
                prio_args              exclusive_pref_bit
                fast_io_fail_tmo       25
                no_path_retry          queue
        }
}
      Copy to Clipboard Toggle word wrap

    3. multipathd サービスを再起動します。 

      [root@rhel ~]# systemctl reload multipathd
      Copy to Clipboard Toggle word wrap

  4. CHAP と iSCSI の検出とログインを設定します。

    1. 以下のように /etc/iscsi/iscsid.conf ファイルを更新して、CHAP ユーザー名とパスワードを指定します。 

      node.session.auth.authmethod = CHAP
node.session.auth.username = user
node.session.auth.password = password
      Copy to Clipboard Toggle word wrap

    2. ターゲットポータルを検出します。

      構文

      iscsiadm -m discovery -t st -p IP_ADDR
      Copy to Clipboard Toggle word wrap

    3. ターゲットにログインします。

      構文

      iscsiadm -m node -T TARGET -l
      Copy to Clipboard Toggle word wrap

  5. マルチパス I/O 設定を表示します。multipathd デーモンは、multipath.conf ファイルの設定に基づいてデバイスを自動的に設定します。

    1. multipath コマンドを使用して、パスごとに優先度の高いグループが含まれるフェイルオーバー設定でのデバイス設定を表示します。

      例

      [root@rhel ~]# multipath -ll
mpathbt (360014059ca317516a69465c883a29603) dm-1 LIO-ORG,TCMU device
size=1.0G features='0' hwhandler='1 alua' wp=rw
|-+- policy='queue-length 0' prio=50 status=active
| `- 28:0:0:1 sde  8:64  active ready running
`-+- policy='queue-length 0' prio=10 status=enabled
  `- 29:0:0:1 sdc  8:32  active ready running
      Copy to Clipboard Toggle word wrap

      multipath -ll 出力の prio 値は ALUA の状態を示します。ここでは、prio=50 は、ALUA Active-Optimized の状態の独自の iSCSI ゲートウェイへのパスであり、prio=10 は Active-non-Optimized パスであることを示します。status フィールドは、使用されているパスを示します。こででは、active は現在使用されているパス、enabled は active なパスに問題が発生した場合にフェイルオーバーパスが有効になります 。

    2. multipath -ll の出力でデバイス名 (例: sde) を iSCSI ゲートウェイに一致させるには、次のコマンドを実行します。

      例

      [root@rhel ~]# iscsiadm -m session -P 3
      Copy to Clipboard Toggle word wrap

      Persistent Portal の値は、gwcli ユーティリティーの一覧に記載されている iSCSI ゲートウェイに割り当てられた IP アドレスです。

7.5.2. Red Hat Virtualization の iSCSI イニシエーターの設定
リンクのコピー

前提条件

  • Red Hat Virtualization 4.1
  • すべての Red Hat Virtualization ノードでの MPIO デバイスの設定
  • パッケージ iscsi-initiator-utils-6.2.0.873-35 以降
  • パッケージ device-mapper-multipath-0.4.9-99 以降

手順

  1. マルチパス I/O を設定します。

    1. 以下のように /etc/multipath/conf.d/DEVICE_NAME.conf ファイルを更新します。 

      devices {
        device {
                vendor                 "LIO-ORG"
                product                "TCMU device"
                hardware_handler       "1 alua"
                path_grouping_policy   "failover"
                path_selector          "queue-length 0"
                failback               60
                path_checker           tur
                prio                   alua
                prio_args              exclusive_pref_bit
                fast_io_fail_tmo       25
                no_path_retry          queue
        }
}
      Copy to Clipboard Toggle word wrap

    2. multipathd サービスを再起動します。 

      [root@rhv ~]# systemctl reload multipathd
      Copy to Clipboard Toggle word wrap
  2. Storage resource タブをクリックして既存のストレージドメインを一覧表示します。
  3. 新規ドメイン ボタンをクリックして、新規ドメイン ウィンドウを開きます。
  4. 新規ストレージドメインの 名前 を入力します。
  5. データセンター ドロップダウンメニューを使用してデータセンターを選択します。
  6. ドロップダウンメニューを使用して、Domain Function および Storage Type を選択します。選択したドメイン機能との互換性がないストレージドメインタイプは利用できません。
  7. Use Host フィールドでアクティブなホストを選択します。データセンターの最初のデータドメインではない場合は、データセンターの SPM ホストを選択する必要があります。

  8. 新規ドメイン ウィンドウで、iSCSI がストレージタイプとして選択されている場合に、未使用の LUN が割り当てられた既知のターゲットが自動的に表示されます。ストレージを追加するターゲットが一覧にない場合には、ターゲット検出を使用して検索できます。それ以外の場合は、次のステップに進みます。

    1. ターゲットを検出 をクリックし、ターゲットの検出オプションを有効にします。ターゲットが検出され、ログインすると、新規ドメイン ウィンドウに、その環境で未使用の LUN が割り当てられたターゲットが自動的に表示されます。環境外の LUN も表示されることに注意してください。ターゲットを検出 のオプションを使用すると、多くのターゲットに LUN を追加したり、同じ LUN に複数のパスを追加したりすることができます。
    2. Address フィールドに、iSCSI ホストの完全修飾ドメイン名または IP アドレスを入力します。
    3. ポートフィールドでのターゲットの参照時に、ホストに接続する ポート を入力します。デフォルトは 3260 です。
    4. ストレージのセキュリティー保護にチャレンジハンドシェイク認証プロトコル (CHAP) を使用している場合は、ユーザー認証のチェックボックスを選択します。CHAP のユーザー名 と CHAP のパスワード を入力します。
    5. 検出 ボタンをクリックします。

    6. 検出結果から使用するターゲットを選択し、ログイン ボタンをクリックします。または、Login All をクリックし、検出されたすべてのターゲットにログインします。

      重要

      複数のパスのアクセスが必要な場合には、すべての必要なパスでターゲットを検出してログインするようにしてください。ストレージドメインを変更してパスを追加する方法は、現在サポートされていません。

  9. 対象のターゲットの横にある + ボタンをクリックします。これにより、エントリーを展開し、ターゲットにアタッチされている未使用の LUN をすべて表示します。
  10. ストレージドメインの作成に使用する各 LUN のチェックボックスを選択します。

  11. オプションで、詳細パラメーターを設定することが可能です。

    1. 詳細パラメーター をクリックします。
    2. 容量不足の警告 のフィールドに、パーセンテージ値を入力します。ストレージドメインの空き容量がこの値を下回ると、ユーザーに警告メッセージが表示され、ログに記録されます。
    3. アクションをブロックする 深刻な容量不足 のフィールドに GB 単位で値を入力します。ストレージドメインの空き容量がこの値を下回ると、ユーザーにエラーメッセージが表示され、ログに記録されます。領域を消費する新しいアクションは、一時的であってもブロックされます。
    4. 削除後にワイプ オプションを有効にするには、wipe after delete のチェックボックスを選択します。このオプションは、ドメインの作成後に編集できますが、すでに存在するディスクの wipe after delete プロパティーは変更されません。
    5. 削除後に破棄 チェックボックスを選択して、削除後に破棄のオプションを有効化します。このオプションは、ドメインの作成後に編集できます。このオプションは、ブロックストレージドメインでのみ使用できます。
  12. OK をクリックしてストレージドメインを作成し、ウィンドウを閉じます。

7.5.3. Microsoft Windows の iSCSI イニシエーターの設定
リンクのコピー

前提条件

  • Microsoft Windows Server 2016

手順

  1. iSCSI イニシエーターをインストールし、検出および設定を行います。

    1. iSCSI イニシエータードライバーおよび MPIO ツールをインストールします。
    2. MPIO プログラムを起動し、Discover Multi-Paths タブをクリックし、iSCSI デバイスのサポートの追加 チェックボックスにチェックを入れ、Add をクリックします。
    3. MPIO プログラムを再起動します。

    4. iSCSI Initiator プロパティーウィンドウ、Discovery タブ 1 でターゲットポータルを追加します。Ceph iSCSI ゲートウェイの IP アドレスまたは DNS 名 2 および ポート 3 を入力します。

      iscsi discovery tab mod
      View larger image
      iscsi discovery tab mod

    5. Targets タブ 1 で、ターゲットを選択し、Connect 2 をクリックします。

      iscsi target tab mod
      View larger image
      iscsi target tab mod

    6. Connect To Target ウィンドウで Enable multi-path オプション 1 を選択し、Advanced ボタン 2 をクリックします。

      iscsi connect to target mod
      View larger image
      iscsi connect to target mod

    7. Connect using セクションで、Target portal IP 1 を選択します。 2 で CHAP ログイン を選択し、Ceph iSCSI クライアント認証情報セクションから Name および Target secret の値 3 を入力して、OK 4 をクリックします。

      iscsi advanced window mod
      View larger image
      iscsi advanced window mod
      重要

      Windows Server 2016 は 12 バイト未満の CHAP シークレットを受け入れません。

    8. iSCSI ゲートウェイを設定するときに定義されたターゲットポータルごとに、前述の 2 つの手順を繰り返します。

    9. イニシエーター名が初期設定中に使用されるイニシエーター名と異なる場合は、イニシエーター名を変更します。iSCSI Initiator プロパティーウィンドウの 設定 タブ 1 で Change ボタン 2 をクリックしてイニシエーターの名前を変更します。

      iscsi windows initiator properties mod
      View larger image
      iscsi windows initiator properties mod

  2. multipath I/O を設定します。PowerShell では、PDORemovePeriod コマンドを使用して MPIO 負荷分散ポリシーと mpclaim コマンドを使用して負荷分散ポリシーを設定します。iSCSI Initiator Tool は、残りのオプションを設定します。

    注記

    Red Hat は、PDORemovePeriod オプションを PowerShell から 120 秒に増やすことを推奨します。この値はアプリケーションに基づいて調整する必要がある場合があります。すべてのパスがダウンし、120 秒の有効期限が切れると、オペレーティングシステムは I/O 要求の失敗を開始します。 

    Set-MPIOSetting -NewPDORemovePeriod 120
    Copy to Clipboard Toggle word wrap

    1. フェイルオーバーポリシーの設定 

      mpclaim.exe -l -m 1
      Copy to Clipboard Toggle word wrap

    2. フェイルオーバーポリシーの確認 

      mpclaim -s -m
MSDSM-wide Load Balance Policy: Fail Over Only
      Copy to Clipboard Toggle word wrap

    3. iSCSI Initiator ツールを使用して、ターゲット タブ 1 から デバイス...ボタン 2 をクリックします。

      iscsi target tab2 mod
      View larger image
      iscsi target tab2 mod

    4. デバイス ウィンドウで、ディスク 1 を選択し、MPIO…​ 2 ボタンをクリックします。

      iscsi devices mpio mod
      View larger image
      iscsi devices mpio mod

    5. デバイスの詳細 ウィンドウには、各ターゲットポータルへのパスが表示されます。Load Balancing Policy Fail Over Only を選択する必要があります。

      mpio set failover only mod
      View larger image
      mpio set failover only mod

    6. PowerShell から multipath 設定を表示します。 

      mpclaim -s -d MPIO_DISK_ID
      Copy to Clipboard Toggle word wrap

      MPIO_DISK_ID を適切なディスク識別子に置き換えます。

      注記

      LUN を所有する iSCSI ゲートウェイノードへのパスである Active/Optimized パスが 1 つあります。他の iSCSI ゲートウェイノードごとに Active/optimized パスがあります。

      mpclaim output mod
      View larger image
      mpclaim output mod

  3. オプションで、設定をチューニングします。以下のレジストリー設定の使用を検討してください。

    • Windows ディスクのタイムアウト

      キー

      HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Disk
      Copy to Clipboard Toggle word wrap

      値

      TimeOutValue = 65
      Copy to Clipboard Toggle word wrap

    • Microsoft iSCSI イニシエータードライバー

      キー

      HKEY_LOCAL_MACHINE\\SYSTEM\CurrentControlSet\Control\Class\{4D36E97B-E325-11CE-BFC1-08002BE10318}\<Instance_Number>\Parameters
      Copy to Clipboard Toggle word wrap

      値

      LinkDownTime = 25
SRBTimeoutDelta = 15
      Copy to Clipboard Toggle word wrap

7.5.4. VMware ESXi 向けの iSCSI イニシエーターの設定
リンクのコピー

前提条件

  • サポートされる VMware ESXi バージョンについては、カスタマーポータルのナレッジベースの 記事 のiSCSI Gateway (IGW)セクションを参照してください。
  • VMware ホストクライアントへのアクセス
  • esxcli コマンドを実行する VMware ESXi ホストへの root アクセス

手順

  1. HardwareAcceleratedMove を無効にします。 

    > esxcli system settings advanced set --int-value 0 --option /DataMover/HardwareAcceleratedMove
    Copy to Clipboard Toggle word wrap

  2. iSCSI ソフトウェアを有効にします。Navigator ペインから Storage 1 をクリックします。Adapters タブ 2 を選択します。iSCSI の設定 3 をクリックします。

    esx web client storage main mod
    View larger image
    esx web client storage main mod

  3. 名前 & エイリアス のセクション 1 でイニシエーター名を確認します。

    esx web client config iscsi main mod step2
    View larger image
    esx web client config iscsi main mod step2

  4. イニシエーター名が gwcli を使用して初期設定中にクライアントを作成するときに使用されるイニシエーター名と異なる場合は、イニシエーター名 (VMware ESX ホスト) を変更し、esxcli コマンドを実行します。

    1. iSCSI ソフトウェアのアダプター名を取得します。 

      > esxcli iscsi adapter list
> Adapter  Driver     State   UID            Description
> -------  ---------  ------  -------------  ----------------------
> vmhba64  iscsi_vmk  online  iscsi.vmhba64  iSCSI Software Adapter
      Copy to Clipboard Toggle word wrap

    2. イニシエーター名を設定します。

      構文

      > esxcli iscsi adapter set -A ADAPTOR_NAME -n INITIATOR_NAME
      Copy to Clipboard Toggle word wrap

      例

      > esxcli iscsi adapter set -A vmhba64 -n iqn.1994-05.com.redhat:rh7-client
      Copy to Clipboard Toggle word wrap

  5. CHAP を設定します。CHAP 認証 セクション 1 を展開します。"Do not use CHAP unless unless required by target" (ターゲットによって必要な場合を除き、CHAP は使用しないでください) 2 を選択してください。初期設定で使用されていた CHAP Name および Secret 3 の認証情報を入力します。Mutual CHAP 認証 セクション 4 で "Do not use CHAP" (CHAP は使用しないでください) が選択されていることを確認します。

    esx web client chap mod step3
    View larger image
    esx web client chap mod step3
    警告

    VMware Host Client のバグにより、CHAP 設定が最初に使用されません。Ceph iSCSI ゲートウェイノードでは、このバグを示しているので、カーネルログには以下のエラーが含まれます。 

    > kernel: CHAP user or password not set for Initiator ACL
> kernel: Security negotiation failed.
> kernel: iSCSI Login negotiation failed.
    Copy to Clipboard Toggle word wrap

    このバグを回避するには、esxcli コマンドを使用して CHAP を設定します。authname 引数は vSphere Web クライアントの Name です。 

    > esxcli iscsi adapter auth chap set --direction=uni --authname=myiscsiusername --secret=myiscsipassword --level=discouraged -A vmhba64
    Copy to Clipboard Toggle word wrap

  6. iSCSI 設定を設定します。Advanced settings 1 を展開します。RecoveryTimeout の値を 25 2 に設定します。

    esx web client iscsi recovery timeout mod step4
    View larger image
    esx web client iscsi recovery timeout mod step4

  7. 検出アドレスを設定します。Dynamic targets セクション 1 で、Add dynamic target 2 をクリックします。Address 3 の下に、Ceph iSCSI ゲートウェイの 1 つに IP アドレスを追加します。1 つの IP アドレスのみを追加する必要があります。最後に、Save configuration ボタン 4 をクリックします。Devices タブのメインインターフェイスから RBD イメージが表示されます。

    esx web client config iscsi main mod step5
    View larger image
    esx web client config iscsi main mod step5
    注記

    LUN は、ALUA SATP および MRU PSP を使用して自動的に設定されます。他の SATP および PSP は使用しないでください。これは、esxcli コマンドで確認できます。

    構文

    esxcli storage nmp path list -d eui.DEVICE_ID
    Copy to Clipboard Toggle word wrap

    DEVICE_ID を適切なデバイス識別子に置き換えます。

  8. マルチパスが正しく設定されていることを確認します。

    1. デバイスを一覧表示します。

      例

      > esxcli storage nmp device list | grep iSCSI
   Device Display Name: LIO-ORG iSCSI Disk (naa.6001405f8d087846e7b4f0e9e3acd44b)
   Device Display Name: LIO-ORG iSCSI Disk (naa.6001405057360ba9b4c434daa3c6770c)
      Copy to Clipboard Toggle word wrap

    2. 直前の手順で Ceph iSCSI ディスクのマルチパス情報を取得します。

      例

      > esxcli storage nmp path list -d naa.6001405f8d087846e7b4f0e9e3acd44b

iqn.2005-03.com.ceph:esx1-00023d000001,iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw,t,1-naa.6001405f8d087846e7b4f0e9e3acd44b
   Runtime Name: vmhba64:C0:T0:L0
   Device: naa.6001405f8d087846e7b4f0e9e3acd44b
   Device Display Name: LIO-ORG iSCSI Disk (naa.6001405f8d087846e7b4f0e9e3acd44b)
   Group State: active
   Array Priority: 0
   Storage Array Type Path Config: {TPG_id=1,TPG_state=AO,RTP_id=1,RTP_health=UP}
   Path Selection Policy Path Config: {current path; rank: 0}

iqn.2005-03.com.ceph:esx1-00023d000002,iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw,t,2-naa.6001405f8d087846e7b4f0e9e3acd44b
   Runtime Name: vmhba64:C1:T0:L0
   Device: naa.6001405f8d087846e7b4f0e9e3acd44b
   Device Display Name: LIO-ORG iSCSI Disk (naa.6001405f8d087846e7b4f0e9e3acd44b)
   Group State: active unoptimized
   Array Priority: 0
   Storage Array Type Path Config: {TPG_id=2,TPG_state=ANO,RTP_id=2,RTP_health=UP}
   Path Selection Policy Path Config: {non-current path; rank: 0}
      Copy to Clipboard Toggle word wrap

      この出力例から、各パスには iSCSI または SCSI 名があり、以下の部分があります。

      Initiator name = iqn.2005-03.com.ceph:esx1 ISID = 00023d000002 Target name = iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw Target port group = 2 Device id = naa.6001405f8d087846e7b4f0e9e3acd44b

      Group State の値が active の場合は、これが iSCSI ゲートウェイへの Active-Optimized パスであることを示します。gwcli コマンドは、iSCSI ゲートウェイ所有者として active を一覧表示します。パスの残りの部分には、unoptimized の Group State の値があり、active パスが dead 状態になる場合にフェイルオーバーパスになります。

  9. 対応する iSCSI ゲートウェイへのすべてのパスに一致するには、以下のコマンドを実行します。

    例

    > esxcli iscsi session connection list
vmhba64,iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw,00023d000001,0
   Adapter: vmhba64
   Target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw
   ISID: 00023d000001
   CID: 0
   DataDigest: NONE
   HeaderDigest: NONE
   IFMarker: false
   IFMarkerInterval: 0
   MaxRecvDataSegmentLength: 131072
   MaxTransmitDataSegmentLength: 262144
   OFMarker: false
   OFMarkerInterval: 0
   ConnectionAddress: 10.172.19.21
   RemoteAddress: 10.172.19.21
   LocalAddress: 10.172.19.11
   SessionCreateTime: 08/16/18 04:20:06
   ConnectionCreateTime: 08/16/18 04:20:06
   ConnectionStartTime: 08/16/18 04:30:45
   State: logged_in

vmhba64,iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw,00023d000002,0
   Adapter: vmhba64
   Target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw
   ISID: 00023d000002
   CID: 0
   DataDigest: NONE
   HeaderDigest: NONE
   IFMarker: false
   IFMarkerInterval: 0
   MaxRecvDataSegmentLength: 131072
   MaxTransmitDataSegmentLength: 262144
   OFMarker: false
   OFMarkerInterval: 0
   ConnectionAddress: 10.172.19.22
   RemoteAddress: 10.172.19.22
   LocalAddress: 10.172.19.12
   SessionCreateTime: 08/16/18 04:20:06
   ConnectionCreateTime: 08/16/18 04:20:06
   ConnectionStartTime: 08/16/18 04:30:41
   State: logged_in
    Copy to Clipboard Toggle word wrap

    パス名を ISID 値と照合し、RemoteAddress 値は独自の iSCSI ゲートウェイの IP アドレスです。

7.6. iSCSI サービスの管理
リンクのコピー

ceph-iscsi パッケージは、設定管理ロジックと rbd-target-gw および rbd-target-api systemd サービスをインストールします。

rbd-target-api サービスは、起動時に Linux iSCSI ターゲットの状態を復元し、gwcli や Red Hat Ceph Storage ダッシュボードなどのツールから ceph-iscsi REST API 呼び出しに応答します。rbd-target-gw サービスは、Prometheus プラグインを使用してメトリクスを提供します。

rbd-target-api サービスは、Linux カーネルのターゲットレイヤーの唯一のユーザーであることを前提としています。rbd-target-api を使用する場合は、targetcli パッケージでインストールされたターゲットサービスを使用しないでください。Ansible は、Ceph iSCSI ゲートウェイインストール時に targetcli ターゲットサービスを自動的に無効にします。

手順

  1. サービスを起動するには、以下を実行します。 

    # systemctl start rbd-target-api
# systemctl start rbd-target-gw
    Copy to Clipboard Toggle word wrap

  2. サービスを再起動するには、以下を実行します。 

    # systemctl restart rbd-target-api
# systemctl restart rbd-target-gw
    Copy to Clipboard Toggle word wrap

  3. サービスを再読み込みするには、以下を実行します。 

    # systemctl reload rbd-target-api
# systemctl reload rbd-target-gw
    Copy to Clipboard Toggle word wrap

    reload 要求は rbd-target-api が設定を再読み取りし、現在の実行環境に適用します。Ansible からすべての iSCSI ゲートウェイノードに変更が並行してデプロイされるため、これは通常は不要です。

  4. サービスを停止するには、以下を実行します。 

    # systemctl stop rbd-target-api
# systemctl stop rbd-target-gw
    Copy to Clipboard Toggle word wrap

    stop リクエストはゲートウェイのポータルインターフェイスを閉じ、クライアントへの接続をドロップし、カーネルから現在の Linux iSCSI ターゲット設定を消去します。これにより、iSCSI ゲートウェイがクリーンな状態に戻ります。クライアントが切断されると、アクティブな I/O はクライアント側マルチパス層によって他の iSCSI ゲートウェイに再スケジュールされます。

7.7. iSCSI ゲートウェイの追加
リンクのコピー

ストレージ管理者は、gwcli コマンドラインツールまたは Red Hat Ceph Storage ダッシュボードを使用して、最初の 2 つの iSCSI ゲートウェイを 4 つの iSCSI ゲートウェイに拡張できます。iSCSI ゲートウェイを追加すると、負荷分散とフェイルオーバーオプションを使用したときに、より多くの冗長性とともに、さらなる柔軟性が確立されます。

7.7.1. 前提条件
リンクのコピー

  • 実行中の Red Hat Ceph Storage 4 クラスター
  • スペアノードまたは既存の OSD ノード
  • root 権限

7.7.2. Ansible を使用した iSCSI ゲートウェイの追加
リンクのコピー

Ansible 自動化ユーティリティーを使用して、iSCSI ゲートウェイを追加できます。この手順では、2 つの iSCSI ゲートウェイのデフォルトインストールを 4 つの iSCSI ゲートウェイに拡張します。スタンドアロンのノードで iSCSI ゲートウェイを設定するか、既存の OSD ノードと共存させることができます。

前提条件

  • Red Hat Enterprise Linux 7.7 以降
  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • iSCSI ゲートウェイソフトウェアのインストール。
  • Ansible 管理ノードでの管理者ユーザーアクセスがある。
  • 新規ノードでの root ユーザーアクセスがあること。

手順

  1. 新しい iSCSI ゲートウェイノードで、Red Hat Ceph Storage Tools リポジトリーを有効にします。

    Red Hat Enterprise Linux 7

    [root@iscsigw ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@iscsigw ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms
    Copy to Clipboard Toggle word wrap

  2. ceph-iscsi-config パッケージをインストールします。 

    [root@iscsigw ~]# yum install ceph-iscsi-config
    Copy to Clipboard Toggle word wrap

  3. ゲートウェイグループの /etc/ansible/hosts ファイルの一覧に追加します。

    例

    [iscsigws]
...
ceph-igw-3
ceph-igw-4
    Copy to Clipboard Toggle word wrap

    注記

    OSD ノードと iSCSI ゲートウェイを共存させる場合は、OSD ノードを [iscsigws] セクションに追加します。

  4. ceph-ansible ディレクトリーに移動します。 

    [admin@ansible ~]$ cd /usr/share/ceph-ansible
    Copy to Clipboard Toggle word wrap

  5. Ansible 管理ノードで、適切な Ansible Playbook を実行します。

    • ベアメタル デプロイメント: 

      [admin@ansible ceph-ansible]$ ansible-playbook site.yml -i hosts
      Copy to Clipboard Toggle word wrap

    • コンテナー デプロイメント: 

      [admin@ansible ceph-ansible]$ ansible-playbook site-container.yml -i hosts
      Copy to Clipboard Toggle word wrap
    重要

    gateway_ip_list オプションに IP アドレスを指定する必要があります。IPv4 アドレスと IPv6 アドレスを混在させることはできません。

  6. iSCSI イニシエーターから再ログインして、新たに追加された iSCSI ゲートウェイを使用します。

関連情報

7.7.3. gwcli を使用した iSCSI ゲートウェイの追加
リンクのコピー

gwcli コマンドラインツールを使用して、iSCSI ゲートウェイを追加できます。この手順では、2 つの iSCSI ゲートウェイのデフォルトを 4 つの iSCSI ゲートウェイに拡張します。

前提条件

  • Red Hat Enterprise Linux 7.7 以降
  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • iSCSI ゲートウェイソフトウェアのインストール。
  • 新規ノードまたは OSD ノードへの root ユーザーアクセスがあること。

手順

  1. Ceph iSCSI ゲートウェイが OSD ノードと同じ場所に配置されていない場合には、/etc/ceph/ ディレクトリーにある Ceph 設定ファイルを、ストレージクラスターにある実行中の Ceph ノードから新しい iSCSI ゲートウェイノードにコピーしてください。Ceph 設定ファイルは、/etc/ceph/ ディレクトリーにある iSCSI ゲートウェイノードに存在している必要があります。
  2. Ceph コマンドラインインターフェイスをインストールおよび設定します。

  3. 新しい iSCSI ゲートウェイノードで、Red Hat Ceph Storage Tools リポジトリーを有効にします。

    Red Hat Enterprise Linux 7

    [root@iscsigw ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@iscsigw ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms
    Copy to Clipboard Toggle word wrap

  4. ceph-iscsi パッケージおよび tcmu-runner パッケージをインストールします。

    Red Hat Enterprise Linux 7

    [root@iscsigw ~]# yum install ceph-iscsi tcmu-runner
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@iscsigw ~]# dnf install ceph-iscsi tcmu-runner
    Copy to Clipboard Toggle word wrap

    1. 必要に応じて、openssl パッケージをインストールします。

      Red Hat Enterprise Linux 7

      [root@iscsigw ~]# yum install openssl
      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 8

      [root@iscsigw ~]# dnf install openssl
      Copy to Clipboard Toggle word wrap

  5. 既存の iSCSI ゲートウェイノードの 1 つで、/etc/ceph/iscsi-gateway.cfg ファイルを編集し、trusted _ip_list オプションを新しい iSCSI ゲートウェイノードの新しい IP アドレスに追加します。以下に例を示します。 

    [config]
...
trusted_ip_list = 10.172.19.21,10.172.19.22,10.172.19.23,10.172.19.24
    Copy to Clipboard Toggle word wrap

  6. 更新された /etc/ceph/iscsi-gateway.cfg ファイルを、すべての iSCSI ゲートウェイノードにコピーします。

    重要

    iscsi-gateway.cfg ファイルは、すべての iSCSI ゲートウェイノードで同一でなければなりません。

  7. 必要に応じて、SSL を使用する場合は、既存の iSCSI ゲートウェイノードの 1 つから ~/ssl-keys/iscsi- gateway.crt、~/ssl-keys/iscsi-gateway.pem、~/ssl-keys/iscsi-gateway-pub.key ファイル、および ~/ssl -keys /iscsi-gateway.key ファイルも SiSCI ゲートウェイノードの /etc/ceph/ ディレクトリーにコピーします。

  8. 新しい iSCSI ゲートウェイノードで API サービスを有効にして起動します。 

    [root@iscsigw ~]# systemctl enable rbd-target-api
[root@iscsigw ~]# systemctl start rbd-target-api
    Copy to Clipboard Toggle word wrap

  9. iSCSI ゲートウェイのコマンドラインインターフェイスを起動します。 

    [root@iscsigw ~]# gwcli
    Copy to Clipboard Toggle word wrap

  10. IPv4 アドレスまたは IPv6 アドレスのいずれかを使用して iSCSI ゲートウェイを作成します。

    構文

    >/iscsi-target create iqn.2003-01.com.redhat.iscsi-gw:_TARGET_NAME_
> goto gateways
> create ISCSI_GW_NAME IP_ADDR_OF_GW
> create ISCSI_GW_NAME IP_ADDR_OF_GW
    Copy to Clipboard Toggle word wrap

    例

    >/iscsi-target create iqn.2003-01.com.redhat.iscsi-gw:ceph-igw
> goto gateways
> create ceph-gw-3 10.172.19.23
> create ceph-gw-4 10.172.19.24
    Copy to Clipboard Toggle word wrap

    重要

    IPv4 アドレスと IPv6 アドレスを混在させることはできません。

  11. iSCSI イニシエーターから再ログインして、新たに追加された iSCSI ゲートウェイを使用します。

関連情報

7.8. イニシエーターが iSCSI ターゲットに接続されていることの確認
リンクのコピー

iSCSI ゲートウェイをインストールし、iSCSI ターゲットとイニシエーターを設定したら、イニシエーターが iSCSI ターゲットに正しく接続されていることを確認します。

前提条件

  • Ceph iSCSI ゲートウェイソフトウェアのインストール。
  • iSCSI ターゲットを設定していました。
  • iSCSI イニシエーターを設定していました。

手順

  1. iSCSI ゲートウェイのコマンドラインインターフェイスを起動します。 

    [root@iscsigw ~]# gwcli
    Copy to Clipboard Toggle word wrap

  2. イニシエーターが iSCSI ターゲットを接続していることを確認します。 

    /> goto hosts
/iscsi-target...csi-igw/hosts> ls
o- hosts .............................. [Hosts: 1: Auth: None]
  o- iqn.1994-05.com.redhat:rh7-client  [LOGGED-IN, Auth: None, Disks: 0(0.00Y)]
    Copy to Clipboard Toggle word wrap

    接続されている場合は、イニシエーターのステータスは LOGGED-IN になります。

  3. LUN が iSCSI ゲートウェイ全体で分散されていることを確認します。 

    /> goto hosts
/iscsi-target...csi-igw/hosts> ls
o- hosts ................................. [Hosts: 2: Auth: None]
  o- iqn.2005-03.com.ceph:esx ............ [Auth: None, Disks: 4(310G)]
  | o- lun 0 ............................. [rbd.disk_1(100G), Owner: ceph-gw-1]
  | o- lun 1 ............................. [rbd.disk_2(10G), Owner: ceph-gw-2]
    Copy to Clipboard Toggle word wrap

    ディスクの作成時に、ディスクには、マッピングされている LUN が最も少ないゲートウェイに基づいて、iSCSI ゲートウェイが Owner として割り当てられます。この数字が分散されると、ゲートウェイはラウンドロビン割り当てに基づいて割り当てられます。現在、LUN のバランスは動的ではなく、ユーザーが選択できません。

    イニシエーターがターゲットにログインし、multipath レイヤーが最適化された状態になると、イニシエーターのオペレーティングシステムの multipath ユーティリティーが ALUA Active-Optimized (AO) 状態であるように、Owner ゲートウェイへのパスを報告します。multipath ユーティリティーは、ALUA Active-non-Optimized (ANO) 状態である他のパスを報告します。

    AO パスが失敗すると、他の iSCSI ゲートウェイの 1 つが使用されます。フェイルオーバーゲートウェイの順序は、イニシエーターの multipath レイヤーによって異なります。通常、この順序は最初に検出したパスに基づきます。

7.9. Ansible を使用した Ceph iSCSI ゲートウェイのアップグレード
リンクのコピー

Red Hat Ceph Storage iSCSI ゲートウェイのアップグレードは、ローリングアップグレード用に設計された Ansible Playbook を使用して実行できます。

前提条件

  • 実行中の Ceph iSCSI ゲートウェイがある。
  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • ストレージクラスター内のすべてのノードへの管理者レベルのアクセス。
注記

アップグレード手順は、管理ユーザーまたは root として実行できます。root として実行するには、ssh が Ansible で使用できるように設定されていることを確認してください。

手順

  1. 正しい iSCSI ゲートウェイノードが Ansible インベントリーファイル (/etc/ansible/hosts) に一覧表示されていることを確認します。

  2. ローリングアップグレード Playbook を実行します。 

    [admin@ansible ceph-ansible]$ ansible-playbook rolling_update.yml
    Copy to Clipboard Toggle word wrap

  3. 適切な Playbook を実行してアップグレードを終了します。

    ベアメタルデプロイメント

    [admin@ansible ceph-ansible]$ ansible-playbook site.yml --limit iscsigws -i hosts
    Copy to Clipboard Toggle word wrap

    コンテナーデプロイメント

    [admin@ansible ceph-ansible]$ ansible-playbook site-container.yml --limit iscsigws -i hosts
    Copy to Clipboard Toggle word wrap

関連情報

7.10. コマンドラインインターフェイスを使用した Ceph iSCSI ゲートウェイのアップグレード
リンクのコピー

Red Hat Ceph Storage iSCSI ゲートウェイは、一度に 1 つのベアメタル iSCSI ゲートウェイノードをアップグレードすることでローリング方式で実行できます。

警告

Ceph OSD のアップグレードおよび再起動中の iSCSI ゲートウェイをアップグレードしないでください。OSD のアップグレードが完了し、ストレージクラスターが active+clean の状態になる まで待ちます。

前提条件

  • 実行中の Ceph iSCSI ゲートウェイがある。
  • 稼働中の Red Hat Ceph Storage クラスターがある。
  • iSCSI ゲートウェイノードへの root アクセスがある。

手順

  1. iSCSI ゲートウェイパッケージを更新します。 

    [root@iscsigw ~]# yum update ceph-iscsi
    Copy to Clipboard Toggle word wrap

  2. iSCSI ゲートウェイデーモンを停止します。 

    [root@iscsigw ~]# systemctl stop rbd-target-api
[root@iscsigw ~]# systemctl stop rbd-target-gw
    Copy to Clipboard Toggle word wrap

  3. iSCSI ゲートウェイデーモンが正常に停止したことを確認します。 

    [root@iscsigw ~]# systemctl status rbd-target-gw
    Copy to Clipboard Toggle word wrap
    1. rbd-target-gw サービスが正常に停止している場合は、手順 4 に進みます。

    2. rbd-target-gw サービスを停止できない場合は、以下の手順を実行します。

      1. targetcli パッケージがインストールされていない場合は、targetcli パッケージをインストールします。 

        [root@iscsigw ~]# yum install targetcli
        Copy to Clipboard Toggle word wrap

      2. 既存のターゲットオブジェクトを確認します。 

        [root@iscsigw ~]# targetcli ls
        Copy to Clipboard Toggle word wrap

        例

        o- / ............................................................. [...]
o- backstores .................................................... [...]
| o- user:rbd ..................................... [Storage Objects: 0]
o- iscsi .................................................. [Targets: 0]
        Copy to Clipboard Toggle word wrap

        backstores および Storage Object が空の場合は、iSCSI ターゲットが正常にシャットダウンされ、ステップ 4 に進むことができ ます。

      3. ターゲットオブジェクトがまだある場合には、以下のコマンドを使用して、すべてのターゲットオブジェクトを強制的に削除します。 

        [root@iscsigw ~]# targetcli clearconfig confirm=True
        Copy to Clipboard Toggle word wrap
        警告

        複数のサービスが iSCSI ターゲットを使用している場合は、インタラクティブモードで targetcli を使用して、これらの特定のオブジェクトを削除します。

  4. tcmu-runner パッケージを更新します。 

    [root@iscsigw ~]# yum update tcmu-runner
    Copy to Clipboard Toggle word wrap

  5. tcmu-runner サービスを停止します。 

    [root@iscsigw ~]# systemctl stop tcmu-runner
    Copy to Clipboard Toggle word wrap

  6. 以下の順序で iSCSI ゲートウェイサービスを再起動します。 

    [root@iscsigw ~]# systemctl start tcmu-runner
[root@iscsigw ~]# systemctl start rbd-target-gw
[root@iscsigw ~]# systemctl start rbd-target-api
    Copy to Clipboard Toggle word wrap

7.11. iSCSI ゲートウェイの監視
リンクのコピー

Red Hat Ceph Storage クラスターでは、組み込みモニタリング機能のために、OSD および MGR 内に汎用メトリクス収集フレームワークが組み込まれるようになりました。メトリクスは Red Hat Ceph Storage クラスター内で生成され、メトリクスを収集するためにクライアントノードにアクセスする必要はありません。RBD イメージのパフォーマンスを監視するため、Ceph には組み込みの MGR Prometheus エクスポーターモジュールがあり、個々の RADOS オブジェクトメトリクスを、1 秒ごとの Input/Output (I/O) 操作、スループット、およびレイテンシーに関する集約された RBD イメージメトリクスに変換します。Ceph iSCSI ゲートウェイも、Linux-IO (LIO) レベルのパフォーマンスメトリックの Prometheus エクスポーターを提供し、Grafana などの監視ツールおよび可視化ツールをサポートします。これらのメトリクスには、定義された Target Portal Group (TPG) およびマッピングされた論理ユニット番号 (LUN)、LUN ごとの状態および 1 秒ごとの入力出力操作数 (IOPS)、クライアントごとの LUN ごとの読み取り/書き込みバイト数に関する情報が含まれます。デフォルトで、Prometheus エクスポーターは有効になっています。iscsi-gateway.cfg で以下のオプションを使用して、デフォルトの設定を変更できます。

例

[config]

prometheus_exporter = True
prometheus_port = 9287
prometheus_host = xx.xx.xx.xxx
Copy to Clipboard Toggle word wrap

注記

エクスポートした Ceph ブロックデバイス (RBD) イメージのパフォーマンスを監視するための Ceph iSCSI ゲートウェイ環境で使用される gwtop ツールは非推奨になりました。

7.12. iSCSI 設定の削除
リンクのコピー

iSCSI 設定を削除するには、gwcli ユーティリティーを使用してホストおよびディスクを削除し、Ansible purge-iscsi-gateways.yml Playbook を使用して iSCSI ターゲット設定を削除します。

警告

purge-iscsi-gateways.yml Playbook の使用を使用することは、iSCSI ゲートウェイ環境に対する破壊的な操作と言えます。

警告

WARNING: RBD イメージにスナップショットまたはクローンがあり、Ceph iSCSI ゲートウェイを介してエクスポートされている場合は、purge-iscsi-gateways.yml の使用を試行します。

前提条件

  • すべての iSCSI イニシエーターを切断します。

    • Red Hat Enterprise Linux イニシエーター:

      構文

      iscsiadm -m node -T TARGET_NAME --logout
      Copy to Clipboard Toggle word wrap

      TARGET_NAME を、設定した iSCSI ターゲット名に置き換えます。以下に例を示します。

      例

      # iscsiadm -m node -T iqn.2003-01.com.redhat.iscsi-gw:ceph-igw --logout
Logging out of session [sid: 1, target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw, portal: 10.172.19.21,3260]
Logging out of session [sid: 2, target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw, portal: 10.172.19.22,3260]
Logout of [sid: 1, target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw, portal: 10.172.19.21,3260] successful.
Logout of [sid: 2, target: iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw, portal: 10.172.19.22,3260] successful.
      Copy to Clipboard Toggle word wrap

    • Windows イニシエーター:

      詳細は、Microsoft のドキュメント を参照してください。

    • VMware ESXi イニシエーター:

      詳細は、VMware のドキュメント を参照してください。

手順

  1. iSCSI ゲートウェイのコマンドラインユーティリティーを実行します。 

    [root@iscsigw ~]# gwcli
    Copy to Clipboard Toggle word wrap

  2. ホストを削除します。

    構文

    /> cd /iscsi-target/iqn.2003-01.com.redhat.iscsi-gw:$TARGET_NAME/hosts
/> /iscsi-target...TARGET_NAME/hosts> delete CLIENT_NAME
    Copy to Clipboard Toggle word wrap

    TARGET_NAME を、設定された iSCSI ターゲット名に置き換え、CLIENT_NAME を iSCSI イニシエーター名に置き換えます。以下に例を示します。

    例

    /> cd /iscsi-target/iqn.2003-01.com.redhat.iscsi-gw:ceph-igw/hosts
/> /iscsi-target...eph-igw/hosts> delete iqn.1994-05.com.redhat:rh7-client
    Copy to Clipboard Toggle word wrap

  3. ディスクを削除します。

    構文

    /> cd /disks/
/disks> delete POOL_NAME.IMAGE_NAME
    Copy to Clipboard Toggle word wrap

    POOL_NAME はプールの名前に、IMAGE_NAME はイメージの名前に置き換えます。

    例

    /> cd /disks/
/disks> delete rbd.disk_1
    Copy to Clipboard Toggle word wrap

  4. コンテナー化 されたデプロイメントの場合には root ユーザーとして、すべての Red Hat Ceph Storage ツールとリポジトリーが iSCSI ゲートウェイノードで有効になっていることを確認します。

    Red Hat Enterprise Linux 7

    [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rpms
[root@admin ~]# subscription-manager repos --enable=rhel-7-server-extras-rpms
[root@admin ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms --enable=rhel-7-server-ansible-2.9-rpms
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
[root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms
[root@admin ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms
    Copy to Clipboard Toggle word wrap

    注記

    ベアメタルデプロイメント の場合は、クライアントインストールで Ceph ツールが有効になります。

  5. 各 iSCSI ゲートウェイノードで、ceph-common パッケージおよび ceph-iscsi パッケージをインストールします。

    Red Hat Enterprise Linux 7

    [root@admin ~]# yum install -y ceph-common
[root@admin ~]# yum install -y ceph-iscsi
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@admin ~]# dnf install -y ceph-common
[root@admin ~]# dnf install -y ceph-iscsi
    Copy to Clipboard Toggle word wrap

  6. yum history list コマンドを実行し、ceph-iscsi インストールのトランザクション ID を取得します。

  7. Ansible ユーザーに切り替えます。

    例

    [root@admin ~]# su ansible
    Copy to Clipboard Toggle word wrap

  8. /usr/share/ceph-ansible ディレクトリーに移動します。

    例

    [ansible@admin ~]# cd /usr/share/ceph-ansible
    Copy to Clipboard Toggle word wrap

  9. ansible ユーザーとして、iSCSI gateway purge Ansible Playbook を実行します。 

    [ansible@admin ceph-ansible]$ ansible-playbook purge-iscsi-gateways.yml
    Copy to Clipboard Toggle word wrap

  10. プロンプトが表示されたら、パージのタイプを入力します。

    lio
    このモードでは、Linux iSCSI ターゲット設定は、定義されたすべての iSCSI ゲートウェイで消去されます。作成されたディスクは、Ceph ストレージクラスター内で変更されないままになります。
    all
    all を選択すると、Linux iSCSI ターゲット設定は、iSCSI ゲートウェイ環境内で定義されたすべての RBD イメージと共に削除され、その他の関連の RBD イメージは削除されません。この操作によりデータが削除されるので、必ず正しいモードを選択してください。

    例

    [ansible@rh7-iscsi-client ceph-ansible]$ ansible-playbook purge-iscsi-gateways.yml
Which configuration elements should be purged? (all, lio or abort) [abort]: all


PLAY [Confirm removal of the iSCSI gateway configuration] *********************


GATHERING FACTS ***************************************************************
ok: [localhost]


TASK: [Exit playbook if user aborted the purge] *******************************
skipping: [localhost]


TASK: [set_fact ] *************************************************************
ok: [localhost]


PLAY [Removing the gateway configuration] *************************************


GATHERING FACTS ***************************************************************
ok: [ceph-igw-1]
ok: [ceph-igw-2]


TASK: [igw_purge | purging the gateway configuration] *************************
changed: [ceph-igw-1]
changed: [ceph-igw-2]


TASK: [igw_purge | deleting configured rbd devices] ***************************
changed: [ceph-igw-1]
changed: [ceph-igw-2]


PLAY RECAP ********************************************************************
ceph-igw-1                 : ok=3    changed=2    unreachable=0    failed=0
ceph-igw-2                 : ok=3    changed=2    unreachable=0    failed=0
localhost                  : ok=2    changed=0    unreachable=0    failed=0
    Copy to Clipboard Toggle word wrap

  11. アクティブなコンテナーが削除されているかどうかを確認します。

    Red Hat Enterprise Linux 7

    [root@admin ~]# docker ps
    Copy to Clipboard Toggle word wrap

    Red Hat Enterprise Linux 8

    [root@admin ~]# podman ps
    Copy to Clipboard Toggle word wrap

    Ceph iSCSI コンテナー ID が削除されます。

  12. 必要に応じて、ceph-iscsi パッケージを削除します。

    構文

    yum history undo TRANSACTION_ID
    Copy to Clipboard Toggle word wrap

    例

    [root@admin ~]# yum history undo 4
    Copy to Clipboard Toggle word wrap

    警告

    ceph-common パッケージを削除しないでください。削除すると、/etc/ceph の内容が削除され、そのノードのデーモンが起動できなくなります。

7.13. 関連情報
リンクのコピー

  • Red Hat Ceph Storage ダッシュボードを使用した iSCSI ゲートウェイの管理に関する詳細は、Red Hat Ceph Storage 4 の ダッシュボードガイドの iSCSI 機能 のセクションを参照してください。

付録A Ceph ブロックデバイス設定の参照
リンクのコピー

ストレージ管理者は、利用可能なさまざまなオプションで、Ceph ブロックデバイスの動作を微調整できます。この参照を使用して、デフォルトの Ceph ブロックデバイスオプションや Ceph ブロックデバイスキャッシュオプションなどを表示できます。

A.1. 前提条件
リンクのコピー

  • 稼働中の Red Hat Ceph Storage クラスターがある。

A.2. ブロックデバイスのデフォルトオプション
リンクのコピー

イメージを作成するデフォルト設定を上書きできます。Ceph は、2 のフォーマットでイメージを作成し、ストライピングを行わずにイメージを作成します。

rbd_default_format
詳細
その他の形式が指定されていない場合のデフォルト形式 (2)。フォーマット 1 は、librbd および カーネルモジュールの全バージョンと互換性がある新しいイメージの元の形式ですが、クローンなどの新しい機能をサポートしません。2 形式は、librbd およびカーネルモジュールバージョン 3.11 以降でサポートされます (ストライピングを除く)。フォーマット 2 により、クローン作成のサポートが追加され、今後より簡単に機能性を持たせることができます。
型
整数
デフォルト
2
rbd_default_order
詳細
他の順序が指定されていない場合のデフォルトの順番です。
型
整数
デフォルト
22
rbd_default_stripe_count
詳細
他のストライプ数が指定されていない場合、デフォルトのストライプ数。デフォルト値を変更するには、v2 機能の削除が必要です。
型
64 ビット未署名の整数
デフォルト
0
rbd_default_stripe_unit
詳細
他のストライプユニットが指定されていない場合は、デフォルトのストライプユニットです。単位を 0 (オブジェクトサイズ) から変更するには、v2 ストライピング機能が必要です。
型
64 ビット未署名の整数
デフォルト
0
rbd_default_features
詳細

ブロックデバイスイメージの作成時にデフォルトの機能が有効になります。この設定は、2 つのイメージのみに適用されます。設定は以下のとおりです。

1: レイヤーサポート。レイヤー化により、クローンを使用できます。

2: v2 サポートのストライピング。ストライピングは、データを複数のオブジェクト全体に分散します。ストライピングは、連続の読み取り/書き込みワークロードの並行処理に役立ちます。

4: 排他的ロックのサポート。有効にすると、書き込みを行う前にクライアントがオブジェクトのロックを取得する必要があります。

8: オブジェクトマップのサポート。ブロックデバイスはシンプロビジョニングされており、実際に存在するデータのみを保存します。オブジェクトマップのサポートは、実際に存在するオブジェクト (ドライブに格納されているデータ) を追跡するのに役立ちます。オブジェクトマップを有効にすると、クローン作成用の I/O 操作が高速化され、スパースに設定されたイメージのインポートおよびエクスポートが実行されます。

16: fast-diff サポート。fast-diff サポートは、オブジェクトマップのサポートと排他的ロックのサポートに依存します。別の属性をオブジェクトマップに追加して、イメージのスナップショット間の差異の生成と、スナップショットの実際のデータ使用量がはるかに速くなります。

32: deep-flatten サポート。deep-flatten を使用すると、イメージ自体に加えて、rbd flatten がイメージのすべてのスナップショットで機能します。これを使用しないと、イメージのスナップショットは親に依存するため、スナップショットが削除されるまで親は削除できません。deep-flatten は、スナップショットがある場合でも、クローンから親を切り離します。

64: ジャーナリングサポート。ジャーナリングは、イメージの実行順にイメージへの変更をすべて記録します。これにより、リモートイメージのクラッシュ調整ミラーがローカルで使用できるようになります。

有効な機能は、数値設定の合計です。

型
整数
デフォルト

61: レイヤー化、exclusive-lock、object-map、fast-diff、および deep-flatten が有効にされます。

重要

現在のデフォルト設定は RBD カーネルドライバーや古い RBD クライアントと互換性がありません。

rbd_default_map_options
詳細
ほとんどのオプションは、主にデバッグおよびベンチマークに役立ちます。詳細は、Map Options の man rbd を参照してください。
型
文字列
デフォルト
""

A.3. ブロックデバイスの一般オプション
リンクのコピー

rbd_op_threads
詳細
ブロックデバイス操作スレッドの数。
型
整数
デフォルト
1
警告

rbd_op_threads のデフォルト値を変更しないでください。これは、1 を超える値に設定するとデータが破損する可能性があるためです。

rbd_op_thread_timeout
詳細
ブロックデバイス操作スレッドのタイムアウト (秒単位)。
型
整数
デフォルト
60
rbd_non_blocking_aio
詳細
true の場合、Ceph はブロックを防ぐためにワーカースレッドからブロックデバイスの非同期 I/O 操作を処理します。
型
ブール値
デフォルト
true
rbd_concurrent_management_ops
詳細
フライトでの同時管理操作の最大数 (イメージの削除またはサイズ変更など)。
型
整数
デフォルト
10
rbd_request_timed_out_seconds
詳細
メンテナンス要求がタイムアウトするまでの秒数。
型
整数
デフォルト
30
rbd_clone_copy_on_read
詳細
true に設定すると、コピーオン読み取りのクローン作成が有効になります。
型
ブール値
デフォルト
false
rbd_enable_alloc_hint
詳細
true の場合、割り当てヒントは有効にされ、ブロックデバイスは OSD バックエンドにヒントを発行し、予想されるサイズオブジェクトを示します。
型
ブール値
デフォルト
true
rbd_skip_partial_discard
詳細
true の場合、オブジェクト内で範囲を破棄しようとすると、ブロックデバイスは範囲のゼロを省略します。
型
ブール値
デフォルト
false
rbd_tracing
詳細
Linux Trace Toolkit Next Generation User Space Tracer (LTTng-UST) トレースポイントを有効にするには、このオプションを true に設定します。詳細は、RBD Replay 機能を使用した RADOS Block Device (RBD) ワークロードのトレース を参照してください。
型
ブール値
デフォルト
false
rbd_validate_pool
詳細
RBD の互換性について空のプールを検証するには、このオプションを true に設定します。
型
ブール値
デフォルト
true
rbd_validate_names
詳細
イメージの仕様を検証するには、このオプションを true に設定します。
型
ブール値
デフォルト
true

A.4. ブロックデバイスキャッシュオプション
リンクのコピー

Ceph ブロックデバイスのユーザー空間実装 (librbd) は Linux ページキャッシュを利用できないため、RBD キャッシュ と呼ばれる独自のインメモリーキャッシュが含まれます。Ceph ブロックデバイスのキャッシュは、適切なハードディスクキャッシングと同様に動作します。オペレーティングシステムがバリアまたはフラッシュ要求を送信すると、ダーティーデータはすべて Ceph OSD に書き込まれます。つまり、フラッシュを適切に送信する仮想マシン (Linux カーネルバージョン 2.6.32 以上) とともに、ライトバックキャッシュを使用すると安全ではありません。キャッシュは Least Recently Used (LRU) アルゴリズムを使用し、ライトバックモードでは、スループット向上のために連続したリクエストを結合できます。

Ceph ブロックデバイスは、ライトバックキャッシュに対応します。ライトバックキャッシュを有効にするには、rbd_cache = true を Ceph 設定ファイルの [client] セクションに追加します。デフォルトでは、librbd はキャッシュを実行しません。書き込みおよび読み取りはストレージクラスターに直接移動し、データがすべてのレプリカのディスクにある場合にのみ書き込みに戻ります。キャッシュを有効にすると、rbd_cache_max_dirty の非フラッシュバイト数を超えない限り、書き込みは即座に返します。この場合、書き込みによって、十分なバイト数がフラッシュされるまでライトバックおよびブロックがトリガーされます。

Ceph ブロックデバイスはライトスルーキャッシュに対応します。キャッシュのサイズを設定し、ターゲットと制限を設定して、ライトバックキャッシュから write-through キャッシュに切り替えることができます。write-through モードを有効にするには、rbd_cache_max_dirty を 0 に設定します。つまり、書き込みは、データがすべてのレプリカのディスクにある場合にのみ返されますが、読み取りはキャッシュから送られる可能性があります。このキャッシュはクライアントのメモリーにあり、各 Ceph ブロックデバイスイメージ自体があります。キャッシュはクライアントのローカルなので、イメージにアクセスする他の条件がある場合は、一貫性がありません。Ceph ブロックデバイスの上に他のファイルシステムまたは OCFS を実行すると、キャッシュが有効ではありません。

Ceph ブロックデバイスの Ceph 設定設定は、Ceph 設定ファイルの [client] セクションで、デフォルトでは /etc/ceph/ceph.conf で設定する必要があります。

設定には以下が含まれます。

rbd_cache
詳細
RADOS Block Device (RBD) のキャッシュを有効にします。
型
ブール値
必須
いいえ
デフォルト
true
rbd_cache_size
詳細
RBD キャッシュサイズ (バイト単位)。
型
64 ビット整数
必須
いいえ
デフォルト
32 MiB
rbd_cache_max_dirty
詳細
キャッシュがライトバックをトリガーする ダーティー 制限 (バイト単位)。0 の場合、ライトスルー (ライトスルー) キャッシュを使用します。
型
64 ビット整数
必須
いいえ
制約
rbd cache size より小さくなければなりません。
デフォルト
24 MiB
rbd_cache_target_dirty
詳細
キャッシュがデータストレージにデータを書き込む前に dirty target。キャッシュへの書き込みをブロックしません。
型
64 ビット整数
必須
いいえ
制約
rbd cache max dirty 未満である必要があります。
デフォルト
16 MiB
rbd_cache_max_dirty_age
詳細
ライトバックの開始前にダーティーデータがキャッシュ内にある秒数。
型
浮動小数点 (Float)
必須
いいえ
デフォルト
1.0
rbd_cache_max_dirty_object
詳細
オブジェクトのダーティー制限: rbd_cache_size からの自動計算の場合は 0 に設定します。
型
整数
デフォルト
0
rbd_cache_block_writes_upfront
詳細
true の場合、aio_write 呼び出しが完了するまでキャッシュへの書き込みをブロックします。false の場合、aio_completion が呼び出される前にブロックされます。
型
ブール値
デフォルト
false
rbd_cache_writethrough_until_flush
詳細
write-through モードで起動し、最初のフラッシュ要求が受信後に write-back に切り替えます。この有効化は Conservative ですが、rbd で実行している仮想マシンが、2.6.32 以前の Linux における virtio ドライバーと同様にフラッシュを送信することが古い場合は安全な設定です。
型
ブール値
必須
いいえ
デフォルト
true

A.5. ブロックデバイスの親および子読み取りのオプション
リンクのコピー

rbd_balance_snap_reads
詳細
Ceph は通常、プライマリー OSD からオブジェクトを読み取ります。読み取りは不変であるため、この機能を使用すると、プライマリー OSD とレプリカとの間で snap の読み取りのバランスを取ることができます。
型
ブール値
デフォルト
false
rbd_localize_snap_reads
詳細
rbd_balance_snap_reads は、スナップショットを読み取るためにレプリカをランダム化します。rbd_localize_snap_reads を有効にすると、ブロックデバイスは CRUSH マップを検索し、スナップショットを読み取るため最も近い OSD またはローカル OSD を検索します。
型
ブール値
デフォルト
false
rbd_balance_parent_reads
詳細
Ceph は通常、プライマリー OSD からオブジェクトを読み取ります。読み取りは不変であるため、この機能を使用すると、プライマリー OSD とレプリカとの間で親読み取りのバランスを取ることができます。
型
ブール値
デフォルト
false
rbd_localize_parent_reads
詳細
rbd_balance_parent_reads は親を読み取るためにレプリカをランダム化します。rbd_localize_parent_reads を有効にすると、ブロックデバイスは CRUSH マップを検索し、親を読み取るために最も近い OSD またはローカル OSD を検索します。
型
ブール値
デフォルト
true

A.6. ブロックデバイスの読み取りオプション
リンクのコピー

RBD は、小規模な連続読み取りを最適化するために read-ahead/prefetching をサポートします。これは通常、仮想マシンではゲスト OS で処理する必要がありますが、ブートローダーは効率的な読み取りでは機能しない場合があります。キャッシュが無効になっている場合、先読み (read-ahead) は自動的に無効になります。

rbd_readahead_trigger_requests
詳細
read-ahead をトリガーするために必要な順次読み取り要求の数。
型
整数
必須
いいえ
デフォルト
10
rbd_readahead_max_bytes
詳細
read-ahead リクエストの最大サイズ。ゼロの場合は、read-ahead が無効になります。
型
64 ビット整数
必須
いいえ
デフォルト
512 KiB
rbd_readahead_disable_after_bytes
詳細
この多数のバイトが RBD イメージから読み取られると、閉じられるまでそのイメージの読み取りは無効にされます。これにより、ゲスト OS が起動したら、事前に読み取れることができます。ゼロの場合は、読み取り先は有効のままになります。
型
64 ビット整数
必須
いいえ
デフォルト
50 MiB

A.7. ブロックデバイスのブラックリストオプション
リンクのコピー

rbd_blacklist_on_break_lock
詳細
ロックが破損しているクライアントをブラックリストに登録するかどうか。
型
ブール値
デフォルト
true
rbd_blacklist_expire_seconds
詳細
ブラックリストする秒数 (OSD のデフォルトの場合は 0 に設定)。
型
整数
デフォルト
0

A.8. ブロックデバイスジャーナルオプション
リンクのコピー

rbd_journal_order
詳細
ジャーナルオブジェクトの最大サイズを計算するための移動ビット数。この値は、12 から 64 までになります。
型
32 ビット未署名の整数
デフォルト
24
rbd_journal_splay_width
詳細
アクティブなジャーナルオブジェクトの数。
型
32 ビット未署名の整数
デフォルト
4
rbd_journal_commit_age
詳細
コミットの間隔 (秒単位)。
型
倍精度浮動小数点数型
デフォルト
5
rbd_journal_object_flush_interval
詳細
ジャーナルオブジェクトごとの保留中のコミットの最大数。
型
整数
デフォルト
0
rbd_journal_object_flush_bytes
詳細
ジャーナルオブジェクトあたりの保留中の最大バイト数。
型
整数
デフォルト
0
rbd_journal_object_flush_age
詳細
保留中のコミットの最大間隔 (秒単位)。
型
倍精度浮動小数点数型
デフォルト
0
rbd_journal_pool
詳細
ジャーナルオブジェクトのプールを指定します。
型
文字列
デフォルト
""

A.9. ブロックデバイス設定の上書きオプション
リンクのコピー

ブロックデバイス設定オプションは、グローバルおよびプールレベルのオプションを上書きします。ブロックデバイス設定の QoS 設定は、librbd でのみ機能し、krbd では動作しません。

グローバルレベル

利用可能なキー

rbd_qos_bps_burst
詳細
希望する IO バイトのバースト制限。
型
整数
デフォルト
0
rbd_qos_bps_limit
詳細
1 秒あたりの IO バイトの必要な制限。
型
整数
デフォルト
0
rbd_qos_iops_burst
詳細
IO 操作の必要なバースト制限。
型
整数
デフォルト
0
rbd_qos_iops_limit
詳細
1 秒あたりの IO 操作の必要な上限。
型
整数
デフォルト
0
rbd_qos_read_bps_burst
詳細
読み取りバイトの必要なバースト制限。
型
整数
デフォルト
0
rbd_qos_read_bps_limit
詳細
1 秒あたりの読み取りバイトの必要な制限。
型
整数
デフォルト
0
rbd_qos_read_iops_burst
詳細
読み取り操作の必要なバースト制限。
型
整数
デフォルト
0
rbd_qos_read_iops_limit
詳細
1 秒あたりの読み取り操作の必要な制限。
型
整数
デフォルト
0
rbd_qos_write_bps_burst
詳細
書き込みバイトの必要なバースト制限。
型
整数
デフォルト
0
rbd_qos_write_bps_limit
詳細
1 秒あたりの書き込みバイト数の必要な制限。
型
整数
デフォルト
0
rbd_qos_write_iops_burst
詳細
書き込み操作の必要なバースト制限。
型
整数
デフォルト
0
rbd_qos_write_iops_limit
詳細
1 秒あたりの書き込み操作のバースト制限を指定します。
型
整数
デフォルト
0

上記のキーは以下に使用できます。

rbd config global set CONFIG_ENTITY KEY VALUE
詳細
グローバルレベルの設定の上書きを設定します。
rbd config global get CONFIG_ENTITY KEY
詳細
グローバルレベルの設定の上書きを取得します。
rbd config global list CONFIG_ENTITY
詳細
グローバルレベルの設定の上書きを一覧表示します。
rbd config global remove CONFIG_ENTITY KEY
詳細
グローバルレベルの設定の上書きを削除します。

プールレベル

rbd config pool set POOL_NAME KEY VALUE
詳細
プールレベルの設定の上書きを設定します。
rbd config pool get POOL_NAME KEY
詳細
プールレベルの設定の上書きを取得します。
rbd 設定プール一覧 POOL_NAME
詳細
プールレベルの設定のオーバーライドを一覧表示します。
rbd config pool remove POOL_NAME KEY
詳細
プールレベルの設定の上書きを削除します。
注記

CONFIG_ENTITY はグローバル、クライアント ID、またはクライアント ID です。KEY は設定キーです。VALUE は設定値です。POOL_NAME はプールの名前です。

付録B iSCSI ゲートウェイ変数
リンクのコピー

iSCSI ゲートウェイの一般変数

seed_monitor
目的
それぞれの iSCSI ゲートウェイは、RADOS および RBD 呼び出し用に Ceph Storage クラスターにアクセスする必要があります。これは、iSCSI ゲートウェイに適切な /etc/ceph/ ディレクトリーが定義されている必要があることを意味します。seed_monitor ホストは、iSCSI ゲートウェイの /etc/ceph/ ディレクトリーにデータを投入するために使用されます。
gateway_keyring
目的
カスタムキーリング名を定義します。
perform_system_checks
目的
これは、各 iSCSI ゲートウェイのマルチパスおよび LVM 設定を確認するブール値です。multipathd デーモンと LVM が適切に設定されていることを確認するには、少なくとも最初の実行に true に設定する必要があります。

iSCSI ゲートウェイ RBD-TARGET-API 変数

api_user
目的
API のユーザー名。デフォルトは admin です。
api_password
目的
API を使用するためのパスワード。デフォルトは admin です。
api_port
目的
API を使用する TCP ポート番号。デフォルトは 5000 です。
api_secure
目的
値は true または false です。デフォルトは false です。
loop_delay
目的
iSCSI 管理オブジェクトをポーリングする時のスリープの間隔を秒単位で制御します。デフォルト値は 1 です。
trusted_ip_list
目的
API にアクセスできる IPv4 アドレスまたは IPv6 アドレスの一覧。デフォルトでは、iSCSI ゲートウェイノードだけがアクセスできます。

付録C iscsigws.yml ファイルのサンプル
リンクのコピー

# Variables here are applicable to all host groups NOT roles

# This sample file generated by generate_group_vars_sample.sh

# Dummy variable to avoid error because ansible does not recognize the
# file as a good configuration file when no variable in it.
dummy:

# You can override vars by using host or group vars

###########
# GENERAL #
###########
# Whether or not to generate secure certificate to iSCSI gateway nodes
#generate_crt: False

#iscsi_conf_overrides: {}
#iscsi_pool_name: rbd
#iscsi_pool_size: "{{ osd_pool_default_size }}"

#copy_admin_key: True

##################
# RBD-TARGET-API #
##################
# Optional settings related to the CLI/API service
#api_user: admin
#api_password: admin
#api_port: 5000
#api_secure: false
#loop_delay: 1
#trusted_ip_list: 192.168.122.1


##########
# DOCKER #
##########

# Resource limitation
# For the whole list of limits you can apply see: docs.docker.com/engine/admin/resource_constraints
# Default values are based from: https://access.redhat.com/documentation/ja-jp/red_hat_ceph_storage/2/html/red_hat_ceph_storage_hardware_guide/minimum_recommendations
# These options can be passed using the 'ceph_mds_docker_extra_env' variable.

# TCMU_RUNNER resource limitation
#ceph_tcmu_runner_docker_memory_limit: "{{ ansible_memtotal_mb }}m"
#ceph_tcmu_runner_docker_cpu_limit: 1

# RBD_TARGET_GW resource limitation
#ceph_rbd_target_gw_docker_memory_limit: "{{ ansible_memtotal_mb }}m"
#ceph_rbd_target_gw_docker_cpu_limit: 1

# RBD_TARGET_API resource limitation
#ceph_rbd_target_api_docker_memory_limit: "{{ ansible_memtotal_mb }}m"
#ceph_rbd_target_api_docker_cpu_limit: 1
Copy to Clipboard Toggle word wrap

法律上の通知
リンクのコピー

Copyright © 2023 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.
トップに戻る
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2025 Red Hat