Ubuntu インストールガイド

1. Red Hat カスタマーポータルにログインします。
2. Downloads をクリックして、Software & Download センターに移動します。
3. Red Hat Ceph Storage エリアで Download Software をクリックして、最新バージョンのソフトウェアをダウンロードします。

1. すべての Monitor ノードで、パブリックネットワークの 6789 ポートを開く。

   iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 6789 -j ACCEPT

   置き換え

   • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
   • IP_address には、Monitor ノードのネットワークアドレスを指定します。
   • クラスレスドメイン間ルーティング (CIDR) 表記のネットマスクを使用した netmask_prefix。

   例

   $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.11/24 --dport 6789 -j ACCEPT

2. すべての OSD ノードで、パブリックネットワークでポート 6800-7300 を開きます。

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   置き換え

   • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
   • OSD ノードのネットワークアドレスを含む IP_address。
   • netmask_prefix には、CIDR 表記のネットマスクを指定します。

   例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

3. すべての Ceph Manager (ceph-mgr) ノード (通常はMonitorのノードと同じ) で、パブリックネットワークの 6800～7300 番ポートを開きます。

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   置き換え

   • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
   • OSD ノードのネットワークアドレスを含む IP_address。
   • netmask_prefix には、CIDR 表記のネットマスクを指定します。

   例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

4. すべての Ceph Metadata Server (ceph-mds) ノードにおいて、パブリックネットワークでポート 6800 を開きます。

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800 -j ACCEPT

   置き換え

   • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
   • OSD ノードのネットワークアドレスを含む IP_address。
   • netmask_prefix には、CIDR 表記のネットマスクを指定します。

   例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800 -j ACCEPT

5. すべての Ceph Object Gateway ノードで、パブリックネットワーク上の関連するポートを開きます。

   1. デフォルトの Ansible が設定されたポート 8080 を開くには、以下のコマンドを実行します。

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 8080 -j ACCEPT

      置き換え

      • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 8080 -j ACCEPT

   2. 任意。Ansible を使用して Ceph Object Gateway をインストールし、使用する Ceph Object Gateway を Ansible が構成するデフォルトのポートを 8080 からポート 80 に変更した場合は、次のポートを開きます。

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 80 -j ACCEPT

      置き換え

      • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 80 -j ACCEPT

   3. 任意。SSL/TLS を使用するには、443 ポートを開きます。

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 443 -j ACCEPT

      置き換え

      • パブリックネットワーク上のネットワークインターフェースカードの名前を持つ iface。
      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 443 -j ACCEPT

6. ストレージクラスター内のすべての RHCS ノードで変更を永続的にします。

   1. iptables-persistent パッケージをインストールします。

      $ sudo apt-get install iptables-persistent

   2. 表示されるターミナル UI で、yes を選択して、現在の IPv4 iptables ルールを /etc/iptables/rules.v4 ファイルに保存し、現在の IPv6 iptables ルールを /etc/iptables/rules.v6 ファイルに保存します。

      注記

      iptables-persistent のインストール後に新しい iptables ルールを追加する場合は、新しいルールを rules ファイルに追加します。

      $ sudo iptables-save >> /etc/iptables/rules.v4

手順

1. Ceph ノードに root ユーザとしてログインします。

   ssh root@$HOST_NAME

   置き換え

   • Ceph ノードのホスト名で $HOST_NAME。

   例

   # ssh root@mon01

   プロンプトに従い root パスワードを入力します。

2. 新しい Ansible ユーザーを作成します。

   adduser $USER_NAME

   置き換え

   • $USER_NAME には、Ansible ユーザーの新しいユーザー名を指定します。

   例

   $ sudo adduser admin

   プロンプトが表示されたら、このユーザーのパスワードを 2 回入力します。

   重要

   ceph をユーザー名として使用しないでください。ceph ユーザー名は、Ceph デーモン用に予約されます。クラスター全体で統一されたユーザー名を使用すると、使いやすさが向上しますが、侵入者は通常、そのユーザー名をブルートフォース攻撃に使用するため、明白なユーザー名の使用は避けてください。

3. 新規に作成されたユーザーの sudo アクセスを設定します。

   cat << EOF >/etc/sudoers.d/$USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   置き換え

   • $USER_NAME には、Ansible ユーザーの新しいユーザー名を指定します。

   例

   $ sudo cat << EOF >/etc/sudoers.d/admin
   admin ALL = (root) NOPASSWD:ALL
   EOF

4. 正しいファイル権限を新しいファイルに割り当てます。

   chmod 0440 /etc/sudoers.d/$USER_NAME

   置き換え

   • $USER_NAME には、Ansible ユーザーの新しいユーザー名を指定します。

   例

   $ sudo chmod 0440 /etc/sudoers.d/admin

1. SSH キーペアを生成し、デフォルトのファイル名を受け入れ、パスフレーズを空のままにします。

   [user@admin ~]$ ssh-keygen

2. 公開鍵をストレージクラスター内のすべてのノードにコピーします。

   ssh-copy-id $USER_NAME@$HOST_NAME

   置き換え

   • $USER_NAME には、Ansible ユーザーの新しいユーザー名を指定します。
   • Ceph ノードのホスト名で $HOST_NAME。

   例

   [user@admin ~]$ ssh-copy-id admin@ceph-mon01

3. ~/.ssh/config ファイルを作成および編集します。

   重要

   ~/.ssh/config ファイルを作成および編集することで、ansible-playbook コマンドを実行するたびに -u $USER_NAME オプションを指定する必要はありません。

   1. SSH config ファイルを作成します。

      [user@admin ~]$ touch ~/.ssh/config

   2. 編集のために config ファイルを開きます。ストレージクラスターの各ノードの Hostname と User オプションを設定します。

      Host node1
         Hostname $HOST_NAME
         User $USER_NAME
      Host node2
         Hostname $HOST_NAME
         User $USER_NAME
      ...

      置き換え

      • Ceph ノードのホスト名で $HOST_NAME。
      • $USER_NAME には、Ansible ユーザーの新しいユーザー名を指定します。

      例

      Host node1
         Hostname monitor
         User admin
      Host node2
         Hostname osd
         User admin
      Host node3
         Hostname gateway
         User admin

4. ~/.ssh/config ファイルに正しいファイルパーミッションを設定します。

   [admin@admin ~]$ chmod 600 ~/.ssh/config

1. Ansibleのユーザーとして、ceph-ansible Playbook で生成された一時的な値をAnsibleが保存するceph-ansible-keys ディレクトリーを作成します。

   [user@admin ~]$ mkdir ~/ceph-ansible-keys

2. root として、/etc/ansible/ ディレクトリーに /usr/share/ceph-ansible/group_vars ディレクトリーへのシンボリックリンクを作成します。

   [root@admin ~]# ln -s /usr/share/ceph-ansible/group_vars /etc/ansible/group_vars

3. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]$ cd /usr/share/ceph-ansible

4. yml.sample ファイルのコピーを新たに作成します。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp site.yml.sample site.yml

5. コピーしたファイルを編集します。

   1. group_vars/all.yml ファイルを編集します。アンコメントする最も一般的な必須およびオプションのパラメータについては、以下の表を参照してください。なお、この表にはすべてのパラメータが含まれているわけではありません。

      重要

      カスタムクラスター名の使用はサポートされていないため、cluster: ceph パラメータに ceph 以外の値を設定しないでください。

      表3.1 Ansible の一般的な設定

      オプション	値	必須	備考
      ceph_origin	repository または distro または local	はい	repository 値は、新しいリポジトリーで Ceph をインストールすることを意味します。distro の値は、個別のリポジトリーファイルが追加されず、Linux ディストリビューションに含まれる Ceph のバージョンをすべて取得することを意味します。local の値は、Ceph バイナリーがローカルマシンからコピーされることを意味します。
      ceph_repository_type	cdn または iso	はい
      ceph_rhcs_iso_path	ISO イメージへのパス	ISO イメージを使用する場合は Yes
      ceph_rhcs_cdn_debian_repo	オンラインの Ubuntu Ceph リポジトリーにアクセスするための認証情報です。例: https://username:password@rhcs.download.redhat.com	はい
      ceph_rhcs_cdn_debian_repo_version	新規インストールには /3-release/ を使用します。更新には /3-updates/ を使用します。	はい
      monitor_interface	Monitor ノードがリッスンするインターフェース	MONITOR_INTERFACE、MONITOR_ADDRESS、または MONITOR_ADDRESS_BLOCK が必要です。
      monitor_address	Monitor ノードがリッスンするアドレス
      monitor_address_block	Ceph のパブリックネットワークのサブネット		ノードの IP アドレスは不明だが、サブネットはわかっている場合に使用します
      ip_version	ipv6	IPv6 アドレスを使用している場合は Yes
      public_network	IPv6 を使用する場合には、Ceph パブリックネットワークの IP アドレスとネットマスク、または対応する IPv6 アドレス	はい	「Red Hat Ceph Storage のネットワーク構成の確認」
      cluster_network	Ceph クラスターネットワークの IP アドレスとネットマスク	いいえ、デフォルトは public_network です

      all.yml ファイルの例は次のようになります。

      ceph_origin: distro
      ceph_repository: rhcs
      ceph_repository_type: cdn
      ceph_rhcs_version: 3
      monitor_interface: eth0
      public_network: 192.168.0.0/24

      注記

      必ず all.yml ファイルで ceph_origin を distro に設定してください。これにより、インストールプロセスで正しいダウンロードリポジトリが使用されるようになります。

      注記

      ceph_rhcs_version オプションを 3 に設定すると、最新バージョンの Red Hat Ceph Storage 3 がプルされます。

      詳細は、all.yml ファイルを参照してください。

   2. group_vars/osds.yml ファイルを編集します。アンコメントする最も一般的な必須およびオプションのパラメータについては、以下の表を参照してください。なお、この表にはすべてのパラメータが含まれているわけではありません。

      重要

      OSD のインストールには、OSD がインストールされている機器とは異なる物理的な機器を使用してください。オペレーティングシステムと OSD 間で同じデバイスを共有すると、パフォーマンスの問題が発生することになります。

      表3.2 OSD Ansible 設定

      オプション	値	必須	備考
      osd_scenario	collocated。ログ先行書き込みとキー/値データ (Blue Store) またはジャーナル (File Store) と OSD データに同じデバイスを使用 non-collocated。SSD や NVMe メディアなどの専用デバイスを使用して先行書き込みログとキー/値データ (Blue Store) またはジャーナルデータ(File Store)を保存するため lvm: OSDデータの保存に論理ボリュームマネージャを使用する場合	はい	osd_scenario:non-collocated、ceph-ansible を使用する場合、devices と dedicated_devices の変数の数が一致することを期待します。たとえば、devices で 10 個のディスクを指定する場合は、dedicated_devices で 10 個のエントリーを指定する必要があります。
      osd_auto_discovery	OSD を自動的に検出する場合は true	osd_scenario: collocated を使用している場合は Yes	devices 設定を使用している場合は使用できません。
      devices	ceph data が保存されているデバイスのリスト	デバイスのリストを指定する場合は Yes	osd_auto_discovery 設定を使用する場合は使用できません。osd_scenario として lvm を使用し、devices オプションを設定する場合、ceph-volume lvm batch モードは最適化された OSD 構成を作成します。
      dedicated_devices	ceph journal が保存されている非コロケーション OSD 専用デバイスのリスト	osd_scenario: non-collocated 場合は Yes	非分割型のデバイスであること
      dmcrypt	OSD を暗号化する場合は true	いいえ	デフォルトは false
      lvm_volumes	File Store または Blue Store 辞書のリスト	osd_scenario: lvm使用している場合、ストレージ デバイスが devices を使用して定義されている場合は Yes	各ディクショナリーには、data キー、journal キー、および data_vg キーが含まれている必要があります。論理ボリュームまたはボリュームグループはすべて、完全パスではなく、名前にする必要があります。data キーおよび journal キーは論理ボリューム (LV) またはパーティションにすることができますが、複数の data 論理ボリュームに 1 つのジャーナルを使用しないでください。data_vg キーは、data 論理ボリューム含むボリュームグループである必要があります。必要に応じて、journal_vg キーを使用して、ジャーナル LV を含むボリュームグループを指定できます (該当する場合)。サポートされているさまざまな構成については、以下の例を参照してください。
      osds_per_device	デバイスごとに作成する OSD 数。	いいえ	デフォルトは 1 です
      osd_objectstore	OSD の Ceph オブジェクトストアタイプ。	いいえ	デフォルトは bluestore です。もう一つの選択肢は、filestoreです。アップグレードに必要です。

      以下は、collocated、non-collocated、lvm の 3つの OSD シナリオを使用した場合の osds.yml ファイルの例です。指定されていない場合、デフォルトの OSD オブジェクトストアフォーマットは BlueStore です。

      Collocated

      osd_objectstore: filestore
      osd_scenario: collocated
      devices:
        - /dev/sda
        - /dev/sdb

      コロケートされていない - BlueStore

      osd_objectstore: bluestore
      osd_scenario: non-collocated
      devices:
       - /dev/sda
       - /dev/sdb
       - /dev/sdc
       - /dev/sdd
      dedicated_devices:
       - /dev/nvme0n1
       - /dev/nvme0n1
       - /dev/nvme1n1
       - /dev/nvme1n1

      コロケートされていない例では、デバイスごとに 1 つずつ、4 つの Blue Store OSD が作成されます。この例では、従来のハードドライブ (sda、sdb、sdc、sdd) がオブジェクトデータに使用され、ソリッドステートドライブ (SSD) (/ dev/nvme0n1、/ dev/nvme1n1) が Blue Store データベースに使用されて書き込みます-先行書き込みログ。この構成では、/dev/sda および/dev/sdb デバイスを /dev/nvme0n1 デバイスとペアにし、/dev/sdc および /dev/sdd デバイスを / dev/nvme1n1 デバイスとペアにします。

      非コロケーション - Filestore

      osd_objectstore: filestore
      osd_scenario: non-collocated
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/sdc
        - /dev/sdd
      dedicated_devices:
         - /dev/nvme0n1
         - /dev/nvme0n1
         - /dev/nvme1n1
         - /dev/nvme1n1

      LVM simple

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb

      または

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/nvme0n1

      これらの単純な構成では ceph-ansible はバッチモード (ceph-volume lvm batch) を使用して OSD を作成します。

      最初のシナリオでは、devices を従来のハードドライブまたは SSD の場合には、デバイスごとに OSD が 1 つ作成されます。

      2 つ目のシナリオでは、従来のハードドライブと SSD が混在している場合、データは従来のハードドライブ (sda、sdb) に配置され、BlueStore データベース (block.db) は SSD (nvme0n1) にできる限り大きく作成されます。

      LVM advance

      osd_objectstore: filestore
      osd_scenario: lvm
      lvm_volumes:
         - data: data-lv1
           data_vg: vg1
           journal: journal-lv1
           journal_vg: vg2
         - data: data-lv2
           journal: /dev/sda
           data_vg: vg1

      または

      osd_objectstore: bluestore
      osd_scenario: lvm
      lvm_volumes:
        - data: data-lv1
          data_vg: data-vg1
          db: db-lv1
          db_vg: db-vg1
          wal: wal-lv1
          wal_vg: wal-vg1
        - data: data-lv2
          data_vg: data-vg2
          db: db-lv2
          db_vg: db-vg2
          wal: wal-lv2
          wal_vg: wal-vg2

      これらの事前シナリオ例では、事前にボリュームグループと論理ボリュームを作成しておく必要があります。それらは ceph-ansible によって作成されません。

      注記

      すべての NVMe SSD を使用する場合は、osd_scenario:lvm および osds_per_device:4 オプションを設定します。詳細は、Red Hat Ceph Storage インストールガイドの Red Hat Enterprise Linux 用のすべての NVMe Storage の OSDAnsible 設定の構成または Ubuntu 用のすべての NVMe Storage の OSDAnsible設定の構成 を参照してください。

      詳細は、osds.yml ファイルのコメントをご覧ください。

6. デフォルトでは /etc/ansible/hosts にある Ansible のインベントリファイルを編集します。サンプルホストをコメントアウトすることを忘れないでください。

   1. [mons] セクションの下に Monitor のノードを追加します。

      [mons]
      MONITOR_NODE_NAME1
      MONITOR_NODE_NAME2
      MONITOR_NODE_NAME3

   2. [osds] セクションの下に OSD ノードを追加します。ノードがシーケンシャルなネーミングの場合は、レンジの使用を検討してください。

      [osds]
      OSD_NODE_NAME1[1:10]

      注記

      新規インストールの OSD の場合、デフォルトのオブジェクトストア形式は BlueStore です。

      1. オプションで、devices および dedicated_devices オプションを使用して、OSD ノードが使用するデバイスを指定します。複数のデバイスをリストアップするには、コンマで区切ったリストを使用します。

         構文

         [osds]
         CEPH_NODE_NAME devices="['DEVICE_1', 'DEVICE_2']" dedicated_devices="['DEVICE_3', 'DEVICE_4']"

         例

         [osds]
         ceph-osd-01 devices="['/dev/sdc', '/dev/sdd']" dedicated_devices="['/dev/sda', '/dev/sdb']"
         ceph-osd-02 devices="['/dev/sdc', '/dev/sdd', '/dev/sde']" dedicated_devices="['/dev/sdf', '/dev/sdg']"

         デバイスを指定しない場合は、osds.yml ファイルの osd_auto_discovery オプションを true に設定してください。

         注記

         OSD が異なる名前の デバイス を使用する場合や、いずれかの OSD でデバイスのいずれかに障害が発生した場合に、devices および dedicated_devices パラメーターを使用すると便利です。

7. オプションで、すべてのデプロイメント( ベアメタル または コンテナー 内)でホスト固有のパラメーターを使用する場合は、ホストに固有のパラメーターを含めるために host_vars ディレクトリーにホストファイルを作成します。

   1. ストレージクラスターに追加される新しい Ceph OSD ノードを /etc/ansible/host_vars/ ディレクトリーに作成します。

      構文

      touch /etc/ansible/host_vars/OSD_NODE_NAME

      例

      [root@admin ~]# touch /etc/ansible/host_vars/osd07

   2. ホスト固有のパラメーターで ファイルを更新します。ベアメタル デプロイメントでは、devices: および dedicated_ devices: セクションをファイルに追加できます。

      例

      devices:
        - /dev/sdc
        - /dev/sdd
        - /dev/sde
        - /dev/sdf
      
      dedicated_devices:
        - /dev/sda
        - /dev/sdb

8. オプションで、ベアメタルまたはコンテナー内のすべてのデプロイメントで、ansible-playbook を使用してカスタム CRUSH 階層を作成できます。

   1. Ansible のインベントリーファイルを設定します。osd_crush_location パラメーターを使用して、OSD ホストを CRUSH マップの階層内のどこに配置するかを指定します。OSD の場所を指定するために、2 つ以上の CRUSH バケットタイプを指定し、1 つのバケットの type をホストに指定する必要があります。デフォルトでは、これには、root、datacenter、room、row、pod、pdu、rack、chassis および host が含まれます。

      構文

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      例

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. crush_rule_config パラメーターとcreate_crush_tree パラメーターを True に設定し、デフォルトの CRUSH ルールを使用しない場合は、少なくとも 1 つの CRUSH ルールを作成します。たとえば、HDD デバイスを使用している場合は、次のようにパラメーターを編集します。

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      SSD デバイスを使用している場合は、以下のようにパラメーターを編集します。

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      注記

      ssd と hdd の両方の OSD がデプロイされていない場合、デフォルトの CRUSH ルールは失敗します。これは、デフォルトのルールに、定義する必要のある class パラメーターが含まれているためです。

      注記

      さらに、上記の手順で説明されているように、カスタムの CRUSH 階層を host_vars ディレクトリーの OSD ファイルに追加し、この設定を有効にします。

   3. group_vars/clients.yml ファイルで作成した crush_rules を使用して pools を作成します。

      例

      >>>>>>> 3993c70c7f25ab628cbfd9c8e27623403ca18c99

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. ツリーを表示します。

      [root@mon ~]# ceph osd tree

   5. プールを検証します。

      # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
      
      pool: pool1
      crush_rule: HDD

9. ベアメタル またはコンテナー内 のすべてのデプロイメントで、Ansible インベントリーファイル (デフォルトでは /etc/ansible/hosts ファイル) を編集するために開きます。例のホストをコメントアウトします。

   1. [mgrs] セクションに Ceph Manager (ceph-mgr) ノードを追加します。Ceph Manager デーモンを Monitor ノードにコロケーションします。

      [mgrs]
      <monitor-host-name>
      <monitor-host-name>
      <monitor-host-name>

10. Ansible ユーザーとして、Ansible が Ceph ホストに到達できることを確認します。

    [user@admin ~]$ ansible all -m ping

11. 次の行を /etc/ansible/ansible.cfg ファイルに追加します。

    retry_files_save_path = ~/

12. root として、/var/log/ansible/ ディレクトリーを作成し、ansible ユーザーに適切な権限を割り当てます。

    [root@admin ~]# mkdir /var/log/ansible
    [root@admin ~]# chown ansible:ansible  /var/log/ansible
    [root@admin ~]# chmod 755 /var/log/ansible

    1. 次のように log_path 値を更新して、/usr/share/ceph-ansible/ansible.cfg ファイルを編集します。

       log_path = /var/log/ansible/ansible.log

13. Ansible ユーザーとして、/usr/share/ceph-ansible/ ディレクトリーに移動します。

    [user@admin ~]$ cd /usr/share/ceph-ansible/

14. ceph-ansible Playbook を実行します。

    [user@admin ceph-ansible]$ ansible-playbook site.yml

    注記

    デプロイメントの速度を増やすには、--forks オプションを ansible-playbook に指定します。デフォルトでは、ceph-ansible はフォークを 20 に設定します。この設定では、ノードを同時にインストールします。一度に最大 30 個のノードをインストールするには、ansible-playbook --forks 30 PLAYBOOKFILE を実行します。管理ノードのリソースが過剰に使用されていないことを確認するために、監視する必要があります。そうである場合は、--forks に渡される数を減らします。

15. モニターノードの root アカウントを使用して、Ceph クラスターのステータスを確認します。

    [root@monitor ~]# ceph health
    HEALTH_OK

16. rados を使用してクラスターが機能していることを確認します。

    1. モニターノードから、8 つの配置グループを持つテストプールを作成します。

       構文

       [root@monitor ~]# ceph osd pool create <pool-name> <pg-number>

       例

       [root@monitor ~]# ceph osd pool create test 8

    2. hello-world.txt というファイルを作成します。

       構文

       [root@monitor ~]# vim <file-name>

       例

       [root@monitor ~]# vim hello-world.txt

    3. オブジェクト名 hello-world を使用して、hello-world.txt をテストプールにアップロードします。

       構文

       [root@monitor ~]# rados --pool <pool-name> put <object-name> <object-file>

       例

       [root@monitor ~]# rados --pool test put hello-world hello-world.txt

    4. テストプールからファイル名 fetch.txt として hello-world をダウンロードします。

       構文

       [root@monitor ~]# rados --pool <pool-name> get <object-name> <object-file>

       例

       [root@monitor ~]# rados --pool test get hello-world fetch.txt

    5. fetch.txt の内容を確認してください。

       [root@monitor ~]# cat fetch.txt

       出力は以下のようになります。

       "Hello World!"

       注記

       クラスタの状態を確認するだけでなく、ceph-medic ユーティリティを使用して Ceph Storage Cluster を総合的に診断することができます。『Red Hat Ceph Storage 3 管理ガイド』 の「 ceph-medic を使用した Ceph Storage クラスターの診断 」の章を参照してください。

手順

1. osd_scenario:lvm および osds_per_device:4 を group_vars/osds.yml に設定します。

   osd_scenario: lvm
   osds_per_device: 4

2. devices の下に NVMe デバイスを一覧表示します。

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml の設定は以下のようになります。

   osd_scenario: lvm
   osds_per_device: 4
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 新しいセクション [mdss] を /etc/ansible/hosts ファイルに追加します。

   [mdss]
   hostname
   hostname
   hostname

   hostname は、Ceph Metadata Server をインストールするノードのホスト名に置き換えてください。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 任意。デフォルトの変数を変更します。

   1. mdss.yml という名前の group_vars/mdss.yml.sample ファイルのコピーを作成します。

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. オプションで、mdss.yml のパラメーターを編集します。詳細は、mdss.yml を参照してください。

4. Ansible のユーザーとして、Ansible のプレイブックを実行します。

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss

5. メタデータサーバーをインストールしたら、設定を行います。詳細は、Red Hat Ceph Storage3 の Ceph ファイルシステムガイドのメタデータサーバーデーモンの設定の章を参照してください。

1. 新しいセクション [clients] を /etc/ansible/hosts ファイルに追加します。

   [clients]
   <client-hostname>

   <client-hostname> は、ceph-client ロールをインストールするノードのホスト名に置き換えます。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. clients.yml という名前の clients.yml.sample ファイルの新しいコピーを作成します。

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/clients.yml ファイルを開き、以下の行をコメント解除します。

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test を実際のクライアント名に置き換え、クライアントキーをクライアント定義の行に追加します。以下に例を示します。

      key: "ADD-KEYRING-HERE=="

      これで、行全体の例は次のようになります。

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注記

      ceph-authtool --gen-print-key コマンドは、新しいクライアントキーを生成することができます。

5. 必要に応じて、プールおよびクライアントを作成するように ceph-client に指示します。

   1. clients.yml を更新します。

      • user_config 設定のコメントを解除して、true に設定します。
      • pools セクションおよび keys セクションのコメントを解除し、必要に応じて更新します。cephx 機能を使用して、カスタムプールとクライアント名をまとめて定義できます。

   2. osd_pool_default_pg_num 設定を all.yml ファイルの ceph_conf_overrides セクションに追加します。

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: <number>

      <number> を配置グループのデフォルト数に置き換えてください。

6. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit clients

1. [rgws] セクションの下の /etc/ansible/hosts ファイルにゲートウェイホストを追加して、それらのロールを Ansible に識別します。ホストに連続する命名がある場合は、以下のように範囲を使用します。

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. Ansible 設定ディレクトリーに移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. サンプルファイルから rgws.yml ファイルを作成します。

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. group_vars/rgws.yml ファイルを開いて編集します。管理者キーを Ceph Object Gateway ノードにコピーするには、copy_admin_key オプションのコメントを解除します。

   copy_admin_key: true

5. rgws.yml ファイルでは、デフォルトの 7480 ポートとは異なるデフォルトポートを指定することができます。以下に例を示します。

   ceph_rgw_civetweb_port: 80

6. all.yml ファイルは radosgw_interface を指定する必要があります。以下に例を示します。

   radosgw_interface: eth0

   インターフェースを指定すると、同じホストで複数のインスタンスを実行している場合に、Civetweb が別の Civetweb インスタンスと同じ IP アドレスにバインドされないようにします。

7. 通常、デフォルトの設定を変更するには、rgw.yml ファイル内の設定をアンコメントし、それに応じて変更します。rgw.yml ファイルにない設定に追加の変更を加えるには、all.yml ファイルで ceph_conf_overrides: を使用します。例えば、rgw_dns_name: に DNS サーバーのホストを設定し、クラスタの DNS サーバーをワイルドカード用に設定して S3 サブドメインを有効にします。

   ceph_conf_overrides:
      client.rgw.rgw1:
         rgw_dns_name: <host_name>
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   詳細な設定の詳細は、Red Hat Ceph Storage 3 の『実稼働環境への Ceph Object Gateway ガイド』を参照してください。高度なトピックには以下が含まれます。

   • Ansible グループの設定

   • ストレージストラテジーの開発プールの作成方法および設定方法の詳細は、「ルートプールの作成」、「システムプールの作成」、および「データ配置戦略の作成」セクションを参照してください。

     バケットのシャード化の詳細は、「バケットのシャード化」を参照してください。

8. group_vars/all.yml ファイルの radosgw_interface パラメーターのコメントを外します。

   radosgw_interface: <interface>

   以下を置き換えます。

   • Ceph Object Gateway がリッスンするインターフェースを使用する <interface>

   詳細は、all.yml ファイルを参照してください。

9. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws

1. サンプルファイルから nfss ファイルを作成します。

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. [nfss] グループの下にゲートウェイホストを /etc/ansible/hosts ファイルに追加して、Ansible へのグループメンバーシップを特定します。ホストがシーケンシャルに命名されている場合は、範囲を指定します。以下に例を示します。

   [nfss]
   <nfs_host_name_1>
   <nfs_host_name_2>
   <nfs_host_name[3..10]>

3. Ansible の設定ディレクトリである /etc/ansible/ に移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 管理者キーを Ceph Object Gateway ノードにコピーするには、/usr/share/ceph-ansible/group_vars/nfss.yml ファイルの copy_admin_key 設定をコメント解除します。

   copy_admin_key: true

5. /usr/share/ceph-ansible/group_vars/nfss.yml ファイルの FSAL (File System Abstraction Layer) セクションを設定します。ID、S3 ユーザー ID、S3 アクセスキーおよびシークレットを提供します。NFSv4 の場合は、以下のようになります。

   ###################
   # FSAL RGW Config #
   ###################
   #ceph_nfs_rgw_export_id: <replace-w-numeric-export-id>
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   #ceph_nfs_rgw_user: "cephnfs"
   # Note: keys are optional and can be generated, but not on containerized, where
   # they must be configered.
   #ceph_nfs_rgw_access_key: "<replace-w-access-key>"
   #ceph_nfs_rgw_secret_key: "<replace-w-secret-key>"

   警告

   アクセスおよびシークレットキーは任意で、生成できます。

6. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site-docker.yml --limit nfss

1. root ユーザーとして、/usr/share/ceph-ansible/ ディレクトリーにナビゲートします。

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。group_vars/all.yml と group_vars/osds.yml ファイルをバックアップします。

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。Red Hat Ceph Storage 2.x から 3.x にアップグレードする場合は、group_vars/all.yml.sample、group_vars/osds.yml.sample、group_vars/clients.yml.sample ファイルの新しいコピーを作成して、それぞれ group_vars/all.yml、group_vars/osds.yml、group_vars/clients.yml に名前を変更します。それらを開いて編集します。詳しくは、付録H バージョン 2 と 3 の間の Ansible 変数の変更 と「Red Hat Ceph Storage クラスターのインストール」 をご覧ください。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。Red Hat Ceph Storage 2.x から 3.x にアップグレードする場合は、group_vars/clients.yml ファイルを開き、以下の行をアンコメントします。

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test を実際のクライアント名に置き換え、クライアントキーをクライアント定義の行に追加します。以下に例を示します。

      key: "ADD-KEYRING-HERE=="

      これで、行全体の例は次のようになります。

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注記

      クライアントキーを取得するには、ceph auth get-or-create コマンドを実行して、指定されたクライアントのキーを表示します。

5. group_vars/all.yml ファイルで、upgrade_ceph_packages オプションのコメントを外し、True に設定します。

   upgrade_ceph_packages: True

6. group_vars/all.yml ファイルに fetch_directory パラメーターを追加してください。

   fetch_directory: <full_directory_path>

   以下を置き換えます。

   • <full_directory_path> を、書き込み可能な場所 (Ansible ユーザーのホームディレクトリーなど) に置き換えます。ストレージクラスターの初期インストール時に使用した既存のパスを入力してください。

   既存のパスが失われていたり、なくなっていたりする場合は、まず次のことを行ってください。

   1. 既存の group_vars/all.yml ファイルに以下のオプションを追加します。

      fsid: <add_the_fsid>
      generate_fsid: false

   2. take-over-existing-cluster.yml Ansible playbook を実行します。

      [user@admin ceph-ansible]$ cp infrastructure-playbooks/take-over-existing-cluster.yml .
      [user@admin ceph-ansible]$ ansible-playbook take-over-existing-cluster.yml

7. アップグレードするクラスターに Ceph Object Gateway ノードが含まれている場合は、radosgw_interface パラメーターを group_vars/all.yml ファイルに追加します。

   radosgw_interface: <interface>

   以下を置き換えます。

   • Ceph Object Gateway がリッスンするインターフェースを使用する <interface>

8. Red Hat Ceph Storage 3.2 から、デフォルトの OSD オブジェクトストアは BlueStore です。従来の OSD オブジェクトストアを維持するには、osd_objectstore オプションを group_vars/all.yml ファイルの filestore に明示的に設定する必要があります。

   osd_objectstore: filestore

   注記

   osd_objectstore オプションを filestore に設定し、OSD を置き換えると BlueStore ではなく FileStore が使用されます。

9. /etc/ansible/hosts にある Ansible インベントリーファイルで、[mgrs] セクションの下に Ceph Manager (ceph-mgr) ノードを追加します。Ceph Manager デーモンを Monitor ノードにコロケーションします。バージョン 3.x から最新のバージョンにアップグレードする場合は、この手順をスキップします。

   [mgrs]
   <monitor-host-name>
   <monitor-host-name>
   <monitor-host-name>

10. infrastructure-playbooks ディレクトリーから現在のディレクトリーに、rolling_update.yml をコピーします。

    [root@admin ceph-ansible]# cp infrastructure-playbooks/rolling_update.yml .

    重要

    Playbook rolling_update.yml では、limit の ansible オプションを使用しないでください。

11. /var/log/ansible/ ディレクトリーを作成し、ansible ユーザーに適切な権限を割り当てます。

    [root@admin ceph-ansible]# mkdir /var/log/ansible
    [root@admin ceph-ansible]# chown ansible:ansible  /var/log/ansible
    [root@admin ceph-ansible]# chmod 755 /var/log/ansible

    1. 次のように log_path 値を更新して、/usr/share/ceph-ansible/ansible.cfg ファイルを編集します。

       log_path = /var/log/ansible/ansible.log

12. Ansible ユーザーとして、Playbook を実行します。

    [user@admin ceph-ansible]$ ansible-playbook rolling_update.yml

13. RBD ミラーリングデーモンノードに root ユーザーとしてログインしているときに、rbd-mirror を手動でアップグレードします。

    $ sudo apt-get upgrade rbd-mirror

    デーモンを再起動:

    # systemctl restart  ceph-rbd-mirror@<client-id>

14. クラスターの状態に問題がないことを確認します。root ユーザーとしてモニターノードにログインし、cephstatus コマンドを実行します。

1. OpenStack 環境で動作する場合には、すべての cephx ユーザーがプールに RBD プロファイルを使用するように更新します。以下のコマンドは root ユーザーとして実行する必要があります。

   • Glance ユーザー

     ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

   • Cinder ユーザー

     ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

   • OpenStack の一般ユーザー

     ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

     重要

     ライブクライアントの移行を実行する前に、これらの CAPS 更新を行います。これにより、クライアントがメモリーで実行している新しいライブラリーを使用でき、古い CAPS 設定がキャッシュから破棄され、新しい RBD プロファイル設定が適用されるようになります。