インストールガイド

手順

1. コンテナー デプロイメントの場合には、Red Hat Ceph Storage ノードがデプロイ中にインターネットにアクセス できない 場合に限ります。最初に、インターネットアクセスのあるノードで、以下の手順を実行する必要があります。

   1. ローカルのコンテナーレジストリーを起動します。

      Red Hat Enterprise Linux 7

      # docker run -d -p 5000:5000 --restart=always --name registry registry:2

      Red Hat Enterprise Linux 8

      # podman run -d -p 5000:5000 --restart=always --name registry registry:2

   2. registry.redhat.io がコンテナーレジストリーの検索パスにあることを確認します。

      編集するために、/etc/containers/registries.conf ファイルを開きます。

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      registry.redhat.io がファイルに含まれていない場合は、これを追加します。

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

   3. Red Hat カスタマーポータルから Red Hat Ceph Storage 4 イメージ、Prometheus イメージ、およびダッシュボードイメージをプルします。

      Red Hat Enterprise Linux 7

      # docker pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # docker pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # docker pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      Red Hat Enterprise Linux 8

      # podman pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # podman pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # podman pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      注記

      Red Hat Enterprise Linux 7 および 8 はいずれも、Red Hat Enterprise Linux 8 をベースとした同じコンテナーイメージを使用します。

   4. イメージにタグを付けます。

      Prometheus のイメージタグのバージョンは、Red Hat Ceph Storage 4.2 の場合は v4.6 です。

      Red Hat Enterprise Linux 7

       # docker tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      置き換え

      • LOCAL_NODE_FQDN を、ローカルホストの FQDN に置き換えます。

      Red Hat Enterprise Linux 8

       # podman tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      置き換え

      • LOCAL_NODE_FQDN を、ローカルホストの FQDN に置き換えます。

   5. etc/containers/registries.conf ファイルを編集し、ファイルに、ノードの FQDN とポートを追加し、保存します。

      [registries.insecure]
      registries = ['LOCAL_NODE_FQDN:5000']

      注記

      この手順は、ローカルの Docker レジストリーにアクセスするすべてのストレージクラスターノードで行う必要があります。

   6. イメージを、起動したローカルの Docker レジストリーにプッシュします。

      Red Hat Enterprise Linux 7

       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      置き換え

      • LOCAL_NODE_FQDN を、ローカルホストの FQDN に置き換えます。

      Red Hat Enterprise Linux 8

       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      置き換え

      • LOCAL_NODE_FQDN を、ローカルホストの FQDN に置き換えます。

   7. Red Hat Enterprise Linux 7 では、docker サービスを再起動します。

      # systemctl restart docker

      注記

      デプロイメント中に RedHat Ceph Storage ノードがインターネットにアクセスできない場合の all.yml ファイルの例は、Red Hat Ceph Storage クラスターのインストール インストールを参照してください。

2. すべてのデプロイメントで、ベアメタル または コンテナー の場合:

   1. ノードを登録します。プロンプトが表示されたら、適切な Red Hat カスタマーポータルの認証情報を入力します。

      # subscription-manager register

   2. CDN から最新のサブスクリプションデータをプルします。

      # subscription-manager refresh

   3. Red Hat Ceph Storage で利用可能なサブスクリプションのリストを表示します。

      # subscription-manager list --available --all --matches="*Ceph*"

      Red Hat Ceph Storage の利用可能なサブスクリプションのリストから Pool ID をコピーします。

   4. サブスクリプションを割り当てます。

      # subscription-manager attach --pool=POOL_ID

      置き換え

      • POOL_ID を、直前の手順で特定したプール ID に置き換えます。

   5. デフォルトのソフトウェアリポジトリーを無効にし、各バージョンの Red Hat Enterprise Linux でサーバーおよび追加のリポジトリーを有効にします。

      Red Hat Enterprise Linux 7

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-7-server-rpms
      # subscription-manager repos --enable=rhel-7-server-extras-rpms

      Red Hat Enterprise Linux 8

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
      # subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms

3. システムを更新して、最新のパッケージを受け取ります。

   1. Red Hat Enterprise Linux 7 の場合:

      # yum update

   2. Red Hat Enterprise Linux 8 の場合:

      # dnf update

1. 以下の設定が、公開されているネットワークインターフェイスカードに対応する /etc/sysconfig/network-scripts/ifcfg-* ファイルにあることを確認します。

   1. 静的 IP アドレスについて BOOTPROTO パラメーターは none に設定されます。

   2. ONBOOT パラメーターは yes に設定する必要があります。

      これが no に設定されていると、Ceph ストレージクラスターがリブート時にピアに機能しなくなる可能性があります。

   3. IPv6 アドレス指定を使用する場合には、IPV6_FAILURE_FATAL パラメーターを除き、IPV6INIT などの IPV6 パラメーターを yes に設定する必要があります。

      また、Ceph 設定ファイル /etc/ceph/ceph.conf を編集して Ceph に IPv6 を使用するように指示します。指定しないと、Ceph は IPv4 を使用します。

手順

1. ストレージクラスター内のすべてのノードで firewalld サービスを起動します。これを有効にして、システムの起動時に実行し、実行していることを確認します。

   # systemctl enable firewalld
   # systemctl start firewalld
   # systemctl status firewalld

2. すべての Monitor ノードで、パブリックネットワークの 3300 および 6789 ポートを開く。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp --permanent
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
   [root@monitor ~]# firewall-cmd --permanent --add-service=ceph-mon
   [root@monitor ~]# firewall-cmd --add-service=ceph-mon

   ソースアドレスに基づいてアクセスを制限するには、以下を実行します。

   firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
   source address=IP_ADDRESS/NETMASK_PREFIX port protocol=tcp \
   port=6789 accept' --permanent

   置き換え

   • IP_ADDRESS は、Monitor ノードのネットワークアドレスに置き換えます。

   • NETMASK_PREFIX は、CIDR 表記のネットマスクに置き換えます。

     例

     [root@monitor ~]# firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
     source address=192.168.0.11/24 port protocol=tcp \
     port=6789 accept' --permanent

3. すべての OSD ノードで、パブリックネットワークでポート 6800-7300 を開きます。

   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent
   [root@osd ~]# firewall-cmd --permanent --add-service=ceph
   [root@osd ~]# firewall-cmd --add-service=ceph

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

4. すべての Ceph Manager (ceph-mgr) ノードで、パブリックネットワークでポート 6800-7300 を開きます。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

5. すべての Ceph Metadata Server (ceph-mds) ノードにおいて、パブリックネットワークでポート 6800-7300 を開きます。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

6. すべての Ceph Object Gateway ノードで、パブリックネットワーク上の関連するポートを開きます。

   1. デフォルトの Ansible が設定されたポート 8080 を開くには、以下のコマンドを実行します。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下を実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept" --permanent

      置き換え

      • IP_ADDRESS は、Monitor ノードのネットワークアドレスに置き換えます。

      • NETMASK_PREFIX は、CIDR 表記のネットマスクに置き換えます。

        例

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept"

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept" --permanent

   2. 必要に応じて、Ansible を使用して Ceph Object Gateway をインストールし、使用する Ceph Object Gateway を Ansible が設定するデフォルトのポートを 8080 からポート 80 に変更した場合は、次のポートを開きます。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下のコマンドを実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept" --permanent

      置き換え

      • IP_ADDRESS は、Monitor ノードのネットワークアドレスに置き換えます。
      • NETMASK_PREFIX は、CIDR 表記のネットマスクに置き換えます。

      例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept"

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept" --permanent

   3. オプション: SSL/TLS を使用するには、443 ポートを開きます。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下のコマンドを実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept" --permanent

      置き換え

      • IP_ADDRESS は、Monitor ノードのネットワークアドレスに置き換えます。
      • NETMASK_PREFIX は、CIDR 表記のネットマスクに置き換えます。

      例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept"
      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept" --permanent

手順

1. root ユーザーとしてノードにログインします。

   ssh root@HOST_NAME

   置き換え

   • HOST_NAME は、Ceph ノードのホスト名に置き換えます。

     例

     # ssh root@mon01

     プロンプトに従い root パスワードを入力します。

2. 新しい Ansible ユーザーを作成します。

   adduser USER_NAME

   置き換え

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

     例

     # adduser admin

     重要

     ceph をユーザー名として使用しないでください。ceph ユーザー名は、Ceph デーモン用に予約されます。クラスター全体で統一されたユーザー名を使用すると、使いやすさが向上しますが、侵入者は通常、そのユーザー名をブルートフォース攻撃に使用するため、明白なユーザー名の使用は避けてください。

3. このユーザーに新しいパスワードを設定します。

   # passwd USER_NAME

   置き換え

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

     例

     # passwd admin

     プロンプトが表示されたら、新しいパスワードを 2 回入力します。

4. 新規に作成されたユーザーの sudo アクセスを設定します。

   cat << EOF >/etc/sudoers.d/USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   置き換え

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

     例

     # cat << EOF >/etc/sudoers.d/admin
     admin ALL = (root) NOPASSWD:ALL
     EOF

5. 正しいファイル権限を新しいファイルに割り当てます。

   chmod 0440 /etc/sudoers.d/USER_NAME

   置き換え

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

     例

     # chmod 0440 /etc/sudoers.d/admin

手順

1. SSH キーペアを生成し、デフォルトのファイル名を受け入れ、パスフレーズを空のままにします。

   [ansible@admin ~]$ ssh-keygen

2. 公開鍵をストレージクラスター内のすべてのノードにコピーします。

   ssh-copy-id USER_NAME@HOST_NAME

   置き換え

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

   • HOST_NAME は、Ceph ノードのホスト名に置き換えます。

     例

     [ansible@admin ~]$ ssh-copy-id ceph-admin@ceph-mon01

3. ユーザーの SSH の config ファイルを作成します。

   [ansible@admin ~]$ touch ~/.ssh/config

4. config ファイルを編集するために開きます。ストレージクラスター内の各ノードの Hostname および User オプションの値を設定します。

   Host node1
      Hostname HOST_NAME
      User USER_NAME
   Host node2
      Hostname HOST_NAME
      User USER_NAME
   ...

   置き換え

   • HOST_NAME は、Ceph ノードのホスト名に置き換えます。

   • USER_NAME は、Ansible ユーザーの新しいユーザー名に置き換えます。

     例

     Host node1
        Hostname monitor
        User admin
     Host node2
        Hostname osd
        User admin
     Host node3
        Hostname gateway
        User admin

     重要

     ~/.ssh/config ファイルを設定すると、ansible-playbook コマンドを実行するたびに -u USER_NAME オプションを指定する必要がありません。

5. ~/.ssh/config ファイルに正しいファイルパーミッションを設定します。

   [admin@admin ~]$ chmod 600 ~/.ssh/config

手順

1. Cockpit がインストールされていることを確認します。

   $ rpm -q cockpit

   以下に例を示します。

   [admin@jb-ceph4-admin ~]$ rpm -q cockpit
   cockpit-196.3-1.el8.x86_64

   上記の例と同様の出力が表示された場合は、確認用 Cockpit が実行している ステップに進みます。出力が package cockpit is not installed されていない場合は、Install Cockpit のステップに進みます。

2. 必要に応じて Cockpit をインストールします。

   1. Red Hat Enterprise Linux 8 の場合:

      # dnf install cockpit

   2. Red Hat Enterprise Linux 7 の場合:

      # yum install cockpit

3. Cockpit が実行中であることを確認します。

   # systemctl status cockpit.socket

   出力に Active: active (listening) が表示されている場合は、Red Hat Ceph Storage 用の Cockpit プラグインのインストール 手順に進みます。代わりに Active: inactive(dead) と表示される場合には、Cockpit の有効化 手順に進んでください。

4. 必要に応じて、Cockpit を有効にします。

   1. systemctl コマンドを使用して、Cockpit を有効にします。

      # systemctl enable --now cockpit.socket

      以下のような行が表示されます。

      Created symlink /etc/systemd/system/sockets.target.wants/cockpit.socket → /usr/lib/systemd/system/cockpit.socket.

   2. Cockpit が実行中であることを確認します。

      # systemctl status cockpit.socket

      以下のような行が表示されます。

      Active: active (listening) since Tue 2020-01-07 18:49:07 EST; 7min ago

5. Red Hat Ceph Storage 用の Cockpit Ceph Installer をインストールします。

   1. Red Hat Enterprise Linux 8 の場合:

      # dnf install cockpit-ceph-installer

   2. Red Hat Enterprise Linux 7 の場合:

      # yum install cockpit-ceph-installer

6. Ansible ユーザーとして、sudo を使用してコンテナーカタログにログインします。

   注記

   デフォルトでは、Cockpit Ceph Installer は root ユーザーを使用して Ceph をインストールします。Ceph をインストールするための前提条件の一部として作成した Ansible ユーザーを使用するには、この手順の残りのコマンドを実行し、sudo を Ansible ユーザーとして実行します。

   Red Hat Enterprise Linux 7

   $ sudo docker login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   例

   [admin@jb-ceph4-admin ~]$ sudo docker login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

   Red Hat Enterprise Linux 8

   $ sudo podman login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   例

   [admin@jb-ceph4-admin ~]$ sudo podman login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

7. registry.redhat.io がコンテナーレジストリーの検索パスにあることを確認します。

   1. 編集するために、/etc/containers/registries.conf ファイルを開きます。

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      registry.redhat.io がファイルに含まれていない場合は、これを追加します。

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

8. Ansible ユーザーとして、sudo を使用して ansible-runner-service を起動します。

   $ sudo ansible-runner-service.sh -s

   例

   [admin@jb-ceph4-admin ~]$ sudo ansible-runner-service.sh -s
   Checking environment is ready
   Checking/creating directories
   Checking SSL certificate configuration
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ..................................................................................................................................................................................................................................++++
   ......................................................++++
   e is 65537 (0x010001)
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ........................................++++
   ..............................................................................................................................................................................++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerServer, CN = jb-ceph4-admin
   Getting CA Private Key
   Generating RSA private key, 4096 bit long modulus (2 primes)
   .....................................................................................................++++
   ..++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerClient, CN = jb-ceph4-admin
   Getting CA Private Key
   Setting ownership of the certs to your user account(admin)
   Setting target user for ansible connections to admin
   Applying SELINUX container_file_t context to '/etc/ansible-runner-service'
   Applying SELINUX container_file_t context to '/usr/share/ceph-ansible'
   Ansible API (runner-service) container set to rhceph/ansible-runner-rhel8:latest
   Fetching Ansible API container (runner-service). Please wait...
   Trying to pull registry.redhat.io/rhceph/ansible-runner-rhel8:latest...Getting image source signatures
   Copying blob c585fd5093c6 done
   Copying blob 217d30c36265 done
   Copying blob e61d8721e62e done
   Copying config b96067ea93 done
   Writing manifest to image destination
   Storing signatures
   b96067ea93c8d6769eaea86854617c63c61ea10c4ff01ecf71d488d5727cb577
   Starting Ansible API container (runner-service)
   Started runner-service container
   Waiting for Ansible API container (runner-service) to respond
   The Ansible API container (runner-service) is available and responding to requests
   
   Login to the cockpit UI at https://jb-ceph4-admin:9090/cockpit-ceph-installer to start the install

   出力の最後の行には、Cockpit Ceph Installer の URL が含まれます。上記の例では、URL は https://jb-ceph4-admin:9090/cockpit-ceph-installer です。お使いの環境で出力される URL を書き留めておきます。

手順

1. Ansible 管理ノードに Ansible ユーザーとしてログインします。

   ssh ANSIBLE_USER@HOST_NAME

   以下に例を示します。

   $ ssh admin@jb-ceph4-admin

2. SSH 公開鍵を最初のノードにコピーします。

   sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub _ANSIBLE_USER_@_HOST_NAME_

   以下に例を示します。

   $ sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub admin@jb-ceph4-mon
   /bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/usr/share/ansible-runner-service/env/ssh_key.pub"
   admin@192.168.122.182's password:
   
   Number of key(s) added: 1
   
   Now try logging into the machine, with:   "ssh 'admin@jb-ceph4-mon'"
   and check to make sure that only the key(s) you wanted were added.

   クラスターのすべてのノードに対してこの手順を繰り返します。

手順

1. Web ブラウザーで URL を開きます。

   

2. Ansible ユーザー名およびそのパスワードを入力します。

   

3. 特権タスクにパスワードを再使用 するラジオボタンをクリックします。

   

4. Log In をクリックします。

   

5. Welcome ページをチェックして、インストーラーの動作方法とインストールプロセスの全体的なフローを確認します。

   

   Welcome ページで情報を確認したら、Web ページの右下隅にある Environment ボタンをクリックします。

手順

1. インストールソース を選択します。Red Hat カスタマーポータルからダウンロードした CD イメージを使用するには、Red Hat Subscription Manager からリポジトリーを使用するか、ISO を選択します。

   

   Red Hat を選択した場合は、他のオプションを指定せずに Target Version が RHCS 4 に設定されます。ISO を選択すると、Target Version が ISO イメージファイルに設定されます。

   重要

   ISO を選択する場合、イメージファイルは /usr/share/ansible-runner-service/iso ディレクトリーにあり、その SELinux コンテキストは container_file_t に設定する必要があります。

   重要

   インストールソース の コミュニティー オプションおよび ディストリビューション オプションには対応していません。

2. Cluster Type を選択します。実稼働 の選択では、CPU 番号やメモリーサイズなどの特定のリソース要件を満たしていないと、インストールが続行できなくなります。リソース要件を満たしている場合でもクラスターのインストールを続行できるようにするには、Development/POC を選択します。

   
   重要

   Development/POC モードは、実稼働環境で使用する Ceph クラスターをインストールしないでください。

3. Service Account Login および Service Account Token を設定します。Red Hat レジストリーサービスアカウントがない場合は、レジストリーサービスアカウントの Web ページ を使用して作成します。

   

4. Configure Firewall を ON に設定して、Ceph サービスのポートを開くルールを firewalld に適用します。firewalld を使用していない場合は、OFF 設定を使用します。

   

5. 現在、Cockpit Ceph Installer は IPv4 のみをサポートしています。IPv6 サポートが必要な場合は、Cockpit Ceph Installer を使用を停止し、Ansible スクリプトを直接 使用して Ceph のインストールに進む必要があります。

   

6. OSD Type を BlueStore または FileStore に設定します。

   
   重要

   BlueStore はデフォルトの OSD タイプです。以前のバージョンでは、Ceph は FileStore をオブジェクトストアとして使用していました。BlueStore はより多くの機能を提供し、パフォーマンスを向上させるため、この形式は Red Hat Ceph Storage 4.0 で非推奨になっています。FileStore は依然として使用できますが、サポート例外が必要です。BlueStore の詳細は、アーキテクチャーガイド の Ceph BlueStore を参照してください。

7. Flash Configuration を Journal/Logs または OSD データ に設定します。ソリッドステートドライブ (SSD) を使用している場合は、NVMe または従来の SATA/SAS インターフェイスのどちらを使用する場合でも、実際のデータがハードディスクドライブ (HDD) に保存されている間、ジャーナルとログの書き込みにのみ使用することを選択できます。ジャーナリング、ログ、およびデータに SSD を使用し、CephOSD 機能に HDD を使用しないでください。

   

8. Encryption を None または Encrypted に設定します。これは、LUKS1 形式を使用したストレージデバイスの残り暗号化を指します。

   

9. インストールタイプ を Container または RPM に設定します。従来は、Red Hat Enterprise Linux にソフトウェアをインストールするのに Red Hat Package Manager (RPM) が使用されていました。これで、RPM またはコンテナーを使用して Ceph をインストールできます。コンテナーを使用して Ceph をインストールすると、サービスを分離して共存させることができるため、ハードウェアの使用率が向上します。

   

10. すべての環境設定を確認し、Web ページの右下隅にある Hosts ボタンをクリックします。

    

手順

1. Add Host(s) ボタンをクリックします。

   

2. Ceph OSD ノードのホスト名を入力し、OSD のチェックボックスを選択して 追加 ボタンをクリックします。

   

   最初の Ceph OSD ノードが追加されます。

   

   実稼働クラスターの場合、少なくとも 3 つの Ceph OSD ノードを追加するまで、この手順を繰り返します。

3. 必要に応じて、ホスト名のパターンを使用してノードの範囲を定義します。たとえば、jb-ceph4-osd2 と jb-ceph4-osd3 を同時に追加するには、jb-ceph4-osd[2-3] を入力します。

   

   jb-ceph4-osd2 と jb-ceph4-ods3 の両方が追加されます。

   

4. クラスター内の他のノードについて上記の手順を繰り返します。

   1. 実稼働クラスターの場合は、少なくとも 3 つの Ceph Monitor ノードを追加します。ダイアログでは、ロールは MON としてリスト表示されます。
   2. Metrics のロールを持つノードを追加します。Metrics ロールは Grafana および Prometheus をインストールし、Ceph クラスターのパフォーマンスに関するリアルタイムの洞察を提供します。これらのメトリックは Ceph Dashboard に提示されています。これにより、クラスターの監視および管理が可能になります。Dashboard、Grafana、および Prometheus のインストールが必要です。Ansible Administration ノードでメトリック関数を同じ場所に配置できます。これを実行する場合は、ノードのシステムリソースが スタンドアロンのメトリックノードに必要とされるもの よりも大きいことを確認します。
   3. 必要に応じて MDS ロールを持つノードを追加します。MDS ロールは Ceph Metadata Server (MDS) をインストールします。Ceph File System をデプロイするには、メタデータサーバーデーモンが必要です。
   4. 必要に応じて RGW ロールを持つノードを追加します。RGW ロールは、Ceph Object Gateway もインストールします。RADOS ゲートウェイは、librados API 上に構築されたオブジェクトストレージインターフェイスで、Ceph ストレージクラスターに RESTful ゲートウェイを提供するアプリケーションを提供します。Amazon S3 および OpenStack Swift API をサポートします。
   5. 必要に応じて iSCSI ロールを持つノードを追加します。iSCSI ロールは iSCSI ゲートウェイをインストールするため、iSCSI で Ceph ブロックデバイスを共有することができます。Ceph で iSCSI を使用するには、マルチパス I/O 用に iSCSI ゲートウェイを少なくとも 2 つのノードにインストールする必要があります。

5. 必要に応じて、ノードを追加する際に複数のロールを選択して、同じノードに複数のサービスを割り当てます。

   

   デーモンを同じ場所に配置するデーモンの詳細は、インストールガイド の コンテナー化された Ceph デーモンのコロケーション を参照してください。

6. 必要に応じて、テーブルのロールをオンまたはオフにして、ノードに割り当てられたロールを変更します。

   

7. 必要に応じて、ノードを削除するには、削除するノードの行の右端にあるケバブアイコンをクリックし、Delete をクリックします。

   

8. クラスター内のすべてのノードを追加したら、ページの右下隅にある Validate ボタンをクリックして、必要なロールをすべて設定します。

   

手順

1. Probe Hosts ボタンをクリックします。

   

   続行するには、OK ステータス を持つホストを少なくとも 3 台選択する必要があります。

2. 必要に応じて、ホストについて警告またはエラーが生成された場合は、ホストのチェックマークの左側にある矢印をクリックして、問題を表示します。

   
   
   重要

   Cluster Type を Production に設定すると、生成されたエラーによって Status が NOTOK となり、インストール用に選択できなくなります。エラーを解決する方法は、次の手順を参照してください。

   重要

   Cluster Type を Development/POC に設定すると、生成されたエラーは警告としてリスト表示されるため、Status は常に OK になります。これにより、ホストが要件や提案を満たしているかどうかに関係なく、ホストを選択して Ceph をインストールできます。必要に応じて警告を解決できます。警告を解決する方法については、次の手順を参照してください。

3. 必要に応じて、エラーと警告を解決するには、以下のメソッドを 1 つ以上使用します。

   1. エラーや警告を解決する最も簡単な方法は、特定のロールを完全に無効にしたり、1 台のホストでロールを無効にして、必要なリソースがある別のホストで有効にすることです。

      Development/POC クラスターをインストールしている場合は、警告が残っていても安心して進めることができ、実稼働 クラスターをインストールする場合は、少なくとも 3 台のホストに割り当てられたロールに必要なリソースがすべて揃っていて、警告が残っていても安心して進めることができる組み合わせが見つかるまで、ロールの有効化と無効化を試してみてください。

   2. 必要なロールの要件を満たす新規ホストを使用することもできます。まず、ホスト ページに戻り、問題のあるホストを削除します。

      

      次に、新規ホストを追加 します。

   3. ホストのハードウェアをアップグレードするか、何らかの方法で要件または提案を満たすには、最初にホストに変更を加えてから、再度 ホストのプローブ をクリックします。オペレーティングシステムを再インストールする必要がある場合は、再度 SSH キーをコピーする 必要があります。

4. ホストの横にあるチェックボックスを選択して、Red Hat Ceph Storage をインストールするホストを選択します。

   
   重要

   実稼働クラスターをインストールする場合は、インストール用にエラーを選択する前にエラーを解決する必要があります。

5. ページの右下隅の Network ボタンをクリックして、クラスターのネットワークを確認し、設定します。

   

手順

1. ネットワークページで設定できるネットワーク種別を書き留めておきます。各タイプには独自の列があります。クラスターネットワーク および パブリックネットワーク の列は常に表示されます。RADOS Gateway ロールでホストをインストールする場合は、S3 Network 列が表示されます。iSCSI ロールでホストをインストールする場合は、iSCSI ネットワーク の列が表示されます。以下の例では、Cluster Network、Public Network、および S3 Network の列が表示されます。

   

2. 各ネットワーク種別に選択できるネットワークを書き留めておきます。特定のネットワーク種別を設定する全ホストで利用可能なネットワークのみが表示されます。以下の例では、クラスター内の全ホストで利用可能なネットワークが 3 つあります。3 つのネットワークはすべて、ネットワーク種別を設定する全ホストセットで利用可能であるため、各ネットワーク種別には同じ 3 つのネットワークがリスト表示されます。

   

   利用可能な 3 つのネットワークは、192.168.122.0/24、192.168.123.0/24、および 192.168.124.0/24 です。

3. 各ネットワークが操作する速度を書き留めておきます。これは、特定のネットワークに使用される NIC の速度です。以下の例では、192.168.123.0/24 および 192.168.124.0/24 は 1,000 mbps になります。Cockpit Ceph Installer は 192.168.122.0/24 ネットワークの速度を把握できませんでした。

   

4. 各ネットワークタイプに使用するネットワークを選択します。実稼働クラスターの場合は、Cluster Network および Public Network 用に別個のネットワークを選択する必要があります。Development/POC クラスターでは、両方のタイプに同じネットワークを選択するか、すべてのホストにネットワークが 1 つのみ設定されている場合は、そのネットワークのみが表示され、他のネットワークを選択できなくなります。

   

   192.168.122.0/24 ネットワークは パブリックネットワーク に使用され、192.168.123.0/24 ネットワークが クラスターネットワーク に使用されます。また、192.168.124.0/24 ネットワークは S3 ネットワーク に使用されます。

5. ページの右下隅にある Review ボタンをクリックして、インストール前にクラスター設定全体を確認します。

   

手順

1. レビューページを表示します。

   

2. Review ページに表示されるように、各ページの情報が予想どおりに表示されていることを確認します。Environment ページの情報の概要が 1、Hosts ページが 2、Validate ページが 3、Network ページが 4、ホストの詳細 (前のページには含まれていなかったいくつかの追加の詳細を含む) が 5 にあります。

   

3. ページの右下隅にある Deploy ボタンをクリックして、実際のインストールプロセスを確定および開始できる Deploy ページに移動します。

   

手順

1. ページの右下隅にある Save ボタンをクリックして、実際にインストールを実行するために Ansible が使用する Ansible Playbook にインストール設定を保存します。

   
2. 必要に応じて、Ansible 管理ノードにある Ansible Playbook の設定を表示するか、カスタマイズします。Playbook は /usr/share/ceph-ansible にあります。Ansible Playbook の詳細と、これらを使用してインストールをカスタマイズする方法については、Red Hat Ceph Storage クラスターのインストール を参照してください。
3. Grafana およびダッシュボードのデフォルトユーザー名およびパスワードを保護します。Red Hat Ceph Storage 4.1 以降、/usr/share/ceph-ansible/group_vars/all.yml の dashboard_admin_password および grafana_admin_password をコメント解除するか設定する必要があります。それぞれに安全なパスワードを設定します。dashboard_admin_user および grafana_admin_user のカスタムユーザー名も設定します。

4. ページの右下隅にある Deploy ボタンをクリックして、インストールを開始します。

   

5. 実行中のインストールの進捗を確認します。

   1 にある情報は、インストールが実行しているかどうか、開始時間、および経過時間を示します。2 にある情報は、試行された Ansible タスクの概要を示しています。3 にある情報は、インストールされているロールまたはインストールしているロールを示しています。緑色は、そのロールに割り当てられたすべてのホストにそのロールがインストールされているロールを表します。青色は、ロールが割り当てられているホストが依然としてインストールされているロールを表します。4 の場合は、現在のタスクの詳細を表示したり、失敗したタスクを表示できます。Filter by メニューを使用して、現在のタスクと失敗したタスクを切り換えます。

   

   ロール名は、Ansible インベントリーファイルから取得されます。mons は Monitors で、mgrs は Managers で、osd は Object Storage Devices で、mdss はメタデータサーバーで、rgws は RADOS ゲートウェイで、metrics はダッシュボードメトリックの Grafana および Prometheus サービスです。スクリーンショットの例には表示されません。iscsigws は iSCSI ゲートウェイです。

6. インストールが完了したら、ページの右下隅にある Complete ボタンをクリックします。これにより、ceph status コマンドの出力と Dashboard のアクセス情報を表示するウィンドウが開きます。

   

7. 以下の例のクラスターステータス情報を、クラスターのクラスターステータス情報と比較します。この例では、すべての OSD が稼働中、およびすべてのサービスがアクティブな正常なクラスターを示しています。PG は、active+clean 状態です。クラスターの一部の要素が同一ではない場合は、トラブルシューティングガイド で問題の解決方法に関する情報を参照してください。

   

8. Ceph Cluster Status ウィンドウ下部に、URL、ユーザー名、パスワードなど、Dashboard のアクセス情報が表示されます。この情報を書き留めておいてください。

   

9. ダッシュボードにアクセス するには、ダッシュボードガイド と共に前のステップの情報を使用します。

   

   ダッシュボードは Web インターフェイスを提供するので、Red Hat Ceph Storage クラスターを管理および監視することができます。詳細は、ダッシュボードガイド を参照してください。

10. オプション: cockpit-ceph-installer.log ファイルを表示します。このファイルは、作成された選択のログを記録し、生成されたプローブプロセスに関連する警告を記録します。これは、インストーラースクリプトを実行したユーザーのホームディレクトリー ansible-runner-service.sh にあります。

手順

1. Ansible 管理ノードで root ユーザーアカウントとしてログインします。

2. すべてのデプロイメント (ベアメタル または コンテナー 内) については、ceph-ansible パッケージをインストールします。

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum install ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf install ceph-ansible

3. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

4. 新しい yml ファイルを作成します。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml

   1. ベアメタル デプロイメント:

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. コンテナー デプロイメント:

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

5. 新しいファイルを編集します。

   1. group_vars/all.yml ファイルを編集するために開きます。

      重要

      カスタムストレージクラスター名の使用はサポートされていません。cluster パラメーターには ceph 以外の値を設定しないでください。カスタムストレージクラスター名は、librados、Ceph Object Gateway、RADOS ブロックデバイスミラーリングなどの Ceph クライアントでのみサポートされます。

      警告

      デフォルトでは、Ansible はインストール済みの再起動を試みますが、マスクされた firewalld サービスにより、Red Hat Ceph Storage デプロイメントが失敗する可能性があります。この問題を回避するには、all.yml ファイルで configure_firewall オプションを false に設定します。firewalld サービスを実行している場合は、all.yml ファイルで configure_firewall オプションを使用する必要はありません。

      注記

      ceph_rhcs_version オプションを 4 に設定すると、最新バージョンの Red Hat Ceph Storage 4 がプルされます。

      注記

      Red Hat は、group_vars/all.yml ファイルで dashboard_enabled オプションを True に設定し、これを False に変更しないことを推奨します。Dashboard を無効にする場合には、Disabling the Ceph Dashboard を参照してください。

      注記

      Dashboard 関連のコンポーネントはコンテナー化されています。したがって、ベアメタル または コンテナー のデプロイメントでは、ceph_docker_registry_username および ceph_docker_registry_password のパラメーターを追加して、ceph-ansible が、ダッシュボードに必要なコンテナーイメージを取得できるようにする必要があります。

      注記

      Red Hat レジストリーサービスアカウントがない場合は、レジストリーサービスアカウントの Web ページ を使用して作成します。トークンの作成および管理方法に関する詳細は、ナレッジベースアーティクル Red Hat Container Registry Authentication を参照してください。

      注記

      ceph_docker_registry_username および ceph_docker_registry_password パラメーターにサービスアカウントを使用するだけでなく、カスタマーポータルの認証情報を使用することもできますが、ceph_docker_registry_password パラメーターを暗号化してセキュリティーを確保してください。詳細は、ansible-vault で Ansible のパスワード変数を暗号化する を参照してください。

      1. CDN インストール用の all.yml ファイルの ベアメタル の例:

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         これは、パブリックネットワーク上のインターフェイスです。

         重要

         Red Hat Ceph Storage 4.1 以降、/usr/share/ceph-ansible/group_vars/all.yml の dashboard_admin_password および grafana_admin_password をコメント解除するか設定する必要があります。それぞれに安全なパスワードを設定します。dashboard_admin_user および grafana_admin_user のカスタムユーザー名も設定します。

         注記

         Red Hat Ceph Storage 4.2 で、インストールにローカルレジストリーを使用している場合は、Prometheus のイメージタグとして 4.6 を使用します。

      2. ISO インストール all.yml ファイルの ベアメタル の例:

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: iso
         ceph_rhcs_iso_path: /home/rhceph-4-rhel-8-x86_64.iso
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         これは、パブリックネットワーク上のインターフェイスです。

      3. all.yml ファイルの Containers の例:

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         これは、パブリックネットワーク上のインターフェイスです。

         重要

         Red Hat Ecosystem Catalog で最新のコンテナーイメージタグを検索し、最新のパッチが適用された最新のコンテナーイメージをインストールします。

      4. デプロイメント中に Red Hat Ceph Storage ノードがインターネットにアクセスできない場合の、all.yml ファイルの Containers の例:

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: LOCAL_NODE_FQDN:5000
         ceph_docker_registry_auth: false
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:4.6
         alertmanager_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:4.6

         1

         これは、パブリックネットワーク上のインターフェイスです。

         置き換え

         • LOCAL_NODE_FQDN を、ローカルホストの FQDN に置き換えます。

      5. Red Hat Ceph Storage 4.2 からは、dashboard_protocol は https に設定されており、Ansible でダッシュボードと grafana の鍵と証明書が生成されます。ベアメタル または コンテナー デプロイメントでカスタム証明書の場合には、all.yml ファイルで、dashboard_crt、dashboard_key、grafana_crt、grafana_key の Ansible インストーラーホストのパスを更新します。

         構文

         dashboard_protocol: https
         dashboard_port: 8443
         dashboard_crt: 'DASHBOARD_CERTIFICATE_PATH'
         dashboard_key: 'DASHBOARD_KEY_PATH'
         dashboard_tls_external: false
         dashboard_grafana_api_no_ssl_verify: "{{ True if dashboard_protocol == 'https' and not grafana_crt and not grafana_key else False }}"
         grafana_crt: 'GRAFANA_CERTIFICATE_PATH'
         grafana_key: 'GRAFANA_KEY_PATH'

   2. http または https プロキシーで到達可能なコンテナーレジストリーを使用して Red Hat Ceph Storage をインストールするには、group_vars/all.yml ファイルの ceph_docker_http_proxy または ceph_docker_https_proxy 変数を設定します。

      例

      ceph_docker_http_proxy: http://192.168.42.100:8080
      ceph_docker_https_proxy: https://192.168.42.100:8080

      プロキシー設定で一部のホストを除外する必要がある場合は、group_vars/all.yml ファイルで ceph_docker_no_proxy 変数を使用できます。

      例

      ceph_docker_no_proxy: "localhost,127.0.0.1"

   3. Red Hat Ceph Storage のプロキシーインストール用に all.yml ファイルを編集する他に、/etc/environment ファイルを編集します。

      例

      HTTP_PROXY: http://192.168.42.100:8080
      HTTPS_PROXY: https://192.168.42.100:8080
      NO_PROXY: "localhost,127.0.0.1"

      これにより、podman がトリガーされ、prometheus、grafana-server、alertmanager、node-exporter などのコンテナー化されたサービスを起動し、必要なイメージをダウンロードします。

   4. 全デプロイメントの場合には (ベアメタル または コンテナー)、group_vars/osds.yml ファイルを編集します。

      重要

      オペレーティングシステムがインストールされているデバイスに OSD をインストールしないでください。オペレーティングシステムと OSD 間で同じデバイスを共有すると、パフォーマンスの問題が発生することになります。

      ceph-ansible は ceph-volume ツールを使用して、Ceph の使用に向けてストレージデバイスを準備します。ストレージデバイスを使用するように osds.yml を設定し、特定のワークロードのパフォーマンスを最適化することができます。

      重要

      以下の例では、BlueStore オブジェクトストアを使用します。これは、Ceph がデバイスにデータを保存するのに使用する形式です。以前のバージョンでは、Ceph は FileStore をオブジェクトストアとして使用していました。BlueStore はより多くの機能を提供し、パフォーマンスを向上させるため、この形式は Red Hat Ceph Storage 4.0 で非推奨になっています。FileStore は依然として使用できますが、Red Hat サポート例外が必要です。BlueStore の詳細は、Red Hat Ceph Storage アーキテクチャーガイド の Ceph BlueStore を参照してください。

      1. 自動検出

         osd_auto_discovery: true

         上記の例では、システム上の空のストレージデバイスをすべて使用して OSD を作成するため、明示的に指定する必要はありません。この ceph-volume ツールは、空のデバイスを確認するため、空ではないデバイスは使用されません。

         注記

         後で purge-docker-cluster.yml または purge-cluster.yml を使用してクラスターを削除する場合は、osd_auto_discovery をコメントアウトし、osds.yml ファイルで OSD デバイスを宣言する必要があります。詳細については、Ansible によってデプロイされたストレージクラスターのパージ を参照してください。

      2. 簡易設定

         初回のシナリオ

         devices:
           - /dev/sda
           - /dev/sdb

         または、以下を実行します。

         2 つ目のシナリオ

         devices:
           - /dev/sda
           - /dev/sdb
           - /dev/nvme0n1
           - /dev/sdc
           - /dev/sdd
           - /dev/nvme1n1

         または、以下を実行します。

         3 つ目のシナリオ

         lvm_volumes:
            - data: /dev/sdb
            - data: /dev/sdc

         または、以下を実行します。

         4 つ目のシナリオ

         lvm_volumes:
             - data: /dev/sdb
             - data:/dev/nvme0n1

         devices オプションのみを使用する場合には、ceph-volume lvm batch モードは OSD 設定を自動的に最適化します。

         最初のシナリオでは、devices を従来のハードドライブまたは SSD の場合には、デバイスごとに OSD が 1 つ作成されます。

         2 つ目のシナリオでは、従来のハードドライブと SSD が混在している場合、データは従来のハードドライブ (sda、sdb) に配置され、BlueStore データベースは SSD (nvme0n1) にできる限り大きく作成されます。同様に、データは従来のハードドライブ (sdc、sdd) に配置され、デバイスの順序に関係なく、SSD nvme1n1 に BlueStore データベースが作成されます。

         注記

         デフォルトでは、ceph-ansible では bluestore_block_db_size および bluestore_block_wal_size のデフォルト値は上書きされません。group_vars/all.yml ファイルの ceph_conf_overrides を使用して bluestore_block_db_size を設定できます。bluestore_block_db_size の値は 2 GB より大きくする必要があります。

         3 つ目のシナリオでは、データは従来のハードドライブ (sdb、sdc) に置かれ、BlueStore データベースは同じデバイスに置かれます。

         4 番目のシナリオでは、従来のハードドライブ (sdb) および SSD (nvme1n1) にデータが配置され、BlueStore データベースが同じデバイスに配置されます。これは、BlueStore データベースが SSD に配置される devices ディレクティブの使用とは異なります。

         重要

         ceph-volume lvm batch mode コマンドは、従来のハードドライブおよび BlueStore データベースに SSD にデータを配置することで、OSD 最適化設定を作成します。使用する論理ボリュームとボリュームグループを指定する場合は、以下の 高度な設定 シナリオに従って、論理ボリュームとボリュームグループを直接作成できます。

      3. 高度な設定

         初回のシナリオ

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy

         または、以下を実行します。

         2 つ目のシナリオ

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy
         bluestore_wal_devices:
           - /dev/nvme0n1
           - /dev/nvme0n2

         最初のシナリオでは、OSD が 2 つあります。sda デバイスおよび sdb デバイスには、独自のデータセグメントと先行書き込みログがあります。追加のディクショナリー dedicated_devices を使用して、sdx と sdy のデータベース (block.db とも呼ばれる) を分離します。

         2 つ目のシナリオでは、別のディクショナリー bluestore_wal_devices を使用して、NVMe デバイス nvme0n1 および nvme0n2 のログ先行書き込みを分離します。devices オプション、dedicated_devices オプション、bluestore_wal_devices, オプションを一緒に使用すると、OSD のすべてのコンポーネントを別々のデバイスに分離できます。このように OSD を配置すると、全体的なパフォーマンスが向上する場合があります。

      4. 事前作成された論理ボリューム

         初回のシナリオ

         lvm_volumes:
           - data: data-lv1
             data_vg: data-vg1
             db: db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1
           - data: data-lv2
             data_vg: data-vg2
             db: db-lv2
             db_vg: db-vg2
             wal: wal-lv2
             wal_vg: wal-vg2

         または、以下を実行します。

         2 つ目のシナリオ

         lvm_volumes:
           - data: /dev/sdb
             db:    db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1

         デフォルトでは、Ceph は論理ボリュームマネージャーを使用して OSD デバイスに論理ボリュームを作成します。上記の 単純な設定 および 高度な設定 例では、Ceph はデバイス上に論理ボリュームを自動的に作成します。lvm_volumes ディクショナリーを指定すると、Ceph で以前に作成した論理ボリュームを使用できます。

         最初のシナリオでは、データは専用の論理ボリューム、データベース、および WAL に置かれます。データ、データおよび WAL、またはデータおよびデータベースのみを指定することもできます。data: 行は、データの保存先の論理ボリューム名を指定し、data_vg: データの論理ボリュームが含まれるボリュームグループの名前を指定する必要があります。同様に、db: は、データベースが保存されている論理ボリュームを指定するために使用されます。db_vg: は、論理ボリュームが存在するボリュームグループを指定するために使用されます。wal: 行は、WAL が格納する論理ボリュームを指定し、wal_vg: 行は、それを含むボリュームグループを指定します。

         2 つ目のシナリオでは、実際のデバイス名が data: オプションに設定されているため、data_vg: オプションを指定する必要はありません。BlueStore データベースおよび WAL デバイスに、論理ボリューム名とボリュームグループの詳細を指定する必要があります。

         重要

         lvm_volumes: では、ボリュームグループと論理ボリュームを、事前に作成する必要があります。ボリュームグループと論理ボリュームは、ceph-ansible では作成されません。

         注記

         すべての NVMe SSD を使用する場合は、osds_per_device: 2 を設定します。詳細は、Red Hat Ceph Storage インストールガイドの すべての NVMe ストレージに OSD Ansible 設定の設定 を参照してください。

         注記

         Ceph OSD ノードのリブート後には、ブロックデバイスの割り当てが変更される可能性があります。たとえば、sdc は、sdd になる場合があります。従来のブロックデバイス名ではなく、/dev/disk/by-path/ デバイスパスなどの永続的な命名デバイスを使用できます。

6. すべてのデプロイメント (ベアメタル または コンテナー) について、Ansible インベントリーファイルを作成してから、そのファイルを開いて編集します。

   [root@admin ~]# cd /usr/share/ceph-ansible/
   [root@admin ceph-ansible]# touch hosts

   それに応じて hosts ファイルを編集します。

   注記

   Ansible インベントリーの場所の編集に関する詳細は、Ansible インベントリーの場所の設定 を参照してください。

   1. [grafana-server] の下にノードを追加します。このロールは Grafana および Prometheus をインストールし、Ceph クラスターのパフォーマンスに関するリアルタイムの洞察を提供します。これらのメトリックは Ceph Dashboard に提示されています。これにより、クラスターの監視および管理が可能になります。Dashboard、Grafana、および Prometheus のインストールが必要です。Ansible Administration ノードでメトリック関数を同じ場所に配置できます。これを実行する場合は、ノードのシステムリソースが スタンドアロンのメトリックノードに必要とされるもの よりも大きいことを確認します。

      [grafana-server]
      GRAFANA-SERVER_NODE_NAME

   2. [mons] セクションに monitor ノードを追加します。

      [mons]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

   3. [osds] セクションに OSD ノードを追加します。

      [osds]
      OSD_NODE_NAME_1
      OSD_NODE_NAME_2
      OSD_NODE_NAME_3

      注記

      ノード名が数値的に連続している場合は、ノード名の末尾に範囲指定子 ([1:10]) を追加できます。以下に例を示します。

      [osds]
      example-node[1:10]

      注記

      新規インストールの OSD の場合、デフォルトのオブジェクトストア形式は BlueStore です。

   4. 必要に応じて、コンテナー デプロイメントで、[mon] セクションおよび [osd] セクションに同じノードを追加して、Ceph Monitor デーモンを 1 つのノードの Ceph OSD デーモンと同じ場所に配置します。詳細は、Additional Resources セクションで、Ceph デーモンの配置に関するリンクを参照してください。

   5. [mgrs] セクションに Ceph Manager (ceph-mgr) ノードを追加します。これは、Ceph Manager デーモンと Ceph Monitor デーモンを共存させます。

      [mgrs]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

7. 必要に応じて、すべてのデプロイメント (ベアメタル または コンテナー 内) ホスト固有のパラメーターを使用する場合は、ホストに固有のパラメーターが含まれるホストファイルで host_vars ディレクトリーを作成します。

   1. host_vars ディレクトリーを作成します。

      [ansible@admin ~]$ mkdir /usr/share/ceph-ansible/host_vars

   2. host_vars ディレクトリーに変更します。

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/host_vars

   3. ホストファイルを作成します。ファイル名に、host-name-short-name 形式を使用します。以下に例を示します。

      [ansible@admin host_vars]$ touch tower-osd6

   4. 以下のように、ホスト固有のパラメーターでファイルを更新します。

      1. bare-metal デプロイメントでは、devices パラメーターを使用して OSD ノードが使用するデバイスを指定します。OSD が異なる名前のデバイスを使用する場合や、いずれかの OSD でデバイスのいずれかに障害が発生した場合に devices の使用が役に立ちます。

         devices:
             DEVICE_1
             DEVICE_2

         例

         devices:
             /dev/sdb
             /dev/sdc

         注記

         デバイスを指定しない場合は、group_vars/osds.yml ファイルで osd_auto_discovery パラメーターを true に設定します。

8. オプションで、ベアメタルまたはコンテナー内のすべてのデプロイメントで、Ceph Ansible を使用してカスタム CRUSH 階層を作成できます。

   1. Ansible のインベントリーファイルを設定します。osd_crush_location パラメーターを使用して、OSD ホストを CRUSH マップの階層内のどこに配置するかを指定します。OSD の場所を指定するために、2 つ以上の CRUSH バケットタイプを指定し、1 つのバケットの type をホストに指定する必要があります。デフォルトでは、これには、root、datacenter、room、row、pod、pdu、rack、chassis および host が含まれます。

      構文

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET_', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      例

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. group_vars/osds.yml ファイルを編集し、crush_rule_config パラメーターと create_crush_tree パラメーターを True に設定します。デフォルトの CRUSH ルールを使用しない場合は、少なくとも 1 つの CRUSH ルールを作成します。次に例を示します。

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      より高速な SSD デバイスを使用している場合は、次のようにパラメーターを編集します。

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      注記

      ssd と hdd の両方の OSD がデプロイされていない場合、デフォルトの CRUSH ルールは失敗します。これは、デフォルトのルールに、定義する必要のある class パラメーターが含まれているためです。

   3. group_vars/clients.yml ファイルで作成した crush_rules を使用して pools を作成します。

      例

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. ツリーを表示します。

      [root@mon ~]# ceph osd tree

   5. プールを検証します。

      [root@mon ~]# for i in $(rados lspools); do echo "pool: $i"; ceph osd pool get $i crush_rule; done
      
      pool: pool1
      crush_rule: HDD

9. すべてのデプロイメント (ベアメタル または コンテナー 内) では、ログインするか、ansible ユーザーに切り替えます。

   1. Ansible が ceph-ansible Playbook で生成される一時的な値を保存する ceph-ansible-keys ディレクトリーを作成します。

      [ansible@admin ~]$ mkdir ~/ceph-ansible-keys

   2. /usr/share/ceph-ansible/ ディレクトリーに移動します。

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/

   3. Ansible が Ceph ノードに到達できることを確認します。

      [ansible@admin ceph-ansible]$ ansible all -m ping -i hosts

10. ceph-ansible Playbook を実行します。

    1. ベアメタル デプロイメント:

       [ansible@admin ceph-ansible]$ ansible-playbook site.yml -i hosts

    2. コンテナー デプロイメント:

       [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts

       注記

       Red Hat Ceph Storage を Red Hat Enterprise Linux Atomic Host ホストにデプロイする場合は、--skip-tags=with_pkg オプションを使用します。

       [user@admin ceph-ansible]$ ansible-playbook site-container.yml --skip-tags=with_pkg -i hosts

       注記

       デプロイメントの速度を増やすには、--forks オプションを ansible-playbook に指定します。デフォルトでは、ceph-ansible はフォークを 20 に設定します。この設定では、ノードを同時にインストールします。一度に最大 30 台までインストールするには、ansible-playbook --forks 30 PLAYBOOK FILE -i hosts を実行します。管理ノードのリソースが過剰に使用されていないことを確認するために、監視する必要があります。そうである場合は、--forks に渡される数を減らします。

11. Ceph デプロイメントが完了するまで待ちます。

    出力例

    INSTALLER STATUS *******************************
    Install Ceph Monitor           : Complete (0:00:30)
    Install Ceph Manager           : Complete (0:00:47)
    Install Ceph OSD               : Complete (0:00:58)
    Install Ceph RGW               : Complete (0:00:34)
    Install Ceph Dashboard         : Complete (0:00:58)
    Install Ceph Grafana           : Complete (0:00:50)
    Install Ceph Node Exporter     : Complete (0:01:14)

12. Ceph Storage クラスターのステータスを確認します。

    1. ベアメタル デプロイメント:

       [root@mon ~]# ceph health
       HEALTH_OK

    2. コンテナー デプロイメント:

       Red Hat Enterprise Linux 7

       [root@mon ~]# docker exec ceph-mon-ID ceph health

       Red Hat Enterprise Linux 8

       [root@mon ~]# podman exec ceph-mon-ID ceph health

       置き換え

       • ID は、Ceph Monitor ノードのホスト名に置き換えます。

         例

         [root@mon ~]# podman exec ceph-mon-mon0 ceph health
         HEALTH_OK

13. ベアメタル または コンテナー 内のすべてのデプロイメントについて、ストレージクラスターが rados を使用して機能していることを確認します。

    1. Ceph Monitor ノードから、8 つの配置グループ (PG) でテストプールを作成します。

       構文

       [root@mon ~]# ceph osd pool create POOL_NAME PG_NUMBER

       例

       [root@mon ~]# ceph osd pool create test 8

    2. hello-world.txt というファイルを作成します。

       構文

       [root@mon ~]# vim FILE_NAME

       例

       [root@mon ~]# vim hello-world.txt

    3. オブジェクト名 hello-world を使用して、hello-world.txt をテストプールにアップロードします。

       構文

       [root@mon ~]# rados --pool POOL_NAME put OBJECT_NAME OBJECT_FILE_NAME

       例

       [root@mon ~]# rados --pool test put hello-world hello-world.txt

    4. テストプールからファイル名 fetch.txt として hello-world をダウンロードします。

       構文

       [root@mon ~]# rados --pool POOL_NAME get OBJECT_NAME OBJECT_FILE_NAME

       例

       [root@mon ~]# rados --pool test get hello-world fetch.txt

    5. fetch.txt の内容を確認してください。

       [root@mon ~]# cat fetch.txt
       "Hello World!"

       注記

       ストレージクラスターのステータスを確認する他に、ceph-medic ユーティリティーを使用して Ceph Storage クラスター全体の診断を行うことができます。Red Hat Ceph Storage 4 のトラブルシューティングガイドの ceph-medic をインストールおよび使用して Ceph Storage クラスターの検証 の章を参照してください。

手順

1. group_vars/osds.yml に osds_per_device: 2 を設定します。

   osds_per_device: 2

2. devices の下に NVMe デバイスをリスト表示します。

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml の設定は以下のようになります。

   osds_per_device: 2
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 新しいセクション [mdss] を /etc/ansible/hosts ファイルに追加します。

   [mdss]
   MDS_NODE_NAME1
   MDS_NODE_NAME2
   MDS_NODE_NAME3

   MDS_NODE_NAME は、Ceph Metadata サーバーをインストールするノードのホスト名に置き換えます。

   [osds] セクションおよび [mdss] セクションに同じノードを追加して、1 つのノードにメタデータサーバーと OSD デーモンを同じ場所に置く事ができます。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 必要に応じて、デフォルトの変数を変更できます。

   1. mdss.yml という名前の group_vars/mdss.yml.sample ファイルのコピーを作成します。

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. 必要に応じて、mdss.yml のパラメーターを編集します。詳細は、mdss.yml を参照してください。

4. ansible ユーザーとして、Ansible Playbook を実行します。

   • ベアメタル デプロイメント:

     [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss -i hosts

   • コンテナー デプロイメント:

     [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit mdss -i hosts

5. メタデータサーバーをインストールした後に、それらを設定できるようになりました。詳細は、Red Hat Ceph Storage ファイルシステムガイドの Ceph File System Metadata Server の章を参照してください。

1. 新しいセクション [clients] を /etc/ansible/hosts ファイルに追加します。

   [clients]
   CLIENT_NODE_NAME

   CLIENT_NODE_NAME は、ceph-client ロールをインストールするノードのホスト名に置き換えます。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. clients.yml という名前の clients.yml.sample ファイルの新しいコピーを作成します。

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/clients.yml ファイルを開き、以下の行をコメント解除します。

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test を実際のクライアント名に置き換え、クライアントキーをクライアント定義の行に追加します。以下に例を示します。

      key: "ADD-KEYRING-HERE=="

      これで、行全体の例は次のようになります。

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注記

      ceph-authtool --gen-print-key コマンドは、新しいクライアントキーを生成することができます。

5. 必要に応じて、プールおよびクライアントを作成するように ceph-client に指示します。

   1. clients.yml を更新します。

      • user_config 設定のコメントを解除して、true に設定します。
      • pools セクションおよび keys セクションのコメントを解除し、必要に応じて更新します。cephx 機能を使用して、カスタムプールとクライアント名をまとめて定義できます。

   2. osd_pool_default_pg_num 設定を all.yml ファイルの ceph_conf_overrides セクションに追加します。

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: NUMBER

      NUMBER は、デフォルトの配置グループ数に置き換えます。

6. ansible ユーザーとして、Ansible Playbook を実行します。

   1. ベアメタル デプロイメント:

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit clients -i hosts

   2. コンテナー デプロイメント:

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit clients -i hosts

1. [rgws] セクションの下の /etc/ansible/hosts ファイルにゲートウェイホストを追加して、それらのロールを Ansible に識別します。ホストに連続する命名がある場合は、以下のように範囲を使用します。

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. Ansible 設定ディレクトリーに移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. サンプルファイルから rgws.yml ファイルを作成します。

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. group_vars/rgws.yml ファイルを開いて編集します。管理者キーを Ceph Object Gateway ノードにコピーするには、copy_admin_key オプションのコメントを解除します。

   copy_admin_key: true

5. all.yml ファイルで、radosgw_interface を指定する 必要 があります。

   radosgw_interface: <interface>

   以下を置き換えます。

   • Ceph Object Gateway がリッスンするインターフェイスを使用する <interface>

   以下に例を示します。

   radosgw_interface: eth0

   インターフェイスを指定すると、同じホストで複数のインスタンスを実行している場合に、Civetweb が別の Civetweb インスタンスと同じ IP アドレスにバインドされないようにします。

   詳細は、all.yml ファイルを参照してください。

6. 通常、デフォルト設定を変更するには、rgws.yml ファイルの設定をコメント解除し、それに応じて変更を加えます。rgws.yml ファイルに含まれていない設定に追加の変更を行うには、all.yml ファイルで ceph_conf_overrides: を使用します。

   ceph_conf_overrides:
       client.rgw.rgw1:
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   詳細な設定の詳細は、Red Hat Ceph Storage 4 の 実稼働環境への Ceph Object Gateway ガイド を参照してください。高度なトピックには以下が含まれます。

   • Ansible グループの設定

   • ストレージストラテジーの開発プールの作成方法および設定方法の詳細は、ルートプールの作成、システムプールの作成、およびデータ配置戦略の作成セクションを参照してください。

     バケットのシャード化の詳細は、バケットのシャード化 を参照してください。

7. Ansible Playbook を実行します。

   警告

   マルチサイトを設定する場合には、Ansible Playbook を実行しないでください。マルチサイト Ceph Object Gateways の設定 セクションに進み、マルチサイトを設定します。

   1. ベアメタル デプロイメント:

      [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws -i hosts

   2. コンテナー デプロイメント:

      [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rgws -i hosts

手順

1. group_vars/mons.yml ファイルに crush_rules を作成します。

   例

   crush_rule_config: true
   crush_rule_hdd:
       name: HDD
       root: default
       type: host
       class: hdd
       default: true
   crush_rule_ssd:
       name: SSD
       root: default
       type: host
       class: ssd
       default: true
   crush_rules:
         - "{{ crush_rule_hdd }}"
         - "{{ crush_rule_ssd }}"
   create_crush_tree: true

   注記

   クラスターで SSD デバイスまたは HDD デバイスを使用していない場合は、そのデバイスの crush_rules を定義しないでください。

2. group_vars/clients.yml ファイルで作成した crush_rules を使用して pools を作成します。

   例

   copy_admin_key: True
   user_config: True
   pool1:
     name: "pool1"
     pg_num: 128
     pgp_num: 128
     rule_name: "HDD"
     type: "replicated"
     device_class: "hdd"
   pools:
     - "{{ pool1 }}"

3. ルートを OSD に割り当てるためのインベントリーファイルをサンプリングします。

   例

   [mons]
   mon1
   
   [osds]
   osd1 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd1' }"
   osd2 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd2' }"
   osd3 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd3' }"
   osd4 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd4' }"
   osd5 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd5' }"
   osd6 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd6' }"
   
   [mgrs]
   mgr1
   
   [clients]
   client1

4. ツリーを表示します。

   構文

   [root@mon ~]# ceph osd tree

   例

   TYPE NAME
   
   root default
        rack rack1
           host osd1
                osd.0
                osd.10
           host osd2
                osd.3
                osd.7
                osd.12
        rack rack2
           host osd3
                osd.1
                osd.6
                osd.11
           host osd4
                osd.4
                osd.9
                osd.13
        rack rack3
            host osd5
                osd.2
                osd.8
            host osd6
                osd.14
                osd.15

5. プールを検証します。

   例

   # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
   
   pool: pool1
   crush_rule: HDD

1. サンプルファイルから nfss.yml ファイルを作成します。

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. [nfss] グループの下にゲートウェイホストを /etc/ansible/hosts ファイルに追加して、Ansible へのグループメンバーシップを特定します。

   [nfss]
   NFS_HOST_NAME_1
   NFS_HOST_NAME_2
   NFS_HOST_NAME[3..10]

   ホストに連続する命名がある場合は、[3..10] のように範囲指定子を使用できます。

3. Ansible 設定ディレクトリーに移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 管理者キーを Ceph Object Gateway ノードにコピーするには、/usr/share/ceph-ansible/group_vars/nfss.yml ファイルの copy_admin_key 設定をコメント解除します。

   copy_admin_key: true

5. /usr/share/ceph-ansible/group_vars/nfss.yml ファイルの FSAL (File System Abstraction Layer) セクションを設定します。エクスポート ID (NUMERIC_EXPORT_ID)、S3 ユーザー ID (S3_USER)、S3 アクセスキー (ACCESS_KEY)、およびシークレットキー (SECRET_KEY) を提供します。

   # FSAL RGW Config #
   
   ceph_nfs_rgw_export_id: NUMERIC_EXPORT_ID
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   ceph_nfs_rgw_user: "S3_USER"
   ceph_nfs_rgw_access_key: "ACCESS_KEY"
   ceph_nfs_rgw_secret_key: "SECRET_KEY"

   警告

   アクセスおよびシークレットキーは任意で、生成できます。

6. Ansible Playbook を実行します。

   1. ベアメタル デプロイメント:

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit nfss -i hosts

   2. コンテナー デプロイメント:

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit nfss -i hosts

手順

1. デーモンのデフォルト CPU 制限を変更するには、デーモンのデプロイ時に、適切な .yml 設定ファイルに ceph_daemon-type_docker_cpu_limit パラメーターを設定します。詳細は以下の表を参照してください。

   デーモン	パラメーター	設定ファイル
   OSD	ceph_osd_docker_cpu_limit	osds.yml
   MDS	ceph_mds_docker_cpu_limit	mdss.yml
   RGW	ceph_rgw_docker_cpu_limit	rgws.yml

   たとえば、Ceph Object Gateway のデフォルトの CPU 制限を 2 に変更するには、以下のように /usr/share/ceph-ansible/group_vars/rgws.yml ファイルを編集します。

   ceph_rgw_docker_cpu_limit: 2

2. OSD デーモンのデフォルト RAM を変更するには、デーモンのデプロイ時に /usr/share/ceph-ansible/group_vars/all.yml ファイルに osd_memory_target を設定します。たとえば、OSD RAM を 6 GB に制限するには、以下を実行します。

   ceph_conf_overrides:
     osd:
       osd_memory_target=6000000000

   重要

   ハイパーコンバージドインフラストラクチャー (HCI) 設定では、osds.yml 設定ファイルの ceph_osd_docker_memory_limit パラメーターを使用して Docker メモリー CGroup 制限を変更することもできます。この場合、ceph_osd_docker_memory_limit を osd_memory_target よりも 50% 高く設定し、CGroup の制限は、HCI 設定の場合のデフォルトよりも制限が高くなります。たとえば、osd_memory_target が 6 GB に設定されている場合は、ceph_osd_docker_memory_limit を 9 GB に設定します。

   ceph_osd_docker_memory_limit: 9g

手順

1. ストレージクラスター内のすべてのノードで root ユーザーとしてログインします。
2. Ceph ノードが Red Hat コンテンツ配信ネットワーク (CDN) に接続されていない場合は、ISO イメージを使用して Red Hat Ceph Storage の最新バージョンでローカルリポジトリーを更新することで、Red Hat Ceph Storage をアップグレードできます。

3. Red Hat Ceph Storage をバージョン 3 からバージョン 4 にアップグレードする場合は、既存の Ceph ダッシュボードのインストールを削除します。

   1. Ansible 管理ノードで、cephmetrics-ansible ディレクトリーに移動します。

      [root@admin ~]# cd /usr/share/cephmetrics-ansible

   2. purge.yml Playbook を実行して、既存の Ceph ダッシュボードのインストールを削除します。

      [root@admin cephmetrics-ansible]# ansible-playbook -v purge.yml

4. Red Hat Ceph Storage をバージョン 3 からバージョン 4 にアップグレードする場合は、Ansible 管理ノードで Ceph リポジトリーおよび Ansible リポジトリーを有効にします。

   Red Hat Enterprise Linux 7

   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms --enable=rhel-7-server-ansible-2.9-rpms

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

5. Ansible 管理ノードで、ansible パッケージおよび ceph-ansible パッケージの最新バージョンがインストールされていることを確認します。

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum update ansible ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf update ansible ceph-ansible

6. Playbook infrastructure-playbooks/rolling_update.yml 編集し、health_osd_check_retries および health_osd_check_delay の値をそれぞれ 50 および 30 に変更します。

   health_osd_check_retries: 50
   health_osd_check_delay: 30

   各 OSD ノードについて、この値により Ansible は最大 25 分待機し、アップグレードプロセスを続行する前に 30 秒ごとにストレージクラスターの正常性をチェックします。

   注記

   ストレージクラスターで使用されているストレージ容量に基づいて、health_osd_check_retries オプションの値をスケールアップまたはダウンします。たとえば、436 TB 未満の 218 TB (ストレージ容量の 50%) を使用している場合は、health_osd_check_retries オプションを 50 に設定します。

7. アップグレードするストレージクラスターに exclusive-lock 機能を使用する Ceph Block Device イメージが含まれている場合には、全 Ceph Block Device ユーザーにクライアントをブラックリストに登録するパーミッションがあるようにしてください。

   ceph auth caps client.ID mon 'allow r, allow command "osd blacklist"' osd 'EXISTING_OSD_USER_CAPS'

8. ストレージクラスターが Cockpit を使用して最初にインストールされている場合は、/usr/share/ceph-ansible ディレクトリーに、Cockpit が作成したインベントリーファイルへのシンボリックリンクを /usr/share/ansible-runner-service/inventory/hosts に作成します。

   1. /usr/share/ceph-ansible ディレクトリーに移動します。

      # cd /usr/share/ceph-ansible

   2. シンボリックリンクを作成します。

      # ln -s /usr/share/ansible-runner-service/inventory/hosts hosts

9. ceph-ansible を使用してクラスターをアップグレードするには、hosts インベントリーファイルのシンボリックリンクを etc/ansible/hosts ディレクトリーに作成します。

   # ln -s /etc/ansible/hosts hosts

10. ストレージクラスターが Cockpit を使用して最初にインストールされている場合は、Cockpit で生成された SSH 鍵を Ansible ユーザーの ~/.ssh ディレクトリーにコピーします。

    1. 鍵をコピーします。

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/ANSIBLE_USERNAME/.ssh/id_rsa

       ANSIBLE_USERNAME は、Ansible のユーザー名に置き換えます (通常は admin)。

       例

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/admin/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/admin/.ssh/id_rsa

    2. キーファイルに適切な所有者、グループ、およびパーミッションを設定します。

       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa
       # chmod 644 /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chmod 600 /home/ANSIBLE_USERNAME/.ssh/id_rsa

       ANSIBLE_USERNAME は、Ansible のユーザー名に置き換えます (通常は admin)。

       例

       # chown admin:admin /home/admin/.ssh/id_rsa.pub
       # chown admin:admin /home/admin/.ssh/id_rsa
       # chmod 644 /home/admin/.ssh/id_rsa.pub
       # chmod 600 /home/admin/.ssh/id_rsa

手順

1. /usr/share/ceph-ansible ディレクトリーに移動します。

   例

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードする場合は、group_vars/all.yml ファイル、group_vars/osds.yml ファイル、および group_vars/clients.yml ファイルのバックアップコピーを作成します。

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードする場合は、group_vars/all.yml.sample、group_vars/osds.yml.sample、および group_vars/clients.yml.sample ファイルの新しいコピーを作成し、名前を group_vars/all.yml、group_vars/osds.yml、および group_vars/clients.yml に変更します。以前にバックアップしたコピーに基づいて変更を開き、編集します。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/osds.yml ファイルを編集します。以下のオプションを追加して設定します。

   nb_retry_wait_osd_up: 60
   delay_wait_osd_up: 10

   注記

   これらはデフォルトの値であり、ユーザーの使用目的に応じて値を変更できます。

5. Red Hat Ceph Storage 4 の新規マイナーバージョンにアップグレードする場合は、group_vars/all.yml の grafana_container_image の値が group_vars/all.yml.sample の値と同じであることを確認します。同じでない場合は、同じになるように編集します。

   例

   grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:4

   注記

   以下に示すイメージパスは、ceph-ansible バージョン 4.0.23-1 に含まれています。

6. サンプルファイルから最新の site.yml ファイルまたは site-container.yml ファイルをコピーします。

   1. ベアメタル デプロイメントの場合:

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. コンテナー デプロイメントの場合:

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

7. group_vars/all.yml ファイルを開き、以下のオプションを編集します。

   1. fetch_directory オプションを追加します。

      fetch_directory: FULL_DIRECTORY_PATH

      置き換え

      • FULL_DIRECTORY_PATH を、書き込み可能な場所 (Ansible ユーザーのホームディレクトリーなど) に置き換えます。

   2. アップグレードするクラスターに Ceph Object Gateway ノードが含まれている場合には、radosgw_interface オプションを追加します。

      radosgw_interface: INTERFACE

      置き換え

      • Ceph Object Gateway がリッスンするインターフェイスを使用する INTERFACE

   3. 現在の設定で SSL 証明書が設定されている場合は、以下を編集する必要があります。

      radosgw_frontend_ssl_certificate: /etc/pki/ca-trust/extracted/CERTIFICATE_NAME
      radosgw_frontend_port: 443

   4. デフォルトの OSD オブジェクトストアは BlueStore です。従来の OSD オブジェクトストアを維持するには、osd_objectstore オプションを明示的に filestore に設定する必要があります。

      osd_objectstore: filestore

      注記

      osd_objectstore オプションを filestore に設定し、OSD を置き換えると BlueStore ではなく FileStore が使用されます。

      重要

      Red Hat Ceph Storage 4 以降、FileStore は非推奨の機能になりました。Red Hat は、FileStore OSD を BlueStore OSD に移行することを推奨します。

   5. Red Hat Ceph Storage 4.1 以降、/usr/share/ceph-ansible/group_vars/all.yml の dashboard_admin_password および grafana_admin_password をコメント解除するか設定する必要があります。それぞれに安全なパスワードを設定します。dashboard_admin_user および grafana_admin_user のカスタムユーザー名も設定します。

   6. ベアメタル および コンテナー の両方のデプロイメントの場合:

      1. upgrade_ceph_packages オプションをコメント解除して、True に設定します。

         upgrade_ceph_packages: True

      2. ceph_rhcs_version オプションを 4 に設定します。

         ceph_rhcs_version: 4

         注記

         ceph_rhcs_version オプションを 4 に設定すると、最新バージョンの Red Hat Ceph Storage 4 がプルされます。

      3. ceph_docker_registry 情報を all.yml に追加します。

         構文

         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN

         注記

         Red Hat レジストリーサービスアカウントがない場合は、レジストリーサービスアカウントの Web ページ を使用して作成します。詳細は、Red Hat Container Registry Authentication のナレッジベース記事を参照してください。

         注記

         ceph_docker_registry_username および ceph_docker_registry_password パラメーターにサービスアカウントを使用するだけでなく、カスタマーポータルの認証情報を使用することもできますが、ceph_docker_registry_password パラメーターを暗号化してセキュリティーを確保してください。詳細は、ansible-vault で Ansible のパスワード変数を暗号化する を参照してください。

   7. コンテナー のデプロイメントの場合:

      1. ceph_docker_image オプションを変更して、Ceph 4 コンテナーバージョンを指定します。

         ceph_docker_image: rhceph/rhceph-4-rhel8

      2. ceph_docker_image_tag オプションを変更して、rhceph/rhceph-4-rhel8 の最新バージョンを参照します。

         ceph_docker_image_tag: latest

8. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードする場合は、Ansible インベントリーファイルでデフォルトで /etc/ansible/hosts を開き、[grafana-server] セクションに Ceph ダッシュボードのノード名または IP アドレスを追加します。このセクションが存在しない場合は、ノード名または IP アドレスとともにこのセクションも追加します。

9. Ansible ユーザーに切り替えるかログインしてから、rolling_update.yml Playbook を実行します。

   [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/rolling_update.yml -i hosts

   重要

   rolling_update.yml Playbook で --limit Ansible オプションを使用することはサポートされていません。

10. RBD ミラーリングデーモンノードの root ユーザーとして、rbd-mirror パッケージを手動でアップグレードします。

    [root@rbd ~]# yum upgrade rbd-mirror

11. rbd-mirror デーモンを再起動します。

    systemctl restart ceph-rbd-mirror@CLIENT_ID

12. ストレージクラスターのヘルスステータスを確認します。

    1. ベアメタル デプロイメントの場合は、root ユーザーとして monitor ノードにログインし、Ceph status コマンドを実行します。

       [root@mon ~]# ceph -s

    2. container デプロイメントの場合は、Ceph Monitor ノードに root ユーザーとしてログインします。

       1. 実行中のコンテナーのリストを表示します。

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker ps

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman ps

       2. ヘルスステータスを確認します。

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker exec ceph-mon-MONITOR_NAME ceph -s

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman exec ceph-mon-MONITOR_NAME ceph -s

          置き換え

          • MONITOR_NAME は、前のステップで見つかった Ceph Monitor コンテナーの名前にします。

            例

            [root@mon ~]# podman exec ceph-mon-mon01 ceph -s

13. オプション: Red Hat Ceph Storage 3.x から Red Hat Ceph Storage 4.x にアップグレードした場合に、Legacy BlueStore stats reporting detected on 336 OSD(s). というヘルスに関する警告が表示される場合があります。これは、新しいコードではプール統計の計算方法が異なることが原因です。これは、bluestore_fsck_quick_fix_on_mount パラメーターを設定することで解決できます。

    1. bluestore_fsck_quick_fix_on_mount は true に設定します。

       例

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount true

    2. noout フラグと norebalance フラグを設定して、OSD がダウンしている間のデータ移動を防止します。

       例

       [root@mon ~]# ceph osd set noout
       [root@mon ~]# ceph osd set norebalance

    3. ベアメタル デプロイメントの場合は、ストレージクラスターのすべての OSD ノードで ceph-osd.target を再起動します。

       例

       [root@osd ~]# systemctl restart ceph-osd.target

    4. コンテナー化された デプロイメントの場合は、個々の OSD を順次再起動し、すべての配置グループが active+clean 状態になるまで待機します。

       構文

       systemctl restart ceph-osd@OSD_ID.service

       例

       [root@osd ~]# systemctl restart ceph-osd@0.service

    5. すべての OSD が修復されたら、nout フラグおよび norebalance フラグの設定を解除します。

       例

       [root@mon ~]# ceph osd unset noout
       [root@mon ~]# ceph osd unset norebalance

    6. すべての OSD が修復されたら、bluestore_fsck_quick_fix_on_mount を false に設定します。

       例

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount false

    7. オプション: ベアメタル デプロイメントの代替方法として、OSD サービスを停止し、ceph-bluestore-tool コマンドを使用して OSD で修復機能を実行してから、OSD サービスを起動します。

       1. OSD サービスを停止します。

          [root@osd ~]# systemctl stop ceph-osd.target

       2. 実際の OSD ID を指定して、OSD の修復機能を実行します。

          構文

          ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-OSDID repair

          例

          [root@osd ~]# ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-2 repair

       3. OSD サービスを起動します。

          [root@osd ~]# systemctl start ceph-osd.target

14. アップグレードが終了したら、Ansible の Playbook を実行して、FileStore OSD を BlueStore OSD に移行します。

    構文

    ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit OSD_NODE_TO_MIGRATE

    例

    [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit osd01

    移行が完了したら、以下のサブ手順を実行します。

    1. group_vars/osds.yml ファイルを編集するために開き、osd_objectstore オプションを bluestore に設定します。以下に例を示します。

       osd_objectstore: bluestore

    2. lvm_volumes 変数を使用している場合は、journal オプションおよび journal_vg オプションをそれぞれ db および db_vg に変更します。以下に例を示します。

       前

       lvm_volumes:
         - data: /dev/sdb
           journal: /dev/sdc1
         - data: /dev/sdd
           journal: journal1
           journal_vg: journals

       Bluestore への変換後

       lvm_volumes:
         - data: /dev/sdb
           db: /dev/sdc1
         - data: /dev/sdd
           db: journal1
           db_vg: journals

15. OpenStack 環境で動作する場合には、すべての cephx ユーザーがプールに RBD プロファイルを使用するように更新します。以下のコマンドは root ユーザーとして実行する必要があります。

    1. Glance ユーザー:

       構文

       ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=GLANCE_POOL_NAME'

       例

       [root@mon ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

    2. Cinder ユーザー:

       構文

       ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       例

       [root@mon ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

    3. OpenStack の一般ユーザーは、以下のようになります。

       構文

       ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       例

       [root@mon ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

       重要

       ライブクライアントの移行を実行する前に、これらの CAPS 更新を行います。これにより、クライアントがメモリーで実行している新しいライブラリーを使用でき、古い CAPS 設定がキャッシュから破棄され、新しい RBD プロファイル設定が適用されるようになります。

16. 必要に応じて、クライアントノードで、Ceph クライアント側ライブラリーに依存するアプリケーションを再起動します。

    注記

    QEMU または KVM インスタンスを実行している OpenStack Nova コンピュートノードをアップグレードする場合や、専用の QEMU または KVM クライアントを使用する場合には、インスタンスを再起動しても機能しないため、QEMU または KVM インスタンスを停止して起動してください。

手順

1. Red Hat Ceph Storage 3 の実行中に、クラスターがすべての PG の完全スクラブを 1 つ以上完了していることを確認します。これを実行しないと、モニターデーモンは起動時にクォーラムへの参加を拒否し、機能しなくなる可能性があります。クラスターがすべての PG の完全スクラブを 1 つ以上完了していることを確認するには、以下を実行します。

   # ceph osd dump | grep ^flags

   Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 へのアップグレードを続行するには、OSD マップに recovery_deletes フラグおよび purged_snapdirs フラグが含まれている必要があります。

2. クラスターが正常な状態でクリーンな状態であることを確認します。

   ceph health
   HEALTH_OK

3. ceph-mon および ceph-manager を実行しているノードの場合は、以下のコマンドを実行します。

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-mon-rpms

   Red Hat Ceph Storage 4 パッケージを有効にしたら、それぞれの ceph-mon ノードおよび ceph- manager ノードで以下のコマンドを実行します。

   # firewall-cmd --add-port=3300/tcp
   # firewall-cmd --add-port=3300/tcp --permanent
   # yum update -y
   # systemctl restart ceph-mon@<mon-hostname>
   # systemctl restart ceph-mgr@<mgr-hostname>

   <mon-hostname> および <mgr-hostname> をターゲットホストのホスト名に置き換えます。

4. OSD をアップグレードする前に、Ceph Monitor ノードで noout フラグおよび nodeep-scrub フラグを設定して、アップグレード中に OSD がリバランスされないようにします。

   # ceph osd set noout
   # ceph osd det nodeep-scrub

5. 各 OSD ノードで、以下を実行します。

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-osd-rpms

   Red Hat Ceph Storage 4 パッケージを有効にしたら、OSD ノードを更新します。

   # yum update -y

   ノードで実行している各 OSD デーモンについて、以下のコマンドを実行します。

   # systemctl restart ceph-osd@<osd-num>

   <osd-num> を、再起動する osd 番号に置き換えてください。次の OSD ノードに進む前に、ノード上の全 OSD が再起動したことを確認します。

6. ceph-disk を使用してデプロイされたストレージクラスターに OSD がある場合には、ceph-volume にデーモンを起動するように指示します。

   # ceph-volume simple scan
   # ceph-volume simple activate --all

7. Nautilus の機能のみを有効にします。

   # ceph osd require-osd-release nautilus

   重要

   このステップの実行に失敗すると、msgr2 が有効になってから OSD が通信できなくなります。

8. すべての OSD ノードをアップグレードしたら、Ceph Monitor ノードで noout フラグおよび nodeep-scrub フラグの設定を解除します。

   # ceph osd unset noout
   # ceph osd unset nodeep-scrub

9. 既存の CRUSH バケットを、最新のバケットタイプ straw2 に切り替えます。

   # ceph osd getcrushmap -o backup-crushmap
   # ceph osd crush set-all-straw-buckets-to-straw2

10. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードした後、すべてのデーモンが更新されたら、以下のステップを実行します。

    1. Specify v2 プロトコル msgr2 を有効にします。

       ceph mon enable-msgr2

       これにより、古いデフォルトポート 6789 にバインドされるすべての Ceph Monitor が新しいポート 3300 にバインドされるように指示します。

    2. monitor のステータスを確認します。

       ceph mon dump

       注記

       nautilus OSD を実行しても、v2 アドレスに自動的にバインドされません。再起動する必要があります。

11. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードされたホストごとに、ceph.conf ファイルを更新して、モニターポートを指定しないか、v2 と v1 の両方のアドレスとポートを参照します。

12. ceph.conf ファイルの設定オプションをストレージクラスターの設定データベースにインポートします。

    例

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. ストレージクラスターの設定データベースを確認してください。

       例

       [root@mon ~]# ceph config dump

    2. オプション: Red Hat Ceph Storage 4 にアップグレードした後、ホストごとに最小限の ceph.conf ファイルを作成します。

       例

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

13. Ceph Object Gateway ノードで、以下を実行します。

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

    Red Hat Ceph Storage 4 パッケージを有効にしたら、ノードを更新して、ceph-rgw デーモンを再起動します。

    # yum update -y
    # systemctl restart ceph-rgw@<rgw-target>

    <rgw-target> を、再起動する rgw ターゲットに置き換えてください。

14. 管理ノードの場合には、以下のコマンドを実行します。

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    # yum update -y

15. クラスターが正常な状態でクリーンな状態であることを確認します。

    # ceph health
    HEALTH_OK

16. 必要に応じて、クライアントノードで、Ceph クライアント側ライブラリーに依存するアプリケーションを再起動します。

    注記

    QEMU または KVM インスタンスを実行している OpenStack Nova コンピュートノードをアップグレードする場合や、専用の QEMU または KVM クライアントを使用する場合には、インスタンスを再起動しても機能しないため、QEMU または KVM インスタンスを停止して起動してください。

手順

1. アクティブな MDS ランクを 1 にします。

   構文

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   例

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. クラスターがすべての MDS ランクを停止するのを待ちます。すべての MDS が停止したら、ランク 0 だけがアクティブになるはずです。残りはスタンバイモードにしておきます。ファイルシステムの状態を確認します。

   [root@mds ~]# ceph status

3. systemctl を使用して、スタンバイしているすべての MDS をオフラインにします。

   [root@mds ~]# systemctl stop ceph-mds.target

4. MDS が 1 つだけオンラインになっており、ファイルシステムのランクが 0 であることを確認します。

   [root@mds ~]# ceph status

5. RHEL 7 で Red Hat Ceph Storage 3 からアップグレードする場合は、Red Hat Ceph Storage 3 のツールリポジトリーを無効にして、Red Hat Ceph Storage 4 のツールリポジトリーを有効にします。

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

6. ノードを更新し、ceph-mds デーモンを再起動します。

   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

7. スタンバイ中のデーモンについても同じプロセスを実行します。ツールリポジトリーを無効にして、有効にしてから、各スタンバイ中の MDS をアップグレードし、再起動します。

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

8. スタンバイ中のすべての MDS の再起動が完了したら、ストレージクラスターの max_mds の値を以前の値に戻します。

   構文

   ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

   例

   [root@mds ~]# ceph fs set fs1 max_mds 5

手順

1. monitor サービスを停止します。

   構文

   systemctl stop ceph-mon@MONITOR_ID

   MONITOR_ID を Monitor の ID 番号に置き換えます。

2. Red Hat Ceph Storage 3 を使用している場合は、Red Hat Ceph Storage 3 リポジトリーを無効にします。

   1. tools リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. mon リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-mon-rpms

3. Red Hat Ceph Storage 4 を使用している場合は、Red Hat Ceph Storage 4 リポジトリーを無効にします。

   1. tools リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. mon リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-mon-rpms

4. leapp ユーティリティーをインストールします。Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 へのアップグレード を参照してください。
5. leapp のアップグレード前チェックを実行します。コマンドラインからのアップグレード可能性の評価 を参照してください。
6. /etc/ssh/sshd_config に PermitRootLogin yes を設定します。

7. OpenSSH SSH デーモンを再起動します。

   [root@mon ~]# systemctl restart sshd.service

8. Linux カーネルから iSCSI モジュールを削除します。

   [root@mon ~]# modprobe -r iscsi

9. RHEL 7 から RHEL 8 へのアップグレードの実行 に従って、アップグレードを実行します。
10. ノードを再起動します。

11. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のリポジトリーを有効にします。

    1. tools リポジトリーを有効にします。

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. mon リポジトリーを有効にします。

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-mon-for-rhel-8-x86_64-rpms

12. ceph-mon パッケージをインストールします。

    [root@mon ~]# dnf install ceph-mon

13. マネージャーサービスが monitor サービスと同じ場所にある場合は、ceph-mgr パッケージをインストールします。

    [root@mon ~]# dnf install ceph-mgr

14. アップグレードされていない、またはそれらのファイルをすでに復元しているノードから、ceph-client-admin.keyring ファイルおよび ceph.conf ファイルを復元します。

15. 既存の CRUSH バケットを、最新のバケットタイプ straw2 に切り替えます。

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

16. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードした後、すべてのデーモンが更新されたら、以下のステップを実行します。

    1. Specify v2 プロトコル msgr2 を有効にします。

       ceph mon enable-msgr2

       これにより、古いデフォルトポート 6789 にバインドされるすべての Ceph Monitor が新しいポート 3300 にバインドされるように指示します。

       重要

       さらに Ceph Monitor 設定を実行する前に、すべての Ceph Monitor が Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードされていることを確認してください。

    2. monitor のステータスを確認します。

       ceph mon dump

       注記

       nautilus OSD を実行しても、v2 アドレスに自動的にバインドされません。再起動する必要があります。

17. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードされたホストごとに、ceph.conf ファイルを更新して、モニターポートを指定しないか、v2 と v1 の両方のアドレスとポートを参照します。ceph.conf ファイルの設定オプションをストレージクラスターの設定データベースにインポートします。

    例

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. ストレージクラスターの設定データベースを確認してください。

       例

       [root@mon ~]# ceph config dump

    2. オプション: Red Hat Ceph Storage 4 にアップグレードした後、ホストごとに最小限の ceph.conf ファイルを作成します。

       例

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

18. leveldb パッケージをインストールします。

    [root@mon ~]# dnf install leveldb

19. monitor サービスを起動します。

    [root@mon ~]# systemctl start ceph-mon.target

20. マネージャーサービスが monitor サービスと同じ場所にある場合は、マネージャーサービスも起動します。

    [root@mon ~]# systemctl start ceph-mgr.target

21. モニターサービスが復旧し、クォーラムになっていることを確認します。

    [root@mon ~]# ceph -s

    services: の mon: 行で、ノードが 定足数 の外ではなく 定足数 内にリスト表示されていることを確認します。

    例

    mon: 3 daemons, quorum ceph4-mon,ceph4-mon2,ceph4-mon3 (age 2h)

22. マネージャーサービスが monitor サービスと同じ場所にある場合は、それも稼働していることを確認します。

    [root@mon ~]# ceph -s

    services の下にある mgr: 行でマネージャーのノード名を検索します。

    例

    mgr: ceph4-mon(active, since 2h), standbys: ceph4-mon3, ceph4-mon2

23. すべてのアップグレードが完了するまで、すべての監視ノードで上記の手順を繰り返します。

手順

1. OSD の noout フラグを設定して、移行中に OSD がダウンとマークされないようにします。

   ceph osd set noout

2. クラスター上で不要な負荷を回避するには、OSD nobackfill フラグ、norecover フラグ、norrebalance フラグ、noscrub フラグ、および nodeep-scrub フラグを設定し、ノードが移行のためにダウンした場合にデータの再起動を回避します。

   ceph osd set nobackfill
   ceph osd set norecover
   ceph osd set norebalance
   ceph osd set noscrub
   ceph osd set nodeep-scrub

3. ノード上のすべての OSD プロセスを正常にシャットダウンします。

   [root@mon ~]# systemctl stop ceph-osd.target

4. Red Hat Ceph Storage 3 を使用している場合は、Red Hat Ceph Storage 3 リポジトリーを無効にします。

   1. tools リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. osd リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-osd-rpms

5. Red Hat Ceph Storage 4 を使用している場合は、Red Hat Ceph Storage 4 リポジトリーを無効にします。

   1. tools リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. osd リポジトリーを無効にします。

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-osd-rpms

6. leapp ユーティリティーをインストールします。Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 へのアップグレード を参照してください。
7. leapp のアップグレード前チェックを実行します。コマンドラインからのアップグレード可能性の評価 を参照してください。
8. /etc/ssh/sshd_config に PermitRootLogin yes を設定します。

9. OpenSSH SSH デーモンを再起動します。

   [root@mon ~]# systemctl restart sshd.service

10. Linux カーネルから iSCSI モジュールを削除します。

    [root@mon ~]# modprobe -r iscsi

11. RHEL 7 から RHEL 8 へのアップグレードの実行 に従って、アップグレードを実行します。
12. ノードを再起動します。

13. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のリポジトリーを有効にします。

    1. tools リポジトリーを有効にします。

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. osd リポジトリーを有効にします。

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms

14. ceph-osd パッケージをインストールします。

    [root@mon ~]# dnf install ceph-osd

15. leveldb パッケージをインストールします。

    [root@mon ~]# dnf install leveldb

16. まだアップグレードされていないノードから、またはそれらのファイルがすでに復元されているノードから、ceph.conf ファイルを復元します。

17. noout、nobackfill、norecover、norrebalance、noscrub、および nodeep-scrub フラグの設定を解除します。

    # ceph osd unset noout
    # ceph osd unset nobackfill
    # ceph osd unset norecover
    # ceph osd unset norebalance
    # ceph osd unset noscrub
    # ceph osd unset nodeep-scrub

18. 既存の CRUSH バケットを、最新のバケットタイプ straw2 に切り替えます。

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

19. 必要に応じて、OSD が ceph-disk を使用して作成されていて、ceph-disk で引き続き管理されている場合には、ceph-volume を使用してそれらの管理を引き継ぐ必要があります。

    1. 各オブジェクトのストレージデバイスをマウントします。

       構文

       /dev/DRIVE /var/lib/ceph/osd/ceph-OSD_ID

       DRIVE は、ストレージデバイス名とパーティション番号に置き換えます。

       OSD_ID を OSD ID に置き換えます。

       例

       [root@mon ~]# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

       ID_NUMBER が正しいことを確認します。

       構文

       cat /var/lib/ceph/osd/ceph-OSD_ID/whoami

       OSD_ID を OSD ID に置き換えます。

       例

       [root@mon ~]# cat /var/lib/ceph/osd/ceph-0/whoami
       0

       追加のオブジェクトストアデバイスに対して上記の手順を繰り返します。

    2. 新たにマウントしたデバイスをスキャンします。

       構文

       ceph-volume simple scan /var/lib/ceph/osd/ceph-OSD_ID

       OSD_ID を OSD ID に置き換えます。

       例

       [root@mon ~]# ceph-volume simple scan /var/lib/ceph/osd/ceph-0
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: Unknown device, --name=, --path=, or absolute path in /dev/ or /sys expected.
       Running command: /usr/sbin/cryptsetup status /dev/sdb1
       --> OSD 0 got scanned and metadata persisted to file: /etc/ceph/osd/0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.json
       --> To take over management of this scanned OSD, and disable ceph-disk and udev, run:
       -->     ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       追加のオブジェクトストアデバイスに対して上記の手順を繰り返します。

    3. デバイスをアクティベートします。

       構文

       ceph-volume simple activate OSD_ID UUID

       OSD_ID を OSD ID に置き換え、UUID を、以前のスキャン出力で出力される UUID に置き換えます。

       例

       [root@mon ~]# ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
       Running command: /usr/bin/ln -snf /dev/sdb2 /var/lib/ceph/osd/ceph-0/journal
       Running command: /usr/bin/chown -R ceph:ceph /dev/sdb2
       Running command: /usr/bin/systemctl enable ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
        stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.service → /usr/lib/systemd/system/ceph-volume@.service.
       Running command: /usr/bin/ln -sf /dev/null /etc/systemd/system/ceph-disk@.service
       --> All ceph-disk systemd units have been disabled to prevent OSDs getting triggered by UDEV events
       Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
        stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
       Running command: /usr/bin/systemctl start ceph-osd@0
       --> Successfully activated OSD 0 with FSID 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       追加のオブジェクトストアデバイスに対して上記の手順を繰り返します。

20. 必要に応じて、OSD が ceph-volume で作成され、直前の手順を完了していない場合は、ここで OSD サービスを起動します。

    [root@mon ~]# systemctl start ceph-osd.target

21. OSD をアクティベートします。

    BlueStore

    [root@mon ~]# ceph-volume lvm activate --all

22. OSD が up および in になっていること、ならびに、active+clean 状態にあることを確認します。

    [root@mon ~]# ceph -s

    services: サービス下の osd: 行で、すべての OSD が up および in であることを確認します。

    例

    osd: 3 osds: 3 up (since 8s), 3 in (since 3M)

23. すべての OSD ノードがアップグレードされるまで、上記の手順をすべての OSD ノードで繰り返します。

24. Red Hat Ceph Storage 3 からアップグレードする場合は、pre-Nautilus OSD は使用できず、Nautilus 専用機能を有効にします。

    [root@mon ~]# ceph osd require-osd-release nautilus

    注記

    このステップの実行に失敗すると、msgrv2 が有効になってからは OSD の通信ができなくなります。

25. Red Hat Ceph Storage 3 から Red Hat Ceph Storage 4 にアップグレードした後、すべてのデーモンが更新されたら、以下のステップを実行します。

    1. Specify v2 プロトコル msgr2 を有効にします。

       [root@mon ~]# ceph mon enable-msgr2

       これにより、古いデフォルトポート 6789 にバインドされるすべての Ceph Monitor が新しいポート 3300 にバインドされるように指示します。

    2. すべてのノードで、ceph.conf ファイルの設定オプションをストレージクラスターの設定データベースにインポートします。

       例

       [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

       注記

       同じオプションセットに異なる設定値が設定されている場合など、モニターに設定をシミュレーションする場合、最終的な結果は、ファイルがシミュレートされる順序によって異なります。

    3. ストレージクラスターの設定データベースを確認します。

       例

       [root@mon ~]# ceph config dump

手順

1. Ceph Object Gateway サービスを停止します。

   # systemctl stop ceph-radosgw.target

2. Red Hat Ceph Storage 3 を使用している場合は、Red Hat Ceph Storage 3 ツールリポジトリーを無効にします。

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. Red Hat Ceph Storage 4 を使用している場合は、Red Hat Ceph Storage 4 ツールリポジトリーを無効にします。

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. leapp ユーティリティーをインストールします。Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 へのアップグレード を参照してください。
5. leapp のアップグレード前チェックを実行します。コマンドラインからのアップグレード可能性の評価 を参照してください。
6. /etc/ssh/sshd_config に PermitRootLogin yes を設定します。

7. OpenSSH SSH デーモンを再起動します。

   # systemctl restart sshd.service

8. Linux カーネルから iSCSI モジュールを削除します。

   # modprobe -r iscsi

9. RHEL 7 から RHEL 8 へのアップグレードの実行 に従って、アップグレードを実行します。
10. ノードを再起動します。

11. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のツールリポジトリーを有効にします。

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. ceph-radosgw パッケージをインストールします。

    # dnf install ceph-radosgw

13. 必要に応じて、このノードにコロケーションされる Ceph サービスのパッケージをインストールします。必要に応じて追加の Ceph リポジトリーを有効にします。

14. 必要に応じて、他の Ceph サービスに必要な leveldb パッケージをインストールします。

    # dnf install leveldb

15. アップグレードされていないノードまたはそれらのファイルを復元しているノードから ceph-client-admin.keyring ファイルおよび ceph.conf ファイルを復元します。

16. RGW サービスを起動します。

    # systemctl start ceph-radosgw.target

17. 既存の CRUSH バケットを、最新のバケットタイプ straw2 に切り替えます。

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

18. デーモンがアクティブであることを確認します。

    # ceph -s

    services: の下に rgw: 行があります。

    例

    rgw: 1 daemon active (jb-ceph4-rgw.rgw0)

19. すべてがアップグレードされるまで、すべての Ceph ObjectGateway ノードで上記の手順を繰り返します。

手順

1. クラスターから既存のダッシュボードをアンインストールします。

   1. /usr/share/cephmetrics-ansible ディレクトリーに移動します。

      # cd /usr/share/cephmetrics-ansible

   2. Ansible Playbook の purge.yml を実行します。

      # ansible-playbook -v purge.yml

2. Red Hat Ceph Storage 3 を使用している場合は、Red Hat Ceph Storage 3 ツールリポジトリーを無効にします。

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. Red Hat Ceph Storage 4 を使用している場合は、Red Hat Ceph Storage 4 ツールリポジトリーを無効にします。

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. leapp ユーティリティーをインストールします。Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 へのアップグレード を参照してください。
5. leapp のアップグレード前のチェックを行います。コマンドラインからのアップグレード可能性の評価 を参照してください。
6. /etc/ssh/sshd_config に PermitRootLogin yes を設定します。

7. OpenSSH SSH デーモンを再起動します。

   # systemctl restart sshd.service

8. Linux カーネルから iSCSI モジュールを削除します。

   # modprobe -r iscsi

9. RHEL 7 から RHEL 8 へのアップグレードの実行 に従って、アップグレードを実行します。
10. ノードを再起動します。

11. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のツールリポジトリーを有効にします。

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. Ansible リポジトリーを有効にします。

    # subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

13. クラスターを管理するために ceph-ansible を設定します。ダッシュボードがインストールされます。Ansible を使用した Red Hat Ceph Storage のインストール (前提条件を含む) の手順に従ってください。
14. 上記の手順の一部として ansible-playbook site.yml を実行すると、ダッシュボードの URL が出力されます。URL の場所とダッシュボードへのアクセスに関する詳細は、ダッシュボード の Ansible を使用したダッシュボードのインストール を参照してください。

手順

1. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のツールリポジトリーを有効にします。

   [root@dashboard ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

2. Ansible リポジトリーを有効にします。

   [root@dashboard ~]# subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

3. ceph-ansible を設定して、ストレージクラスターを管理します。ダッシュボードがインストールされます。Ansible を使用した Red Hat Ceph Storage のインストール (前提条件を含む) の手順に従ってください。
4. 上記の手順の一部として ansible-playbook site.yml を実行すると、ダッシュボードの URL が出力されます。URL の場所とダッシュボードへのアクセスに関する詳細は、ダッシュボード の Ansible を使用したダッシュボードのインストール を参照してください。

手順

1. アクティブな MDS ランクを 1 にします。

   構文

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   例

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. クラスターがすべての MDS ランクを停止するのを待ちます。すべての MDS が停止したら、ランク 0 だけがアクティブになるはずです。残りはスタンバイモードにしておきます。ファイルシステムの状態を確認します。

   [root@mds ~]# ceph status

3. systemctl を使用して、スタンバイしているすべての MDS をオフラインにします。

   [root@mds ~]# systemctl stop ceph-mds.target

4. MDS が 1 つだけオンラインになっており、ファイルシステムのランクが 0 であることを確認します。

   [root@mds ~]# ceph status

5. OS のバージョンに合わせて、ツールのリポジトリーを無効にします。

   1. RHEL 7 で Red Hat Ceph Storage 3 からアップグレードする場合は、Red Hat Ceph Storage 3 のツールリポジトリーを無効にします。

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. Red Hat Ceph Storage 4 を使用している場合は、Red Hat Ceph Storage 4 のツールリポジトリーを無効にします。

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

6. leapp ユーティリティーをインストールします。leapp の詳細については、Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 へのアップグレード を参照してください。
7. leapp のアップグレード前のチェックを行います。詳細は、コマンドラインからのアップグレード可能性の評価 を参照してください。
8. etc/ssh/sshd_config を編集し、PermitRootLogin を yes に設定します。

9. OpenSSH SSH デーモンを再起動します。

   [root@mds ~]# systemctl restart sshd.service

10. Linux カーネルから iSCSI モジュールを削除します。

    [root@mds ~]# modprobe -r iscsi

11. アップグレードを行います。RHEL 7 から RHEL 8 へのアップグレードの実行 を参照してください。
12. MDS ノードを再起動します。

13. Red Hat Ceph Storage 4 for Red Hat Enterprise Linux 8 のツールリポジトリーを有効にします。

    [root@mds ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

14. ceph-mds パッケージをインストールします。

    [root@mds ~]# dnf install ceph-mds -y

15. 必要に応じて、このノードにコロケーションされる Ceph サービスのパッケージをインストールします。必要に応じて、追加の Ceph リポジトリーを有効にします。

16. 必要に応じて、他の Ceph サービスに必要な leveldb パッケージをインストールします。

    [root@mds ~]# dnf install leveldb

17. アップグレードされていないノードまたはそれらのファイルを復元しているノードから ceph-client-admin.keyring ファイルおよび ceph.conf ファイルを復元します。

18. 既存の CRUSH バケットを、最新のバケットタイプ straw2 に切り替えます。

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

19. MDS サービスを開始します。

    [root@mds ~]# systemctl restart ceph-mds.target

20. デーモンが有効であることを確認します。

    [root@mds ~]# ceph -s

21. スタンバイ中のデーモンについても同じプロセスを実行します。

22. スタンバイ中のすべての MDS の再起動が完了したら、クラスターの max_mds の値を以前の値に戻します。

    構文

    ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

    例

    [root@mds ~]# ceph fs set fs1 max_mds 5

手順

1. 障害のあるノードで Red Hat Enterprise Linux 8.4 の標準的なインストールを実行し、Red Hat Enterprise Linux リポジトリーを有効にします。

   • 標準的な RHEL インストールの実行

2. Red Hat Enterprise Linux 8 用の Red Hat Ceph Storage 4 用のリポジトリーを有効にします。

   1. tools リポジトリーを有効にします。

      # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

   2. osd リポジトリーを有効にします。

      # subscription-manager repos --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms

3. ceph-osd パッケージをインストールします。

   # dnf install ceph-osd

4. アップグレードされていないノードから、またはそれらのファイルがすでに復元されているノードから、ceph.conf ファイルを /etc/ceph に復元します。

5. OSD サービスを起動します。

   # systemctl start ceph-osd.target

6. オブジェクトストアデバイスをアクティブにします。

   ceph-volume lvm activate --all

7. OSD のリカバリーおよびクラスターのバックフィルが、復旧した OSD への書き込みを確認します。

   # ceph -w

   すべての PG が active+clean の状態になるまで、出力を監視します。