アップグレードガイド

手順

1. Ansible 管理ノードで Ceph および Ansible リポジトリーを有効にします。

   例:

   [root@admin ceph-ansible]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

2. Ansible を更新します。

   例:

   [root@admin ceph-ansible]# dnf update ansible ceph-ansible

   Copy to Clipboard Toggle word wrap

3. アップグレードするストレージクラスターに、exclusive-lock 機能を使用する Ceph Block Device イメージが含まれる場合は、すべての Ceph Block Device ユーザーにクライアントの拒否リストを作成するパーミッションがあるようにしてください。

   構文

   ceph auth caps client.ID mon 'profile rbd' osd 'profile rbd pool=POOL_NAME_1, profile rbd pool=POOL_NAME_2'

   Copy to Clipboard Toggle word wrap

4. ストレージクラスターが Cockpit を使用して最初にインストールされている場合は、/usr/share/ceph-ansible ディレクトリーに、Cockpit が作成したインベントリーファイルへのシンボリックリンクを /usr/share/ansible-runner-service/inventory/hosts に作成します。

   1. /usr/share/ceph-ansible ディレクトリーに移動します。

      # cd /usr/share/ceph-ansible

      Copy to Clipboard Toggle word wrap

   2. シンボリックリンクを作成します。

      # ln -s /usr/share/ansible-runner-service/inventory/hosts hosts

      Copy to Clipboard Toggle word wrap

5. ceph-ansible を使用してクラスターをアップグレードするには、hosts インベントリーファイルのシンボリックリンクを etc/ansible/hosts ディレクトリーに作成します。

   # ln -s /etc/ansible/hosts hosts

   Copy to Clipboard Toggle word wrap

6. ストレージクラスターが元々 Cockpit を使用してインストールされた場合は、コックピットで生成された SSH キーを Ansible ユーザーの ~/.ssh ディレクトリーにコピーします。

   1. 鍵をコピーします。

      構文

      cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      cp /usr/share/ansible-runner-service/env/ssh_key /home/ANSIBLE_USERNAME/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

      ANSIBLE_USERNAME を Ansible のユーザー名に置き換えます。通常のデフォルトのユーザー名は admin です。

      例:

      # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/admin/.ssh/id_rsa.pub
      # cp /usr/share/ansible-runner-service/env/ssh_key /home/admin/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

   2. キーファイルに適切な所有者、グループ、およびパーミッションを設定します。

      構文

      # chown ANSIBLE_USERNAME:ANSIBLE_USERNAME /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      # chown ANSIBLE_USERNAME:ANSIBLE_USERNAME /home/ANSIBLE_USERNAME/.ssh/id_rsa
      # chmod 644 /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      # chmod 600 /home/ANSIBLE_USERNAME/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

      ANSIBLE_USERNAME を、Ansible のユーザー名に置き換えます。通常のデフォルトのユーザー名は admin です。

      例:

      # chown admin:admin /home/admin/.ssh/id_rsa.pub
      # chown admin:admin /home/admin/.ssh/id_rsa
      # chmod 644 /home/admin/.ssh/id_rsa.pub
      # chmod 600 /home/admin/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

手順

1. /etc/ceph フォルダーと /var/lib/ceph フォルダーのバックアップコピーを作成します。
2. ceph.client.admin.keyring ファイルのバックアップコピーを作成します。
3. 各ノードから ceph.conf ファイルのバックアップコピーを作成します。
4. 各ノードの /etc/ganesha/ フォルダーのバックアップコピーを作成します。
5. ストレージクラスターで RBD ミラーリングが定義されている場合には、/etc/ceph フォルダーおよび group_vars/rbdmirrors.yml ファイルのバックアップコピーを作成します。

手順

1. マルチサイト設定を実行している場合は、rgw_multisite: false を all.yml に設定します。

2. group_vars/all.yml に、設定パラメーターに以下のデフォルト値があることを確認します。

   ceph_docker_image_tag: "latest"
   ceph_docker_registry: "registry.redhat.io"
   ceph_docker_image: rhceph/rhceph-4-rhel8
   containerized_deployment: true

   Copy to Clipboard Toggle word wrap
   注記

   この値は、ローカルレジストリーとカスタムイメージ名を使用する場合によって異なります。

3. 任意手順: ベアメタルストレージクラスターのコマンドラインインターフェイスを使用して設定された双方向 RBD ミラーリングの場合、クラスターは RBD ミラーリングを移行しません。このような設定では、コンテナー化されていないストレージクラスターをコンテナー化されたデプロイメントに移行する前に、以下の手順を実行します。

   1. Ceph クライアントノードでユーザーを作成します。

      構文

      ceph auth get client.PRIMARY_CLUSTER_NAME -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring

      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth get client.rbd-mirror.site-a -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring

      Copy to Clipboard Toggle word wrap

   2. /etc/ceph ディレクトリーの auth ファイルでユーザー名を変更します。

      例

      [client.rbd-mirror.rbd-client-site-a]
          key = AQCbKbVg+E7POBAA7COSZCodvOrg2LWIFc9+3g==
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

      Copy to Clipboard Toggle word wrap

   3. auth ファイルをインポートして、関連するパーミッションを追加します。

      構文

      ceph auth import -i PATH_TO_KEYRING

      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth import -i /etc/ceph/ceph.client.rbd-mirror.rbd-client-site-a.keyring

      Copy to Clipboard Toggle word wrap

   4. RBD ミラーノードのサービス名を確認します。

      例

      [root@rbd-client-site-a ~]# systemctl list-units --all
      
      systemctl stop ceph-rbd-mirror@rbd-client-site-a.service
      systemctl disable ceph-rbd-mirror@rbd-client-site-a.service
      systemctl reset-failed ceph-rbd-mirror@rbd-client-site-a.service
      systemctl start ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service
      systemctl enable ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service
      systemctl status ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service

      Copy to Clipboard Toggle word wrap

   5. rbd-mirror ノードを /etc/ansible/hosts ファイルに追加します。

      例:

      [rbdmirrors]
      ceph.client.rbd-mirror.rbd-client-site-a

      Copy to Clipboard Toggle word wrap

4. コンテナー化されていないデーモンを使用している場合は、それらをコンテナー化された形式に変換します。

   構文

   ansible-playbook -vvvv -i INVENTORY_FILE infrastructure-playbooks/switch-from-non-containerized-to-containerized-ceph-daemons.yml

   Copy to Clipboard Toggle word wrap

   -vvvv オプションは、変換プロセスの詳細ログを収集します。

   例:

   [ceph-admin@admin ceph-ansible]$ ansible-playbook -vvvv -i hosts infrastructure-playbooks/switch-from-non-containerized-to-containerized-ceph-daemons.yml

   Copy to Clipboard Toggle word wrap

5. Playbook が正常に完了したら、all.yml ファイルの rgw_multisite: true の値を編集し、containerized_deployment の値が true となるようにします。

   注記

   ceph-iscsi、libtcmu、および tcmu-runner パッケージを管理ノードから必ず削除してください。

手順

1. docker-to-podman Playbook を使用して、docker を podman に変換します。

   例:

   [ceph-admin@admin ceph-ansible]$ ansible-playbook -vvvv -i hosts infrastructure-playbooks/
   docker-to-podman.yml

   Copy to Clipboard Toggle word wrap

手順

1. ホスト OS がホストをアップグレードする前にバックアップしたファイルを復元します。
2. ceph.client.admin.keyring や ceph.conf ファイルなどを含む、/etc/ceph フォルダーおよびその内容をすべてのホストに復元します。
3. 各ノードに /etc/ganesha/ フォルダーを復元します。

4. オペレーティングシステムのアップグレード後に、バックアップされた各ファイルの所有権が変更していないことを確認します。ファイルの所有者は ceph である必要があります。ファイル所有者が root に変更された場合は、各ファイルで以下のコマンドを使用し、所有者を ceph に戻します。

   例:

   [root@admin]# chown ceph: ceph.client.rbd-mirror.node1.keyring

   Copy to Clipboard Toggle word wrap

5. Red Hat Enterprise Linux 7 から Red Hat Enterprise Linux 8 にアップグレードし、ストレージクラスターに RBD ミラーリングが定義されている場合は、バックアップコピーから /etc/ceph フォルダーを復元します。
6. 前のステップでバックアップした group_vars/rbdmirrors.yml ファイルを復元します。

7. すべてのノード上のフォルダーの所有権を変更します。

   例:

   [root@admin]# chown -R /etc/ceph
   [root@admin]# chown -R /var/log/ceph
   [root@admin]# chown -R /var/lib/ceph

   Copy to Clipboard Toggle word wrap

手順

1. Ansible 管理ノードで Ceph および Ansible リポジトリーを有効にします。

   Red Hat Enterprise Linux 8

   subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux 9

   subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   Copy to Clipboard Toggle word wrap

2. Ansible 管理ノードで、ansible および ceph-ansible パッケージの最新バージョンがインストールされていることを確認します。

   構文

   dnf update ansible ceph-ansible

   Copy to Clipboard Toggle word wrap

3. /usr/share/ceph-ansible ディレクトリーに移動します。

   例:

   [root@admin ~]# cd /usr/share/ceph-ansible

   Copy to Clipboard Toggle word wrap

4. Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 にアップグレードする場合は、group_vars/osds.yml.sample ファイルおよび group_vars/clients.yml.sample ファイルのコピーを作成し、その名前を group_vars/osds.yml および group_vars/clients.yml に変更します。

   例:

   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml
   [root@admin ceph-ansible]# cp group_vars/rgws.yml.sample group_vars/rgws.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

   Copy to Clipboard Toggle word wrap

5. Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 にアップグレードする場合は、group_vars/all.yml ファイルを編集し、Red Hat Ceph Storage 5 の詳細を追加します。

6. 上記の 2 つの手順を実行したら、以前の yaml ファイルから新しい yaml ファイルに設定をコピーします。これらの設定パラメーターの値は Red Hat Ceph Storage 5 用であるため、 ceph_rhcs_version、ceph_docker_image、および grafana_container_image の値は変更しないでください。これにより、クラスターに関連するすべての設定が現在の yaml ファイルに存在するようになります。

   例:

   fetch_directory: ~/ceph-ansible-keys
   monitor_interface: eth0
   public_network: 192.168.0.0/24
   ceph_docker_registry_auth: true
   ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
   ceph_docker_registry_password: TOKEN
   dashboard_admin_user: DASHBOARD_ADMIN_USERNAME
   dashboard_admin_password: DASHBOARD_ADMIN_PASSWORD
   grafana_admin_user: GRAFANA_ADMIN_USER
   grafana_admin_password: GRAFANA_ADMIN_PASSWORD
   radosgw_interface: eth0
   ceph_docker_image: "rhceph/rhceph-5-rhel8"
   ceph_docker_image_tag: "latest"
   ceph_docker_registry: "registry.redhat.io"
   node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
   grafana_container_image: registry.redhat.io/rhceph/rhceph-5-dashboard-rhel8:5
   prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
   alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

   Copy to Clipboard Toggle word wrap

   注記

   Red Hat Ceph Storage 5 コンテナーイメージがデフォルト値に設定されていることを確認します。

7. group_vars/osds.yml ファイルを編集します。以下のオプションを追加して設定します。

   構文

   nb_retry_wait_osd_up: 50
   delay_wait_osd_up: 30

   Copy to Clipboard Toggle word wrap

8. group_vars/all.yml ファイルを開き、古い all.yml ファイルから以下の値が存在することを確認します。

   1. fetch_directory オプションは、古い all.yml ファイルと同じ値で設定されます。

      構文

      fetch_directory: FULL_DIRECTORY_PATH

      Copy to Clipboard Toggle word wrap

      FULL_DIRECTORY_PATH を、Ansible ユーザーのホームディレクトリーなどの書き込み可能な場所に置き換えます。

   2. アップグレードするクラスターに Ceph Object Gateway ノードが含まれている場合には、radosgw_interface オプションを追加します。

      radosgw_interface: INTERFACE

      Copy to Clipboard Toggle word wrap

      INTERFACE を、Ceph Object Gateway ノードがリッスンするインターフェイスに置き換えます。

   3. 現在の設定に SSL 証明書が設定されている場合は、以下を編集します。

      構文

      radosgw_frontend_ssl_certificate: /etc/pki/ca-trust/extracted/CERTIFICATE_NAME
      radosgw_frontend_port: 443

      Copy to Clipboard Toggle word wrap

   4. upgrade_ceph_packages オプションをコメント解除して、True に設定します。

      構文

      upgrade_ceph_packages: True

      Copy to Clipboard Toggle word wrap

   5. ストレージクラスターでノードごとに複数の Ceph Object Gateway インスタンスがある場合、radosgw_num_instances 設定をコメント解除して、クラスターのノードごとのインスタンス数に設定します。

      構文

      radosgw_num_instances : NUMBER_OF_INSTANCES_PER_NODE

      Copy to Clipboard Toggle word wrap

      例:

      radosgw_num_instances : 2

      Copy to Clipboard Toggle word wrap

   6. ストレージクラスターに Ceph Object Gateway マルチサイトが定義されている場合は、all.yml のマルチサイト設定を確認し、古い all.yml ファイルと同じ値が含まれていることを確認します。

9. バケットが作成されているか、num_shards = 0 である場合は、Red Hat Ceph Storage 5.3 へのアップグレードを計画する前に、バケットを手動でリシャーディングします。

   警告

   bucket_index_max_shards が0 の場合に以前のリリースから Red Hat Ceph Storage 5.3 にアップグレードすると、Ceph Object Gateway バケットのメタデータが失われ、バケットにアクセスしようとしたときにバケットが使用できなくなる可能性があります。そのため、bucket_index_max_shards が 11 シャードに設定されていることを確認してください。そうでない場合は、ゾーングループレベルでこの設定を変更します。

   構文

   radosgw-admin bucket reshard --num-shards 11 --bucket BUCKET_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@host01 /]# radosgw-admin bucket reshard --num-shards 11 --bucket mybucket

   Copy to Clipboard Toggle word wrap

10. Ansible 管理ノードで ansible-user としてログインします。

11. --extra-vars オプションを使用して infrastructure-playbooks/rolling_update.yml Playbook を更新し、health_osd_check_retries と health_osd_check_delay の値をそれぞれ 50 と 30 に変更します。

    例:

    [root@admin ceph-ansible]# ansible-playbook -i hosts infrastructure-playbooks/rolling_update.yml --extra-vars "health_osd_check_retries=50 health_osd_check_delay=30"

    Copy to Clipboard Toggle word wrap

    各 OSD ノードでは、これらの値により、ceph-ansible はストレージクラスターの健全性を 30 秒ごとに最大 50 回チェックします。つまり、ceph-ansible は OSD ごとに最大 25 分待機します。

    ストレージクラスターの使用済みのストレージ容量に基づいて、health_osd_check_retries オプションの値を上下に調整します。たとえば、436 TB のうち、ストレージ容量の 50% にあたる 218 TB を使用している場合は、health_osd_check_retries オプションを 50 に設定します。

    /etc/ansible/hosts は、Ansible インベントリーファイルのデフォルトの場所です。

12. Rolling_update.yml Playbook を実行して、ストレージクラスターを Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 に変換します。

    構文

    ansible-playbook -vvvv infrastructure-playbooks/rolling_update.yml -i INVENTORY_FILE

    Copy to Clipboard Toggle word wrap

    -vvvv オプションは、アップグレードプロセスの詳細ログを収集します。

    例:

    [ceph-admin@admin ceph-ansible]$ ansible-playbook -vvvv infrastructure-playbooks/rolling_update.yml -i hosts

    Copy to Clipboard Toggle word wrap

    重要

    rolling_update.yml Playbook で --limit Ansible オプションを使用することはサポートされていません。

13. Ansible Playbook のログ出力をチェックして、アップグレードのステータスを確認します。

検証

1. 実行中のすべてのコンテナーをリスト表示します。

   例:

   [root@mon ~]# podman ps

   Copy to Clipboard Toggle word wrap

2. クラスターの健全性状態を確認します。MONITOR_ID は、前のステップで見つかった Ceph Monitor コンテナーの名前に置き換えます。

   構文

   podman exec ceph-mon-MONITOR_ID ceph -s

   Copy to Clipboard Toggle word wrap

   例:

   [root@mon ~]# podman exec ceph-mon-mon01 ceph -s

   Copy to Clipboard Toggle word wrap

3. Ceph クラスターのデーモンのバージョンを確認し、すべてのデーモンのアップグレードを確認します。MONITOR_ID は、前のステップで見つかった Ceph Monitor コンテナーの名前に置き換えます。

   構文

   podman exec ceph-mon-MONITOR_ID ceph --cluster ceph versions

   Copy to Clipboard Toggle word wrap

   例:

   [root@mon ~]# podman exec ceph-mon-mon01 ceph --cluster ceph versions

   Copy to Clipboard Toggle word wrap

手順

1. ceph-ansible ノードにログインし、/usr/share/ceph-ansible ディレクトリーに移動します。

2. all.yml ファイルを編集します。

   構文

   ceph_origin: custom/rhcs
   ceph_custom_repositories:
     - name: NAME
       state: present
       description: DESCRIPTION
       gpgcheck: 'no'
       baseurl: BASE_URL
       file: FILE_NAME
       priority: '2'
       enabled: 1

   Copy to Clipboard Toggle word wrap

   例:

   ceph_origin: custom
   ceph_custom_repositories:
     - name: ceph_custom
       state: present
       description: Ceph custom repo
       gpgcheck: 'no'
       baseurl: https://example.ceph.redhat.com
       file: cephbuild
       priority: '2'
       enabled: 1
     - name: ceph_custom_1
       state: present
       description: Ceph custom repo 1
       gpgcheck: 'no'
       baseurl: https://example.ceph.redhat.com
       file: cephbuild_1
       priority: '2'
       enabled: 1

   Copy to Clipboard Toggle word wrap

3. cephadm-adopt Playbook を実行します。

   構文

   ansible-playbook infrastructure-playbooks/cephadm-adopt.yml -i INVENTORY_FILE

   Copy to Clipboard Toggle word wrap

   例:

   [ceph-admin@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/cephadm-adopt.yml -i hosts

   Copy to Clipboard Toggle word wrap

4. 最小の compat client パラメーターを luminous に設定します。

   例:

   [ceph: root@node0 /]# ceph osd set-require-min-compat-client luminous

   Copy to Clipboard Toggle word wrap

5. 以下のコマンドを実行して、アプリケーションが NFS-Ganesha プールで実行されるようにします。POOL_NAME は nfs-ganesha で、APPLICATION_NAME は cephfs、rbd、rgw などの有効にするアプリケーションの名前です。

   構文

   ceph osd pool application enable POOL_NAME APPLICATION_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@node0 /]# ceph osd pool application enable nfs-ganesha rgw

   Copy to Clipboard Toggle word wrap

   重要

   Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 へのストレージクラスターの移行後に、cephadm-adopt Playbook が rbd-mirroring を起動しません。

   この問題を回避するには、ピアを手動で追加します。

   構文

   rbd mirror pool peer add POOL_NAME CLIENT_NAME@CLUSTER_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@node0 /]# rbd --cluster site-a mirror pool peer add image-pool client.rbd-mirror-peer@site-b

   Copy to Clipboard Toggle word wrap

6. アップグレード後に Grafana を削除します。

   1. Cephadm シェルにログインします。

      例:

      [root@host01 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   2. ストレージクラスター内の Grafana の名前を取得します。

      例:

      [ceph: root@host01 /]# ceph orch ps --daemon_type grafana

      Copy to Clipboard Toggle word wrap

   3. Grafana を削除します。

      構文

      ceph orch daemon rm GRAFANA_DAEMON_NAME

      Copy to Clipboard Toggle word wrap

      例:

      [ceph: root@host01 /]# ceph orch daemon rm grafana.host01
      
      Removed grafana.host01 from host 'host01'

      Copy to Clipboard Toggle word wrap

   4. 数分待って、最新のログを確認します。

      例:

      [ceph: root@host01 /]# ceph log last cephadm

      Copy to Clipboard Toggle word wrap

      cephadm は、Grafana サービスとデーモンを再デプロイします。

手順

1. ansible および古い ceph-ansible パッケージをアンインストールします。

   構文

   dnf remove ansible ceph-ansible

   Copy to Clipboard Toggle word wrap

2. Ansible 管理ノードで Ansible リポジトリーを無効にし、Ceph リポジトリーを有効にします。

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms --enable=rhel-8-for-x86_64-appstream-rpms --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms --disable=ansible-2.9-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux 9

   [root@admin ~]# subscription-manager repos --enable=rhel-9-for-x86_64-baseos-rpms --enable=rhel-9-for-x86_64-appstream-rpms --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms --disable=ansible-2.9-for-rhel-9-x86_64-rpms

   Copy to Clipboard Toggle word wrap

3. cephadm-ansible パッケージをインストールします。これにより、ansible-core が依存関係としてインストールされます。

   構文

   dnf install cephadm-ansible

   Copy to Clipboard Toggle word wrap

手順

1. Ansible 管理ノードで Ceph および Ansible リポジトリーを有効にします。

   例:

   [root@admin ceph-ansible]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

2. Ansible を更新します。

   例:

   [root@admin ceph-ansible]# dnf update ansible ceph-ansible

   Copy to Clipboard Toggle word wrap

3. アップグレードするストレージクラスターに、exclusive-lock 機能を使用する Ceph Block Device イメージが含まれる場合は、すべての Ceph Block Device ユーザーにクライアントの拒否リストを作成するパーミッションがあるようにしてください。

   構文

   ceph auth caps client.ID mon 'profile rbd' osd 'profile rbd pool=POOL_NAME_1, profile rbd pool=POOL_NAME_2'

   Copy to Clipboard Toggle word wrap

4. ストレージクラスターが Cockpit を使用して最初にインストールされている場合は、/usr/share/ceph-ansible ディレクトリーに、Cockpit が作成したインベントリーファイルへのシンボリックリンクを /usr/share/ansible-runner-service/inventory/hosts に作成します。

   1. /usr/share/ceph-ansible ディレクトリーに移動します。

      # cd /usr/share/ceph-ansible

      Copy to Clipboard Toggle word wrap

   2. シンボリックリンクを作成します。

      # ln -s /usr/share/ansible-runner-service/inventory/hosts hosts

      Copy to Clipboard Toggle word wrap

5. ceph-ansible を使用してクラスターをアップグレードするには、hosts インベントリーファイルのシンボリックリンクを etc/ansible/hosts ディレクトリーに作成します。

   # ln -s /etc/ansible/hosts hosts

   Copy to Clipboard Toggle word wrap

6. ストレージクラスターが元々 Cockpit を使用してインストールされた場合は、コックピットで生成された SSH キーを Ansible ユーザーの ~/.ssh ディレクトリーにコピーします。

   1. 鍵をコピーします。

      構文

      cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      cp /usr/share/ansible-runner-service/env/ssh_key /home/ANSIBLE_USERNAME/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

      ANSIBLE_USERNAME を Ansible のユーザー名に置き換えます。通常のデフォルトのユーザー名は admin です。

      例:

      # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/admin/.ssh/id_rsa.pub
      # cp /usr/share/ansible-runner-service/env/ssh_key /home/admin/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

   2. キーファイルに適切な所有者、グループ、およびパーミッションを設定します。

      構文

      # chown ANSIBLE_USERNAME:ANSIBLE_USERNAME /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      # chown ANSIBLE_USERNAME:ANSIBLE_USERNAME /home/ANSIBLE_USERNAME/.ssh/id_rsa
      # chmod 644 /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
      # chmod 600 /home/ANSIBLE_USERNAME/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

      ANSIBLE_USERNAME を、Ansible のユーザー名に置き換えます。通常のデフォルトのユーザー名は admin です。

      例:

      # chown admin:admin /home/admin/.ssh/id_rsa.pub
      # chown admin:admin /home/admin/.ssh/id_rsa
      # chmod 644 /home/admin/.ssh/id_rsa.pub
      # chmod 600 /home/admin/.ssh/id_rsa

      Copy to Clipboard Toggle word wrap

手順

1. /etc/ceph フォルダーと /var/lib/ceph フォルダーのバックアップコピーを作成します。
2. ceph.client.admin.keyring ファイルのバックアップコピーを作成します。
3. 各ノードから ceph.conf ファイルのバックアップコピーを作成します。
4. 各ノードの /etc/ganesha/ フォルダーのバックアップコピーを作成します。
5. ストレージクラスターで RBD ミラーリングが定義されている場合には、/etc/ceph フォルダーおよび group_vars/rbdmirrors.yml ファイルのバックアップコピーを作成します。

手順

1. マルチサイト設定を実行している場合は、rgw_multisite: false を all.yml に設定します。

2. group_vars/all.yml に、設定パラメーターに以下のデフォルト値があることを確認します。

   ceph_docker_image_tag: "latest"
   ceph_docker_registry: "registry.redhat.io"
   ceph_docker_image: rhceph/rhceph-4-rhel8
   containerized_deployment: true

   Copy to Clipboard Toggle word wrap
   注記

   この値は、ローカルレジストリーとカスタムイメージ名を使用する場合によって異なります。

3. 任意手順: ベアメタルストレージクラスターのコマンドラインインターフェイスを使用して設定された双方向 RBD ミラーリングの場合、クラスターは RBD ミラーリングを移行しません。このような設定では、コンテナー化されていないストレージクラスターをコンテナー化されたデプロイメントに移行する前に、以下の手順を実行します。

   1. Ceph クライアントノードでユーザーを作成します。

      構文

      ceph auth get client.PRIMARY_CLUSTER_NAME -o /etc/ceph/ceph.PRIMARY_CLUSTER_NAME.keyring

      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth get client.rbd-mirror.site-a -o /etc/ceph/ceph.client.rbd-mirror.site-a.keyring

      Copy to Clipboard Toggle word wrap

   2. /etc/ceph ディレクトリーの auth ファイルでユーザー名を変更します。

      例

      [client.rbd-mirror.rbd-client-site-a]
          key = AQCbKbVg+E7POBAA7COSZCodvOrg2LWIFc9+3g==
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

      Copy to Clipboard Toggle word wrap

   3. auth ファイルをインポートして、関連するパーミッションを追加します。

      構文

      ceph auth import -i PATH_TO_KEYRING

      Copy to Clipboard Toggle word wrap

      例

      [root@rbd-client-site-a ~]# ceph auth import -i /etc/ceph/ceph.client.rbd-mirror.rbd-client-site-a.keyring

      Copy to Clipboard Toggle word wrap

   4. RBD ミラーノードのサービス名を確認します。

      例

      [root@rbd-client-site-a ~]# systemctl list-units --all
      
      systemctl stop ceph-rbd-mirror@rbd-client-site-a.service
      systemctl disable ceph-rbd-mirror@rbd-client-site-a.service
      systemctl reset-failed ceph-rbd-mirror@rbd-client-site-a.service
      systemctl start ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service
      systemctl enable ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service
      systemctl status ceph-rbd-mirror@rbd-mirror.rbd-client-site-a.service

      Copy to Clipboard Toggle word wrap

   5. rbd-mirror ノードを /etc/ansible/hosts ファイルに追加します。

      例:

      [rbdmirrors]
      ceph.client.rbd-mirror.rbd-client-site-a

      Copy to Clipboard Toggle word wrap

4. コンテナー化されていないデーモンを使用している場合は、それらをコンテナー化された形式に変換します。

   構文

   ansible-playbook -vvvv -i INVENTORY_FILE infrastructure-playbooks/switch-from-non-containerized-to-containerized-ceph-daemons.yml

   Copy to Clipboard Toggle word wrap

   -vvvv オプションは、変換プロセスの詳細ログを収集します。

   例:

   [ceph-admin@admin ceph-ansible]$ ansible-playbook -vvvv -i hosts infrastructure-playbooks/switch-from-non-containerized-to-containerized-ceph-daemons.yml

   Copy to Clipboard Toggle word wrap

5. Playbook が正常に完了したら、all.yml ファイルの rgw_multisite: true の値を編集し、containerized_deployment の値が true となるようにします。

   注記

   ceph-iscsi、libtcmu、および tcmu-runner パッケージを管理ノードから必ず削除してください。

手順

1. Ansible 管理ノードで Ceph および Ansible リポジトリーを有効にします。

   Red Hat Enterprise Linux 8

   subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux 9

   subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   Copy to Clipboard Toggle word wrap

2. Ansible 管理ノードで、ansible および ceph-ansible パッケージの最新バージョンがインストールされていることを確認します。

   構文

   dnf update ansible ceph-ansible

   Copy to Clipboard Toggle word wrap

3. /usr/share/ceph-ansible ディレクトリーに移動します。

   例:

   [root@admin ~]# cd /usr/share/ceph-ansible

   Copy to Clipboard Toggle word wrap

4. Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 にアップグレードする場合は、group_vars/osds.yml.sample ファイルおよび group_vars/clients.yml.sample ファイルのコピーを作成し、その名前を group_vars/osds.yml および group_vars/clients.yml に変更します。

   例:

   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml
   [root@admin ceph-ansible]# cp group_vars/rgws.yml.sample group_vars/rgws.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

   Copy to Clipboard Toggle word wrap

5. Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 にアップグレードする場合は、group_vars/all.yml ファイルを編集し、Red Hat Ceph Storage 5 の詳細を追加します。

6. 上記の 2 つの手順を実行したら、以前の yaml ファイルから新しい yaml ファイルに設定をコピーします。これらの設定パラメーターの値は Red Hat Ceph Storage 5 用であるため、 ceph_rhcs_version、ceph_docker_image、および grafana_container_image の値は変更しないでください。これにより、クラスターに関連するすべての設定が現在の yaml ファイルに存在するようになります。

   例:

   fetch_directory: ~/ceph-ansible-keys
   monitor_interface: eth0
   public_network: 192.168.0.0/24
   ceph_docker_registry_auth: true
   ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
   ceph_docker_registry_password: TOKEN
   dashboard_admin_user: DASHBOARD_ADMIN_USERNAME
   dashboard_admin_password: DASHBOARD_ADMIN_PASSWORD
   grafana_admin_user: GRAFANA_ADMIN_USER
   grafana_admin_password: GRAFANA_ADMIN_PASSWORD
   radosgw_interface: eth0
   ceph_docker_image: "rhceph/rhceph-5-rhel8"
   ceph_docker_image_tag: "latest"
   ceph_docker_registry: "registry.redhat.io"
   node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
   grafana_container_image: registry.redhat.io/rhceph/rhceph-5-dashboard-rhel8:5
   prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
   alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

   Copy to Clipboard Toggle word wrap

   注記

   Red Hat Ceph Storage 5 コンテナーイメージがデフォルト値に設定されていることを確認します。

7. group_vars/osds.yml ファイルを編集します。以下のオプションを追加して設定します。

   構文

   nb_retry_wait_osd_up: 50
   delay_wait_osd_up: 30

   Copy to Clipboard Toggle word wrap

8. group_vars/all.yml ファイルを開き、古い all.yml ファイルから以下の値が存在することを確認します。

   1. fetch_directory オプションは、古い all.yml ファイルと同じ値で設定されます。

      構文

      fetch_directory: FULL_DIRECTORY_PATH

      Copy to Clipboard Toggle word wrap

      FULL_DIRECTORY_PATH を、Ansible ユーザーのホームディレクトリーなどの書き込み可能な場所に置き換えます。

   2. アップグレードするクラスターに Ceph Object Gateway ノードが含まれている場合には、radosgw_interface オプションを追加します。

      radosgw_interface: INTERFACE

      Copy to Clipboard Toggle word wrap

      INTERFACE を、Ceph Object Gateway ノードがリッスンするインターフェイスに置き換えます。

   3. 現在の設定に SSL 証明書が設定されている場合は、以下を編集します。

      構文

      radosgw_frontend_ssl_certificate: /etc/pki/ca-trust/extracted/CERTIFICATE_NAME
      radosgw_frontend_port: 443

      Copy to Clipboard Toggle word wrap

   4. upgrade_ceph_packages オプションをコメント解除して、True に設定します。

      構文

      upgrade_ceph_packages: True

      Copy to Clipboard Toggle word wrap

   5. ストレージクラスターでノードごとに複数の Ceph Object Gateway インスタンスがある場合、radosgw_num_instances 設定をコメント解除して、クラスターのノードごとのインスタンス数に設定します。

      構文

      radosgw_num_instances : NUMBER_OF_INSTANCES_PER_NODE

      Copy to Clipboard Toggle word wrap

      例:

      radosgw_num_instances : 2

      Copy to Clipboard Toggle word wrap

   6. ストレージクラスターに Ceph Object Gateway マルチサイトが定義されている場合は、all.yml のマルチサイト設定を確認し、古い all.yml ファイルと同じ値が含まれていることを確認します。

9. バケットが作成されているか、num_shards = 0 である場合は、Red Hat Ceph Storage 5.3 へのアップグレードを計画する前に、バケットを手動でリシャーディングします。

   警告

   bucket_index_max_shards が0 の場合に以前のリリースから Red Hat Ceph Storage 5.3 にアップグレードすると、Ceph Object Gateway バケットのメタデータが失われ、バケットにアクセスしようとしたときにバケットが使用できなくなる可能性があります。そのため、bucket_index_max_shards が 11 シャードに設定されていることを確認してください。そうでない場合は、ゾーングループレベルでこの設定を変更します。

   構文

   radosgw-admin bucket reshard --num-shards 11 --bucket BUCKET_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@host01 /]# radosgw-admin bucket reshard --num-shards 11 --bucket mybucket

   Copy to Clipboard Toggle word wrap

10. Ansible 管理ノードで ansible-user としてログインします。

11. --extra-vars オプションを使用して infrastructure-playbooks/rolling_update.yml Playbook を更新し、health_osd_check_retries と health_osd_check_delay の値をそれぞれ 50 と 30 に変更します。

    例:

    [root@admin ceph-ansible]# ansible-playbook -i hosts infrastructure-playbooks/rolling_update.yml --extra-vars "health_osd_check_retries=50 health_osd_check_delay=30"

    Copy to Clipboard Toggle word wrap

    各 OSD ノードでは、これらの値により、ceph-ansible はストレージクラスターの健全性を 30 秒ごとに最大 50 回チェックします。つまり、ceph-ansible は OSD ごとに最大 25 分待機します。

    ストレージクラスターの使用済みのストレージ容量に基づいて、health_osd_check_retries オプションの値を上下に調整します。たとえば、436 TB のうち、ストレージ容量の 50% にあたる 218 TB を使用している場合は、health_osd_check_retries オプションを 50 に設定します。

    /etc/ansible/hosts は、Ansible インベントリーファイルのデフォルトの場所です。

12. Rolling_update.yml Playbook を実行して、ストレージクラスターを Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 に変換します。

    構文

    ansible-playbook -vvvv infrastructure-playbooks/rolling_update.yml -i INVENTORY_FILE

    Copy to Clipboard Toggle word wrap

    -vvvv オプションは、アップグレードプロセスの詳細ログを収集します。

    例:

    [ceph-admin@admin ceph-ansible]$ ansible-playbook -vvvv infrastructure-playbooks/rolling_update.yml -i hosts

    Copy to Clipboard Toggle word wrap

    重要

    rolling_update.yml Playbook で --limit Ansible オプションを使用することはサポートされていません。

13. Ansible Playbook のログ出力をチェックして、アップグレードのステータスを確認します。

検証

1. 実行中のすべてのコンテナーをリスト表示します。

   例:

   [root@mon ~]# podman ps

   Copy to Clipboard Toggle word wrap

2. クラスターの健全性状態を確認します。MONITOR_ID は、前のステップで見つかった Ceph Monitor コンテナーの名前に置き換えます。

   構文

   podman exec ceph-mon-MONITOR_ID ceph -s

   Copy to Clipboard Toggle word wrap

   例:

   [root@mon ~]# podman exec ceph-mon-mon01 ceph -s

   Copy to Clipboard Toggle word wrap

3. Ceph クラスターのデーモンのバージョンを確認し、すべてのデーモンのアップグレードを確認します。MONITOR_ID は、前のステップで見つかった Ceph Monitor コンテナーの名前に置き換えます。

   構文

   podman exec ceph-mon-MONITOR_ID ceph --cluster ceph versions

   Copy to Clipboard Toggle word wrap

   例:

   [root@mon ~]# podman exec ceph-mon-mon01 ceph --cluster ceph versions

   Copy to Clipboard Toggle word wrap

手順

1. ceph-ansible ノードにログインし、/usr/share/ceph-ansible ディレクトリーに移動します。

2. all.yml ファイルを編集します。

   構文

   ceph_origin: custom/rhcs
   ceph_custom_repositories:
     - name: NAME
       state: present
       description: DESCRIPTION
       gpgcheck: 'no'
       baseurl: BASE_URL
       file: FILE_NAME
       priority: '2'
       enabled: 1

   Copy to Clipboard Toggle word wrap

   例:

   ceph_origin: custom
   ceph_custom_repositories:
     - name: ceph_custom
       state: present
       description: Ceph custom repo
       gpgcheck: 'no'
       baseurl: https://example.ceph.redhat.com
       file: cephbuild
       priority: '2'
       enabled: 1
     - name: ceph_custom_1
       state: present
       description: Ceph custom repo 1
       gpgcheck: 'no'
       baseurl: https://example.ceph.redhat.com
       file: cephbuild_1
       priority: '2'
       enabled: 1

   Copy to Clipboard Toggle word wrap

3. cephadm-adopt Playbook を実行します。

   構文

   ansible-playbook infrastructure-playbooks/cephadm-adopt.yml -i INVENTORY_FILE

   Copy to Clipboard Toggle word wrap

   例:

   [ceph-admin@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/cephadm-adopt.yml -i hosts

   Copy to Clipboard Toggle word wrap

4. 最小の compat client パラメーターを luminous に設定します。

   例:

   [ceph: root@node0 /]# ceph osd set-require-min-compat-client luminous

   Copy to Clipboard Toggle word wrap

5. 以下のコマンドを実行して、アプリケーションが NFS-Ganesha プールで実行されるようにします。POOL_NAME は nfs-ganesha で、APPLICATION_NAME は cephfs、rbd、rgw などの有効にするアプリケーションの名前です。

   構文

   ceph osd pool application enable POOL_NAME APPLICATION_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@node0 /]# ceph osd pool application enable nfs-ganesha rgw

   Copy to Clipboard Toggle word wrap

   重要

   Red Hat Ceph Storage 4 から Red Hat Ceph Storage 5 へのストレージクラスターの移行後に、cephadm-adopt Playbook が rbd-mirroring を起動しません。

   この問題を回避するには、ピアを手動で追加します。

   構文

   rbd mirror pool peer add POOL_NAME CLIENT_NAME@CLUSTER_NAME

   Copy to Clipboard Toggle word wrap

   例:

   [ceph: root@node0 /]# rbd --cluster site-a mirror pool peer add image-pool client.rbd-mirror-peer@site-b

   Copy to Clipboard Toggle word wrap

6. アップグレード後に Grafana を削除します。

   1. Cephadm シェルにログインします。

      例:

      [root@host01 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   2. ストレージクラスター内の Grafana の名前を取得します。

      例:

      [ceph: root@host01 /]# ceph orch ps --daemon_type grafana

      Copy to Clipboard Toggle word wrap

   3. Grafana を削除します。

      構文

      ceph orch daemon rm GRAFANA_DAEMON_NAME

      Copy to Clipboard Toggle word wrap

      例:

      [ceph: root@host01 /]# ceph orch daemon rm grafana.host01
      
      Removed grafana.host01 from host 'host01'

      Copy to Clipboard Toggle word wrap

   4. 数分待って、最新のログを確認します。

      例:

      [ceph: root@host01 /]# ceph log last cephadm

      Copy to Clipboard Toggle word wrap

      cephadm は、Grafana サービスとデーモンを再デプロイします。