2.3. 使用 Relax-and-Recover 工具恢复 undercloud 节点和 control plane 节点

流程

1. 关闭 undercloud 节点。在继续操作前，请确保 undercloud 节点已完全关闭。
2. 使用备份 ISO 镜像引导 undercloud 节点。

3. 显示 Relax-and-Recover 引导菜单时，选择 Recover <undercloud_node>。将 <undercloud_node > 替换为 undercloud 节点的名称。

   注意

   如果您的系统使用 UEFI，请选择 Relax-and-Recover (no Secure Boot) 选项。

4. 以 root 用户身份登录并恢复节点：

   显示以下信息：

   Welcome to Relax-and-Recover. Run "rear recover" to restore your system!
   RESCUE <undercloud_node>:~ # rear recover

   Copy to Clipboard Toggle word wrap

   当 undercloud 节点恢复过程完成后，控制台会显示以下信息：

   Finished recovering your system
   Exiting rear recover
   Running exit tasks

   Copy to Clipboard Toggle word wrap

5. 关闭该节点：

   RESCUE <undercloud_node>:~ #  poweroff

   Copy to Clipboard Toggle word wrap

   在引导时，节点会恢复其之前的状态。

流程

1. 关闭每个 control plane 节点。在继续操作前，请确保 control plane 节点已完全关闭。
2. 使用对应的备份 ISO 镜像引导每个 control plane 节点。

3. 当显示 Relax-and-Recover 引导菜单时，在每个 control plane 节点上选择 Recover <control_plane_node>。将 <control_plane_node > 替换为对应 control plane 节点的名称。

   注意

   如果您的系统使用 UEFI，请选择 Relax-and-Recover (no Secure Boot) 选项。

4. 在每个 control plane 节点上，以 root 用户身份登录并恢复节点：

   显示以下信息：

   Welcome to Relax-and-Recover. Run "rear recover" to restore your system!
   RESCUE <control_plane_node>:~ # rear recover

   Copy to Clipboard Toggle word wrap

   当 control plane 节点恢复过程完成后，控制台会显示以下信息：

   Finished recovering your system
   Exiting rear recover
   Running exit tasks

   Copy to Clipboard Toggle word wrap

5. 当命令行控制台可用时，恢复每个 control plane 节点的 config-drive 分区：

   # once completed, restore the config-drive partition (which is ISO9660)
   RESCUE <control_plane_node>:~ $ dd if=/mnt/local/mnt/config-drive of=<config_drive_partition>

   Copy to Clipboard Toggle word wrap

6. 关闭该节点：

   RESCUE <control_plane_node>:~ #  poweroff

   Copy to Clipboard Toggle word wrap
7. 将引导序列设置为普通引导设备。在引导时，节点会恢复其之前的状态。

8. 要确保服务正确运行，请检查 pacemaker 的状态。以 root 用户身份登录 Controller 节点，然后输入以下命令：

   # pcs status

   Copy to Clipboard Toggle word wrap
9. 要查看 overcloud 的状态，请使用 OpenStack Integration Test Suite (tempest)。如需更多信息，请参阅使用 Integration Test Suite (tempest)验证您的 OpenStack 云。

流程

1. 在 Controller-0 上，检索 Galera 集群虚拟 IP：

   $ sudo hiera -c /etc/puppet/hiera.yaml mysql_vip

   Copy to Clipboard Toggle word wrap

2. 通过所有 Controller 节点上的虚拟 IP 禁用数据库连接：

   $ sudo iptables -I INPUT  -p tcp --destination-port 3306 -d $MYSQL_VIP  -j DROP

   Copy to Clipboard Toggle word wrap

3. 在 Controller-0 上，检索 MySQL root 密码：

   $ sudo hiera -c /etc/puppet/hiera.yaml mysql::server::root_password

   Copy to Clipboard Toggle word wrap

4. 在 Controller-0 上，将 Galera 资源设置为 非受管 模式：

   $ sudo pcs resource unmanage galera-bundle

   Copy to Clipboard Toggle word wrap

5. 停止所有 Controller 节点上的 MySQL 容器：

   $ sudo podman container stop $(sudo podman container ls --all --format "{{.Names}}" --filter=name=galera-bundle)

   Copy to Clipboard Toggle word wrap

6. 移动所有 Controller 节点上的当前目录：

   $ sudo mv /var/lib/mysql /var/lib/mysql-save

   Copy to Clipboard Toggle word wrap

7. 在所有 Controller 节点上创建新目录 /var/lib/mysq ：

   $ sudo mkdir /var/lib/mysql
   $ sudo chown 42434:42434 /var/lib/mysql
   $ sudo chcon -t container_file_t /var/lib/mysql
   $ sudo chmod 0755 /var/lib/mysql
   $ sudo chcon -r object_r /var/lib/mysql
   $ sudo chcon -u system_u /var/lib/mysql

   Copy to Clipboard Toggle word wrap

8. 启动所有 Controller 节点上的 MySQL 容器：

   $ sudo podman container start $(sudo podman container ls --all --format "{{ .Names }}" --filter=name=galera-bundle)

   Copy to Clipboard Toggle word wrap

9. 在所有 Controller 节点上创建 MySQL 数据库：

   $ sudo podman exec -i $(sudo podman container ls --all --format "{{ .Names }}" \
         --filter=name=galera-bundle) bash -c "mysql_install_db --datadir=/var/lib/mysql --user=mysql --log_error=/var/log/mysql/mysql_init.log"

   Copy to Clipboard Toggle word wrap

10. 启动所有 Controller 节点上的数据库：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
          --filter=name=galera-bundle) bash -c "mysqld_safe --skip-networking --wsrep-on=OFF --log-error=/var/log/mysql/mysql_safe.log" &

    Copy to Clipboard Toggle word wrap

11. 在所有 Controller 节点上移动 .my.cnf Galera 配置文件：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
          --filter=name=galera-bundle) bash -c "mv /root/.my.cnf /root/.my.cnf.bck"

    Copy to Clipboard Toggle word wrap

12. 重置所有 Controller 节点上的 Galera root 密码：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"  \
          --filter=name=galera-bundle) bash -c "mysql -uroot -e'use mysql;set password for root@localhost = password(\"$ROOTPASSWORD\");flush privileges;'"

    Copy to Clipboard Toggle word wrap

13. 在所有 Controller 节点上的 Galera 容器中恢复 .my.cnf Galera 配置文件：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"   \
          --filter=name=galera-bundle) bash -c "mv /root/.my.cnf.bck /root/.my.cnf"

    Copy to Clipboard Toggle word wrap

14. 在 Controller-0 上，将备份数据库文件复制到 /var/lib/MySQL ：

    $ sudo cp $BACKUP_FILE /var/lib/mysql
    $ sudo cp $BACKUP_GRANT_FILE /var/lib/mysql

    Copy to Clipboard Toggle word wrap
    注意

    这些文件的路径为 /home/tripleo-admin/。

15. 在 Controller-0 上，恢复 MySQL 数据库：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"    \
    --filter=name=galera-bundle) bash -c "mysql -u root -p$ROOT_PASSWORD < \"/var/lib/mysql/$BACKUP_FILE\"  "
    
    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"    \
    --filter=name=galera-bundle) bash -c "mysql -u root -p$ROOT_PASSWORD < \"/var/lib/mysql/$BACKUP_GRANT_FILE\"  "

    Copy to Clipboard Toggle word wrap

16. 关闭所有 Controller 节点上的数据库：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"    \
          --filter=name=galera-bundle) bash -c "mysqladmin shutdown"

    Copy to Clipboard Toggle word wrap

17. 在 Controller-0 上，启动 bootstrap 节点：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}"  --filter=name=galera-bundle) \
            /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql \
            --log-error=/var/log/mysql/mysql_cluster.log  --user=mysql --open-files-limit=16384 \
            --wsrep-cluster-address=gcomm:// &

    Copy to Clipboard Toggle word wrap

18. 验证 ：在 Controller-0 上，检查集群的状态：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
             --filter=name=galera-bundle) bash -c "clustercheck"

    Copy to Clipboard Toggle word wrap

    确保显示以下信息："Galera 集群节点同步"，否则您必须重新创建该节点。

19. 在 Controller-0 上，从配置检索集群地址：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
    --filter=name=galera-bundle) bash -c "grep wsrep_cluster_address /etc/my.cnf.d/galera.cnf" | awk '{print $3}'

    Copy to Clipboard Toggle word wrap

20. 在每个剩余的 Controller 节点上，启动数据库并验证集群：

    1. 启动数据库：

       $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
             --filter=name=galera-bundle) /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock \
             --datadir=/var/lib/mysql --log-error=/var/log/mysql/mysql_cluster.log  --user=mysql --open-files-limit=16384 \
             --wsrep-cluster-address=$CLUSTER_ADDRESS &

       Copy to Clipboard Toggle word wrap

    2. 检查 MYSQL 集群的状态：

       $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" \
                --filter=name=galera-bundle) bash -c "clustercheck"

       Copy to Clipboard Toggle word wrap

       确保显示以下信息："Galera 集群节点同步"，否则您必须重新创建该节点。

21. 停止所有 Controller 节点上的 MySQL 容器：

    $ sudo podman exec $(sudo podman container ls --all --format "{{ .Names }}" --filter=name=galera-bundle) \
            /usr/bin/mysqladmin -u root shutdown

    Copy to Clipboard Toggle word wrap

22. 在所有 Controller 节点上，删除以下防火墙规则以允许通过虚拟 IP 地址进行数据库连接：

    $ sudo iptables -D  INPUT  -p tcp --destination-port 3306 -d $MYSQL_VIP  -j DROP

    Copy to Clipboard Toggle word wrap

23. 重启所有 Controller 节点上的 MySQL 容器：

    $ sudo podman container restart $(sudo podman container ls --all --format  "{{ .Names }}" --filter=name=galera-bundle)

    Copy to Clipboard Toggle word wrap

24. 重启所有 Controller 节点上的 clustercheck 容器：

    $ sudo podman container restart $(sudo podman container ls --all --format  "{{ .Names }}" --filter=name=clustercheck)

    Copy to Clipboard Toggle word wrap

25. 在 Controller-0 上，将 Galera 资源设置为 受管 模式：

    $ sudo pcs resource manage galera-bundle

    Copy to Clipboard Toggle word wrap

验证

1. 要确保服务正确运行，请检查 pacemaker 的状态：

   $ sudo pcs status

   Copy to Clipboard Toggle word wrap
2. 要查看 overcloud 的状态，请使用 OpenStack Integration Test Suite (tempest)。如需更多信息，请参阅使用 Integration Test Suite (tempest)验证您的 OpenStack 云。

3. 如果您怀疑特定节点有问题，请使用 clustercheck 检查集群的状态：

   $ sudo podman exec clustercheck /usr/bin/clustercheck

   Copy to Clipboard Toggle word wrap

流程

1. 以 root 用户身份登录 director undercloud 节点。

2. 停止所有 tripleo 服务：

   [root@director ~]# systemctl  stop  tripleo_*

   Copy to Clipboard Toggle word wrap

3. 输入以下命令确保没有容器在服务器上运行：

   [root@director ~]# podman ps

   Copy to Clipboard Toggle word wrap

   如果有任何容器正在运行，请输入以下命令来停止容器：

   [root@director ~]# podman stop <container_name>

   Copy to Clipboard Toggle word wrap

4. 创建当前 /var/lib/mysql 目录的备份，然后删除该目录：

   [root@director ~]# cp -a /var/lib/mysql /var/lib/mysql_bck
   [root@director ~]# rm -rf /var/lib/mysql

   Copy to Clipboard Toggle word wrap

5. 重新创建数据库目录并为新目录设置 SELinux 属性：

   [root@director ~]# mkdir /var/lib/mysql
   [root@director ~]# chown 42434:42434 /var/lib/mysql
   [root@director ~]# chmod 0755 /var/lib/mysql
   [root@director ~]# chcon -t container_file_t /var/lib/mysql
   [root@director ~]# chcon -r object_r /var/lib/mysql
   [root@director ~]# chcon -u system_u /var/lib/mysql

   Copy to Clipboard Toggle word wrap

6. 为 mariadb 镜像创建一个本地标签。将 <image_id &gt ; 和 <undercloud.ctlplane.example.com > 替换为环境中适用的值：

   [root@director ~]# podman images | grep mariadb
   <undercloud.ctlplane.example.com>:8787/rh-osbs/rhosp16-openstack-mariadb                 	16.2_20210322.1   <image_id>   3 weeks ago   718 MB

   Copy to Clipboard Toggle word wrap

   [root@director ~]# podman tag <image_id> mariadb

   Copy to Clipboard Toggle word wrap

   [root@director ~]# podman images | grep maria
   localhost/mariadb                                                                         	latest        	<image_id>   3 weeks ago   718 MB
   <undercloud.ctlplane.example.com>:8787/rh-osbs/rhosp16-openstack-mariadb                 	16.2_20210322.1   <image_id>   3 weeks ago   718 MB

   Copy to Clipboard Toggle word wrap

7. 使用容器初始化 /var/lib/mysql 目录：

   [root@director ~]# podman run --net=host -v /var/lib/mysql:/var/lib/mysql localhost/mariadb mysql_install_db --datadir=/var/lib/mysql --user=mysql

   Copy to Clipboard Toggle word wrap

8. 复制您要导入到数据库的数据库备份文件：

   [root@director ~]# cp /root/undercloud-all-databases.sql /var/lib/mysql

   Copy to Clipboard Toggle word wrap

9. 启动数据库服务来导入数据：

   [root@director ~]# podman run --net=host -dt -v /var/lib/mysql:/var/lib/mysql  localhost/mariadb  /usr/libexec/mysqld

   Copy to Clipboard Toggle word wrap

10. 导入数据并配置 max_allowed_packet 参数：

    1. 登录到容器并进行配置：

       [root@director ~]# podman exec -it <container_id> /bin/bash
           ()[mysql@5a4e429c6f40 /]$ mysql -u root -e "set global max_allowed_packet = 1073741824;"
           ()[mysql@5a4e429c6f40 /]$ mysql -u root < /var/lib/mysql/undercloud-all-databases.sql
           ()[mysql@5a4e429c6f40 /]$ mysql -u root -e 'flush privileges'
           ()[mysql@5a4e429c6f40 /]$ exit
           exit

       Copy to Clipboard Toggle word wrap

    2. 停止容器：

       [root@director ~]# podman stop <container_id>

       Copy to Clipboard Toggle word wrap

    3. 检查没有容器是否正在运行：

       [root@director ~]# podman ps
       CONTAINER ID  IMAGE  COMMAND  CREATED  STATUS  PORTS  NAMES
       [root@director ~]#

       Copy to Clipboard Toggle word wrap

11. 重启所有 tripleo 服务：

    [root@director ~]# systemctl start multi-user.target

    Copy to Clipboard Toggle word wrap