부록 B. 오버클라우드 복원

절차

1. Pacemaker를 중지하고 컨테이너화된 모든 서비스를 제거합니다.

   1. 부트스트랩 컨트롤러 노드에 로그인하고 pacemaker 클러스터를 중지합니다.

      # sudo pcs cluster stop --all

   2. 클러스터가 완전히 종료될 때까지 기다립니다.

      # sudo pcs status

   3. 모든 컨트롤러 노드에서 OpenStack 서비스의 모든 컨테이너를 제거합니다.

      # docker stop $(docker ps -a -q)
      # docker rm $(docker ps -a -q)

2. 실패한 주요 버전 업그레이드에서 복원하는 경우 모든 노드에서 발생한 yum 트랜잭션을 취소해야 할 수 있습니다. 이 작업은 각 노드에서 다음 작업을 수행해야 합니다.

   1. 이전 버전의 리포지토리를 활성화합니다. 예를 들면 다음과 같습니다.

      # sudo subscription-manager repos --enable=rhel-7-server-openstack-10-rpms
      # sudo subscription-manager repos --enable=rhel-7-server-openstack-11-rpms
      # sudo subscription-manager repos --enable=rhel-7-server-openstack-12-rpms

   2. 다음 Ceph 리포지토리를 활성화합니다.

      # sudo subscription-manager repos --enable=rhel-7-server-rhceph-2-tools-rpms
      # sudo subscription-manager repos --enable=rhel-7-server-rhceph-2-mon-rpms

   3. yum 기록을 확인합니다.

      # sudo yum history list all

      업그레이드 프로세스 중에 발생한 트랜잭션을 식별합니다. 이러한 작업은 대부분 컨트롤러 노드 중 하나에서 수행됩니다(업그레이드 중에 부트스트랩 노드로 선택한 컨트롤러 노드). 특정 트랜잭션을 확인해야 하는 경우 history info 하위 명령을 사용하여 확인합니다.

      # sudo yum history info 25

      참고

      yum history를 모두 나열 하여 각 트랜잭션에서 실행된 명령을 표시하려면 yum.conf 파일에 history_list_view=commands 를 설정합니다.

   4. 업그레이드 이후 발생한 모든 yum 트랜잭션을 되돌립니다. 예를 들면 다음과 같습니다.

      # sudo yum history undo 25
      # sudo yum history undo 24
      # sudo yum history undo 23
      ...

      마지막 트랜잭션에서 시작하여 내림차순으로 계속합니다. 롤백 옵션을 사용하여 한 번 실행에서 여러 트랜잭션을 되돌릴 수도 있습니다. 예를 들어 다음 명령은 마지막 트랜잭션에서 23으로 트랜잭션을 롤백합니다.

      # sudo yum history rollback 23

      중요

      각 트랜잭션의 역추적을 확인할 수 있도록 롤백 대신 각 트랜잭션에 대해 실행 취소 를 사용하는 것이 좋습니다.

   5. 관련 yum 트랜잭션이 되돌리면 모든 노드에서 원래 OpenStack Platform 리포지토리만 활성화합니다. 예를 들면 다음과 같습니다.

      # sudo subscription-manager repos --disable=rhel-7-server-openstack-*-rpms
      # sudo subscription-manager repos --enable=rhel-7-server-openstack-10-rpms

   6. 다음 Ceph 리포지토리를 비활성화합니다.

      # sudo subscription-manager repos --enable=rhel-7-server-rhceph-3-tools-rpms
      # sudo subscription-manager repos --enable=rhel-7-server-rhceph-3-mon-rpms

3. 데이터베이스를 복원하십시오.

   1. 데이터베이스 백업을 부트스트랩 컨트롤러 노드에 복사합니다.

   2. 모든 컨트롤러 노드에서 데이터베이스 포트에 대한 외부 연결을 중지합니다.

      # MYSQLIP=$(hiera -c /etc/puppet/hiera.yaml mysql_bind_host)
      # sudo /sbin/iptables -I INPUT -d $MYSQLIP -p tcp --dport 3306 -j DROP

      이렇게 하면 모든 데이터베이스 트래픽을 노드에 격리합니다.

   3. 데이터베이스 복제를 일시적으로 비활성화합니다. 모든 컨트롤러 노드에서 /etc/my.cnf.d/galera.cnf 파일을 편집합니다.

      # vi /etc/my.cnf.d/galera.cnf

      다음과 같이 변경합니다.

      • wsrep_cluster_address 매개 변수를 주석 처리합니다.
      • wsrep_provider 를 none으로 설정합니다
   4. /etc/my.cnf.d/galera.cnf 파일을 저장합니다.

   5. 모든 컨트롤러 노드에서 MariaDB 데이터베이스가 비활성화되어 있는지 확인합니다. OpenStack Platform 13으로 업그레이드하는 동안 MariaDB 서비스는 이전에 비활성화한 컨테이너화된 서비스로 이동합니다. 서비스가 호스트에서 프로세스로 실행되지 않는지 확인합니다.

      # mysqladmin -u root shutdown

      참고

      HAProxy에서 데이터베이스가 비활성화되었다는 경고가 표시될 수 있습니다.

   6. 기존 MariaDB 데이터 디렉터리를 이동하고 모든 컨트롤러 노드에서 새 데이터 디렉토리를 준비합니다.

      # mv /var/lib/mysql/ /var/lib/mysql.old
      # mkdir /var/lib/mysql
      # chown mysql:mysql /var/lib/mysql
      # chmod 0755 /var/lib/mysql
      # mysql_install_db --datadir=/var/lib/mysql --user=mysql
      # chown -R mysql:mysql /var/lib/mysql/
      # restorecon -R /var/lib/mysql

   7. 모든 컨트롤러 노드에서 데이터베이스를 수동으로 시작합니다.

      # mysqld_safe --skip-grant-tables --skip-networking --wsrep-on=OFF &

   8. 모든 컨트롤러 노드에서 이전 암호를 Reset the database password를 가져옵니다.

      # OLDPASSWORD=$(sudo cat .my.cnf | grep -m1 password | cut -d'=' -f2 | tr -d "'")
      # mysql -uroot -e"use mysql;update user set password=PASSWORD($OLDPASSWORD)"

   9. 모든 컨트롤러 노드에서 데이터베이스를 중지합니다.

      # /usr/bin/mysqladmin -u root shutdown

   10. --skip-grant-tables 옵션 없이 부트스트랩 컨트롤러 노드에서 데이터베이스를 수동으로 시작합니다.

       # mysqld_safe --skip-networking --wsrep-on=OFF &

   11. 부트스트랩 컨트롤러 노드에서 OpenStack 데이터베이스를 복원합니다. 이 작업은 나중에 다른 컨트롤러 노드에 복제됩니다.

       # mysql -u root < openstack_database.sql

   12. 부트스트랩 컨트롤러 노드에서 사용자 및 권한을 복원합니다.

       # mysql -u root < grants.sql

   13. 다음 명령을 사용하여 부트스트랩 컨트롤러 노드를 종료합니다.

       # mysqladmin shutdown

   14. 데이터베이스 복제를 활성화합니다. 모든 컨트롤러 노드에서 /etc/my.cnf.d/galera.cnf 파일을 편집합니다.

       # vi /etc/my.cnf.d/galera.cnf

       다음과 같이 변경합니다.

       • wsrep_cluster_address 매개 변수의 주석을 제거합니다.
       • wsrep_provider 를 /usr/lib64/galera/libgalera_smm.so로 설정합니다.
   15. /etc/my.cnf.d/galera.cnf 파일을 저장합니다.

   16. 부트스트랩 노드에서 데이터베이스를 실행합니다.

       # /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql --log-error=/var/log/mysql_cluster.log --user=mysql --open-files-limit=16384 --wsrep-cluster-address=gcomm:// &

       ws rep-cluster-address 옵션에 노드 부족으로 인해 Galera가 새 클러스터를 생성하고 부트스트랩 노드를 마스터 노드로 설정합니다.

   17. 노드의 상태를 확인합니다.

       # clustercheck

       이 명령에서 Galera 클러스터 노드가 동기화됨을 보고해야 합니다. /var/log/mysql_cluster.log 파일에 오류가 있는지 확인합니다.

   18. 나머지 컨트롤러 노드에서 데이터베이스를 시작합니다.

       $ /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql --log-error=/var/log/mysql_cluster.log  --user=mysql --open-files-limit=16384 --wsrep-cluster-address=gcomm://overcloud-controller-0,overcloud-controller-1,overcloud-controller-2 &

       ws rep-cluster-address 옵션에 노드가 포함되면 새 클러스터에 노드를 추가하고 마스터의 콘텐츠를 동기화합니다.

   19. 각 노드의 상태를 주기적으로 확인합니다.

       # clustercheck

       모든 노드가 동기화 작업을 완료하면 이 명령에서 각 노드의 Galera 클러스터 노드가 동기화됨을 보고해야 합니다.

   20. 모든 노드에서 데이터베이스를 중지합니다.

       $ mysqladmin shutdown

   21. 서비스에 대한 각 노드에서 방화벽 규칙을 제거하여 데이터베이스에 대한 액세스를 복원합니다.

       # sudo /sbin/iptables -D INPUT -d $MYSQLIP -p tcp --dport 3306 -j DROP

4. Pacemaker 구성을 복원합니다.

   1. Pacemaker 아카이브를 부트스트랩 노드에 복사합니다.
   2. 부트 스트랩 노드에 로그인합니다.

   3. 구성 복원 명령을 실행합니다.

      # pcs config restore pacemaker_controller_backup.tar.bz2

5. 파일 시스템을 복원하십시오.

   1. 각 컨트롤러 노드의 백업 tar 파일을 임시 디렉터리에 복사하고 모든 데이터 압축을 해제합니다.

      # mkdir /var/tmp/filesystem_backup/
      # cd /var/tmp/filesystem_backup/
      # mv <backup_file>.tar.gz .
      # tar --xattrs --xattrs-include='*.*' -xvzf <backup_file>.tar.gz

      참고

      / 디렉토리로 직접 추출하지 마십시오. 이렇게 하면 현재 파일 시스템이 재정의됩니다. 임시 디렉터리에 파일을 추출하는 것이 좋습니다.

   2. os-*-config 파일을 복원하고 os-collect-config 를 다시 시작합니다.

      # cp -rf /var/tmp/filesystem_backup/var/lib/os-collect-config/* /var/lib/os-collect-config/.
      # cp -rf /var/tmp/filesystem_backup/usr/libexec/os-apply-config/* /usr/libexec/os-apply-config/.
      # cp -rf /var/tmp/filesystem_backup/usr/libexec/os-refresh-config/* /usr/libexec/os-refresh-config/.
      # systemctl restart os-collect-config

   3. Puppet hieradata 파일을 복원합니다.

      # cp -r /var/tmp/filesystem_backup/etc/puppet/hieradata /etc/puppet/hieradata
      # cp -r /var/tmp/filesystem_backup/etc/puppet/hiera.yaml /etc/puppet/hiera.yaml

   4. 구성 파일이 필요한 경우 이 디렉터리를 유지합니다.

6. redis 리소스를 복원합니다.

   1. Redis 덤프를 각 컨트롤러 노드에 복사합니다.

   2. Redis 덤프를 각 컨트롤러의 원래 위치로 이동합니다.

      # mv dump.rdb /var/lib/redis/dump.rdb

   3. Redis 디렉터리에 권한을 복원하십시오.

      # chown -R redis: /var/lib/redis

7. 다음 디렉터리의 내용을 제거합니다.

   # rm -rf /var/lib/config-data/puppet-generated/*
   # rm /root/.ffu_workaround

8. OpenStack Object Storage(swift) 서비스에 대한 권한을 복원합니다.

   # chown -R swift: /srv/node
   # chown -R swift: /var/lib/swift
   # chown -R swift: /var/cache/swift

9. 언더클라우드에 로그인하고 OpenStack Platform 10 배포에서 원래 openstack overcloud deploy 명령을 실행합니다. 원래 배포와 관련된 모든 환경 파일을 포함해야 합니다.
10. 배포가 완료될 때까지 기다립니다.

11. 오버클라우드 컨트롤 플레인 데이터를 복원한 후 각 관련 서비스가 활성화되어 올바르게 실행되고 있는지 확인합니다.

    1. 컨트롤러 노드의 고가용성 서비스:

       # pcs resource enable [SERVICE]
       # pcs resource cleanup [SERVICE]

    2. 컨트롤러 및 계산 노드의 시스템 서비스의 경우 다음을 수행합니다.

       # systemctl start [SERVICE]
       # systemctl enable [SERVICE]