5.3. Galera 클러스터 문제 해결

절차

1. Controller-0에서 Galera 클러스터 가상 IP를 검색합니다.

   $ sudo hiera -c /etc/puppet/hiera.yaml mysql_vip

2. 모든 컨트롤러 노드에서 가상 IP를 통해 데이터베이스 연결을 비활성화합니다.

   $ sudo iptables -I INPUT  -p tcp --destination-port 3306 -d $MYSQL_VIP  -j DROP

3. Controller-0에서 MySQL 루트 암호를 검색합니다.

   $ sudo hiera -c /etc/puppet/hiera.yaml mysql::server::root_password

4. Controller-0에서 Galera 리소스를 Unmanaged 모드로 설정합니다.

   $ sudo pcs resource unmanage galera-bundle

5. 모든 컨트롤러 노드에서 MySQL 컨테이너를 중지합니다.

   $ sudo docker container stop $(sudo docker container ls --all --format “{{.Names}}” --filter=name=galera-bundle)

6. 모든 컨트롤러 노드에서 현재 디렉터리를 이동합니다.

   $ sudo mv /var/lib/mysql /var/lib/mysql-save

7. 모든 컨트롤러 노드에서 새 디렉토리 /var/lib/mysq 를 생성합니다.

   $ sudo mkdir /var/lib/mysql
   $ sudo chown 42434:42434 /var/lib/mysql
   $ sudo chcon -t container_file_t /var/lib/mysql
   $ sudo chmod 0755 /var/lib/mysql
   $ sudo chcon -r object_r /var/lib/mysql
   $ sudo chcon -u system_u /var/lib/mysql

8. 모든 컨트롤러 노드에서 MySQL 컨테이너를 시작합니다.

   $ sudo docker container start $(sudo docker container ls --all --format "{{ .Names }}" --filter=name=galera-bundle)

9. 모든 컨트롤러 노드에서 MySQL 데이터베이스를 생성합니다.

   $ sudo docker exec -i $(sudo docker container ls --all --format "{{ .Names }}" \
         --filter=name=galera-bundle) bash -c "mysql_install_db --datadir=/var/lib/mysql --user=mysql"

10. 모든 컨트롤러 노드에서 데이터베이스를 시작합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
          --filter=name=galera-bundle) bash -c "mysqld_safe --skip-networking --wsrep-on=OFF" &

11. 모든 컨트롤러 노드에서 .my.cnf Galera 구성 파일을 이동합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
          --filter=name=galera-bundle) bash -c "mv /root/.my.cnf /root/.my.cnf.bck"

12. 모든 컨트롤러 노드에서 Galera 루트 암호를 재설정합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}"  \
          --filter=name=galera-bundle) bash -c "mysql -uroot -e'use mysql;update user set password=PASSWORD(\"$ROOTPASSWORD\")where User=\"root\";flush privileges;'"

13. 모든 컨트롤러 노드의 Galera 컨테이너 내부에 .my.cnf Galera 구성 파일을 복원합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}"   \
          --filter=name=galera-bundle) bash -c "mv /root/.my.cnf.bck /root/.my.cnf"

14. Controller-0에서 백업 데이터베이스 파일을 /var/lib/MySQL 에 복사합니다.

    $ sudo cp $BACKUP_FILE /var/lib/mysql
    $ sudo cp $BACKUP_GRANT_FILE /var/lib/mysql

    참고

    이러한 파일의 경로는 /home/heat-admin/입니다.

15. Controller-0에서 MySQL 데이터베이스를 복원합니다.

    $ sudo docker exec $(docker container ls --all --format "{{ .Names }}"    \
    --filter=name=galera-bundle) bash -c "mysql -u root -p$ROOT_PASSWORD < \"/var/lib/mysql/$BACKUP_FILE \"  "
    
    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}"    \
    --filter=name=galera-bundle) bash -c "mysql -u root -p$ROOT_PASSWORD < \"/var/lib/mysql/$BACKUP_GRANT_FILE \"  "

16. 모든 컨트롤러 노드에서 데이터베이스를 종료합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}"    \
          --filter=name=galera-bundle) bash -c "mysqladmin shutdown"

17. Controller-0에서 부트스트랩 노드를 시작합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}"  --filter=name=galera-bundle) \
            /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql \
            --log-error=/var/log/mysql_cluster.log  --user=mysql --open-files-limit=16384 \
            --wsrep-cluster-address=gcomm:// &

18. 검증: Controller-0에서 클러스터 상태를 확인합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
             --filter=name=galera-bundle) bash -c "clustercheck"

    "Galera 클러스터 노드가 동기화됨"이라는 메시지가 표시되는지 확인합니다. 그러지 않으면 노드를 다시 생성해야 합니다.

19. Controller-0에서 구성에서 클러스터 주소를 검색합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
    --filter=name=galera-bundle) bash -c "grep wsrep_cluster_address /etc/my.cnf.d/galera.cnf" | awk '{print $3}'

20. 나머지 각 컨트롤러 노드에서 데이터베이스를 시작하고 클러스터를 검증합니다.

    1. 데이터베이스를 시작합니다.

       $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
             --filter=name=galera-bundle) /usr/bin/mysqld_safe --pid-file=/var/run/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock \
             --datadir=/var/lib/mysql --log-error=/var/log/mysql_cluster.log  --user=mysql --open-files-limit=16384 \
             --wsrep-cluster-address=$CLUSTER_ADDRESS &

    2. MYSQL 클러스터의 상태를 확인합니다.

       $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" \
                --filter=name=galera-bundle) bash -c "clustercheck"

       "Galera 클러스터 노드가 동기화됨"이라는 메시지가 표시되는지 확인합니다. 그러지 않으면 노드를 다시 생성해야 합니다.

21. 모든 컨트롤러 노드에서 MySQL 컨테이너를 중지합니다.

    $ sudo docker exec $(sudo docker container ls --all --format "{{ .Names }}" --filter=name=galera-bundle) \
            /usr/bin/mysqladmin -u root shutdown

22. 모든 컨트롤러 노드에서 가상 IP 주소를 통한 데이터베이스 연결을 허용하도록 다음 방화벽 규칙을 제거합니다.

    $ sudo iptables -D  INPUT  -p tcp --destination-port 3306 -d $MYSQL_VIP  -j DROP

23. 모든 컨트롤러 노드에서 MySQL 컨테이너를 다시 시작합니다.

    $ sudo docker container restart $(sudo docker container ls --all --format  "{{ .Names }}" --filter=name=galera-bundle)

24. 모든 컨트롤러 노드에서 clustercheck 컨테이너를 다시 시작합니다.

    $ sudo docker container restart $(sudo docker container ls --all --format  "{{ .Names }}" --filter=name=clustercheck)

25. Controller-0에서 Galera 리소스를 관리 모드로 설정합니다.

    $ sudo pcs resource manage galera-bundle