RHEL HA 애드온을 사용하여 SAP HANA scale-Out 시스템 복제 자동화

프로세스

1. 스테이징 구성이 없는 경우 다음 명령을 사용하여 SAP HANA 테스트 배포 등록을 RHSM(Red Hat Subscription Management)에 직접 할당할 수 있습니다.

   [root:~]# subscription-manager register

   Copy to Clipboard Toggle word wrap
2. 사용자 이름과 암호를 입력합니다.

3. rhel-8-for-x86_64-sap-solutions-rpms 리포지토리에서 사용할 수 있는 모든 풀을 나열합니다.

   [root:~]# subscription-manager list --available --matches="rhel-8-for-x86_64-sap-solutions-rpms"

   Copy to Clipboard Toggle word wrap

   자세한 내용은 기본 시스템 설정 구성 을 참조하십시오.

   참고

   회사 풀 ID가 필요합니다. 목록이 비어 있는 경우 Red Hat에 회사의 서브스크립션 목록을 문의하십시오.

4. 서버 인스턴스에 풀 ID를 연결합니다.

   [root:~]# subscription-manager attach --pool=XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

   Copy to Clipboard Toggle word wrap

5. sap-solutions 리포지토리가 활성화되어 있는지 확인합니다.

   [root:~]# yum repolist | grep sap-solution
   rhel-8-for-x86_64-sap-solutions-rpms RHEL for x86_64 - SAP Solutions (RPMs)

   Copy to Clipboard Toggle word wrap

   RHEL 8 필수 리포지터리를 활성화할 수 있습니다.

   [root:~]# subscription-manager repos --enable=rhel-8-for-x86_64-sap-solutions-rpms --enable=rhel-8-for-x86_64-highavailability-rpms

   Copy to Clipboard Toggle word wrap

   자세한 내용은 SAP 서브스크립션 및 리포지토리 RHEL을 참조하십시오.

6. 모든 시스템에서 패키지를 업데이트하여 올바른 RPM 패키지 및 버전이 설치되었는지 확인합니다.

   [root:~]# yum update -y

   Copy to Clipboard Toggle word wrap

프로세스

1. 모든 호스트에서 root 사용자로 로그인하고 /etc/hosts 파일을 구성합니다.
2. 스케일 아웃 환경에서 모든 SAP HANA 호스트에 대한 호스트 항목을 만듭니다.

3. hosts 파일을 모든 노드에 복사합니다. 다음 출력 예에 표시된 순서대로 호스트 이름을 설정하는 것이 중요합니다. 그렇지 않은 경우 배포 또는 운영 프로세스 중에 SAP HANA 환경이 실패합니다.

   참고

   이 구성은 이 문서의 SAP HANA scale-Out 환경 준비 섹션에 나열된 매개 변수를 기반으로 합니다.

   [root:~]# cat << EOF >> /etc/hosts
   10.0.1.21 dc1hana01.example.com dc1hana01
   10.0.1.22 dc1hana02.example.com dc1hana02
   10.0.1.23 dc1hana03.example.com dc1hana03
   10.0.1.24 dc1hana04.example.com dc1hana04
   10.0.1.31 dc2hana01.example.com dc2hana01
   10.0.1.32 dc2hana02.example.com dc2hana02
   10.0.1.33 dc2hana03.example.com dc2hana03
   10.0.1.34 dc2hana04.example.com dc2hana04
   10.0.1.41 majoritymaker.example.com majoritymaker
   EOF

   Copy to Clipboard Toggle word wrap

프로세스

1. 추가 /usr/sap 파티션에 대해 모든 SAP HANA 호스트에서 사용자 root로 로그인합니다.

   참고

   일반적으로 기본 XFS 형식 및 마운트 옵션은 대부분의 워크로드에 적합합니다. 파일 시스템의 워크로드에 도움이 될 것으로 예상되지 않는 한 기본값을 사용하는 것이 좋습니다. 지원되는 모든 파일 시스템을 사용할 수 있습니다. 자세한 내용은 SAP Note 2972496 - SAP HANA 파일 시스템 유형을 참조하십시오. 소프트웨어 RAID를 사용하는 경우 mks.xfs 명령은 하드웨어에 맞게 올바른 스트라이프 단위 및 너비로 자동으로 구성됩니다.

2. 필요한 마운트 지점을 생성합니다.

   [root:~]# mkdir -p /usr/sap

   Copy to Clipboard Toggle word wrap

3. 논리 볼륨에서 XFS를 기반으로 파일 시스템을 생성합니다.

   [root:~]# mkfs -t xfs -b size=4096 /dev/sdb

   Copy to Clipboard Toggle word wrap

   XFS 파일 시스템 생성 및 튜닝 가능성에 대한 자세한 내용은 man mkfs.xfs 명령을 실행합니다. XFS 파일 시스템의 최적 성능을 얻으려면 XFS 파일 시스템 튜닝에 대한 몇 가지 모범 사례에서 참조하십시오.

4. mount 지시문을 /etc/fstab:에 씁니다.

   [root:~]# echo "/dev/sdb /usr/sap xfs defaults 1 6" >> /etc/fstab

   Copy to Clipboard Toggle word wrap
   참고

   마운트 지점을 파일 시스템 리소스로 관리하는 경우 이러한 파일 시스템은 나중에 /etc/fstab 파일에서 다시 주석 처리해야 합니다. 

5. /etc/fstab 의 XFS 파일 시스템을 마운트할 수 있는지 확인합니다.

   [root:~]# mount /usr/sap

   Copy to Clipboard Toggle word wrap

프로세스

1. 공유 스토리지 구성에 대해 모든 SAP HANA 호스트에서 사용자 root로 로그인합니다.

   참고

   nfs-utils 패키지가 필요합니다. 모든 데이터 센터에는 자체 스토리지 구성이 필요합니다. 이 예에서는 스토리지 구성이 공유 스토리지 환경으로 빌드됩니다. 두 스케일 아웃 환경 모두 자체 NFS 공유를 사용하고 있습니다. 이 구성은 이 문서 의 SAP HANA scale-Out 환경 준비 섹션에 있는 정보를 기반으로 합니다. 프로덕션 환경에서 이 절차는 선호하는 하드웨어 벤더가 지원하는 대로 구성해야 합니다.

2. nfs-utils 패키지를 설치합니다.

   [root:~]# yum install -y nfs-utils

   Copy to Clipboard Toggle word wrap

3. 데이터 센터 1에서 노드를 구성합니다.

   [root:~]# mkdir -p /hana/{shared,data,log}
   cat <<EOF >> /etc/fstab
   10.0.1.61:/data/dc1/shared /hana/shared nfs4 defaults 0 0
   10.0.1.61:/data/dc1/data /hana/data nfs4 defaults 0 0
   10.0.1.61:/data/dc1/log /hana/log nfs4 defaults 0 0
   EOF

   Copy to Clipboard Toggle word wrap

   볼륨을 마운트하려면 다음 명령을 실행합니다.

   [root:~]# mount -a

   Copy to Clipboard Toggle word wrap

4. 데이터 센터 2에서 노드 구성:

   [root:~]# mkdir -p /hana/{shared,data,log}
   cat <<EOF >> /etc/fstab
   10.0.1.62:/data/dc2/shared /hana/shared nfs4 defaults 0 0
   10.0.1.62:/data/dc2/data /hana/data nfs4 defaults 0 0
   10.0.1.62:/data/dc2/log /hana/log nfs4 defaults 0 0
   EOF

   Copy to Clipboard Toggle word wrap

   볼륨을 마운트하려면 다음 명령을 실행합니다.

   [root:~]# mount -a

   Copy to Clipboard Toggle word wrap

사전 요구 사항

1. 공유 스토리지 구성의 모든 호스트에서 root 사용자로 로그인했습니다.
2. SAP HANA 설치 소스를 준비했습니다.

3. SAP HANA와 호환되는 호스트 이름을 설정했습니다.

   [root:~]# hostnamectl set-hostname dc1hana01

   Copy to Clipboard Toggle word wrap

절차: /etc/hosts확인

1. /etc/hosts 에 시스템의 호스트 이름 및 IP 주소와 일치하는 항목이 있는지 확인합니다. .example.com:

   [root:~]# hostname
   <hostname>
   [root:~]# hostname -s
   <hostname>
   [root:~]# hostname -f
   <hostname>.example.com
   [root:~]# hostname -d
   example.com

   Copy to Clipboard Toggle word wrap

2. 시스템 언어를 영어로 설정합니다.

   [root:~]# localectl set-locale LANG=en_US.UTF-8

   Copy to Clipboard Toggle word wrap

절차: NTP 구성

1. /etc/chrony.conf 를 편집하고 서버 행이 ntp 서버를 반영하는지 확인합니다.

   [root:~]# yum -y install chrony
   [root:~]# systemctl stop chronyd.service

   Copy to Clipboard Toggle word wrap

2. 시간 서버 항목을 확인합니다.

   [root:~]# grep ^server /etc/chrony.conf
   server 0.de.pool.ntp.org
   server 1.de.pool.ntp.org

   Copy to Clipboard Toggle word wrap

3. chrony 서비스를 활성화하고 시작합니다.

   [root:~]# systemctl enable chronyd.service
   [root:~]# systemctl start chronyd.service
   [root:~]# systemctl restart systemd-timedated.service

   Copy to Clipboard Toggle word wrap

4. chrony 서비스가 활성화되었는지 확인합니다.

   [root:~]# systemctl status chronyd.service
   chronyd.service enabled
   [root:~]# chronyc sources
   210 Number of sources = 3
   MS Name/IP address Stratum Poll Reach LastRx Last sample
   =====================================================================
   ^* 0.de.pool.ntp.org 2 8 377 200 -2659ns[-3000ns] +/- 28ms
   ^-de.pool.ntp.org 2 8 377 135 -533us[ -533us] +/- 116ms
   ^-ntp2.example.com 2 9 377 445 +14ms[ +14ms] +/- 217ms

   Copy to Clipboard Toggle word wrap

절차 (선택 사항)

1. SAP Host Agent의 sapadm 및 sapsys 사용자를 생성하고 sapadm 사용자의 암호를 설정합니다. 사용자 sapadm 의 UID 996 및 그룹 sapsys 의 GID 79는 이 문서의 SAP HANA scale-Out 환경 준비 섹션에 있는 매개 변수를 기반으로 합니다.

   [root:~]# adduser sapadm --uid 996
   [root:~]# groupadd sapsys --gid 79
   [root:~]# passwd sapadm

   Copy to Clipboard Toggle word wrap

2. temp 디렉터리를 만들고 설치 소스의 압축을 풀고 temp 디렉터리에서 SAP Host Agent를 설치합니다. INSTALLDIRHOSTAGENT 변수는 다음과 같습니다.

   [root:~]# export TEMPDIR=$(mktemp -d)
   [root:~]# export
   INSTALLDIRHOSTAGENT=/install/HANA/DATA_UNITS/HDB_SERVER_LINUX_X86_64/
   [root:~]# systemctl disable abrtd
   [root:~]# systemctl disable abrt-ccpp
   [root:~]# cp -rp ${INSTALLDIRHOSTAGENT}/server/HOSTAGENT.TGZ $TEMPDIR/ cd $TEMPDIR
   [root:~]# tar -xzvf HOSTAGENT.TGZ
   [root:~]# cd global/hdb/saphostagent_setup/
   [root:~]# ./saphostexec -install

   Copy to Clipboard Toggle word wrap

   보안 작업은 암호화된 연결에서만 작동합니다. 이를 위해 작동하는 SSL 연결을 구성할 수 있습니다. SSL 암호가 필요합니다. 다음 예제는 이 문서의 SAP HANA scale-Out 환경 준비 섹션에 있는 매개 변수를 기반으로 합니다.

   [root:~]# export MYHOSTNAME=$(hostname)
   [root:~]# export SSLPASSWORD=Us3Your0wnS3cur3Password
   [root:~]# export LD_LIBRARY_PATH=/usr/sap/hostctrl/exe/
   [root:~]# export SECUDIR=/usr/sap/hostctrl/exe/sec
   [root:~]# cd /usr/sap/hostctrl/exe
   [root:~]# mkdir /usr/sap/hostctrl/exe/sec
   [root:~]# /usr/sap/hostctrl/exe/sapgenpse gen_pse -p SAPSSLS.pse -x $SSLPASSWORD -r /tmp/${MYHOSTNAME}-csr.p10 "CN=$MYHOSTNAME"
   [root:~]# /usr/sap/hostctrl/exe/sapgenpse seclogin -p SAPSSLS.pse -x $SSLPASSWORD -O sapadm chown sapadm /usr/sap/hostctrl/exe/sec/SAPSSLS.pse
   [root:~]# /usr/sap/hostctrl/exe/saphostexec -restart*

   Copy to Clipboard Toggle word wrap

3. 모든 SAP HANA 노드에 SAP Host Agent를 사용할 수 있는지 확인합니다.

   [root:~]# netstat -tulpen | grep sapstartsrv
   tcp      0     0 0.0.0.0:50014   0.0.0.0:*  LISTEN   1002  84028   4319/sapstartsrv
   tcp      0     0 0.0.0.0:50013   0.0.0.0:*  LISTEN   1002  47542   4319/sapstartsrv

   Copy to Clipboard Toggle word wrap
   참고

   모든 프로세스가 식별되는 것은 아닙니다. 소유하지 않은 프로세스 정보는 표시되지 않습니다. 모든 프로세스를 보려면 root여야 합니다.

   [root:~]# netstat -tulpen | grep 1129
   tcp 0 	0     0.0.0.0:1129 	0.0.0.0:* 	LISTEN 	996	 25632	 1345/sapstartsrv

   Copy to Clipboard Toggle word wrap

   SAP 호스트 에이전트를 설치하는 방법에 대한 자세한 내용은 SAP 호스트 에이전트 설치를 참조하십시오.

프로세스

1. 각 데이터 센터의 하나의 SAP HANA 노드에서 사용자 root로 로그인하여 SAP HANA scale-Out 설치를 시작합니다.

2. 이 솔루션에서 다음 명령은 각 데이터 센터의 하나의 노드에서 실행됩니다.

   [root:~]# INSTALLDIR=/install/51053381/DATA_UNITS HDB_SERVER_LINUX_X86_64/
   [root:~]# cd $INSTALLDIR
   [root:~]# ./hdblcm --dump_configfile_template=/tmp/templateFile

   Copy to Clipboard Toggle word wrap
   중요

   올바른 addhosts 매개 변수를 사용해야 합니다. 여기에는 설치 노드를 포함하지 않아야 합니다.

3. /tmp/templateFile.xml 에서 암호를 변경합니다.

   참고

   internal_network 매개변수는 내부 스케일 아웃 통신 네트워크에 사용됩니다. 이렇게 하면 설치 프로세스 중에 올바른 구성으로 SAP HANA 구성 파일 global.ini 가 미리 채워집니다.

   데이터 센터 1 예:

   [root:~]# cat /tmp/templateFile.xml | ./hdblcm \ --batch \ --sid=RH1 \ --number=10 \ --action=install \ --hostname=dc1hana01 \ --addhosts=dc1hana02:role=worker,dc1hana03:role=worker,dc1hana04:role =standby \ --install_hostagent \ --system_usage=test \ --sapmnt=/hana/shared \ --datapath=/hana/data \ --logpath=/hana/log \ --root_user=root \ --workergroup=default \ --home=/usr/sap/RH1/home \ --userid=79 \ --shell=/bin/bash \ --groupid=79 \ --read_password_from_stdin=xml \ --internal_network=192.168.101.0/24 \ --remote_execution=saphostagent

   Copy to Clipboard Toggle word wrap

   데이터 센터 2 예:

   [root:~]# cat /tmp/templateFile.xml | ./hdblcm \ --batch \ --sid=RH1 \ --number=10 \ --action=install \ --hostname=dc2hana01 \ --addhosts=dc2hana02:role=worker,dc2hana03:role=worker,dc2hana04:role =standby \ --install_hostagent \ --system_usage=test \ --sapmnt=/hana/shared \ --datapath=/hana/data \ --logpath=/hana/log \ --root_user=root \ --workergroup=default \ --home=/usr/sap/RH1/home \ --userid=79 \ --shell=/bin/bash \ --groupid=79 \ --read_password_from_stdin=xml \ --internal_network=192.168.101.0/24 \ --remote_execution=saphostagent

   Copy to Clipboard Toggle word wrap

4. 설치 프로세스가 완료된 후 모든 것이 데이터 센터당 하나의 호스트에서 작동하는지 확인합니다.

   [root:~]# su - rh1adm /usr/sap/hostctrl/exe/sapcontrol -nr 10 -function GetSystemInstanceList
   10.04.2019 08:38:21
   GetSystemInstanceList OK
   hostname, instanceNr, httpPort, httpsPort, startPriority, features, dispstatus
   dc1hana01,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   dc1hana03,10,51013,51014,0.3,HDB|HDB_STANDBY, GREEN
   dc1hana02,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   dc1hana04,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   
   rh1adm@dc1hana01:/usr/sap/RH1/HDB10> HDBSettings.sh landscapeHostConfiguration.py
   | Host | Host | Host | Failover | Remove | Storage |
   Storage | Failover | Failover | NameServer | NameServer |
   IndexServer | IndexServer | Host | Host | Worker | Worker |
   | | Active | Status | Status | Status | Config |
   Actual | Config | Actual | Config | Actual | Config
   | Actual | Config | Actual | Config | Actual |
   | | | | | | Partition |
   Partition | Group | Group | Role | Role | Role
   | Role | Roles | Roles | Groups | Groups |
   | --------- | ------ | ------ | -------- | ------ | --------- |
   --------- | -------- | -------- | ---------- | ---------- |
   ----------- | ----------- | ------- | ------- | ------- | ------- |
   | dc1hana01 | yes | ok | | | 1 |
   1 | default | default | master 1 | master | worker |
   master | worker | worker | default | default |
   | dc1hana02 | yes | ok | | | 2 |
   2 | default | default | master 3 | slave | worker |
   slave | worker | worker | default | default |
   | dc1hana03 | yes | ok | | | 2 |
   2 | default | default | master 3 | slave | worker |
   slave | worker | worker | default | default |
   | dc1hana04 | yes | ignore | | | 0 |
   0 | default | default | master 2 | slave | standby |
   standby | standby | standby | default | - |
   
   rh1adm@dc1hana01: HDB info
   USER PID PPID %CPU VSZ RSS COMMAND
   rh1adm 31321 31320 0.0 116200 2824 -bash
   rh1adm 32254 31321 0.0 113304 1680 \_ /bin/sh
   /usr/sap/RH1/HDB10/HDB info
   rh1adm 32286 32254 0.0 155356 1868 \_ ps fx
   -U rh1adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10,rss:10,args
   rh1adm 27853 1 0.0 23916 1780 sapstart
   pf=/hana/shared/RH1/profile/RH1_HDB10_dc1hana01
   rh1adm 27863 27853 0.0 262272 32368 \_
   /usr/sap/RH1/HDB10/dc1hana01/trace/hdb.sapRH1_HDB10 -d -nw -f
   /usr/sap/RH1/HDB10/dc1hana01/daemon.ini
   pf=/usr/sap/RH1/SYS/profile/RH1_HDB10_dc1hana01
   rh1adm 27879 27863 53.0 9919108 6193868 \_
   hdbnameserver
   rh1adm 28186 27863 0.7 1860416 268304 \_
   hdbcompileserver
   rh1adm 28188 27863 65.8 3481068 1834440 \_
   hdbpreprocessor
   rh1adm 28228 27863 48.2 9431440 6481212 \_
   hdbindexserver -port 31003
   rh1adm 28231 27863 2.1 3064008 930796 \_
   hdbxsengine -port 31007
   rh1adm 28764 27863 1.1 2162344 302344 \_
   hdbwebdispatcher
   rh1adm 27763 1 0.2 502424 23376
   /usr/sap/RH1/HDB10/exe/sapstartsrvpf=/hana/shared/RH1/profile/RH1_HDB10_dc1hana01 -D -u rh1adm

   Copy to Clipboard Toggle word wrap

프로세스

1. 공유 장치의 각 데이터 센터에 있는 하나의 노드에 후크를 설치합니다. 자세한 내용은 HA/DR 공급자 구현을 참조하십시오.

2. hana 공유 폴더에 디렉터리를 생성하여 후크를 구성합니다. 이는 SAP HANA 데이터베이스에서 추가 데이터를 생성하도록 구성되어 있습니다. 이를 활성화하려면 시스템을 중지하고 global.ini 파일에 두 개의 추가 구성 매개 변수를 추가해야 합니다. 이 솔루션에서 다음 예제에서는 ha_dr_provider_SAPHanaSr 및 trace 의 구성을 보여줍니다.

   [root@dc1hana01]# su - rh1adm
   [rh1adm@dc1hana01]% sapcontrol -nr 10 -function StopSystem *[rh1adm@dc1hana01]% cat <<EOF >> /hana/shared/RH1/global/hdb/custom/config/global.ini
   
   [ha_dr_provider_SAPHanaSR]
   provider = SAPHanaSR
   path = /usr/share/SAPHanaSR-ScaleOut
   execution_order = 1
   
   [trace]
   ha_dr_saphanasr = info
   EOF

   Copy to Clipboard Toggle word wrap

3. 각 클러스터 노드에서 sudo visudo /etc/sudoers.d/20-saphana 를 실행하여 /etc/sudoers.d/20-saphana 파일을 생성하고 아래 내용을 추가하여 후크 스크립트에서 srConnectionChanged() 후크가 호출될 때 노드 속성을 업데이트할 수 있도록 합니다.

   rh1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_rh1_glob_srHook -v * -t crm_config -s SAPHanaSR
   
   rh1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_rh1_gsh -v * -l reboot -t crm_config -s SAPHanaSR Defaults:rh1adm !requiretty

   Copy to Clipboard Toggle word wrap

   기본값 설정이 필요한 이유에 대한 자세한 내용은 복제가 정상 상태인 경우에도 SAP HANA 시스템 복제를 관리하는 Pacemaker 클러스터에서 srHook 속성이 SFAIL로 설정됩니다.

4. 성공적인 통합 후 SAP HANA 데이터베이스를 시작합니다.

   # Execute the following commands on one HANA node in every datacenter
   [root]# su - rh1adm
   [rh1adm]% sapcontrol -nr 10 -function StartSystem

   Copy to Clipboard Toggle word wrap

5. 후크 스크립트가 예상대로 작동하는지 확인합니다. HANA 인스턴스 중지와 같은 후크를 트리거하는 작업을 수행합니다. 그런 다음 아래에 지정된 방법을 사용하여 후크가 아무것도 기록했는지 확인합니다.

   [rh1adm@dc1hana01]% cdtrace
   [rh1adm@dc1hana01]% awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
   { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_* 2018-05-04
   12:34:04.476445 ha_dr_SAPHanaSR SFAIL
   2018-05-04 12:53:06.316973 ha_dr_SAPHanaSR SOK

   Copy to Clipboard Toggle word wrap

   SAP HANA 후크가 작동하는지 확인하는 방법에 대한 자세한 내용은 M_HA_DR_PROVIDERS로 모니터링 을 참조하십시오.

1. 제약 조건을 생성합니다.

   [root@dc1hana01]# pcs constraint order start rsc_SAPHanaTopology_RH1_HDB10-clone then start rsc_SAPHana_RH1_HDB10-clone

   Copy to Clipboard Toggle word wrap

2. IPaddr2 리소스를 승격된 SAPHana 리소스와 함께 배치합니다.

   [root@dc1hana01]# pcs constraint colocation add rsc_ip_SAPHana_RH1_HDB10 with promoted rsc_SAPHana_RH1_HDB10-clone

   Copy to Clipboard Toggle word wrap

3. 대부분의 제조자가 클러스터 환경에서 활성 역할을 사용하지 않도록 합니다.

   [root@dc1hana01]# pcs constraint location add topology-avoids-majoritymaker rsc_SAPHanaTopology_RH1_HDB10-clone majoritymaker -INFINITY resource-discovery=never
   
   [root@dc1hana01]# pcs constraint location add hana-avoids-majoritymaker rsc_SAPHana_RH1_HDB10-clone majoritymaker -INFINITY resource-discovery=never

   Copy to Clipboard Toggle word wrap

4. maintenance-mode 를 비활성화합니다.

   maintenance-mode 를 사용하여 maintenance-mode 를 false로 설정한 후 리소스를 시작합니다. 모든 구성이 완료되기 전에 pacemaker의 활동을 방지하기 위해 위의 예제에서 --disabled 를 사용했습니다. 기본적으로 리소스는 생성되는 즉시 시작됩니다. --disabled 를 사용하면 명령을 사용하여 리소스를 시작할 수 있습니다.

   [root@dc1hana01]# pcs resource enable <resource-name>

   Copy to Clipboard Toggle word wrap

   유지 관리 모드를 종료하려면 다음을 사용하십시오.

   [root@dc1hana01]# pcs property set maintenance-mode=false

   Copy to Clipboard Toggle word wrap

5. 다음 3 명령을 실행하여 클러스터 환경이 올바르게 작동하는지 확인합니다.

   • pcs status 는 모든 리소스에 대한 개요를 제공하고 제대로 작동하는 경우입니다.
   • pcs status --full 은 모든 리소스 및 클러스터 환경에 대한 추가 속성 정보를 제공합니다.

   • SAPHanaSR-showAttr --sid=RH1 은 특성 정보를 기반으로 읽을 수 있는 개요를 제공합니다.

     유지 관리 모드를 비활성화한 후 몇 분 후에 올바른 상태가 표시됩니다.

     [root@dc1hana01]# pcs status
     Cluster name: hanascaleoutsr Stack: corosync
     Current DC: dc2hana01 (version 1.1.18-11.el7_5.4-2b07d5c5a9) - partition with quorum
     Last updated: Tue Mar 26 14:26:38 2019
     Last change: Tue Mar 26 14:25:47 2019 by root via crm_attribute on dc1hana01
     9 nodes configured
     20 resources configured
     Online: [ dc1hana01 dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 majoritymaker ]
     Full list of resources:
     
     fencing (stonith:fence_rhevm): Started dc1hana01
     Clone Set: rsc_SAPHanaTopology_RH1_HDB10-clone
     [rsc_SAPHanaTopology_RH1_HDB10]
     Started: [ dc1hana01 dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 ]
     Stopped: [ majoritymaker ] Clone Set: msl_rsc_SAPHana_RH1_HDB10 [rsc_SAPHana_RH1_HDB10] (promotable):
     Promoted: [ dc1hana01 ]
     Unpromoted: [ dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 ]
     Stopped: [ majoritymaker ]
     rsc_ip_SAPHana_RH1_HDB10	(ocf::heartbeat:IPaddr2): Started dc1hana01
     Daemon Status:
       corosync: active/enabled
       pacemaker: active/enabled
       pcsd: active/enabled
     
     
     [root@dc1hana01]# SAPHanaSR-showAttr --sid=RH1
     Global prim srHook sync_state
     ------------------------------
     global DC1 SOK SOK
     Sit lpt lss mns srr
     ---------------------------------
     DC1 1553607125 4 dc1hana01 P
     DC2 30 4 dc2hana01 S
     
     H clone_state roles score site
     --------------------------------------------------------
     1 PROMOTED promoted1 promoted:worker promoted 150 DC1
     2 DEMOTED promoted2:slave:worker:slave 110 DC1
     3 DEMOTED slave:slave:worker:slave -10000 DC1
     4 DEMOTED promoted3:slave:standby:standby 115 DC1
     5 DEMOTED promoted2 promoted:worker promoted 100 DC2
     6 DEMOTED promoted3:slave:worker:slave 80 DC2
     7 DEMOTED slave:slave:worker:slave -12200 DC2
     8 DEMOTED promoted1:slave:standby:standby 80 DC2
     9 :shtdown:shtdown:shtdown

     Copy to Clipboard Toggle word wrap