SAP HANA scale-Up System Replication High Availability 배포

프로세스

1. HANA 인스턴스 프로필 디렉터리로 이동합니다.

   [root]# cd /usr/sap/<SID>/SYS/profile

   Copy to Clipboard Toggle word wrap

2. 인스턴스 프로필을 편집합니다.

   [root]# vi <SID>_HDB<instance>_<hostname>

   Copy to Clipboard Toggle word wrap

   Autostart 가 0 으로 설정되어 있는지 확인합니다.

3. HA 클러스터의 일부로 관리할 각 HANA 인스턴스에 대해 1-2단계를 반복합니다.

프로세스

1. 선택 사항: 적절한 경로에 백업 전용 디렉터리를 생성합니다. 예를 들면 다음과 같습니다.

   [root]# mkdir <path>/<SID>-backup

   Copy to Clipboard Toggle word wrap

   & lt;path >를 초기 백업 파일에 충분한 여유 공간이 있는 시스템의 경로로 바꿉니다.

2. 예를 들어 대상 디렉터리가 HANA 사용자가 소유하거나 쓸 수 없는 경우 사용자 < sid>adm 으로 백업 경로의 소유자를 변경합니다.

   [root]# chown <sid>adm:sapsys <path>/<SID>-backup

   Copy to Clipboard Toggle word wrap

3. 나머지 단계에서는 <sid>adm 사용자로 변경합니다.

   [root]# su - <sid>adm

   Copy to Clipboard Toggle word wrap

4. SYSTEMDB 의 백업을 < sid>adm 사용자로 생성합니다. 백업이 저장될 파일의 경로를 지정합니다. 대상 파일 시스템에 사용 가능한 공간이 충분한지 확인한 다음 백업을 생성합니다.

   rh1adm $ hdbsql -i ${TINSTANCE} -u system -p '<HANA_SYSTEM_PASSWORD>' -d SYSTEMDB \
   "BACKUP DATA USING FILE ('<path>/${SAPSYSTEMNAME}-backup/bkp-SYS')"
   0 rows affected (overall time xx.xxx sec; server time xx.xxx sec)

   Copy to Clipboard Toggle word wrap
   • TINSTANCE 및 SAPSYSTEMNAME 은 < sid>adm 사용자 쉘 환경의 일부인 환경 변수입니다. TINSTANCE 는 인스턴스 번호이고 SAPSYSTEMNAME 은. 둘 다 < sid>adm 사용자와 관련된 인스턴스 값으로 자동으로 설정됩니다.
   • & lt;path >를 < sid>adm 사용자에게 쓰기 액세스 권한이 있고 여유 공간이 충분한 경로로 바꿉니다.

5. 모든 테넌트 데이터베이스의 백업을 < sid>adm 사용자로 생성합니다. 백업이 저장될 파일의 경로를 지정합니다. 대상 파일 시스템에 사용 가능한 공간이 충분한지 확인합니다. 테넌트 DB 백업을 생성합니다.

   rh1adm $ hdbsql -i ${TINSTANCE} -u system -p '<HANA_SYSTEM_PASSWORD>' -d SYSTEMDB \
   "BACKUP DATA FOR ${SAPSYSTEMNAME} USING FILE ('<path>/${SAPSYSTEMNAME}-backup/bkp-${SAPSYSTEMNAME}')"
   0 rows affected (overall time xx.xxx sec; server time xx.xxx sec)

   Copy to Clipboard Toggle word wrap

   & lt;path >를 < sid>adm 사용자에게 쓰기 액세스 권한이 있고 여유 공간이 충분한 경로로 바꿉니다.

검증

1. 생성된 백업 파일을 나열합니다. 초기 백업을 저장하기 위해 /hana/log/RH1-backup 을 디렉터리로 사용하는 경우를 예로 들 수 있습니다.

   rh1adm $ ls -lh /hana/log/RH1-backup/
   total 7.2G
   -rw-r-----. 1 rh1adm sapsys 156K May  8 08:40 bkp-RH1_databackup_0_1
   -rw-r-----. 1 rh1adm sapsys  81M May  8 08:40 bkp-RH1_databackup_2_1
   -rw-r-----. 1 rh1adm sapsys 3.6G May  8 08:40 bkp-RH1_databackup_3_1
   -rw-r-----. 1 rh1adm sapsys 160K May  8 08:35 bkp-SYS_databackup_0_1
   -rw-r-----. 1 rh1adm sapsys 3.6G May  8 08:35 bkp-SYS_databackup_1_1

   Copy to Clipboard Toggle word wrap

2. HANA 명령 hdbbackupcheck 를 사용하여 생성한 각 인스턴스 백업 파일의 심각도를 확인합니다.

   rh1adm $ for i in $(ls /hana/log/RH1-backup/*); do hdbbackupcheck $i; done
   ...
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/RH1_databackup_0_1' successfully checked.
   Loaded library 'libhdbcsaccessor'
   ...
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/system_databackup_0_1' successfully checked.
   Loaded library 'libhdbcsaccessor'
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/system_databackup_1_1' successfully checked.

   Copy to Clipboard Toggle word wrap

프로세스

1. 초기 기본 인스턴스가 되는 HANA 인스턴스에서 시스템 복제를 활성화합니다. 첫 번째 또는 기본 노드에서 & lt;sid>adm 로 명령을 실행합니다.

   rh1adm $ hdbnsutil -sr_enable --name=<DC1>
   nameserver is active, proceeding ...
   successfully enabled system as system replication source site
   done.

   Copy to Clipboard Toggle word wrap
   • & lt;dc1& gt;을 기본 HANA 사이트 이름으로 바꿉니다.

프로세스

1. 보조 HANA 인스턴스를 중지하고 node2 에서 &lt ;sid>adm 사용자로 실행합니다.

   rh1adm $ HDB stop
   …
   Stop
   OK
   Waiting for stopped instance using: /usr/sap/<SID>/SYS/exe/hdb/sapcontrol -prot NI_HTTP -nr <instance> -function WaitforStopped 600 2
   …
   
   WaitforStopped
   OK
   hdbdaemon is stopped.

   Copy to Clipboard Toggle word wrap

2. HANA가 시스템 복제 암호화의 키를 저장하는 디렉터리로 변경합니다.

   [root]# cd /usr/sap/<SID>/SYS/global/security/rsecssfs

   Copy to Clipboard Toggle word wrap

3. HANA 시스템 PKI 파일 SSFS_<SID>.KEY 를 기본 HANA 인스턴스에서 보조 인스턴스로 복사합니다.

   [root]# rsync -av node1:$PWD/key/SSFS_<SID>.KEY key/

   Copy to Clipboard Toggle word wrap

4. PKI 파일 SSFS_<SID>.DAT 를 기본 HANA 인스턴스에서 보조 인스턴스로 복사합니다.

   [root]# rsync -av node1:$PWD/data/SSFS_<SID>.DAT data/

   Copy to Clipboard Toggle word wrap

5. < sid>adm 사용자 터미널에서 보조 HANA 인스턴스를 기본 인스턴스에 등록합니다.

   rh1adm $ hdbnsutil -sr_register --remoteHost=node1 \
   --remoteInstance=${TINSTANCE} --replicationMode=sync \
   --operationMode=logreplay --name=<DC2>
   adding site ...
   collecting information ...
   updating local ini files ...
   done.

   Copy to Clipboard Toggle word wrap
   • & lt;dc2& gt;를 보조 HANA 사이트 이름으로 바꿉니다.
   • 시스템 복제의 요구 사항에 따라 replicationMode 및 operationMode 의 값을 선택합니다.
   • TINSTANCE 는 HANA 인스턴스 프로필을 읽고 사용자 < sid>adm 에 대해 자동으로 설정된 환경 변수입니다. 변수 값은 HANA 인스턴스 번호입니다.

6. 보조 HANA 인스턴스를 시작합니다. node2 에서 <sid>adm 으로 실행합니다.

   rh1adm $ HDB start
   
   ...
   Starting instance using: /usr/sap/<SID>/SYS/exe/hdb/sapcontrol -prot NI_HTTP -nr <instance> -function StartWait 2700 2
   
   ...

   Copy to Clipboard Toggle word wrap

검증

1. 시스템 복제가 보조 인스턴스에서 실행 중이고 모드가 5단계에서 hdbnsutil -sr_register 명령에서 replicationMode 매개변수에 사용한 값과 일치하는지 확인합니다. node2에서 & lt;sid>adm 으로 실행합니다.

   rh1adm $ hdbnsutil -sr_stateConfiguration
   
   System Replication State
   ~~~~~~~~
   
   mode: sync
   site id: 2
   site name: DC2
   active primary site: 1
   
   primary masters: node1
   done.

   Copy to Clipboard Toggle word wrap

2. 두 인스턴스에서 사용자 < sid>adm 으로 HANA 인스턴스의 Python 스크립트 디렉터리로 변경합니다. 이 작업을 수행하는 가장 쉬운 방법은 인스턴스 설치 중에 SAP HANA가 채우는 < sid>adm 사용자 쉘에 내장된 별칭인 cdpy 를 사용하는 것입니다.

   rh1adm $ cdpy

   Copy to Clipboard Toggle word wrap

   이 예제에서는 현재 디렉터리를 /usr/sap/RH1/HDB02/exe/python_support/ 로 변경합니다.

3. 두 인스턴스에서 설정된 HANA 시스템 복제의 현재 상태를 표시합니다.

   1. 기본 인스턴스에서 시스템 복제 상태는 항상 모든 세부 정보와 함께 표시됩니다.

      rh1adm $ python systemReplicationStatus.py
      |Database |Host     |Port  |Service Name |Volume ID |Site ID |Site Name |Secondary |Secondary |Secondary |Secondary |Secondary     |Replication |Replication |Replication    |Secondary    |
      |         |         |      |             |          |        |          |Host      |Port      |Site ID   |Site Name |Active Status |Mode        |Status      |Status Details |Fully Synced |
      |-------- |-------- |----- |------------ |--------- |------- |--------- |----------|--------- |--------- |--------- |------------- |----------- |----------- |-------------- |------------ |
      |SYSTEMDB |node1    |30001 |nameserver   |        1 |      1 |DC1       |node2     |    30001 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      |RH1      |node1    |30007 |xsengine     |        2 |      1 |DC1       |node2     |    30007 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      |RH1      |node1    |30003 |indexserver  |        3 |      1 |DC1       |node2     |    30003 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      
      status system replication site "2": ACTIVE
      overall system replication status: ACTIVE
      
      Local System Replication State
      ~~~~~~~~~~
      
      mode: PRIMARY
      site id: 1
      site name: DC1

      Copy to Clipboard Toggle word wrap
      • ACTIVE 는 HANA 시스템 복제가 정상 상태이고 완전히 동기화됨을 의미합니다.
      • 시스템 복제가 보조 사이트에서 업데이트되는 동안 SYNCING 이 표시됩니다(예: 보조 인스턴스가 새 기본 인스턴스가 되는 경우).
      • INITIALIZING 은 시스템 복제를 처음 활성화하거나 전체 동기화가 트리거된 후 표시됩니다.

   2. 보조 인스턴스에서 systemReplicationStatus.py 의 출력이 덜 상세합니다.

      rh1adm $ python systemReplicationStatus.py
      this system is either not running or not primary system replication site
      
      Local System Replication State
      ~~~~~~~~~~
      
      mode: SYNC
      site id: 2
      site name: DC2
      active primary site: 1
      primary masters: node1

      Copy to Clipboard Toggle word wrap

프로세스

1. pacemaker 서비스 드롭인 파일의 /etc/systemd/system/pacemaker.service.d/ 디렉터리를 생성합니다.

   [root]# mkdir /etc/systemd/system/pacemaker.service.d/

   Copy to Clipboard Toggle word wrap

2. 다음 콘텐츠를 사용하여 pacemaker 서비스의 systemd 드롭인 파일을 생성합니다.

   [root]# cat << EOF > /etc/systemd/system/pacemaker.service.d/00-pacemaker.conf
   [Unit]
   Description=Pacemaker needs the SAP HANA instance service
   Wants=SAP<SID>_<instance>.service
   After=SAP<SID>_<instance>.service
   EOF

   Copy to Clipboard Toggle word wrap
   • &lt ;SID&gt;를 HANA SID로 바꿉니다.
   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.

3. systemctl 데몬을 다시 로드하여 드롭인 파일을 활성화합니다.

   [root]# systemctl daemon-reload

   Copy to Clipboard Toggle word wrap
4. 다른 클러스터 노드에서 1~3단계를 반복합니다.

검증

1. HANA 인스턴스의 systemd 서비스를 확인하고 로드 되었는지 확인합니다.

   [root]# systemctl status SAPRH1_02.service
   ● SAPRH1_02.service - SAP Instance SAPRH1_02
        Loaded: loaded (/etc/systemd/system/SAPRH1_02.service; disabled; preset: disabled)
        Active: active (running) since xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      Main PID: 5825 (sapstartsrv)
         Tasks: 841
        Memory: 88.6G
           CPU: 4h 50min 2.033s
        CGroup: /SAP.slice/SAPRH1_02.service
                ├─ 5825 /usr/sap/RH1/HDB02/exe/sapstartsrv pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
                ├─ 5986 sapstart pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
                ├─ 5993 /usr/sap/RH1/HDB02/node1/trace/hdb.sapRH1_HDB02 -d -nw -f /usr/sap/RH1/HDB02/node1/daemon.ini pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
   ...

   Copy to Clipboard Toggle word wrap

2. SAP HANA 인스턴스 서비스가 이제 pacemaker 서비스에 알려져 있는지 확인합니다.

   [root]# systemctl show pacemaker.service | grep SAP
   Wants=SAPRH1_02.service resource-agents-deps.target dbus-broker.service
   After=... SAPRH1_02.service rsyslog.service

   Copy to Clipboard Toggle word wrap

   SAP<SID>_<instance>.service 가 After= 및 Wants= 목록에 나열되어 있는지 확인합니다.

프로세스

1. < sid>adm 사용자로 모든 노드에서 HANA 인스턴스를 중지합니다.

   rh1adm $ HDB stop

   Copy to Clipboard Toggle word wrap

2. HANA 인스턴스가 완전히 중지되었는지 모든 노드에서 < sid>adm 로 확인합니다.

   rh1adm $ sapcontrol -nr ${TINSTANCE} -function GetProcessList | column -s ',' -t
   ...
   name                  description   dispstatus   textstatus   starttime   elapsedtime   pid
   hdbdaemon             HDB Daemon    GRAY         Stopped                                5381

   Copy to Clipboard Toggle word wrap
   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.

3. < sid>adm 사용자 쉘에 내장된 명령 alias cdcoc 를 사용하여 < sid>adm 사용자로 HANA 구성 디렉토리로 변경합니다. 이렇게 하면 /hana/shared/<SID>/global/hdb/custom/config/ 경로로 자동 변경됩니다.

   rh1adm $ cdcoc

   Copy to Clipboard Toggle word wrap

4. SAP HANA 인스턴스의 global.ini 파일을 업데이트하여 HanaSR 후크를 구성합니다. 모든 HANA 인스턴스 노드에서 구성 파일을 편집하고 다음 구성을 추가합니다.

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [trace]
   ha_dr_hanasr = info

   Copy to Clipboard Toggle word wrap

   execution_order 를 1 로 설정하여 HanaSR 후크가 항상 가장 높은 우선 순위로 실행되도록 합니다.

5. 선택 사항: hdbindexserver 실패에 대한 작업을 수행하기 위해 선택적 ChkSrv 후크를 구성하려면 동시에 global.ini 에 변경 사항을 추가할 수 있습니다. srServiceStateChanged() 후크 메서드의 ChkSrv HA/DR 공급자 구성 의 1 단계를 참조하십시오.

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [ha_dr_provider_chksrv]
   provider = ChkSrv
   path = /usr/share/sap-hana-ha/
   execution_order = 2
   action_on_lost = stop
   
   [trace]
   ha_dr_hanasr = info
   ha_dr_chksrv = info

   Copy to Clipboard Toggle word wrap

6. root 사용자로 다음 콘텐츠를 사용하여 각 클러스터 노드에 /etc/sudoers.d/20-saphana 파일을 만듭니다. 이러한 명령 권한을 사용하면 < sid>adm 사용자가 HanaSR 후크 실행의 일부로 특정 클러스터 노드 속성을 업데이트할 수 있습니다.

   [root]# visudo -f /etc/sudoers.d/20-saphana
   <sid>adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_*
   Defaults:<sid>adm !requiretty

   Copy to Clipboard Toggle word wrap
   • Defaults 설정이 필요한 이유에 대한 자세한 내용은 복제가 정상 상태인 경우에도 SAP HANA 시스템 복제를 관리하는 Pacemaker 클러스터에서 The srHook 특성을 SFAIL로 설정합니다.

7. HA 클러스터를 시작하지 않고 두 클러스터 노드에서 수동으로 HANA 인스턴스를 시작합니다. < sid>adm:로 실행

   rh1adm $ HDB start

   Copy to Clipboard Toggle word wrap

검증

1. < sid>adm 사용자로 SAP HANA 디렉토리로 변경합니다. 여기서 추적 로그 파일이 저장됩니다. < sid>adm 사용자 쉘에 내장된 alias cdtrace 명령을 사용합니다.

   rh1adm $ cdtrace

   Copy to Clipboard Toggle word wrap

2. HA/DR 공급자 로드 메시지에서 HANA 이름 서버 서비스 로그를 확인합니다.

   1. HanaSR 공급자만 구성된 경우 다음을 수행합니다.

      rh1adm $ grep -he "loading HA/DR Provider.*" nameserver_*
      loading HA/DR Provider 'HanaSR' from /usr/share/sap-hana-ha/

      Copy to Clipboard Toggle word wrap

   2. 선택적 ChkSrv 공급자도 구현되는 경우:

      rh1adm $ grep -he "loading HA/DR Provider.*" nameserver_*
      loading HA/DR Provider 'ChkSrv' from /usr/share/sap-hana-ha/
      loading HA/DR Provider 'HanaSR' from /usr/share/sap-hana-ha/

      Copy to Clipboard Toggle word wrap

3. 시스템 보안 로그에서 사용자 root 로 sudo 명령이 성공적으로 실행되었는지 확인합니다. sudoers 파일이 올바르지 않으면 sudo 명령을 실행하면 오류가 기록됩니다.

   [root]# grep -e 'sudo.*crm_attribute.*' /var/log/secure
    sudo[4267]:  rh1adm : PWD=/hana/shared/RH1/HDB02/node1 ; USER=root ; COMMAND=/usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2 -v SFAIL -t crm_config -s SAPHanaSR
    sudo[4319]:  rh1adm : PWD=/hana/shared/RH1/HDB02/node1 ; USER=root ; COMMAND=/usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2 -v SOK -t crm_config -s SAPHanaSR

   Copy to Clipboard Toggle word wrap

   두 노드에서 HANA 인스턴스가 시작된 후 일반적으로 몇 가지 srHook 특성 업데이트가 표시됩니다. 처음에는 기본이 시작된 직후 SFAIL 을 설정하는 것입니다. 현재 여전히 동기화되는 보조 항목과 아직 동기화되지 않기 때문입니다.

   SOK 에 대한 마지막 업데이트는 시스템 복제 상태가 마지막으로 완전히 동기화되도록 변경된 후 HANA 이벤트에 의해 트리거됩니다.

4. 동시에 완료되지 않은 경우 두 번째 인스턴스에서 1-2 단계를 반복합니다. 3단계의 sudo 로그 메시지는 시스템 복제 이벤트가 전송되는 기본 인스턴스 노드에만 표시됩니다.

5. 모든 노드에서 클러스터 속성을 확인하고 hana_<sid>_site_srHook_<DC2 > 속성 값이 예상대로 업데이트되었는지 확인합니다.

   [root]# cibadmin --query | grep -e 'SAPHanaSR.*srHook'
           <nvpair id="SAPHanaSR-hana_rh1_site_srHook_DC2" name="hana_rh1_site_srHook_DC2" value="SOK"/>

   Copy to Clipboard Toggle word wrap
   • SOK 는 HANA 시스템 복제가 ACTIVE 상태일 때 설정되며, 이는 설정되고 완전히 동기화됨을 의미합니다.
   • SFAIL 은 시스템 복제가 다른 상태에 있을 때 설정됩니다.

프로세스

1. HANA 구성 디렉토리로 < sid>adm 사용자로 변경합니다. < sid>adm 사용자 쉘에 내장된 명령 alias cdcoc. 이렇게 하면 /hana/shared/<SID>/global/hdb/custom/config/ 경로로 자동 변경됩니다.

   rh1adm $ cdcoc

   Copy to Clipboard Toggle word wrap

2. 후크 스크립트를 구성하려면 HANA 인스턴스의 global.ini 파일을 업데이트합니다. 모든 HANA 인스턴스 시스템에서 구성 파일을 편집하고 HanaSR 공급자 정의 외에 다음 콘텐츠를 추가합니다.

   [ha_dr_provider_chksrv]
   provider = ChkSrv
   path = /usr/share/sap-hana-ha/
   execution_order = 2
   action_on_lost = stop
   
   [trace]
   ha_dr_hanasr = info
   ha_dr_chksrv = info

   Copy to Clipboard Toggle word wrap

3. 선택 사항: HA/DR 공급자를 다시 로드하여 HANA가 실행되는 동안 ChkSrv 공급자를 활성화합니다. 인스턴스가 다운된 동안 후크 스크립트를 구성할 때 HA/DR 공급자가 다음 인스턴스를 시작할 때 자동으로 로드됩니다.

   rh1adm $ hdbnsutil -reloadHADRProviders

   Copy to Clipboard Toggle word wrap

검증

1. < sid>adm 사용자로 SAP HANA 디렉토리로 변경합니다. 여기서 추적 로그 파일이 저장됩니다. < sid>adm 사용자 쉘에 내장된 alias cdtrace 명령을 사용합니다.

   rh1adm $ cdtrace

   Copy to Clipboard Toggle word wrap

2. 변경 사항이 로드되었는지 확인합니다.

   rh1adm $ grep -e "loading HA/DR Provider.*ChkSrv.*" nameserver_*
   loading HA/DR Provider 'ChkSrv' from /usr/share/sap-hana-ha/

   Copy to Clipboard Toggle word wrap

3. 전용 추적 로그 파일이 생성되고 공급자가 올바른 구성 매개변수를 사용하여 로드되었는지 확인합니다.

   rh1adm $ cat nameserver_chksrv.trc
   init called
   ChkSrv.init() version 1.001.1, parameter info: action_on_lost=stop stop_timeout=20 kill_signal=9

   Copy to Clipboard Toggle word wrap

프로세스

1. SAPHanaTopology 리소스를 복제 리소스로 생성합니다. 즉, 모든 클러스터 노드에서 동시에 실행됩니다.

   [root]# pcs resource create rsc_SAPHanaTop_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaTopology \
   SID=<SID> \
   InstanceNumber=<instance> \
   op start timeout=600 \
   op stop timeout=300 \
   op monitor interval=30 timeout=300 \
   clone cln_SAPHanaTop_<SID>_HDB<instance> \
   meta clone-max=2 clone-node-max=1 interleave=true --future

   Copy to Clipboard Toggle word wrap
   • &lt ;SID&gt;를 HANA SID로 바꿉니다.

   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.

     참고

     RHEL 9.3 이후 clone 명령에서 meta 키워드를 사용하지 않고 속성이 기본 리소스에 자동으로 할당되면 사용 중단 경고가 표시됩니다.

     나중에 복제 속성에 대한 meta 키워드가 복제 리소스에 특성을 할당하는 데 필요합니다. 그 때까지 --future 매개변수를 추가하여 이미 이 동작을 적용합니다.

     새 pcs 구문 분석도 복제 메타 속성을 지정할 때 meta 키워드가 필요합니다.

2. SAPHanaController 리소스를 승격 가능한 복제 리소스로 생성합니다. 즉, 모든 클러스터 노드에서 동시에 실행되지만 하나의 노드에서는 활성 또는 기본 인스턴스로 작동합니다.

   [root]# pcs resource create rsc_SAPHanaCon_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaController \
   SID=<SID> \
   InstanceNumber=<instance> \
   PREFER_SITE_TAKEOVER=true \
   DUPLICATE_PRIMARY_TIMEOUT=7200 \
   AUTOMATED_REGISTER=false \
   op stop timeout=3600 \
   op monitor interval=59 role=Promoted timeout=700 \
   op monitor interval=61 role=Unpromoted timeout=700 \
   meta priority=100 \
   promotable cln_SAPHanaCon_<SID>_HDB<instance> \
   meta clone-max=2 clone-node-max=1 interleave=true --future

   Copy to Clipboard Toggle word wrap

   AUTOMATED_REGISTER=false 로 리소스를 생성한 다음 테스트를 통해 올바른 동작 및 데이터 일관성을 확인하여 설정을 완료하는 것이 좋습니다. 자세한 내용은 설정 테스트를 참조하십시오. 매개변수를 true로 설정하여 생성 시 이미 이를 활성화할 수 있습니다.

   자세한 내용은 SAPHanaController 리소스 매개변수를 참조하십시오.

3. SAPHanaTopology 는 SAPHanaController 리소스가 올바르게 시작하는 데 필요한 HANA 환경 정보를 수집하기 때문에 SAPHanaTopology를 시작해야 합니다. 두 리소스의 올바른 시작 순서를 적용하는 클러스터 제약 조건을 생성합니다.

   [root]# pcs constraint order cln_SAPHanaTop_<SID>_HDB<instance> \
   then cln_SAPHanaCon_<SID>_HDB<instance> symmetrical=false

   Copy to Clipboard Toggle word wrap

   symmetrical=false 설정은 제약 조건이 리소스의 시작 순서에만 영향을 미치지만 중지 순서에는 적용되지 않음을 나타냅니다.

4. 선택 사항: SAPHanaFilesystem 리소스를 복제 리소스로 생성합니다.

   [root]# pcs resource create rsc_SAPHanaFil_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaFilesystem \
   SID=<SID> \
   InstanceNumber=<instance> \
   ON_FAIL_ACTION="fence" \
   op start interval=0 timeout=10 \
   op stop interval=0 timeout=20 \
   op monitor interval=120 timeout=120 \
   clone cln_SAPHanaFil_<SID>_HDB<instance> \
   meta clone-node-max=1 interleave=true --future

   Copy to Clipboard Toggle word wrap

   ON_FAIL_ACTION=fence 를 설정하는 대신 무시 하도록 설정할 수 있습니다. 이는 먼저 기능을 테스트하는 데 유용할 수 있습니다. 리소스는 시스템 로그에 정보를 쓰며, fence 작업을 사용하기 위해 리소스를 활성화할 때 리소스가 원하는 작업을 수행하는지 여부를 조사할 수 있습니다.

검증

1. SAPHanaTopology 리소스 복제를 검토합니다. 리소스 구성의 예:

   [root]# pcs resource config cln_SAPHanaTop_RH1_HDB02
   Clone: cln_SAPHanaTop_RH1_HDB02
     Meta Attributes: cln_SAPHanaTop_RH1_HDB02-meta_attributes
       clone-max=2
       clone-node-max=1
       interleave=true
     Resource: rsc_SAPHanaTop_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaTopology)
       Attributes: rsc_SAPHanaTop_RH1_HDB02-instance_attributes
         InstanceNumber=02
         SID=RH1
       Operations:
         methods: rsc_SAPHanaTop_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaTop_RH1_HDB02-monitor-interval-30
           interval=30 timeout=300
         reload: rsc_SAPHanaTop_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaTop_RH1_HDB02-start-interval-0s
           interval=0s timeout=600
         stop: rsc_SAPHanaTop_RH1_HDB02-stop-interval-0s
           interval=0s timeout=300

   Copy to Clipboard Toggle word wrap

2. SAPHanaController 리소스 복제를 검토합니다. 리소스 구성의 예:

   [root]# pcs resource config cln_SAPHanaCon_RH1_HDB02
   Clone: cln_SAPHanaCon_RH1_HDB02
     Meta Attributes: cln_SAPHanaCon_RH1_HDB02-meta_attributes
       clone-max=2
       clone-node-max=1
       interleave=true
       promotable=true
     Resource: rsc_SAPHanaCon_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaController)
       Attributes: rsc_SAPHanaCon_RH1_HDB02-instance_attributes
         AUTOMATED_REGISTER=false
         DUPLICATE_PRIMARY_TIMEOUT=7200
         InstanceNumber=02
         PREFER_SITE_TAKEOVER=true
         SID=RH1
       Meta Attributes: rsc_SAPHanaCon_RH1_HDB02-meta_attributes
         priority=100
       Operations:
         demote: rsc_SAPHanaCon_RH1_HDB02-demote-interval-0s
           interval=0s timeout=320
         methods: rsc_SAPHanaCon_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaCon_RH1_HDB02-monitor-interval-59
           interval=59 timeout=700 role=Promoted
         monitor: rsc_SAPHanaCon_RH1_HDB02-monitor-interval-61
           interval=61 timeout=700 role=Unpromoted
         promote: rsc_SAPHanaCon_RH1_HDB02-promote-interval-0s
           interval=0s timeout=900
         reload: rsc_SAPHanaCon_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaCon_RH1_HDB02-start-interval-0s
           interval=0s timeout=3600
         stop: rsc_SAPHanaCon_RH1_HDB02-stop-interval-0s
           interval=0s timeout=3600

   Copy to Clipboard Toggle word wrap

3. 시작 순서 제약 조건이 있는지 확인합니다.

   [root]# pcs constraint order
   Order Constraints:
     start resource 'cln_SAPHanaTop_RH1_HDB02' then start resource 'cln_SAPHanaCon_RH1_HDB02'
       symmetrical=0

   Copy to Clipboard Toggle word wrap

4. 선택 사항: SAPHanaFilesystem 리소스 복제를 생성한 경우 검토합니다. 리소스 구성의 예:

   [root]# pcs resource config cln_SAPHanaFil_RH1_HDB02
   Clone: cln_SAPHanaFil_RH1_HDB02
     Meta Attributes: cln_SAPHanaFil_RH1_HDB02-meta_attributes
       clone-node-max=1
       interleave=true
     Resource: rsc_SAPHanaFil_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaFilesystem)
       Attributes: rsc_SAPHanaFil_RH1_HDB02-instance_attributes
         InstanceNumber=02
         ON_FAIL_ACTION=fence
         SID=RH1
       Operations:
         methods: rsc_SAPHanaFil_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaFil_RH1_HDB02-monitor-interval-120
           interval=120 timeout=120
         reload: rsc_SAPHanaFil_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaFil_RH1_HDB02-start-interval-0
           interval=0 timeout=10
         stop: rsc_SAPHanaFil_RH1_HDB02-stop-interval-0
           interval=0 timeout=20

   Copy to Clipboard Toggle word wrap

5. 클러스터 상태를 확인합니다. --full 을 사용하여 HANA 리소스에서 업데이트하는 노드 속성을 포함합니다.

   [root]# pcs status --full
   ...
   
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02]:
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Promoted node1
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02]:
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2
   
   Node Attributes:
     * Node: node1 (1):
       * hana_rh1_clone_state              : PROMOTED
       * hana_rh1_roles                    : master1:master:worker:master
       * hana_rh1_site                     : DC1
       * hana_rh1_srah                     : -
       * hana_rh1_version                  : 2.00.078.00
       * hana_rh1_vhost                    : node1
       * master-rsc_SAPHanaCon_RH1_HDB02   : 150
     * Node: node2 (2):
       * hana_rh1_clone_state              : DEMOTED
       * hana_rh1_roles                    : master1:master:worker:master
       * hana_rh1_site                     : DC2
       * hana_rh1_srah                     : -
       * hana_rh1_version                  : 2.00.078.00
       * hana_rh1_vhost                    : node2
       * master-rsc_SAPHanaCon_RH1_HDB02   : 100
   
   ...

   Copy to Clipboard Toggle word wrap

프로세스

1. HA 클러스터가 실행 중인 플랫폼에 따라 가상 IP 주소를 관리하기 위해 적절한 리소스 에이전트를 사용합니다. 사용 중인 리소스 에이전트에 따라 매개변수를 조정합니다. 예를 들어 IPaddr2 에이전트를 사용하여 기본 가상 IP의 클러스터 리소스를 생성합니다.

   [root]# pcs resource create rsc_vip_<SID>_HDB<instance>_primary \
   ocf:heartbeat:IPaddr2 ip=<address> cidr_netmask=<netmask> nic=<device>

   Copy to Clipboard Toggle word wrap
   • &lt ;SID&gt;를 HANA SID로 바꿉니다.
   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.
   • < address > , < netmask > 및 < device >를 기본 가상 IP 주소의 세부 정보로 바꿉니다.

2. HANA 기본 노드에 SAPHanaController 리소스에 VIP 리소스를 배치하는 클러스터 제약 조건을 생성합니다.

   [root]# pcs constraint colocation add rsc_vip_<SID>_HDB<instance>_primary \
   with promoted cln_SAPHanaCon_<SID>_HDB<instance> 2000

   Copy to Clipboard Toggle word wrap

   제약 조건은 기본 INFINITY 대신 2000 점수를 적용합니다. 이렇게 하면 리소스 종속성이 완화되고 승격된 SAPHanaController 리소스가 없는 경우 가상 IP 리소스가 활성 상태를 유지할 수 있습니다. 이렇게 하면 이 IP 주소에 도달하여 HANA 인스턴스의 상태 정보를 쿼리할 수 있는 SAP Management Console(MMC) 또는 SAP Cryostatscape Management(LaMa)와 같은 도구를 계속 사용할 수 있습니다.

검증

1. 가상 IP 리소스의 리소스 구성을 확인합니다.

   [root]# pcs resource config rsc_vip_RH1_HDB02_primary
   Resource: rsc_vip_RH1_HDB02_primary (class=ocf provider=heartbeat type=IPaddr2)
     Attributes: rsc_vip_RH1_HDB02_primary-instance_attributes
       cidr_netmask=32
       ip=192.168.1.100
       nic=eth0
     Operations:
       monitor: rsc_vip_RH1_HDB02_primary-monitor-interval-10s
         interval=10s timeout=20s
       start: rsc_vip_RH1_HDB02_primary-start-interval-0s
         interval=0s timeout=20s
       stop: rsc_vip_RH1_HDB02_primary-stop-interval-0s
         interval=0s timeout=20s

   Copy to Clipboard Toggle word wrap

2. 제약 조건이 올바르게 정의되었는지 확인합니다.

   [root]# pcs constraint colocation
   Colocation Constraints:
     Started resource 'rsc_vip_RH1_HDB02_primary' with Promoted resource 'cln_SAPHanaCon_RH1_HDB02'
       score=2000

   Copy to Clipboard Toggle word wrap

프로세스

1. HA 클러스터가 실행 중인 플랫폼에 따라 가상 IP 주소를 관리하기 위해 적절한 리소스 에이전트를 사용합니다. 사용 중인 리소스 에이전트에 따라 매개변수를 조정합니다. 보조 가상 IP의 클러스터 리소스(예: IPaddr2 에이전트 사용)를 생성합니다.

   [root]# pcs resource create rsc_vip_<SID>_HDB<instance>_readonly \
   ocf:heartbeat:IPaddr2 ip=<address> cidr_netmask=<netmask> nic=<device>

   Copy to Clipboard Toggle word wrap
   • &lt ;SID&gt;를 HANA SID로 바꿉니다.
   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.
   • < address > , < netmask > 및 < device >를 읽기 전용 보조 가상 IP 주소의 세부 정보로 바꿉니다.

2. 위치 제약 조건 규칙을 생성하여 일반 작업 중에 보조 가상 IP가 보조 인스턴스에 할당되도록 합니다.

   [root]# pcs constraint location rsc_vip_<SID>_HDB<instance>_readonly \
   rule score=INFINITY master-rsc_SAPHanaCon_<SID>_HDB<instance> eq 100 \
   and hana_<sid>_clone_state eq DEMOTED

   Copy to Clipboard Toggle word wrap
   • &lt ;SID&gt;를 HANA SID로 바꿉니다.
   • & lt;sid& gt;를 소문자 HANA SID로 바꿉니다.
   • &lt ;instance& gt;를 HANA 인스턴스 번호로 바꿉니다.

3. 위치 제약 조건 규칙을 생성하여 필요한 경우 보조 가상 IP가 기본 인스턴스에서 대안으로 실행되는지 확인합니다.

   [root]# pcs constraint location rsc_vip_<SID>_HDB<instance>_readonly \
   rule score=2000 master-rsc_SAPHanaCon_<SID>_HDB<instance> eq 150 \
   and hana_<sid>_clone_state eq PROMOTED

   Copy to Clipboard Toggle word wrap

프로세스

1. 사용자 & lt;sid>adm 이 기본 인스턴스의 HANA Python 디렉터리로 이동하여 현재 시스템 복제 상태를 확인합니다. 이 값이 ACTIVE 이고 완전히 동기화되었는지 확인합니다.

   rh1adm $ cdpy; python systemReplicationStatus.py

   Copy to Clipboard Toggle word wrap

2. 보조 노드의 특성 요약에서 srHook 및 srPoll 클러스터 속성이 모두 SOK 인지 확인합니다. 별도의 터미널의 모든 노드에서 root 사용자로 이 명령을 실행하여 속성 변경 사항을 추적합니다.

   [root]# watch SAPHanaSR-showAttr
   ...
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  10         4   node2 logreplay SOK    sync   SOK    S
   DC1  1745833771 4   node1 logreplay PRIM   sync   PRIM   P
   ...

   Copy to Clipboard Toggle word wrap

   watch 명령을 사용하여 기본 간격인 2초에 루프에서 다음 명령을 실행합니다.

3. 보조 인스턴스에서 hdbindexserver 프로세스의 프로세스 ID(PID)를 가져옵니다(예: 사용자 < sid>adm:)로HDB 정보 출력의 PID 열에서 가져옵니다.

   rh1adm $ HDB info

   Copy to Clipboard Toggle word wrap

4. 보조 인스턴스에서 STOP 신호를 프로세스로 전송하여 중단 hdbindexserver 프로세스를 시뮬레이션합니다. 이렇게 하면 프로세스가 중지되고 노드 간에 인스턴스가 통신 및 동기화되지 않습니다. 주에서 완료되면 결과가 동일하지 않으므로 보조 인스턴스에서 이 작업을 실행해야 합니다.

   rh1adm $ kill -STOP <PID>

   Copy to Clipboard Toggle word wrap

검증

1. 기본 인스턴스에서 변경 사항에 대한 시스템 복제 상태를 확인합니다.

   rh1adm $ cdpy; watch python systemReplicationStatus.py
   ...
   |Database |Host  |Port  |Service Name |...|Secondary     |Replication |Replication |Replication                   |Secondary    |
   |         |      |      |             |...|Active Status |Mode        |Status      |Status Details                |Fully Synced |
   |-------- |----- |----- |------------ |...|------------- |----------- |----------- |----------------------------- |------------ |
   |SYSTEMDB |node1 |30201 |nameserver   |...|YES           |SYNC        |ACTIVE      |                              |        True |
   |RH1      |node1 |30207 |xsengine     |...|YES           |SYNC        |ACTIVE      |                              |        True |
   |RH1      |node1 |30203 |indexserver  |...|YES           |SYNC        |ERROR       |Log shipping timeout occurred |       False |
   
   status system replication site "2": ERROR
   overall system replication status: ERROR
   
   ...

   Copy to Clipboard Toggle word wrap

   복제 상태는 약간 후에 indexserver 서비스에 대해 ERROR 로 변경됩니다. 유휴 인스턴스에 응답하는 데 시간이 걸릴 수 있습니다. 1분 이상 기다립니다.

2. 기본 인스턴스에서 < sid>adm 사용자로 관련 메시지에 대한 HANA 네임서버 로그를 확인합니다.

   rh1adm $ cdtrace; grep -he 'HanaSR.srConnectionChanged.*' nameserver_*
   ha_dr_provider   PythonProxyImpl.cpp(01113) : calling HA/DR provider HanaSR.hookDRConnectionChanged(hostname=node1, port=34203, volume=3, service_name=indexserver, database=RH1, status=11, database_status=11, system_status=11, timestamp=*****, is_in_sync=0, system_is_in_sync=0, reason=, siteName=DC2)
   ha_dr_HanaSR     HanaSR.py(00056) : HanaSR 1.001.1 HanaSR.srConnectionChanged method called with Dict={'hostname': 'node1', 'port': '34203', 'volume': 3, 'service_name': 'indexserver', 'database': 'RH1', 'status': 11, 'database_status': 11, 'system_status': 11, 'timestamp': '*****', 'is_in_sync': False, 'system_is_in_sync': False, 'reason': '', 'siteName': 'DC2'}
   ha_dr_HanaSR     HanaSR.py(00065) : HanaSR HanaSR.srConnectionChanged system_status=11 SID=RH1 in_sync=False reason=
   ha_dr_HanaSR     HanaSR.py(00091) : HanaSR.srConnectionChanged() CALLING CRM: <sudo /usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2  -v SFAIL -t crm_config -s SAPHanaSR> ret_code=0

   Copy to Clipboard Toggle word wrap

   이름 서버 로그에는 세부 정보와 함께 HANA가 트리거하는 이벤트가 포함되어 있습니다. 또한 HanaSR 후크 스크립트에서 srHook 클러스터 속성을 업데이트하기 위해 실행하는 sudo 명령이 포함되어 있습니다.

3. 시스템 복제 상태인 srHook 및 srPoll 의 클러스터 속성이 모두 보조 항목의 SFAIL 상태를 표시하는지 확인합니다. 모든 노드에서 root 사용자로 실행하거나 절차 3단계에서 open 터미널을 사용하여 변경 사항을 확인합니다.

   [root]# SAPHanaSR-showAttr
   ...
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  10         4   node2 logreplay SFAIL  sync   SFAIL  S
   DC1  1745833771 4   node1 logreplay PRIM   sync   PRIM   P
   ...

   Copy to Clipboard Toggle word wrap

4. 보조 인스턴스에서 이전에 고정 hdbindexserver PID 를 차단 해제하여 다시 활성화합니다.

   rh1adm $ kill -CONT <PID>

   Copy to Clipboard Toggle word wrap
5. 1~3단계를 반복하여 시스템 복제가 약간 후에 완전히 복구되는지 확인합니다. 리소스가 계속 실행 중인 상태로 유지되므로 이 테스트 중에 클러스터는 작업을 트리거하지 않습니다.

프로세스

1. 별도의 터미널을 사용하여 HANA 인스턴스 프로세스를 사용자 < sid>adm:으로 모니터링합니다.

   rh1adm $ watch "sapcontrol -nr ${TINSTANCE} -function GetProcessList | column -s ',' -t"

   Copy to Clipboard Toggle word wrap

2. 다른 터미널에서 hdbindexserver 프로세스를 종료합니다.

   rh1adm $ kill <PID>

   Copy to Clipboard Toggle word wrap

검증

1. 동일한 인스턴스에서 전용 HANA 추적 로그를 확인하고 < sid>adm :과 같이 이벤트 및 관련 작업을 식별합니다.

   rh1adm $ cdtrace; less nameserver_chksrv.trc
   ...
   ChkSrv srServiceStateChanged method called with SAPSYSTEMNAME=RH1
   srv:indexserver-30203-stopping-yes db:RH1-3-yes daem:yes
   LOST: indexserver event looks like a lost indexserver (status=stopping)
   LOST: stop instance. action_on_lost=stop
   ChkSrv version 1.001.1. Method srServiceStateChanged method called.
   ...

   Copy to Clipboard Toggle word wrap

2. root 사용자로 리소스 실패 정보의 클러스터 상태를 확인합니다.

   [root]# pcs status --full
   ...
   
   Failed Resource Actions:
     * rsc_SAPHanaCon_RH1_HDB02_start_0 on node1 'not running' (7): call=61, status='complete', ...
   
   ...

   Copy to Clipboard Toggle word wrap

3. root 사용자로 클러스터 측의 관련 작업의 시스템 로그를 확인합니다.

   [root]# grep rsc_SAPHanaCon_RH1_HDB02 /var/log/messages
   ...
   SAPHanaController(rsc_SAPHanaCon_RH1_HDB02)[149199]: INFO: ##-2-## DEC: PRIMDEFECT (in DEMOTED status)
   SAPHanaController(rsc_SAPHanaCon_RH1_HDB02)[149206]: INFO: ##-2-## RA ==== end action monitor_clone with rc=7 (1.2.7) (3s; times=0m0.051s 0m0.079s 0m1.325s 0m1.137s)====
   pacemaker-controld[1694]: notice: Result of monitor operation for rsc_SAPHanaCon_RH1_HDB02 on node1: not running
   pacemaker-controld[1694]: notice: Transition 142 action 18 (rsc_SAPHanaCon_RH1_HDB02_monitor_61000 on node1): expected 'ok' but got 'not running'
   pacemaker-attrd[1692]: notice: Setting last-failure-rsc_SAPHanaCon_RH1_HDB02#monitor_61000[node1] in instance_attributes: (unset) -> 1746703980
   pacemaker-attrd[1692]: notice: Setting fail-count-rsc_SAPHanaCon_RH1_HDB02#monitor_61000[node1] in instance_attributes: (unset) -> 1
   pacemaker-attrd[1692]: notice: Setting master-rsc_SAPHanaCon_RH1_HDB02[node2] in instance_attributes: 100 -> 145
   pacemaker-schedulerd[1693]: warning: Unexpected result (not running) was recorded for monitor of rsc_SAPHanaCon_RH1_HDB02:0 on node1 at ...
   pacemaker-schedulerd[1693]: notice: Actions: Recover    rsc_SAPHanaCon_RH1_HDB02:0     (             Unpromoted node1 )
   pacemaker-controld[1694]: notice: Initiating monitor operation rsc_SAPHanaCon_RH1_HDB02_monitor_59000 on node2
   pacemaker-controld[1694]: notice: Initiating stop operation rsc_SAPHanaCon_RH1_HDB02_stop_0 locally on node1
   pacemaker-controld[1694]: notice: Requesting local execution of stop operation for rsc_SAPHanaCon_RH1_HDB02 on node1
   ...

   Copy to Clipboard Toggle word wrap

   다음 SAPHanaController 리소스 모니터는 예기치 않게 중지된 HANA 인스턴스를 실패로 보고하고 구성에 따라 복구 단계를 시작합니다. PREFER_SITE_TAKEOVER 가 활성화되고 기본 인스턴스에서 테스트가 실행된 경우 HANA가 보조 인스턴스로 복구됩니다.

프로세스

1. SAPHanaFilesystem 리소스에서 읽기 및 쓰기 파일 시스템 액세스를 테스트하는 데 사용하는 숨겨진 디렉터리로 이동합니다.

   [root]# cd /hana/shared/<SID>/.heartbeat_SAPHanaFilesystem/<node>

   Copy to Clipboard Toggle word wrap

2. 기존 테스트 파일을 변경할 수 없도록 설정하여 리소스 모니터의 쓰기 액세스를 방지합니다.

   [root]# chattr +i test

   Copy to Clipboard Toggle word wrap

3. 시뮬레이션된 실패 중에 동작을 확인합니다.

   1. 리소스 작업이 무시 로 설정된 경우 관련 로그 메시지의 /var/log/messages 파일을 확인할 수 있습니다.

      [root]# grep ON_FAIL_ACTION /var/log/messages
      ... node1 SAPHanaFilesystem(rsc_SAPHanaFil_RH1_HDB02)[715184]: INFO: -2- RA monitor() ON_FAIL_ACTION=ignore => ignore FS error, do not create poison pill file

      Copy to Clipboard Toggle word wrap

   2. 리소스 작업이 fence 로 설정된 경우 차단 동작을 확인할 수 있습니다.

      [root]# pcs status --full
      ...
      
      Failed Resource Actions:
        * rsc_SAPHanaFil_RH1_HDB02_stop_0 on node1 'error' (1): ...
      
      Pending Fencing Actions:
        * reboot of node1 pending: client=pacemaker-controld.1694, origin=node2

      Copy to Clipboard Toggle word wrap

4. 테스트 후 이 차단기를 다시 제거해야 합니다. 노드가 펜싱된 경우 노드가 다시 실행된 후 이 작업을 수행합니다.

   [root]# chattr -i test

   Copy to Clipboard Toggle word wrap

프로세스

1. 리소스 오류를 정리합니다.

   [root]# pcs resource cleanup

   Copy to Clipboard Toggle word wrap

2. STONITH 실패 기록을 정리합니다.

   [root]# pcs stonith history cleanup

   Copy to Clipboard Toggle word wrap

프로세스

1. 전체 클러스터에 대한 유지 관리 모드를 설정합니다.

   [root]# pcs property set maintenance-mode=true

   Copy to Clipboard Toggle word wrap

   전체 클러스터에 대한 유지 관리를 설정하면 유지 관리 단계 중 활동이 클러스터 작업을 트리거하고 HANA 업데이트 프로세스에 영향을 미치지 않습니다.

2. 클러스터 리소스 관리가 완전히 비활성화되었는지 확인합니다.

   [root]# pcs status
   ...
   
                 *** Resource management is DISABLED ***
     The cluster will not attempt to start, stop or recover services
   
   Node List:
     * Online: [ node1 node2 ]
   
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02] (maintenance):
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2 (maintenance)
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1 (maintenance)
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable, maintenance):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2 (maintenance)
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Promoted node1 (maintenance)
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02] (maintenance):
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2 (maintenance)
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_primary   (ocf:heartbeat:IPaddr2):         Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_readonly  (ocf:heartbeat:IPaddr2):         Started node2 (maintenance)
   
   ...

   Copy to Clipboard Toggle word wrap

3. SAP 절차를 사용하여 HANA 인스턴스를 업데이트합니다. HANA 업데이트 중에 테이오버를 수행해야 하는 경우 SAP HANA Takeover with Handshake 옵션을 사용할 수 있습니다. 자세한 내용은 HANA 시스템 복제 관리를 위한 HA Solutions와 함께 SAP HANA "Takeover with Handshake" 옵션을 사용할 수도 있습니다.

   이 단계에서 클러스터를 중지한 경우 다음 단계를 진행하기 전에 다시 시작해야 합니다. 유지 관리 모드를 활성화합니다.

4. HANA 업데이트 후 HANA 시스템 복제가 올바르게 작동하는지 확인합니다. systemReplicationStatus.py 스크립트를 사용하여 기본 인스턴스에서 HANA 시스템 복제 상태를 표시합니다. 다음은 유지 관리 중에 node2에 대한 사후 수동 인수의 예입니다.

   [root]# su - <sid>adm
   
   rh1adm $ cdpy; python systemReplicationStatus.py --sapcontrol=1 | grep -i replication_status=
   service/node2/30201/REPLICATION_STATUS=ACTIVE
   service/node2/30207/REPLICATION_STATUS=ACTIVE
   service/node2/30203/REPLICATION_STATUS=ACTIVE
   site/1/REPLICATION_STATUS=ACTIVE
   overall_replication_status=ACTIVE

   Copy to Clipboard Toggle word wrap

   진행하기 전에 시스템 복제가 정상이고 ACTIVE 로 보고되었는지 확인합니다.

5. 모든 클러스터 리소스를 새로 고침하여 하나의 모니터링 작업을 실행하고 상태를 업데이트합니다.

   [root]# pcs resource refresh
   Waiting for 1 reply from the controller
   ... got reply (done)

   Copy to Clipboard Toggle word wrap

   HANA 리소스에서 새 HANA 시스템 복제 상태를 반영하려면 클러스터 및 노드 속성을 업데이트하는 것이 중요합니다. 유지 관리가 중지된 후 클러스터에 올바른 정보가 있고 잘못된 상태 정보로 인해 복구 작업을 트리거하지 않도록 합니다.

6. 클러스터 상태를 확인하고 리소스 상태 및 기본 HANA 리소스 점수 특성을 확인합니다. 모든 리소스는 Started 로 표시되고 승격 가능한 리소스는 모든 노드에서 Unpromoted 로 표시되어야 합니다.

   [root]# pcs status
   ...
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02] (maintenance):
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2 (maintenance)
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1 (maintenance)
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable, maintenance):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2 (maintenance)
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node1 (maintenance)
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02] (maintenance):
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2 (maintenance)
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_primary   (ocf:heartbeat:IPaddr2):         Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_readonly  (ocf:heartbeat:IPaddr2):         Started node2 (maintenance)
   
   ...

   Copy to Clipboard Toggle word wrap

7. 클러스터 특성을 확인하고 srHook,roles 및 score 속성이 올바른 새 상태에 있는지 확인합니다.

   [root]# SAPHanaSR-showAttr
   ...
   
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  1746793335 4   node2 logreplay PRIM   sync   SOK    S
   DC1  30         4   node1 logreplay SOK    sync   PRIM   P
   
   Host  clone_state roles                        score site sra srah version     vhost
   -------------------------------------------------------------------------------------
   node1 DEMOTED     master1:master:worker:master 100   DC1  -   -    2.00.078.00 node1
   node2 DEMOTED     master1:master:worker:master 150   DC2  -   -    2.00.078.00 node2

   Copy to Clipboard Toggle word wrap
   • srHook 는 기본 인스턴스를 실행하는 노드에서 PRIM 이며 올바른 보조 데이터베이스에 SOK 를 표시합니다.
   • 점수는 기본 노드가 실행 중인 노드의 150 이고 다른 노드에서는 100 입니다.

8. 단계 6 및 7의 검사에 예상 정상 상태의 환경을 표시하는 경우 클러스터의 유지 관리 모드를 다시 제거할 수 있습니다.

   [root]# pcs property set maintenance-mode=

   Copy to Clipboard Toggle word wrap

   유지 관리를 사용하면 모든 리소스의 모니터 실행을 다시 트리거합니다. 클러스터는 승격 가능한 리소스의 상태를 기본 및 보조 인스턴스의 위치에 대응하여 Promoted 및 Unpromoted 로 업데이트합니다. 이제 리소스는 srHook 특성 값과 일치하도록 srPoll 특성을 다시 업데이트합니다.

프로세스

1. 이전 기본을 새 보조로 등록합니다. 중지된 이전 기본 인스턴스에서 사용자 <sid>adm 으로 실행합니다.

   rh1adm $ hdbnsutil -sr_register --remoteHost=<node> \
   --remoteInstance=${TINSTANCE} --replicationMode=sync \
   --operationMode=logreplay --name=<DC>

   Copy to Clipboard Toggle word wrap
   • & lt;node >를 node1에서 node2로 인수하는 경우 node2와 같이 새 기본 인스턴스 호스트로 바꿉니다.
   • & lt;DC >를 새 보조 HANA 사이트 이름으로 바꿉니다(예: node1을 보조로 등록해야 하는 경우 DC1).
   • 시스템 복제의 요구 사항에 따라 replicationMode 및 operationMode 의 값을 선택합니다.
   • TINSTANCE 는 HANA 인스턴스 프로필을 읽고 사용자 < sid>adm 에 대해 자동으로 설정된 환경 변수입니다. 변수 값은 HANA 인스턴스 번호입니다.

2. 보조 HANA 인스턴스를 시작합니다. 새 보조 인스턴스 노드에서 & lt;sid>adm 으로 실행합니다.

   rh1adm $ HDB start

   Copy to Clipboard Toggle word wrap

프로세스

1. HANA 추적 로그 디렉토리로 이동하여 < sid>adm 사용자로 이동합니다.

   rh1adm $ cdtrace

   Copy to Clipboard Toggle word wrap

2. HANA 이름 서버 경고 로그에서 HA/DR 공급자와 관련된 오류가 있는지 확인합니다.

   rh1adm $ grep ha_dr_provider nameserver_alert_*.trc
   ... ha_dr_provider   PythonProxyImpl.cpp(00145) : import of hanasr failed: No module named 'hanasr'
   ... ha_dr_provider   HADRProviderManager.cpp(00100) : could not load HA/DR Provider 'hanasr' from /usr/share/sap-hana-ha/

   Copy to Clipboard Toggle word wrap

3. 근본 원인을 확인합니다(예: 잘못 지정된 HA/DR 공급자 이름 또는 잘못된 경로 ). 경로와 후크 스크립트 이름을 확인합니다. 이 예에서 HA/DR 공급자 이름 hanasr 가 후크 스크립트 이름 HanaSR 과 일치하지 않습니다.

   rh1adm $ ls /usr/share/sap-hana-ha/
   ChkSrv.py  HanaSR.py  samples

   Copy to Clipboard Toggle word wrap

4. HanaSR HA/DR 공급자 구성을 수정합니다.

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [trace]
   ha_dr_hanasr = info

   Copy to Clipboard Toggle word wrap
   • 공급자는 Python 후크 스크립트의 이름과 일치해야 합니다. 이는 .py 파일 접미사 없이 대소문자를 구분합니다.
   • 경로는 후크 스크립트가 저장되는 경로여야 합니다.