SAP HANA スケールアップシステムレプリケーションの高可用性のデプロイ

手順

1. HANA インスタンスのプロファイルディレクトリーに移動します。

   [root]# cd /usr/sap/<SID>/SYS/profile

   Copy to Clipboard

2. インスタンスプロファイルを編集します。

   [root]# vi <SID>_HDB<instance>_<hostname>

   Copy to Clipboard

   Autostart が 0 に設定されていることを確認します。

3. HA クラスターの一部として管理される HANA インスタンスごとに、手順 1 - 2 を繰り返します。

手順

1. 必要に応じて、バックアップ用の専用ディレクトリーを適切なパスに作成します。次に例を示します。

   [root]# mkdir <path>/<SID>-backup

   Copy to Clipboard

   &lt ;path& gt; をシステムのパスに置き換えます。最初のバックアップファイル用の十分な空き容量がある。

2. ターゲットディレクトリーが HANA ユーザーによって所有されていないか、または書き込み可能でない場合は、バックアップパスの所有者をユーザー < sid>adm に変更します。次に例を示します。

   [root]# chown <sid>adm:sapsys <path>/<SID>-backup

   Copy to Clipboard

3. 残りの手順で <sid>adm ユーザーに変更します。

   [root]# su - <sid>adm

   Copy to Clipboard

4. < sid>adm ユーザーとして SYSTEMDB のバックアップを作成します。バックアップが保存されるファイルへのパスを指定します。ターゲットファイルシステムに十分な空き領域が残っていることを確認してから、バックアップを作成します。

   rh1adm $ hdbsql -i ${TINSTANCE} -u system -p '<HANA_SYSTEM_PASSWORD>' -d SYSTEMDB \
   "BACKUP DATA USING FILE ('<path>/${SAPSYSTEMNAME}-backup/bkp-SYS')"
   0 rows affected (overall time xx.xxx sec; server time xx.xxx sec)

   Copy to Clipboard
   • TINSTANCE および SAPSYSTEMNAME は、< sid>adm ユーザーシェル環境の一部である環境変数です。TINSTANCE はインスタンス番号で、SAPSYSTEMNAME はインスタンス番号です。どちらも < sid>adm ユーザーに関連するインスタンス値に自動的に設定されます。
   • &lt ;path&gt; を、< sid>adm ユーザーが書き込みアクセス権を持ち、十分な空き領域が残っている場所へのパスに置き換えます。

5. < sid>adm ユーザーとして、すべてのテナントデータベースのバックアップを作成します。バックアップが保存されるファイルへのパスを指定します。ターゲットファイルシステムに十分な空き領域が残っていることを確認します。テナント DB バックアップを作成します。

   rh1adm $ hdbsql -i ${TINSTANCE} -u system -p '<HANA_SYSTEM_PASSWORD>' -d SYSTEMDB \
   "BACKUP DATA FOR ${SAPSYSTEMNAME} USING FILE ('<path>/${SAPSYSTEMNAME}-backup/bkp-${SAPSYSTEMNAME}')"
   0 rows affected (overall time xx.xxx sec; server time xx.xxx sec)

   Copy to Clipboard

   &lt ;path&gt; を、< sid>adm ユーザーが書き込みアクセス権を持ち、十分な空き領域が残っている場所へのパスに置き換えます。

検証

1. 作成されたバックアップファイルを一覧表示します。初期バックアップを保存するディレクトリーとして /hana/log/RH1-backup を使用する場合の例：

   rh1adm $ ls -lh /hana/log/RH1-backup/
   total 7.2G
   -rw-r-----. 1 rh1adm sapsys 156K May  8 08:40 bkp-RH1_databackup_0_1
   -rw-r-----. 1 rh1adm sapsys  81M May  8 08:40 bkp-RH1_databackup_2_1
   -rw-r-----. 1 rh1adm sapsys 3.6G May  8 08:40 bkp-RH1_databackup_3_1
   -rw-r-----. 1 rh1adm sapsys 160K May  8 08:35 bkp-SYS_databackup_0_1
   -rw-r-----. 1 rh1adm sapsys 3.6G May  8 08:35 bkp-SYS_databackup_1_1

   Copy to Clipboard

2. HANA コマンド hdbbackupcheck を使用して、作成した各インスタンスのバックアップファイルの健全性を確認します。

   rh1adm $ for i in $(ls /hana/log/RH1-backup/*); do hdbbackupcheck $i; done
   ...
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/RH1_databackup_0_1' successfully checked.
   Loaded library 'libhdbcsaccessor'
   ...
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/system_databackup_0_1' successfully checked.
   Loaded library 'libhdbcsaccessor'
   Loaded library 'libhdblivecache'
   Backup '/hana/log/RH1-backup/system_databackup_1_1' successfully checked.

   Copy to Clipboard

手順

1. 最初のプライマリーとなる HANA インスタンスでシステムレプリケーションを有効にします。最初のノードまたはプライマリーノードで、&lt ;sid>adm としてコマンドを実行します。

   rh1adm $ hdbnsutil -sr_enable --name=<DC1>
   nameserver is active, proceeding ...
   successfully enabled system as system replication source site
   done.

   Copy to Clipboard
   • &lt ;DC1 > をプライマリー HANA サイト名に置き換えます。

手順

1. セカンダリー HANA インスタンスを停止し、node2 で < sid>adm ユーザーとして実行します。

   rh1adm $ HDB stop
   …
   Stop
   OK
   Waiting for stopped instance using: /usr/sap/<SID>/SYS/exe/hdb/sapcontrol -prot NI_HTTP -nr <instance> -function WaitforStopped 600 2
   …
   
   WaitforStopped
   OK
   hdbdaemon is stopped.

   Copy to Clipboard

2. HANA がシステムレプリケーション暗号化の鍵を保存するディレクトリーに移動します。

   [root]# cd /usr/sap/<SID>/SYS/global/security/rsecssfs

   Copy to Clipboard

3. HANA システム PKI ファイル SSFS_<SID>.KEY をプライマリー HANA インスタンスからセカンダリーインスタンスにコピーします。

   [root]# rsync -av node1:$PWD/key/SSFS_<SID>.KEY key/

   Copy to Clipboard

4. PKI ファイル SSFS_<SID>.DAT をプライマリー HANA インスタンスからセカンダリーインスタンスにコピーします。

   [root]# rsync -av node1:$PWD/data/SSFS_<SID>.DAT data/

   Copy to Clipboard

5. < sid>adm ユーザーターミナルで、セカンダリー HANA インスタンスをプライマリーインスタンスに登録します。

   rh1adm $ hdbnsutil -sr_register --remoteHost=node1 \
   --remoteInstance=${TINSTANCE} --replicationMode=sync \
   --operationMode=logreplay --name=<DC2>
   adding site ...
   collecting information ...
   updating local ini files ...
   done.

   Copy to Clipboard
   • &lt ;DC2 > をセカンダリー HANA サイト名に置き換えます。
   • システムレプリケーションの要件に応じて、replicationMode と operationMode の値を選択します。
   • TINSTANCE は、HANA インスタンスプロファイルを読み取ることでユーザー < sid>adm に対して自動的に設定される環境変数です。変数の値は HANA インスタンス番号です。

6. セカンダリー HANA インスタンスを起動します。node2 で & lt;sid>adm として実行します。

   rh1adm $ HDB start
   
   ...
   Starting instance using: /usr/sap/<SID>/SYS/exe/hdb/sapcontrol -prot NI_HTTP -nr <instance> -function StartWait 2700 2
   
   ...

   Copy to Clipboard

検証

1. システムレプリケーションがセカンダリーインスタンスで実行され、モード が手順 5 の hdbnsutil -sr_register コマンドの replicationMode パラメーターに使用した値と一致することを確認します。node2 で <sid>adm として実行します。

   rh1adm $ hdbnsutil -sr_stateConfiguration
   
   System Replication State
   ~~~~~~~~
   
   mode: sync
   site id: 2
   site name: DC2
   active primary site: 1
   
   primary masters: node1
   done.

   Copy to Clipboard

2. 両方のインスタンスで、ユーザー < sid>adm として HANA インスタンスの Python スクリプトディレクトリーに移動します。これを行う最も簡単な方法は、インスタンスのインストール時に SAP HANA が入力する < sid>adm ユーザーシェルに組み込まれたエイリアスである cdpy を使用することです。

   rh1adm $ cdpy

   Copy to Clipboard

   この例では、現在のディレクトリーを /usr/sap/RH1/HDB02/exe/python_support/ に変更します。

3. 両方のインスタンスで、確立された HANA システムレプリケーションの現在のステータスを表示します。

   1. プライマリーインスタンスでは、システムレプリケーションのステータスが常にすべての詳細とともに表示されます。

      rh1adm $ python systemReplicationStatus.py
      |Database |Host     |Port  |Service Name |Volume ID |Site ID |Site Name |Secondary |Secondary |Secondary |Secondary |Secondary     |Replication |Replication |Replication    |Secondary    |
      |         |         |      |             |          |        |          |Host      |Port      |Site ID   |Site Name |Active Status |Mode        |Status      |Status Details |Fully Synced |
      |-------- |-------- |----- |------------ |--------- |------- |--------- |----------|--------- |--------- |--------- |------------- |----------- |----------- |-------------- |------------ |
      |SYSTEMDB |node1    |30001 |nameserver   |        1 |      1 |DC1       |node2     |    30001 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      |RH1      |node1    |30007 |xsengine     |        2 |      1 |DC1       |node2     |    30007 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      |RH1      |node1    |30003 |indexserver  |        3 |      1 |DC1       |node2     |    30003 |        2 |DC2       |YES           |SYNC        |ACTIVE      |               |        True |
      
      status system replication site "2": ACTIVE
      overall system replication status: ACTIVE
      
      Local System Replication State
      ~~~~~~~~~~
      
      mode: PRIMARY
      site id: 1
      site name: DC1

      Copy to Clipboard
      • ACTIVE は、HANA システムのレプリケーションが正常な状態であり、完全に同期されていることを意味します。
      • SYNCING は、たとえばセカンダリーインスタンスのテイクオーバーが新しいプライマリーになった後など、セカンダリーサイトでシステムレプリケーションが更新されている間に表示されます。
      • INITIALIZING は、システムレプリケーションの初回有効か、または完全な同期がトリガーされた後に表示されます。

   2. セカンダリー インスタンスでは、systemReplicationStatus.py の出力の詳細が低くなります。

      rh1adm $ python systemReplicationStatus.py
      this system is either not running or not primary system replication site
      
      Local System Replication State
      ~~~~~~~~~~
      
      mode: SYNC
      site id: 2
      site name: DC2
      active primary site: 1
      primary masters: node1

      Copy to Clipboard

手順

1. pacemaker サービスのドロップインファイルの /etc/systemd/system/pacemaker.service.d/ ディレクトリーを作成します。

   [root]# mkdir /etc/systemd/system/pacemaker.service.d/

   Copy to Clipboard

2. 以下の内容を含む Pacemaker サービスの systemd ドロップインファイルを作成します。

   [root]# cat << EOF > /etc/systemd/system/pacemaker.service.d/00-pacemaker.conf
   [Unit]
   Description=Pacemaker needs the SAP HANA instance service
   Wants=SAP<SID>_<instance>.service
   After=SAP<SID>_<instance>.service
   EOF

   Copy to Clipboard
   • &lt ;SID&gt; を HANA SID に置き換えます。
   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。

3. systemctl デーモンを再読み込みして、ドロップインファイルをアクティブにします。

   [root]# systemctl daemon-reload

   Copy to Clipboard
4. 他のクラスターノードで手順 1 から 3 を繰り返します。

検証

1. HANA インスタンスの systemd サービスを確認し、読み込まれ ていることを確認します。

   [root]# systemctl status SAPRH1_02.service
   ● SAPRH1_02.service - SAP Instance SAPRH1_02
        Loaded: loaded (/etc/systemd/system/SAPRH1_02.service; disabled; preset: disabled)
        Active: active (running) since xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      Main PID: 5825 (sapstartsrv)
         Tasks: 841
        Memory: 88.6G
           CPU: 4h 50min 2.033s
        CGroup: /SAP.slice/SAPRH1_02.service
                ├─ 5825 /usr/sap/RH1/HDB02/exe/sapstartsrv pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
                ├─ 5986 sapstart pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
                ├─ 5993 /usr/sap/RH1/HDB02/node1/trace/hdb.sapRH1_HDB02 -d -nw -f /usr/sap/RH1/HDB02/node1/daemon.ini pf=/usr/sap/RH1/SYS/profile/RH1_HDB02_node1
   ...

   Copy to Clipboard

2. これで、SAP HANA インスタンスサービスが Pacemaker サービスに認識されていることを確認します。

   [root]# systemctl show pacemaker.service | grep SAP
   Wants=SAPRH1_02.service resource-agents-deps.target dbus-broker.service
   After=... SAPRH1_02.service rsyslog.service

   Copy to Clipboard

   SAP<SID>_<instance>.service が After= および Wants= リストに記載されていることを確認します。

手順

1. < sid>adm ユーザーとして、すべてのノード上の HANA インスタンスを停止します。

   rh1adm $ HDB stop

   Copy to Clipboard

2. HANA インスタンスが完全 に停止したすべてのノードで <sid>adm として確認します。

   rh1adm $ sapcontrol -nr ${TINSTANCE} -function GetProcessList | column -s ',' -t
   ...
   name                  description   dispstatus   textstatus   starttime   elapsedtime   pid
   hdbdaemon             HDB Daemon    GRAY         Stopped                                5381

   Copy to Clipboard
   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。

3. < sid>adm ユーザーシェルに組み込まれるコマンドエイリアス cdcoc を使用して、< sid>adm ユーザーとして HANA 設定ディレクトリーに移動します。これは、/hana/shared/<SID>/global/hdb/custom/config/ パスに自動的に変更されます。

   rh1adm $ cdcoc

   Copy to Clipboard

4. SAP HANA インスタンスの global.ini ファイルを更新して、HanaSR フックを設定します。すべての HANA インスタンスノードで設定ファイルを編集し、次の設定を追加します。

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [trace]
   ha_dr_hanasr = info

   Copy to Clipboard

   execution_order を 1 に設定して、HanaSR フックが常に最高の優先順位で実行されるようにします。

5. オプション： hdbindexserver の失敗に対してアクションを実行するためのオプションの ChkSrv フックも設定したい場合は、srServiceStateChanged （）フックメソッドの ChkSrv HA/DR プロバイダーの設定 の手順 1 を参照してください 。

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [ha_dr_provider_chksrv]
   provider = ChkSrv
   path = /usr/share/sap-hana-ha/
   execution_order = 2
   action_on_lost = stop
   
   [trace]
   ha_dr_hanasr = info
   ha_dr_chksrv = info

   Copy to Clipboard

6. 以下の内容で、各クラスターノードに /etc/sudoers.d/20-saphana ファイルを root ユーザーとして作成します。次のコマンド権限により、& lt;sid>adm ユーザーは、HanaSR フック実行の一部として特定のクラスターノード属性を更新できます。

   [root]# visudo -f /etc/sudoers.d/20-saphana
   <sid>adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_*
   Defaults:<sid>adm !requiretty

   Copy to Clipboard
   • Defaults 設定が必要な理由の詳細は、The srHook attribute is set to SFAIL in a Pacemaker cluster managing SAP HANA system replication, even though replication is in a healthy state を参照してください。

7. HA クラスターを起動せずに、両方のクラスターノードの HANA インスタンスを手動で起動します。&lt ;sid>adm として実行します。

   rh1adm $ HDB start

   Copy to Clipboard

検証

1. トレースログファイルが保存されている < sid>adm ユーザーとして、SAP HANA ディレクトリーに移動します。< sid>adm ユーザーシェルに組み込まれたコマンドエイリアス cdtrace を使用します。

   rh1adm $ cdtrace

   Copy to Clipboard

2. HANA ネームサーバーサービスログで、HA/DR プロバイダーの読み込みメッセージを確認します。

   1. HanaSR プロバイダーのみが設定されている場合：

      rh1adm $ grep -he "loading HA/DR Provider.*" nameserver_*
      loading HA/DR Provider 'HanaSR' from /usr/share/sap-hana-ha/

      Copy to Clipboard

   2. オプションの ChkSrv プロバイダーも実装されている場合は、以下を行います。

      rh1adm $ grep -he "loading HA/DR Provider.*" nameserver_*
      loading HA/DR Provider 'ChkSrv' from /usr/share/sap-hana-ha/
      loading HA/DR Provider 'HanaSR' from /usr/share/sap-hana-ha/

      Copy to Clipboard

3. システムのセキュアなログで user root として検証すると、sudo コマンドが正常に実行されたことを確認します。sudoers ファイルが正しくない場合は、sudo コマンドの実行時にエラーがログに記録されます。

   [root]# grep -e 'sudo.*crm_attribute.*' /var/log/secure
    sudo[4267]:  rh1adm : PWD=/hana/shared/RH1/HDB02/node1 ; USER=root ; COMMAND=/usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2 -v SFAIL -t crm_config -s SAPHanaSR
    sudo[4319]:  rh1adm : PWD=/hana/shared/RH1/HDB02/node1 ; USER=root ; COMMAND=/usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2 -v SOK -t crm_config -s SAPHanaSR

   Copy to Clipboard

   HANA インスタンスが両方のノードで起動すると、通常、いくつかの srHook 属性の更新を確認できます。最初は SFAIL を設定することになります。これは、プライマリーの開始直後に、この時点で同期しているセカンダリーと同期していないためです。

   SOK への最後の更新は、システムレプリケーションステータスが最終的に完全に同期に変更された後に HANA イベントによってトリガーされます。

4. 同時に行っていない場合は、2 番目のインスタンスで検証手順 1 - 2 を繰り返します。ステップ 3 の sudo ログメッセージは、システムレプリケーションイベントが送信されるプライマリーインスタンスノードにのみ表示されます。

5. 任意のノードのクラスター属性を確認し、hana_<sid>_site_srHook_<DC2 > 属性の値が期待どおりに更新されていることを確認します。

   [root]# cibadmin --query | grep -e 'SAPHanaSR.*srHook'
           <nvpair id="SAPHanaSR-hana_rh1_site_srHook_DC2" name="hana_rh1_site_srHook_DC2" value="SOK"/>

   Copy to Clipboard
   • SOK は、HANA システムレプリケーションが ACTIVE 状態の場合に設定されます。これは、確立され、完全に同期していることを意味します。
   • SFAIL は、システムのレプリケーションが他の状態にあるときに設定されます。

手順

1. < sid>adm ユーザーとして HANA 設定ディレクトリーに移動します。< sid>adm ユーザーシェルに組み込まれたコマンドエイリアス cdcoc を使用します。これは、/hana/shared/<SID>/global/hdb/custom/config/ パスに自動的に変更されます。

   rh1adm $ cdcoc

   Copy to Clipboard

2. HANA インスタンスの global.ini ファイルを更新して、フックスクリプトを設定します。すべての HANA インスタンスシステムで設定ファイルを編集し、HanaSR プロバイダーの定義に加えて以下の内容を追加します。

   [ha_dr_provider_chksrv]
   provider = ChkSrv
   path = /usr/share/sap-hana-ha/
   execution_order = 2
   action_on_lost = stop
   
   [trace]
   ha_dr_hanasr = info
   ha_dr_chksrv = info

   Copy to Clipboard

3. オプション：HA/DR プロバイダーをリロードして HANA の実行中に ChkSrv プロバイダーを有効にします。インスタンスが停止しているときにフックスクリプトを設定するときに、この手順をスキップして、インスタンスの起動時に HA/DR プロバイダーが自動的に読み込まれます。

   rh1adm $ hdbnsutil -reloadHADRProviders

   Copy to Clipboard

検証

1. トレースログファイルが保存されている < sid>adm ユーザーとして、SAP HANA ディレクトリーに移動します。< sid>adm ユーザーシェルに組み込まれたコマンドエイリアス cdtrace を使用します。

   rh1adm $ cdtrace

   Copy to Clipboard

2. 変更が読み込まれていることを確認します。

   rh1adm $ grep -e "loading HA/DR Provider.*ChkSrv.*" nameserver_*
   loading HA/DR Provider 'ChkSrv' from /usr/share/sap-hana-ha/

   Copy to Clipboard

3. 専用のトレースログファイルが作成され、プロバイダーが正しい設定パラメーターでロードされていることを確認します。

   rh1adm $ cat nameserver_chksrv.trc
   init called
   ChkSrv.init() version 1.001.1, parameter info: action_on_lost=stop stop_timeout=20 kill_signal=9

   Copy to Clipboard

手順

1. SAPHanaTopology リソースをクローンリソースとして作成します。これは、すべてのクラスターノードで同時に実行されることを意味します。

   [root]# pcs resource create rsc_SAPHanaTop_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaTopology \
   SID=<SID> \
   InstanceNumber=<instance> \
   op start timeout=600 \
   op stop timeout=300 \
   op monitor interval=30 timeout=300 \
   clone cln_SAPHanaTop_<SID>_HDB<instance> \
   meta clone-max=2 clone-node-max=1 interleave=true --future

   Copy to Clipboard
   • &lt ;SID&gt; を HANA SID に置き換えます。

   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。

     注記

     RHEL 9.3 以降、clone コマンドで meta キーワードを使用しないと、非推奨の警告が表示されます。属性は、ベースリソースに自動的に割り当てられます。

     今後は、クローンリソースに属性を割り当てるのに、クローン属性の メタ キーワードが必要になります。それまでは、この動作がすでに適用されるように、--future パラメーターを追加します。

     クローンメタ属性を指定する場合は、新しい pcs parsing requires meta keyword も参照してください。

2. SAPHanaController リソースを昇格可能なクローンリソースとして作成します。これは、すべてのクラスターノードで同時に実行されますが、1 つのノードでは active または primary インスタンスとして機能します。

   [root]# pcs resource create rsc_SAPHanaCon_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaController \
   SID=<SID> \
   InstanceNumber=<instance> \
   PREFER_SITE_TAKEOVER=true \
   DUPLICATE_PRIMARY_TIMEOUT=7200 \
   AUTOMATED_REGISTER=false \
   op stop timeout=3600 \
   op monitor interval=59 role=Promoted timeout=700 \
   op monitor interval=61 role=Unpromoted timeout=700 \
   meta priority=100 \
   promotable cln_SAPHanaCon_<SID>_HDB<instance> \
   meta clone-max=2 clone-node-max=1 interleave=true --future

   Copy to Clipboard

   AUTOMATED_REGISTER=false でリソースを作成してから、テストを使用して正しい動作とデータの整合性を検証してセットアップを完了することが推奨されます。詳細は、セットアップのテスト を参照し てください。パラメーターを true に設定すると、すでに作成時にこれを有効にすることができます。

   詳細は、SAPHanaController リソースパラメーター を参照してください。

3. SAPHanaController リソースが正常に起動する必要がある HANA ランドスケープ情報を収集するため、SAPHanaController の前に SAPHanaTopology を開始する必要があります。2 つのリソースの正しい起動順序を適用するクラスター制約を作成します。

   [root]# pcs constraint order cln_SAPHanaTop_<SID>_HDB<instance> \
   then cln_SAPHanaCon_<SID>_HDB<instance> symmetrical=false

   Copy to Clipboard

   symmetrical=false を設定すると、制約はリソースの起動順序のみに影響しますが、停止順序には適用されません。

4. オプション： SAPHanaFilesystem リソースをクローンリソースとして作成します。

   [root]# pcs resource create rsc_SAPHanaFil_<SID>_HDB<instance> \
   ocf:heartbeat:SAPHanaFilesystem \
   SID=<SID> \
   InstanceNumber=<instance> \
   ON_FAIL_ACTION="fence" \
   op start interval=0 timeout=10 \
   op stop interval=0 timeout=20 \
   op monitor interval=120 timeout=120 \
   clone cln_SAPHanaFil_<SID>_HDB<instance> \
   meta clone-node-max=1 interleave=true --future

   Copy to Clipboard

   ON_FAIL_ACTION=fence を設定する代わりに、ignore に設定できます。これは、最初に機能をテストするのに役立ちます。リソースは、システムログに情報を書き込みます。このログは、フェンス アクションの使用をアクティブにしたときにリソースが希望するアクションを実行するかどうかの評価に調べることができます。

検証

1. SAPHanaTopology リソースのクローン作成を確認します。リソース設定の例：

   [root]# pcs resource config cln_SAPHanaTop_RH1_HDB02
   Clone: cln_SAPHanaTop_RH1_HDB02
     Meta Attributes: cln_SAPHanaTop_RH1_HDB02-meta_attributes
       clone-max=2
       clone-node-max=1
       interleave=true
     Resource: rsc_SAPHanaTop_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaTopology)
       Attributes: rsc_SAPHanaTop_RH1_HDB02-instance_attributes
         InstanceNumber=02
         SID=RH1
       Operations:
         methods: rsc_SAPHanaTop_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaTop_RH1_HDB02-monitor-interval-30
           interval=30 timeout=300
         reload: rsc_SAPHanaTop_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaTop_RH1_HDB02-start-interval-0s
           interval=0s timeout=600
         stop: rsc_SAPHanaTop_RH1_HDB02-stop-interval-0s
           interval=0s timeout=300

   Copy to Clipboard

2. SAPHanaController リソースクローンを確認します。リソース設定の例：

   [root]# pcs resource config cln_SAPHanaCon_RH1_HDB02
   Clone: cln_SAPHanaCon_RH1_HDB02
     Meta Attributes: cln_SAPHanaCon_RH1_HDB02-meta_attributes
       clone-max=2
       clone-node-max=1
       interleave=true
       promotable=true
     Resource: rsc_SAPHanaCon_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaController)
       Attributes: rsc_SAPHanaCon_RH1_HDB02-instance_attributes
         AUTOMATED_REGISTER=false
         DUPLICATE_PRIMARY_TIMEOUT=7200
         InstanceNumber=02
         PREFER_SITE_TAKEOVER=true
         SID=RH1
       Meta Attributes: rsc_SAPHanaCon_RH1_HDB02-meta_attributes
         priority=100
       Operations:
         demote: rsc_SAPHanaCon_RH1_HDB02-demote-interval-0s
           interval=0s timeout=320
         methods: rsc_SAPHanaCon_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaCon_RH1_HDB02-monitor-interval-59
           interval=59 timeout=700 role=Promoted
         monitor: rsc_SAPHanaCon_RH1_HDB02-monitor-interval-61
           interval=61 timeout=700 role=Unpromoted
         promote: rsc_SAPHanaCon_RH1_HDB02-promote-interval-0s
           interval=0s timeout=900
         reload: rsc_SAPHanaCon_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaCon_RH1_HDB02-start-interval-0s
           interval=0s timeout=3600
         stop: rsc_SAPHanaCon_RH1_HDB02-stop-interval-0s
           interval=0s timeout=3600

   Copy to Clipboard

3. 開始順序の制約が適用されていることを確認します。

   [root]# pcs constraint order
   Order Constraints:
     start resource 'cln_SAPHanaTop_RH1_HDB02' then start resource 'cln_SAPHanaCon_RH1_HDB02'
       symmetrical=0

   Copy to Clipboard

4. オプション：作成した場合は、SAPHanaFilesystem リソースクローンを確認します。リソース設定の例：

   [root]# pcs resource config cln_SAPHanaFil_RH1_HDB02
   Clone: cln_SAPHanaFil_RH1_HDB02
     Meta Attributes: cln_SAPHanaFil_RH1_HDB02-meta_attributes
       clone-node-max=1
       interleave=true
     Resource: rsc_SAPHanaFil_RH1_HDB02 (class=ocf provider=heartbeat type=SAPHanaFilesystem)
       Attributes: rsc_SAPHanaFil_RH1_HDB02-instance_attributes
         InstanceNumber=02
         ON_FAIL_ACTION=fence
         SID=RH1
       Operations:
         methods: rsc_SAPHanaFil_RH1_HDB02-methods-interval-0s
           interval=0s timeout=5
         monitor: rsc_SAPHanaFil_RH1_HDB02-monitor-interval-120
           interval=120 timeout=120
         reload: rsc_SAPHanaFil_RH1_HDB02-reload-interval-0s
           interval=0s timeout=5
         start: rsc_SAPHanaFil_RH1_HDB02-start-interval-0
           interval=0 timeout=10
         stop: rsc_SAPHanaFil_RH1_HDB02-stop-interval-0
           interval=0 timeout=20

   Copy to Clipboard

5. クラスターのステータスを確認します。use-- full を使用して、HANA リソースによって更新されるノード属性を含めます。

   [root]# pcs status --full
   ...
   
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02]:
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Promoted node1
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02]:
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2
   
   Node Attributes:
     * Node: node1 (1):
       * hana_rh1_clone_state              : PROMOTED
       * hana_rh1_roles                    : master1:master:worker:master
       * hana_rh1_site                     : DC1
       * hana_rh1_srah                     : -
       * hana_rh1_version                  : 2.00.078.00
       * hana_rh1_vhost                    : node1
       * master-rsc_SAPHanaCon_RH1_HDB02   : 150
     * Node: node2 (2):
       * hana_rh1_clone_state              : DEMOTED
       * hana_rh1_roles                    : master1:master:worker:master
       * hana_rh1_site                     : DC2
       * hana_rh1_srah                     : -
       * hana_rh1_version                  : 2.00.078.00
       * hana_rh1_vhost                    : node2
       * master-rsc_SAPHanaCon_RH1_HDB02   : 100
   
   ...

   Copy to Clipboard

手順

1. HA クラスターが実行されているプラットフォームに基づいて仮想 IP アドレスを管理するための適切なリソースエージェントを使用します。使用しているリソースエージェントに従ってパラメーターを調整します。たとえば、IPaddr2 エージェントを使用するなど、プライマリー仮想 IP のクラスターリソースを作成します。

   [root]# pcs resource create rsc_vip_<SID>_HDB<instance>_primary \
   ocf:heartbeat:IPaddr2 ip=<address> cidr_netmask=<netmask> nic=<device>

   Copy to Clipboard
   • &lt ;SID&gt; を HANA SID に置き換えます。
   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。
   • &lt ;address&gt;、<netmask& gt; 、および <device > をプライマリー仮想 IP アドレスの詳細に置き換えます。

2. HANA プライマリーノードに SAPHanaController リソースを持つ VIP リソースを配置するクラスター制約を作成します。

   [root]# pcs constraint colocation add rsc_vip_<SID>_HDB<instance>_primary \
   with promoted cln_SAPHanaCon_<SID>_HDB<instance> 2000

   Copy to Clipboard

   この制約は、デフォルトの INFINITY の代わりにスコア 2000 を適用します。これにより、リソースの依存関係がソフトになり、昇格された SAPHanaController リソースがない場合に仮想 IP リソースがアクティブな状態を維持できるようになります。このようにして、この IP アドレスに到達して HANA インスタンスのステータス情報をクエリーできる SAP 管理コンソール(MMC)や SAP Landscape Management (LaMa)などのツールを引き続き使用できます。

検証

1. 仮想 IP リソースのリソース設定を確認します。

   [root]# pcs resource config rsc_vip_RH1_HDB02_primary
   Resource: rsc_vip_RH1_HDB02_primary (class=ocf provider=heartbeat type=IPaddr2)
     Attributes: rsc_vip_RH1_HDB02_primary-instance_attributes
       cidr_netmask=32
       ip=192.168.1.100
       nic=eth0
     Operations:
       monitor: rsc_vip_RH1_HDB02_primary-monitor-interval-10s
         interval=10s timeout=20s
       start: rsc_vip_RH1_HDB02_primary-start-interval-0s
         interval=0s timeout=20s
       stop: rsc_vip_RH1_HDB02_primary-stop-interval-0s
         interval=0s timeout=20s

   Copy to Clipboard

2. 制約が正しく定義されていることを確認します。

   [root]# pcs constraint colocation
   Colocation Constraints:
     Started resource 'rsc_vip_RH1_HDB02_primary' with Promoted resource 'cln_SAPHanaCon_RH1_HDB02'
       score=2000

   Copy to Clipboard

手順

1. HA クラスターが実行されているプラットフォームに基づいて仮想 IP アドレスを管理するための適切なリソースエージェントを使用します。使用しているリソースエージェントに従ってパラメーターを調整します。セカンダリー仮想 IP のクラスターリソースを作成します。たとえば、IPaddr2 エージェントを使用します。

   [root]# pcs resource create rsc_vip_<SID>_HDB<instance>_readonly \
   ocf:heartbeat:IPaddr2 ip=<address> cidr_netmask=<netmask> nic=<device>

   Copy to Clipboard
   • &lt ;SID&gt; を HANA SID に置き換えます。
   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。
   • &lt ;address&gt;、<netmask >、および < device > を、読み取り専用のセカンダリー仮想 IP アドレスの詳細に置き換えます。

2. 通常の操作中にセカンダリー仮想 IP がセカンダリーインスタンスに割り当てられるように、場所の制約ルールを作成します。

   [root]# pcs constraint location rsc_vip_<SID>_HDB<instance>_readonly \
   rule score=INFINITY master-rsc_SAPHanaCon_<SID>_HDB<instance> eq 100 \
   and hana_<sid>_clone_state eq DEMOTED

   Copy to Clipboard
   • &lt ;SID&gt; を HANA SID に置き換えます。
   • &lt ;sid&gt; を小文字の HANA SID に置き換えます。
   • &lt ;instance&gt; を HANA インスタンス番号に置き換えます。

3. 場所の制約ルールを作成して、必要に応じてセカンダリー仮想 IP がプライマリーインスタンスで代替として実行されるようにします。

   [root]# pcs constraint location rsc_vip_<SID>_HDB<instance>_readonly \
   rule score=2000 master-rsc_SAPHanaCon_<SID>_HDB<instance> eq 150 \
   and hana_<sid>_clone_state eq PROMOTED

   Copy to Clipboard

手順

1. < sid>adm ユーザーとして、プライマリー インスタンスの HANA Python ディレクトリーに移動し、現在のシステムレプリケーションステータスを確認します。ACTIVE で、完全に同期されていることを確認します。

   rh1adm $ cdpy; python systemReplicationStatus.py

   Copy to Clipboard

2. セカンダリーノードの属性概要で、srHook および srPoll クラスター属性が両方とも SOK であることを確認します。別のターミナルで任意のノードで root ユーザーとして以下のコマンドを実行し、属性の変更を追跡します。

   [root]# watch SAPHanaSR-showAttr
   ...
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  10         4   node2 logreplay SOK    sync   SOK    S
   DC1  1745833771 4   node1 logreplay PRIM   sync   PRIM   P
   ...

   Copy to Clipboard

   デフォルトの 2 秒間隔で、ループで以下のコマンドを実行するには watch コマンドを使用します。

3. セカンダリー インスタンスで、たとえば、HDB info 出力のPID列から、hdbindexserver プロセスのプロセス ID ( PID )を user < sid>adm として取得し ます。

   rh1adm $ HDB info

   Copy to Clipboard

4. セカンダリー インスタンスで、STOP シグナルをプロセスに送信して hdbindexserver プロセスのハングをシミュレートします。これにより、プロセスがフリーズし、ノード間でインスタンスを通信して同期することをブロックします。プライマリーで行った場合の結果は同じではないため、必ずセカンダリーインスタンスでこれを実行してください。

   rh1adm $ kill -STOP <PID>

   Copy to Clipboard

検証

1. プライマリー インスタンスで、変更についてシステムのレプリケーションステータスを確認します。

   rh1adm $ cdpy; watch python systemReplicationStatus.py
   ...
   |Database |Host  |Port  |Service Name |...|Secondary     |Replication |Replication |Replication                   |Secondary    |
   |         |      |      |             |...|Active Status |Mode        |Status      |Status Details                |Fully Synced |
   |-------- |----- |----- |------------ |...|------------- |----------- |----------- |----------------------------- |------------ |
   |SYSTEMDB |node1 |30201 |nameserver   |...|YES           |SYNC        |ACTIVE      |                              |        True |
   |RH1      |node1 |30207 |xsengine     |...|YES           |SYNC        |ACTIVE      |                              |        True |
   |RH1      |node1 |30203 |indexserver  |...|YES           |SYNC        |ERROR       |Log shipping timeout occurred |       False |
   
   status system replication site "2": ERROR
   overall system replication status: ERROR
   
   ...

   Copy to Clipboard

   1 ビット後に、indexserver サービスのレプリケーションステータスが ERROR に変わります。アイドルインスタンスでの反応に時間がかかる場合があります。1 分以上待機します。

2. プライマリー インスタンスで、< sid>adm ユーザー として、HANA ネームサーバーログで関連するメッセージを確認します。

   rh1adm $ cdtrace; grep -he 'HanaSR.srConnectionChanged.*' nameserver_*
   ha_dr_provider   PythonProxyImpl.cpp(01113) : calling HA/DR provider HanaSR.hookDRConnectionChanged(hostname=node1, port=34203, volume=3, service_name=indexserver, database=RH1, status=11, database_status=11, system_status=11, timestamp=*****, is_in_sync=0, system_is_in_sync=0, reason=, siteName=DC2)
   ha_dr_HanaSR     HanaSR.py(00056) : HanaSR 1.001.1 HanaSR.srConnectionChanged method called with Dict={'hostname': 'node1', 'port': '34203', 'volume': 3, 'service_name': 'indexserver', 'database': 'RH1', 'status': 11, 'database_status': 11, 'system_status': 11, 'timestamp': '*****', 'is_in_sync': False, 'system_is_in_sync': False, 'reason': '', 'siteName': 'DC2'}
   ha_dr_HanaSR     HanaSR.py(00065) : HanaSR HanaSR.srConnectionChanged system_status=11 SID=RH1 in_sync=False reason=
   ha_dr_HanaSR     HanaSR.py(00091) : HanaSR.srConnectionChanged() CALLING CRM: <sudo /usr/sbin/crm_attribute -n hana_rh1_site_srHook_DC2  -v SFAIL -t crm_config -s SAPHanaSR> ret_code=0

   Copy to Clipboard

   ネームサーバーログには、HANA が詳細でトリガーするイベントが含まれます。また、srHook クラスター属性を更新するために HanaSR フックスクリプトを実行する sudo コマンドも含まれます。

3. システムレプリケーションステータス srHook および srPoll の両方のクラスター属性がセカンダリーの SFAIL ステータスを示していることを確認します。任意のノードで root ユーザーとして実行するか、手順 3 の open ターミナルを使用して変更を監視します。

   [root]# SAPHanaSR-showAttr
   ...
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  10         4   node2 logreplay SFAIL  sync   SFAIL  S
   DC1  1745833771 4   node1 logreplay PRIM   sync   PRIM   P
   ...

   Copy to Clipboard

4. セカンダリーインスタンスで、以前にフリーズした hdbindexserver PID のブロックを解除して、再度有効にします。

   rh1adm $ kill -CONT <PID>

   Copy to Clipboard
5. 手順 1-3 を繰り返し、システムレプリケーションが少し後に完全に回復していることを確認します。リソースは実行中のままであるため、クラスターはこのテスト中にアクションをトリガーしません。

手順

1. 別のターミナルを使用して、HANA インスタンスのプロセスをユーザー < sid>adm として監視します。

   rh1adm $ watch "sapcontrol -nr ${TINSTANCE} -function GetProcessList | column -s ',' -t"

   Copy to Clipboard

2. 別のターミナルで、hdbindexserver プロセスを強制終了します。

   rh1adm $ kill <PID>

   Copy to Clipboard

検証

1. 同じインスタンスで専用の HANA トレースログを確認し、ユーザー < sid>adm としてイベントと関連するアクションを特定します。

   rh1adm $ cdtrace; less nameserver_chksrv.trc
   ...
   ChkSrv srServiceStateChanged method called with SAPSYSTEMNAME=RH1
   srv:indexserver-30203-stopping-yes db:RH1-3-yes daem:yes
   LOST: indexserver event looks like a lost indexserver (status=stopping)
   LOST: stop instance. action_on_lost=stop
   ChkSrv version 1.001.1. Method srServiceStateChanged method called.
   ...

   Copy to Clipboard

2. クラスターのステータスにユーザー root でリソース障害情報を確認します。

   [root]# pcs status --full
   ...
   
   Failed Resource Actions:
     * rsc_SAPHanaCon_RH1_HDB02_start_0 on node1 'not running' (7): call=61, status='complete', ...
   
   ...

   Copy to Clipboard

3. システムログで、クラスター側の関連するアクションをユーザー root として確認します。

   [root]# grep rsc_SAPHanaCon_RH1_HDB02 /var/log/messages
   ...
   SAPHanaController(rsc_SAPHanaCon_RH1_HDB02)[149199]: INFO: ##-2-## DEC: PRIMDEFECT (in DEMOTED status)
   SAPHanaController(rsc_SAPHanaCon_RH1_HDB02)[149206]: INFO: ##-2-## RA ==== end action monitor_clone with rc=7 (1.2.7) (3s; times=0m0.051s 0m0.079s 0m1.325s 0m1.137s)====
   pacemaker-controld[1694]: notice: Result of monitor operation for rsc_SAPHanaCon_RH1_HDB02 on node1: not running
   pacemaker-controld[1694]: notice: Transition 142 action 18 (rsc_SAPHanaCon_RH1_HDB02_monitor_61000 on node1): expected 'ok' but got 'not running'
   pacemaker-attrd[1692]: notice: Setting last-failure-rsc_SAPHanaCon_RH1_HDB02#monitor_61000[node1] in instance_attributes: (unset) -> 1746703980
   pacemaker-attrd[1692]: notice: Setting fail-count-rsc_SAPHanaCon_RH1_HDB02#monitor_61000[node1] in instance_attributes: (unset) -> 1
   pacemaker-attrd[1692]: notice: Setting master-rsc_SAPHanaCon_RH1_HDB02[node2] in instance_attributes: 100 -> 145
   pacemaker-schedulerd[1693]: warning: Unexpected result (not running) was recorded for monitor of rsc_SAPHanaCon_RH1_HDB02:0 on node1 at ...
   pacemaker-schedulerd[1693]: notice: Actions: Recover    rsc_SAPHanaCon_RH1_HDB02:0     (             Unpromoted node1 )
   pacemaker-controld[1694]: notice: Initiating monitor operation rsc_SAPHanaCon_RH1_HDB02_monitor_59000 on node2
   pacemaker-controld[1694]: notice: Initiating stop operation rsc_SAPHanaCon_RH1_HDB02_stop_0 locally on node1
   pacemaker-controld[1694]: notice: Requesting local execution of stop operation for rsc_SAPHanaCon_RH1_HDB02 on node1
   ...

   Copy to Clipboard

   次の SAPHanaController リソースモニターは、予期せず停止した HANA インスタンスを障害として報告し、設定に従って復旧手順を開始します。PREFER_SITE_TAKEOVER が有効で、テストがプライマリーインスタンスで実行された場合、セカンダリーインスタンスへの HANA テイクオーバーがトリガーされます。

手順

1. SAPHanaFilesystem リソースがファイルシステムの読み取りおよび書き込みをテストするために使用する非表示ディレクトリーに移動します。

   [root]# cd /hana/shared/<SID>/.heartbeat_SAPHanaFilesystem/<node>

   Copy to Clipboard

2. 既存の テスト ファイルがイミュータブルになるように設定します。これにより、リソースモニターによる書き込みアクセスができなくなります。

   [root]# chattr +i test

   Copy to Clipboard

3. シミュレーションした障害中に動作を確認します。

   1. リソースアクションが ignore に設定されている場合は、/var/log/messages ファイルで関連するログメッセージを確認できます。

      [root]# grep ON_FAIL_ACTION /var/log/messages
      ... node1 SAPHanaFilesystem(rsc_SAPHanaFil_RH1_HDB02)[715184]: INFO: -2- RA monitor() ON_FAIL_ACTION=ignore => ignore FS error, do not create poison pill file

      Copy to Clipboard

   2. リソースのアクションが fence に設定されている場合は、フェンス の動作を確認できます。

      [root]# pcs status --full
      ...
      
      Failed Resource Actions:
        * rsc_SAPHanaFil_RH1_HDB02_stop_0 on node1 'error' (1): ...
      
      Pending Fencing Actions:
        * reboot of node1 pending: client=pacemaker-controld.1694, origin=node2

      Copy to Clipboard

4. このブロッカーは、テスト後に再度削除する必要があります。ノードがフェンシングされている場合は、ノードを再度実行した後に以下を実行します。

   [root]# chattr -i test

   Copy to Clipboard

手順

1. リソースの障害をクリーンアップします。

   [root]# pcs resource cleanup

   Copy to Clipboard

2. STONITH の失敗履歴をクリーンアップします。

   [root]# pcs stonith history cleanup

   Copy to Clipboard

手順

1. クラスター全体の メンテナンス モードを設定します。

   [root]# pcs property set maintenance-mode=true

   Copy to Clipboard

   クラスター全体でメンテナンスを設定すると、メンテナンスフェーズでアクティビティーがクラスターアクションをトリガーできなくなり、HANA の更新プロセスに影響が及ぶようになります。

2. クラスターリソース管理が完全に無効になっていることを確認します。

   [root]# pcs status
   ...
   
                 *** Resource management is DISABLED ***
     The cluster will not attempt to start, stop or recover services
   
   Node List:
     * Online: [ node1 node2 ]
   
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02] (maintenance):
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2 (maintenance)
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1 (maintenance)
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable, maintenance):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2 (maintenance)
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Promoted node1 (maintenance)
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02] (maintenance):
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2 (maintenance)
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_primary   (ocf:heartbeat:IPaddr2):         Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_readonly  (ocf:heartbeat:IPaddr2):         Started node2 (maintenance)
   
   ...

   Copy to Clipboard

3. SAP 手順を使用して HANA インスタンスを更新します。HANA の更新中にテイクオーバーを実行する必要がある場合は、Handshake で SAP HANA Takeover を使用できます。詳細は、Is it possible to use SAP HANA "Takeover with Handshake" option with the HA Solutions for managing HANA System Replication? を参照してください。

   この手順でクラスターを停止した場合は、次の手順に進む前に、そのクラスターを再起動してください。メンテナンスモードを有効のままにしておきます。

4. HANA の更新後、HANA システムレプリケーションが正しく機能していることを確認します。systemReplicationStatus.py スクリプトを使用して、プライマリーインスタンスで HANA システムレプリケーションのステータスを表示します。以下は、メンテナンス中に node2 への手動テイクオーバーの例になります。

   [root]# su - <sid>adm
   
   rh1adm $ cdpy; python systemReplicationStatus.py --sapcontrol=1 | grep -i replication_status=
   service/node2/30201/REPLICATION_STATUS=ACTIVE
   service/node2/30207/REPLICATION_STATUS=ACTIVE
   service/node2/30203/REPLICATION_STATUS=ACTIVE
   site/1/REPLICATION_STATUS=ACTIVE
   overall_replication_status=ACTIVE

   Copy to Clipboard

   続行する前に、システムレプリケーションが正常であり、ACTIVE として報告されていることを確認します。

5. すべてのクラスターリソースを更新して、1 つの監視操作を実行し、それらのステータスを更新します。

   [root]# pcs resource refresh
   Waiting for 1 reply from the controller
   ... got reply (done)

   Copy to Clipboard

   HANA リソースによるクラスターおよびノードの属性を更新して、新しい HANA システムのレプリケーションステータスを反映することが重要です。メンテナンスの停止後、クラスターに正しい情報があり、誤ったステータス情報が原因でリカバリーアクションがトリガーされないようにします。

6. クラスターのステータスを確認し、リソースのステータスとメインの HANA リソーススコア属性を確認します。すべてのリソースは Started として表示され、昇格可能なリソースがすべてのノードで Unpromoted と表示される必要があります。

   [root]# pcs status
   ...
   Full List of Resources:
     * Clone Set: cln_SAPHanaTop_RH1_HDB02 [rsc_SAPHanaTop_RH1_HDB02] (maintenance):
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node2 (maintenance)
       * rsc_SAPHanaTop_RH1_HDB02  (ocf:heartbeat:SAPHanaTopology):         Started node1 (maintenance)
     * Clone Set: cln_SAPHanaCon_RH1_HDB02 [rsc_SAPHanaCon_RH1_HDB02] (promotable, maintenance):
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node2 (maintenance)
       * rsc_SAPHanaCon_RH1_HDB02  (ocf:heartbeat:SAPHanaController):       Unpromoted node1 (maintenance)
     * Clone Set: cln_SAPHanaFil_RH1_HDB02 [rsc_SAPHanaFil_RH1_HDB02] (maintenance):
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node2 (maintenance)
       * rsc_SAPHanaFil_RH1_HDB02  (ocf:heartbeat:SAPHanaFilesystem):       Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_primary   (ocf:heartbeat:IPaddr2):         Started node1 (maintenance)
     * rsc_vip_RH1_HDB02_readonly  (ocf:heartbeat:IPaddr2):         Started node2 (maintenance)
   
   ...

   Copy to Clipboard

7. クラスター属性を確認し、srHook、roles、および score 属性が正しい新しい状態にあることを確認します。

   [root]# SAPHanaSR-showAttr
   ...
   
   Site lpt        lss mns   opMode    srHook srMode srPoll srr
   -------------------------------------------------------------
   DC2  1746793335 4   node2 logreplay PRIM   sync   SOK    S
   DC1  30         4   node1 logreplay SOK    sync   PRIM   P
   
   Host  clone_state roles                        score site sra srah version     vhost
   -------------------------------------------------------------------------------------
   node1 DEMOTED     master1:master:worker:master 100   DC1  -   -    2.00.078.00 node1
   node2 DEMOTED     master1:master:worker:master 150   DC2  -   -    2.00.078.00 node2

   Copy to Clipboard
   • srHook はプライマリーインスタンスを実行しているノード上の PRIM であり、正しいセカンダリーに SOK を示します。
   • プライマリーが実行されているノードの スコア は 150 で、他方では 100 です。

8. ステップ 6 と 7 をチェックして、予想される正常な状態の landscape が示されたら、クラスターのメンテナンスモードを再度削除できます。

   [root]# pcs property set maintenance-mode=

   Copy to Clipboard

   メンテナンスを解除すると、すべてのリソースのモニター実行がトリガーされます。クラスターは、昇格可能なリソースのステータスを Promoted および Unpromoted に、プライマリーインスタンスとセカンダリーインスタンスの場所に対応して更新します。リソースは、srHook 属性値に一致するように、srPoll 属性も再度更新するようになりました。

手順

1. 以前のプライマリーを新しいセカンダリーとして登録します。停止した以前のプライマリーインスタンスで、ユーザー & lt;sid>adm として実行します。

   rh1adm $ hdbnsutil -sr_register --remoteHost=<node> \
   --remoteInstance=${TINSTANCE} --replicationMode=sync \
   --operationMode=logreplay --name=<DC>

   Copy to Clipboard
   • &lt ;node& gt; を新しいプライマリーインスタンスホストに置き換えます。node1 から node2 へのテイクオーバーがある場合は、node2 などに置き換えます。
   • & lt;DC& gt; を新しいセカンダリー HANA サイト名に置き換えます(node1 がセカンダリーとして登録される場合など)。
   • システムレプリケーションの要件に応じて、replicationMode と operationMode の値を選択します。
   • TINSTANCE は、HANA インスタンスプロファイルを読み取ることでユーザー < sid>adm に対して自動的に設定される環境変数です。変数の値は HANA インスタンス番号です。

2. セカンダリー HANA インスタンスを起動します。新しいセカンダリーインスタンスノードで < sid>adm として実行します。

   rh1adm $ HDB start

   Copy to Clipboard

手順

1. < sid>adm ユーザーとして、HANA トレースログディレクトリーに移動します。

   rh1adm $ cdtrace

   Copy to Clipboard

2. HANA nameserver アラートログで HA/DR プロバイダーに関連するエラーをチェックします。

   rh1adm $ grep ha_dr_provider nameserver_alert_*.trc
   ... ha_dr_provider   PythonProxyImpl.cpp(00145) : import of hanasr failed: No module named 'hanasr'
   ... ha_dr_provider   HADRProviderManager.cpp(00100) : could not load HA/DR Provider 'hanasr' from /usr/share/sap-hana-ha/

   Copy to Clipboard

3. 誤った HA/DR プロバイダー 名や誤った パス など、根本原因を特定します。パスとフックスクリプト名を確認します。この例では、HA/DR プロバイダー名 hanasr はフックスクリプト名 HanaSR に一致していません。

   rh1adm $ ls /usr/share/sap-hana-ha/
   ChkSrv.py  HanaSR.py  samples

   Copy to Clipboard

4. HanaSR HA/DR プロバイダー設定を修正します。

   [ha_dr_provider_hanasr]
   provider = HanaSR
   path = /usr/share/sap-hana-ha/
   execution_order = 1
   
   [trace]
   ha_dr_hanasr = info

   Copy to Clipboard
   • プロバイダー は Python フックスクリプトの名前と一致する必要があります。.py ファイル接尾辞なしで大文字と小文字が区別されます。
   • パス は、フックスクリプトが保存されるパスである必要があります。