使用 RHEL HA 附加组件自动化 SAP HANA 扩展系统复制

流程

1. 如果没有暂存配置，您可以使用以下命令将 SAP HANA 测试部署直接分配给 Red Hat Subscription Management (RHSM)：

   [root:~]# subscription-manager register

2. 输入用户名和密码。

3. 列出 rhel-8-for-x86_64-sap-solutions-rpms 软件仓库提供的所有池：

   [root:~]# subscription-manager list --available --matches="rhel-8-for-x86_64-sap-solutions-rpms"

   如需更多信息，请参阅配置基本系统设置。

   注意

   公司池 ID 是必需的。如果列表为空，请联系红帽获取公司订阅的列表。

4. 将池 ID 附加到您的服务器实例：

   [root:~]# subscription-manager attach --pool=XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

5. 检查是否启用了 sap-solutions 的存储库：

   [root:~]# yum repolist | grep sap-solution
   rhel-8-for-x86_64-sap-solutions-rpms RHEL for x86_64 - SAP Solutions (RPMs)

   您可以启用 RHEL 8 所需的仓库：

   [root:~]# subscription-manager repos --enable=rhel-8-for-x86_64-sap-solutions-rpms --enable=rhel-8-for-x86_64-highavailability-rpms

   如需更多信息，请参阅 用于 SAP 订阅和存储库的 RHEL。

6. 更新所有系统上的软件包，以验证是否已安装正确的 RPM 软件包和版本：

   [root:~]# yum update -y

流程

1. 以 root 用户身份登录每个主机，并配置 /etc/hosts 文件。
2. 在横向扩展环境中，为每个 SAP HANA 主机创建一个主机条目。

3. 将 hosts 文件复制到每个节点。按照以下输出示例所示的顺序设置主机名非常重要。如果没有，SAP HANA 环境会在部署或操作过程中失败。

   注意

   此配置基于本文档的 Preparing the SAP HANA Scale-Out environment 部分中列出的参数。

   [root:~]# cat << EOF >> /etc/hosts
   10.0.1.21 dc1hana01.example.com dc1hana01
   10.0.1.22 dc1hana02.example.com dc1hana02
   10.0.1.23 dc1hana03.example.com dc1hana03
   10.0.1.24 dc1hana04.example.com dc1hana04
   10.0.1.31 dc2hana01.example.com dc2hana01
   10.0.1.32 dc2hana02.example.com dc2hana02
   10.0.1.33 dc2hana03.example.com dc2hana03
   10.0.1.34 dc2hana04.example.com dc2hana04
   10.0.1.41 majoritymaker.example.com majoritymaker
   EOF

流程

1. 在每个 SAP HANA 主机上以 root 用户身份登录额外的 /usr/sap 分区。

   注意

   通常，默认的 XFS 格式和挂载选项适用于大多数工作负载。红帽建议使用默认值，除非有特定的配置更改应该可以影响文件系统的工作负载。所有支持的文件系统都可使用。如需更多信息，请参阅 SAP Note 2972496 - SAP HANA Filesystem Types。如果使用软件 RAID，mks.xfs 命令会自动使用正确的条带单元和宽度配置自己，以便与硬件保持一致。

2. 创建所需的挂载点：

   [root:~]# mkdir -p /usr/sap

3. 在逻辑卷中，基于 XFS 创建文件系统：

   [root:~]# mkfs -t xfs -b size=4096 /dev/sdb

   有关创建 XFS 文件系统和调优可能性的更多信息，请运行 man mkfs.xfs 命令。有关 XFS 文件系统的最佳性能，请参阅知识库文章 什么是调整 XFS 文件系统的一些最佳实践。

4. 将 mount 指令写入 /etc/fstab ：

   [root:~]# echo "/dev/sdb /usr/sap xfs defaults 1 6" >> /etc/fstab

   注意

   如果挂载点由文件系统资源管理，那么之后必须在 /etc/fstab 文件中再次注释掉这些文件系统。 

5. 检查 /etc/fstab 中的 XFS 文件系统是否可以挂载：

   [root:~]# mount /usr/sap

流程

1. 在每个 SAP HANA 主机上以 root 用户身份登录共享存储配置。

   注意

   需要 nfs-utils 软件包。每个数据中心都需要自己的存储配置。在本例中，存储配置作为共享存储环境构建。两个横向扩展环境都使用自己的 NFS 共享。此配置基于本文档的 准备 SAP HANA Scale-Out 环境 部分中的信息。在生产环境中，应该将此流程配置为您首选的硬件供应商支持。

2. 安装 nfs-utils 软件包：

   [root:~]# yum install -y nfs-utils

3. 在 Datacenter 1 中配置节点：

   [root:~]# mkdir -p /hana/{shared,data,log}
   cat <<EOF >> /etc/fstab
   10.0.1.61:/data/dc1/shared /hana/shared nfs4 defaults 0 0
   10.0.1.61:/data/dc1/data /hana/data nfs4 defaults 0 0
   10.0.1.61:/data/dc1/log /hana/log nfs4 defaults 0 0
   EOF

   要挂载卷，请运行以下命令：

   [root:~]# mount -a

4. 在 Datacenter 2 中配置节点：

   [root:~]# mkdir -p /hana/{shared,data,log}
   cat <<EOF >> /etc/fstab
   10.0.1.62:/data/dc2/shared /hana/shared nfs4 defaults 0 0
   10.0.1.62:/data/dc2/data /hana/data nfs4 defaults 0 0
   10.0.1.62:/data/dc2/log /hana/log nfs4 defaults 0 0
   EOF

   要挂载卷，请运行以下命令：

   [root:~]# mount -a

先决条件

1. 您以 root 用户身份登录共享存储配置的每个主机。
2. 您已准备了 SAP HANA 的安装源。

3. 您已设置了与 SAP HANA 兼容的主机名：

   [root:~]# hostnamectl set-hostname dc1hana01

步骤： 验证 /etc/hosts

1. 验证 /etc/hosts 是否包含与系统主机名和 IP 地址匹配的条目： .example.com ：

   [root:~]# hostname
   <hostname>
   [root:~]# hostname -s
   <hostname>
   [root:~]# hostname -f
   <hostname>.example.com
   [root:~]# hostname -d
   example.com

2. 将系统语言设置为英语：

   [root:~]# localectl set-locale LANG=en_US.UTF-8

步骤： 配置 NTP

1. 编辑 /etc/chrony.conf，并验证服务器行是否反映了您的 ntp 服务器：

   [root:~]# yum -y install chrony
   [root:~]# systemctl stop chronyd.service

2. 检查时间服务器条目：

   [root:~]# grep ^server /etc/chrony.conf
   server 0.de.pool.ntp.org
   server 1.de.pool.ntp.org

3. 启用并启动 chrony 服务：

   [root:~]# systemctl enable chronyd.service
   [root:~]# systemctl start chronyd.service
   [root:~]# systemctl restart systemd-timedated.service

4. 验证 chrony 服务是否已启用：

   [root:~]# systemctl status chronyd.service
   chronyd.service enabled
   [root:~]# chronyc sources
   210 Number of sources = 3
   MS Name/IP address Stratum Poll Reach LastRx Last sample
   =====================================================================
   ^* 0.de.pool.ntp.org 2 8 377 200 -2659ns[-3000ns] +/- 28ms
   ^-de.pool.ntp.org 2 8 377 135 -533us[ -533us] +/- 116ms
   ^-ntp2.example.com 2 9 377 445 +14ms[ +14ms] +/- 217ms

流程（可选）

1. 为 SAP Host Agent 创建 sapadm 和 sapsys 用户，并为 sapadm 用户设置密码。用户 sapadm 的 UID 996 和组 sapsys 的 GID 79 基于本文档的 准备 SAP HANA Scale-Out 环境 部分中的参数。

   [root:~]# adduser sapadm --uid 996
   [root:~]# groupadd sapsys --gid 79
   [root:~]# passwd sapadm

2. 创建 temp 目录，解压缩安装源，并从 temp 目录安装 SAP 主机代理。变量 INSTALLDIRHOSTAGENT 是一个示例：

   [root:~]# export TEMPDIR=$(mktemp -d)
   [root:~]# export
   INSTALLDIRHOSTAGENT=/install/HANA/DATA_UNITS/HDB_SERVER_LINUX_X86_64/
   [root:~]# systemctl disable abrtd
   [root:~]# systemctl disable abrt-ccpp
   [root:~]# cp -rp ${INSTALLDIRHOSTAGENT}/server/HOSTAGENT.TGZ $TEMPDIR/ cd $TEMPDIR
   [root:~]# tar -xzvf HOSTAGENT.TGZ
   [root:~]# cd global/hdb/saphostagent_setup/
   [root:~]# ./saphostexec -install

   安全操作只适用于加密的连接。您可以配置正常工作的 SSL 连接来达到此目的。需要 SSL 密码。以下示例基于本文档的 Preparing SAP HANA Scale-Out environment 部分中的参数。

   [root:~]# export MYHOSTNAME=$(hostname)
   [root:~]# export SSLPASSWORD=Us3Your0wnS3cur3Password
   [root:~]# export LD_LIBRARY_PATH=/usr/sap/hostctrl/exe/
   [root:~]# export SECUDIR=/usr/sap/hostctrl/exe/sec
   [root:~]# cd /usr/sap/hostctrl/exe
   [root:~]# mkdir /usr/sap/hostctrl/exe/sec
   [root:~]# /usr/sap/hostctrl/exe/sapgenpse gen_pse -p SAPSSLS.pse -x $SSLPASSWORD -r /tmp/${MYHOSTNAME}-csr.p10 "CN=$MYHOSTNAME"
   [root:~]# /usr/sap/hostctrl/exe/sapgenpse seclogin -p SAPSSLS.pse -x $SSLPASSWORD -O sapadm chown sapadm /usr/sap/hostctrl/exe/sec/SAPSSLS.pse
   [root:~]# /usr/sap/hostctrl/exe/saphostexec -restart*

3. 验证 SAP Host Agent 是否适用于所有 SAP HANA 节点：

   [root:~]# netstat -tulpen | grep sapstartsrv
   tcp      0     0 0.0.0.0:50014   0.0.0.0:*  LISTEN   1002  84028   4319/sapstartsrv
   tcp      0     0 0.0.0.0:50013   0.0.0.0:*  LISTEN   1002  47542   4319/sapstartsrv

   注意

   并非所有进程都被识别。不显示非拥有的进程信息。您必须是 root 用户才能查看所有进程。

   [root:~]# netstat -tulpen | grep 1129
   tcp 0 	0     0.0.0.0:1129 	0.0.0.0:* 	LISTEN 	996	 25632	 1345/sapstartsrv

   有关如何安装 SAP 主机代理的更多信息，请参阅 SAP 主机代理安装。

流程

1. 在每个数据中心中，以用户 root 用户身份登录一个 SAP HANA 节点，以启动 SAP HANA Scale-Out 安装。

2. 在这个解决方案中，在每个数据中心的一个节点中执行以下命令：

   [root:~]# INSTALLDIR=/install/51053381/DATA_UNITS HDB_SERVER_LINUX_X86_64/
   [root:~]# cd $INSTALLDIR
   [root:~]# ./hdblcm --dump_configfile_template=/tmp/templateFile

   重要

   必须使用正确的 addhosts 参数。这不得包含安装节点。

3. 更改 /tmp/templateFile.xml 中的密码：

   注意

   internal_network 参数用于内部横向扩展通信网络。这会在安装过程中使用正确配置来预先填充 SAP HANA 配置文件 global.ini。

   数据中心 1 示例：

   [root:~]# cat /tmp/templateFile.xml | ./hdblcm \ --batch \ --sid=RH1 \ --number=10 \ --action=install \ --hostname=dc1hana01 \ --addhosts=dc1hana02:role=worker,dc1hana03:role=worker,dc1hana04:role =standby \ --install_hostagent \ --system_usage=test \ --sapmnt=/hana/shared \ --datapath=/hana/data \ --logpath=/hana/log \ --root_user=root \ --workergroup=default \ --home=/usr/sap/RH1/home \ --userid=79 \ --shell=/bin/bash \ --groupid=79 \ --read_password_from_stdin=xml \ --internal_network=192.168.101.0/24 \ --remote_execution=saphostagent

   数据中心 2 示例：

   [root:~]# cat /tmp/templateFile.xml | ./hdblcm \ --batch \ --sid=RH1 \ --number=10 \ --action=install \ --hostname=dc2hana01 \ --addhosts=dc2hana02:role=worker,dc2hana03:role=worker,dc2hana04:role =standby \ --install_hostagent \ --system_usage=test \ --sapmnt=/hana/shared \ --datapath=/hana/data \ --logpath=/hana/log \ --root_user=root \ --workergroup=default \ --home=/usr/sap/RH1/home \ --userid=79 \ --shell=/bin/bash \ --groupid=79 \ --read_password_from_stdin=xml \ --internal_network=192.168.101.0/24 \ --remote_execution=saphostagent

4. 安装完成后，验证每个数据中心的一个主机上是否都在一个主机上工作：

   [root:~]# su - rh1adm /usr/sap/hostctrl/exe/sapcontrol -nr 10 -function GetSystemInstanceList
   10.04.2019 08:38:21
   GetSystemInstanceList OK
   hostname, instanceNr, httpPort, httpsPort, startPriority, features, dispstatus
   dc1hana01,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   dc1hana03,10,51013,51014,0.3,HDB|HDB_STANDBY, GREEN
   dc1hana02,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   dc1hana04,10,51013,51014,0.3,HDB|HDB_WORKER, GREEN
   
   rh1adm@dc1hana01:/usr/sap/RH1/HDB10> HDBSettings.sh landscapeHostConfiguration.py
   | Host | Host | Host | Failover | Remove | Storage |
   Storage | Failover | Failover | NameServer | NameServer |
   IndexServer | IndexServer | Host | Host | Worker | Worker |
   | | Active | Status | Status | Status | Config |
   Actual | Config | Actual | Config | Actual | Config
   | Actual | Config | Actual | Config | Actual |
   | | | | | | Partition |
   Partition | Group | Group | Role | Role | Role
   | Role | Roles | Roles | Groups | Groups |
   | --------- | ------ | ------ | -------- | ------ | --------- |
   --------- | -------- | -------- | ---------- | ---------- |
   ----------- | ----------- | ------- | ------- | ------- | ------- |
   | dc1hana01 | yes | ok | | | 1 |
   1 | default | default | master 1 | master | worker |
   master | worker | worker | default | default |
   | dc1hana02 | yes | ok | | | 2 |
   2 | default | default | master 3 | slave | worker |
   slave | worker | worker | default | default |
   | dc1hana03 | yes | ok | | | 2 |
   2 | default | default | master 3 | slave | worker |
   slave | worker | worker | default | default |
   | dc1hana04 | yes | ignore | | | 0 |
   0 | default | default | master 2 | slave | standby |
   standby | standby | standby | default | - |
   
   rh1adm@dc1hana01: HDB info
   USER PID PPID %CPU VSZ RSS COMMAND
   rh1adm 31321 31320 0.0 116200 2824 -bash
   rh1adm 32254 31321 0.0 113304 1680 \_ /bin/sh
   /usr/sap/RH1/HDB10/HDB info
   rh1adm 32286 32254 0.0 155356 1868 \_ ps fx
   -U rh1adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10,rss:10,args
   rh1adm 27853 1 0.0 23916 1780 sapstart
   pf=/hana/shared/RH1/profile/RH1_HDB10_dc1hana01
   rh1adm 27863 27853 0.0 262272 32368 \_
   /usr/sap/RH1/HDB10/dc1hana01/trace/hdb.sapRH1_HDB10 -d -nw -f
   /usr/sap/RH1/HDB10/dc1hana01/daemon.ini
   pf=/usr/sap/RH1/SYS/profile/RH1_HDB10_dc1hana01
   rh1adm 27879 27863 53.0 9919108 6193868 \_
   hdbnameserver
   rh1adm 28186 27863 0.7 1860416 268304 \_
   hdbcompileserver
   rh1adm 28188 27863 65.8 3481068 1834440 \_
   hdbpreprocessor
   rh1adm 28228 27863 48.2 9431440 6481212 \_
   hdbindexserver -port 31003
   rh1adm 28231 27863 2.1 3064008 930796 \_
   hdbxsengine -port 31007
   rh1adm 28764 27863 1.1 2162344 302344 \_
   hdbwebdispatcher
   rh1adm 27763 1 0.2 502424 23376
   /usr/sap/RH1/HDB10/exe/sapstartsrvpf=/hana/shared/RH1/profile/RH1_HDB10_dc1hana01 -D -u rh1adm

流程

1. 在共享设备上每个数据中心的一个节点中安装 hook。如需更多信息，请参阅 实施 HA/DR 提供程序。

2. 在 hana 共享文件夹中创建一个目录来配置 hook。这被配置为从 SAP HANA 数据库创建额外的数据。要启用它，您必须停止系统，并在 global.ini 文件中添加两个额外的配置参数。在此解决方案中，以下示例显示了 ha_dr_provider_SAPHanaSr 和 trace 的配置。

   [root@dc1hana01]# su - rh1adm
   [rh1adm@dc1hana01]% sapcontrol -nr 10 -function StopSystem *[rh1adm@dc1hana01]% cat <<EOF >> /hana/shared/RH1/global/hdb/custom/config/global.ini
   
   [ha_dr_provider_SAPHanaSR]
   provider = SAPHanaSR
   path = /usr/share/SAPHanaSR-ScaleOut
   execution_order = 1
   
   [trace]
   ha_dr_saphanasr = info
   EOF

3. 在每个集群节点上，通过运行 sudo visudo /etc/sudoers.d/20-saphana 创建文件 /etc/sudoers.d/20-saphana，并添加以下内容，并在调用 srConnectionChanged （） hook 时允许 hook 脚本更新节点属性：

   rh1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_rh1_glob_srHook -v * -t crm_config -s SAPHanaSR
   
   rh1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_rh1_gsh -v * -l reboot -t crm_config -s SAPHanaSR Defaults:rh1adm !requiretty

   有关为什么需要默认设置的更多信息，请参阅在 管理 SAP HANA 系统复制的 Pacemaker 集群中将 srHook 属性设置为 SFAIL，即使复制处于健康状态。

4. 在成功集成后启动 SAP HANA 数据库。

   # Execute the following commands on one HANA node in every datacenter
   [root]# su - rh1adm
   [rh1adm]% sapcontrol -nr 10 -function StartSystem

5. 验证 hook 脚本是否按预期工作。执行操作，以触发 hook，如停止 HANA 实例。然后，使用以下方法检查 hook 是否记录任何内容：

   [rh1adm@dc1hana01]% cdtrace
   [rh1adm@dc1hana01]% awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
   { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_* 2018-05-04
   12:34:04.476445 ha_dr_SAPHanaSR SFAIL
   2018-05-04 12:53:06.316973 ha_dr_SAPHanaSR SOK

   有关如何验证 SAP HANA hook 是否正常工作的更多信息，请参阅使用 M_HA_DR_PROVIDERS 监控。

1. 创建约束：

   [root@dc1hana01]# pcs constraint order start rsc_SAPHanaTopology_RH1_HDB10-clone then start rsc_SAPHana_RH1_HDB10-clone

2. 将 IPaddr2 资源与提升的 SAPHana 资源共存：

   [root@dc1hana01]# pcs constraint colocation add rsc_ip_SAPHana_RH1_HDB10 with promoted rsc_SAPHana_RH1_HDB10-clone

3. 避免 大多数制造商 在集群环境中使用活跃角色：

   [root@dc1hana01]# pcs constraint location add topology-avoids-majoritymaker rsc_SAPHanaTopology_RH1_HDB10-clone majoritymaker -INFINITY resource-discovery=never
   
   [root@dc1hana01]# pcs constraint location add hana-avoids-majoritymaker rsc_SAPHana_RH1_HDB10-clone majoritymaker -INFINITY resource-discovery=never

4. 禁用 maintenance-mode ：

   在将 maintenance-mode 设置为 false 后，使用 maintenance-mode 启动资源。为避免在所有配置完成前 pacemaker 活动，我们在上述示例中使用了以上示例。默认情况下，资源会在创建后马上启动。with-disabled，您可以使用以下命令启动资源：

   [root@dc1hana01]# pcs resource enable <resource-name>

   要保留 Maintenance-mode，请使用：

   [root@dc1hana01]# pcs property set maintenance-mode=false

5. 运行以下 3 命令以验证集群环境是否正常工作：

   • pcs status 提供每个资源的概览，以及它们是否正常运行。
   • pcs status --full 提供所有资源和集群环境的额外属性信息的概述。

   • SAPHanaSR-showAttr --sid=RH1 提供了基于属性信息的可读概述。

     停用 maintenance-mode 后，会显示正确的状态。

     [root@dc1hana01]# pcs status
     Cluster name: hanascaleoutsr Stack: corosync
     Current DC: dc2hana01 (version 1.1.18-11.el7_5.4-2b07d5c5a9) - partition with quorum
     Last updated: Tue Mar 26 14:26:38 2019
     Last change: Tue Mar 26 14:25:47 2019 by root via crm_attribute on dc1hana01
     9 nodes configured
     20 resources configured
     Online: [ dc1hana01 dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 majoritymaker ]
     Full list of resources:
     
     fencing (stonith:fence_rhevm): Started dc1hana01
     Clone Set: rsc_SAPHanaTopology_RH1_HDB10-clone
     [rsc_SAPHanaTopology_RH1_HDB10]
     Started: [ dc1hana01 dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 ]
     Stopped: [ majoritymaker ] Clone Set: msl_rsc_SAPHana_RH1_HDB10 [rsc_SAPHana_RH1_HDB10] (promotable):
     Promoted: [ dc1hana01 ]
     Unpromoted: [ dc1hana02 dc1hana03 dc1hana04 dc2hana01 dc2hana02 dc2hana03 dc2hana04 ]
     Stopped: [ majoritymaker ]
     rsc_ip_SAPHana_RH1_HDB10	(ocf::heartbeat:IPaddr2): Started dc1hana01
     Daemon Status:
       corosync: active/enabled
       pacemaker: active/enabled
       pcsd: active/enabled
     
     
     [root@dc1hana01]# SAPHanaSR-showAttr --sid=RH1
     Global prim srHook sync_state
     ------------------------------
     global DC1 SOK SOK
     Sit lpt lss mns srr
     ---------------------------------
     DC1 1553607125 4 dc1hana01 P
     DC2 30 4 dc2hana01 S
     
     H clone_state roles score site
     --------------------------------------------------------
     1 PROMOTED promoted1 promoted:worker promoted 150 DC1
     2 DEMOTED promoted2:slave:worker:slave 110 DC1
     3 DEMOTED slave:slave:worker:slave -10000 DC1
     4 DEMOTED promoted3:slave:standby:standby 115 DC1
     5 DEMOTED promoted2 promoted:worker promoted 100 DC2
     6 DEMOTED promoted3:slave:worker:slave 80 DC2
     7 DEMOTED slave:slave:worker:slave -12200 DC2
     8 DEMOTED promoted1:slave:standby:standby 80 DC2
     9 :shtdown:shtdown:shtdown