第 4 章 在 AWS 上配置红帽高可用性集群

流程

1. 启动 AWS 控制台。
2. 点击 AWS Account ID 以显示下拉菜单并选择 My Security Credentials。
3. 点 Users。
4. 选择用户以打开 Summary 屏幕。
5. 点 Security credentials 选项卡。
6. 点 Create access key。
7. 下载 .csv 文件（或者保存这两个密钥）。创建隔离设备时需要输入这些密钥。

流程

1. 输入以下命令删除 AWS Red Hat Update Infrastructure（RHUI）客户端。由于您要使用 Red Hat Cloud Access 订阅,所以您不应该在订阅之外使用 AWS RHUI。

   $ sudo -i
   # yum -y remove rh-amazon-rhui-client*

   Copy to Clipboard Toggle word wrap

2. 在红帽注册虚拟机。

   # subscription-manager register --auto-attach

   Copy to Clipboard Toggle word wrap

3. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

   Copy to Clipboard Toggle word wrap

4. 启用 RHEL 7 Server 和 RHEL 7 Server HA 软件仓库。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

   Copy to Clipboard Toggle word wrap

5. 更新所有软件包。

   # yum update -y

   Copy to Clipboard Toggle word wrap

6. 如果内核被更新，则需要重启。

   # reboot

   Copy to Clipboard Toggle word wrap

7. 安装 pcs、pacemaker、隔离代理和资源代理。

   # yum -y install pcs pacemaker fence-agents-aws resource-agents

   Copy to Clipboard Toggle word wrap

8. 用户 hacluster 在上一步中的 pcs 和 pacemaker 安装中创建。在所有集群节点上为 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

   Copy to Clipboard Toggle word wrap

9. 如果启用了 firewalld.service，在 RHEL 防火墙中添加 high availability 服务。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

   Copy to Clipboard Toggle word wrap

10. 启动 pcs 服务并在引导时启用它。

    # systemctl enable pcsd.service --now

    Copy to Clipboard Toggle word wrap

流程

1. 在其中一个节点上，输入以下命令验证 pcs 用户 hacluster。指定集群中的每个节点的名称。

   # pcs host auth  _hostname1_ _hostname2_ _hostname3_

   Copy to Clipboard Toggle word wrap

   例如：

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

   Copy to Clipboard Toggle word wrap

2. 创建集群。

   # pcs cluster setup --name _hostname1_ _hostname2_ _hostname3_

   Copy to Clipboard Toggle word wrap

   例如：

   [root@node01 clouduser]# pcs cluster setup --name newcluster node01 node02 node03
   
   ...omitted
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

   Copy to Clipboard Toggle word wrap

验证步骤

1. 启用集群。

   # pcs cluster enable --all

   Copy to Clipboard Toggle word wrap

2. 启动集群。

   # pcs cluster start --all

   Copy to Clipboard Toggle word wrap

   例如：

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled
   
   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下 AWS 元数据查询以获取每个节点的实例 ID。您需要这些 ID 来配置隔离设备。如需更多信息，请参阅实例元数据和用户数据。

   # echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id)

   Copy to Clipboard Toggle word wrap

   例如：

   [root@ip-10-0-0-48 ~]# echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id) i-07f1ac63af0ec0ac6

   Copy to Clipboard Toggle word wrap

2. 创建隔离设备。使用 pcmk_host_map 命令将 RHEL 主机名映射到实例 ID。使用之前在创建 AWS 访问密钥和 AWS Secret 访问密钥中设置的 AWS 访问密钥和 AWS Secret 访问密钥。

   # pcs stonith create cluster_fence fence_aws access_key=access-key secret_key=_secret-access-key_ region=_region_ pcmk_host_map="rhel-hostname-1:Instance-ID-1;rhel-hostname-2:Instance-ID-2;rhel-hostname-3:Instance-ID-3"

   Copy to Clipboard Toggle word wrap

   例如：

   [root@ip-10-0-0-48 ~]# pcs stonith create clusterfence fence_aws access_key=AKIAI*******6MRMJA secret_key=a75EYIG4RVL3h*******K7koQ8dzaDyn5yoIZ/ region=us-east-1 pcmk_host_map="ip-10-0-0-48:i-07f1ac63af0ec0ac6;ip-10-0-0-46:i-063fc5fe93b4167b2;ip-10-0-0-58:i-08bd39eb03a6fd2c7" power_timeout=240 pcmk_reboot_timeout=480 pcmk_reboot_retries=4

   Copy to Clipboard Toggle word wrap

验证步骤

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence _awsnodename_

   Copy to Clipboard Toggle word wrap

   例如：

   [root@ip-10-0-0-48 ~]# pcs stonith fence ip-10-0-0-58
   Node: ip-10-0-0-58 fenced

   Copy to Clipboard Toggle word wrap

2. 检查状态以验证该节点是否已隔离。

   # watch pcs status

   Copy to Clipboard Toggle word wrap

   例如：

   [root@ip-10-0-0-48 ~]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: ip-10-0-0-46 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Mar  2 20:01:31 2018
   Last change: Fri Mar  2 19:24:59 2018 by root via cibadmin on ip-10-0-0-48
   
   3 nodes configured
   1 resource configured
   
   Online: [ ip-10-0-0-46 ip-10-0-0-48 ip-10-0-0-58 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_aws):    Started ip-10-0-0-46
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

   Copy to Clipboard Toggle word wrap

流程

1. 执行安装 AWS CLI 的步骤。

2. 输入以下命令验证 AWS CLI 是否已正确配置。应该会显示实例 ID 和实例名称。

   例如：

   [root@ip-10-0-0-48 ~]# aws ec2 describe-instances --output text --query 'Reservations[*].Instances[*].[InstanceId,Tags[?Key==`Name`].Value]'
   i-07f1ac63af0ec0ac6
   ip-10-0-0-48
   i-063fc5fe93b4167b2
   ip-10-0-0-46
   i-08bd39eb03a6fd2c7
   ip-10-0-0-58

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下命令查看 AWS Secondary Private IP Address 资源代理(awsvip)描述。这显示了这个代理的选项和默认操作。

   # pcs resource describe awsvip

   Copy to Clipboard Toggle word wrap

2. 输入以下命令使用 VPC CIDR 块中未使用的私有 IP 地址创建二级私有 IP 地址。

   # pcs resource create privip awsvip secondary_private_ip=_Unused-IP-Address_ --group _group-name_

   Copy to Clipboard Toggle word wrap

   例如：

   [root@ip-10-0-0-48 ~]# pcs resource create privip awsvip secondary_private_ip=10.0.0.68 --group networking-group

   Copy to Clipboard Toggle word wrap

3. 创建虚拟 IP 资源。这是一个 VPC IP 地址，可以从隔离的节点快速迁移到故障切换节点，从而使子网中隔离的节点失败。

   # pcs resource create vip IPaddr2 ip=_secondary-private-IP_ --group _group-name_

   Copy to Clipboard Toggle word wrap

   例如：

   root@ip-10-0-0-48 ~]# pcs resource create vip IPaddr2 ip=10.0.0.68 --group networking-group

   Copy to Clipboard Toggle word wrap

1. 将两个资源添加到之前创建的用来强制 order 和 colocation 约束的 同一组 中。

2. 输入以下 AWS CLI 命令来创建弹性 IP 地址。

   [root@ip-10-0-0-48 ~]# aws ec2 allocate-address --domain vpc --output text
   eipalloc-4c4a2c45   vpc 35.169.153.122

   Copy to Clipboard Toggle word wrap

3. 输入以下命令查看 AWS 二级 Elastic IP 地址资源代理(awseip)描述。这显示了这个代理的选项和默认操作。

   # pcs resource describe awseip

   Copy to Clipboard Toggle word wrap

4. 使用步骤 1 中创建的分配的 IP 地址创建二级 Elastic IP 地址资源。

   # pcs resource create elastic awseip elastic_ip=_Elastic-IP-Address_allocation_id=_Elastic-IP-Association-ID_ --group networking-group

   Copy to Clipboard Toggle word wrap

   例如：

   # pcs resource create elastic awseip elastic_ip=35.169.153.122 allocation_id=eipalloc-4c4a2c45 --group networking-group

   Copy to Clipboard Toggle word wrap

流程

1. 从本地工作站启动 SSH 会话到之前创建的弹性 IP 地址。

   $ ssh -l ec2-user -i ~/.ssh/<KeyName>.pem elastic-IP

   Copy to Clipboard Toggle word wrap

   例如：

   $ ssh -l ec2-user -i ~/.ssh/cluster-admin.pem 35.169.153.122

   Copy to Clipboard Toggle word wrap
2. 验证您通过 SSH 连接到的主机是否与创建的弹性资源关联。

流程

1. 使用 AWS 命令 create-volume 创建共享块卷。

   $ aws ec2 create-volume --availability-zone availability_zone --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled

   Copy to Clipboard Toggle word wrap

   例如，以下命令在 us-east-1a 可用区中创建卷。

   $ aws ec2 create-volume --availability-zone us-east-1a --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled
   
   {
       "AvailabilityZone": "us-east-1a",
       "CreateTime": "2020-08-27T19:16:42.000Z",
       "Encrypted": false,
       "Size": 1024,
       "SnapshotId": "",
       "State": "creating",
       "VolumeId": "vol-042a5652867304f09",
       "Iops": 51200,
       "Tags": [ ],
       "VolumeType": "io1"
   }

   Copy to Clipboard Toggle word wrap
   注意

   下一步需要 VolumeId。

2. 对于集群中的每个实例，使用 AWS 命令 attach-volume 附加一个共享块卷。使用您的 <instance_id> 和 <volume_id>。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id instance_id --volume-id volume_id

   Copy to Clipboard Toggle word wrap

   例如：以下命令将共享块卷 vol-042a5652867304f09 附加到 instance i-0eb803361c2c887f2。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id i-0eb803361c2c887f2 --volume-id vol-042a5652867304f09
   
   {
       "AttachTime": "2020-08-27T19:26:16.086Z",
       "Device": "/dev/xvdd",
       "InstanceId": "i-0eb803361c2c887f2",
       "State": "attaching",
       "VolumeId": "vol-042a5652867304f09"
   }

   Copy to Clipboard Toggle word wrap

验证步骤

1. 对于集群中的每个实例，使用带有实例 <ip_address> 的 SSH 命令验证块设备是否可用。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   Copy to Clipboard Toggle word wrap

   例如：以下命令列出了包括实例 IP 198.51.100.3 的主机名和块设备的详情。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   nvme2n1 259:1    0   1T  0 disk

   Copy to Clipboard Toggle word wrap

2. 使用 ssh 命令验证集群中的每个实例是否使用相同的共享磁盘。

   # ssh ip_address "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   Copy to Clipboard Toggle word wrap

   例如，以下命令列出了包括实例 IP 地址 198.51.100.3 的主机名和共享磁盘卷 ID 的详情。

    # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=Amazon Elastic Block Store_vol0fa5342e7aedf09f7

   Copy to Clipboard Toggle word wrap