配置和管理高可用性集群

流程

1. 从运行 RHEL web 控制台的系统登录到控制台，并安装 HA 集群管理附加组件应用程序。详情请参阅“在 RHEL web 控制台中管理系统”文档中的 RHEL web 控制台的附加应用程序。

2. 在每个集群节点上，从 High Availability 渠道安装 Red Hat High Availability 隔离代理。

   # dnf install fence-agents-all

   您只能使用以下命令安装所需的隔离代理。

   # dnf install fence-agents-model

3. 在每个集群节点上，确保 pcsd 服务正在运行。

   # systemctl status pcsd.service

   如果 pcsd 服务没有在集群节点上运行，请输入以下命令启动 pcsd 服务，并在系统启动时启用它。

   # systemctl enable --now pcsd.service

4. 确保您已登录到 RHEL web 控制台。要使用 RHEL web 控制台创建集群，用于登录到 web 控制台的用户帐户必须有 sudo 访问系统的权限。

   注意

   hacluster 用户帐户是 Pacemaker 服务帐户，您不能使用此帐户登录到 RHEL web 控制台。

5. 在 RHEL web 控制台中，切换到管理访问模式。有关管理访问模式的详情，请参考“在 RHEL web 控制台中管理系统“文档中的 web 控制台中的管理访问权限。

   注意

   只有具有 sudo 访问权限的用户可以创建集群，并将节点添加到现有集群中。创建集群后，haclient 组中的用户默认可以管理集群和更改权限。有关向需要它们的任何其他用户和组授予不同权限的详情，或修改默认的 haclient 权限，请参考 授予 HA 集群管理权限。

流程

1. 使用具有 sudo 访问系统权限的帐户登录到 RHEL web 控制台，并确保您处于管理访问模式。有关管理访问模式的详情，请参考“在 RHEL web 控制台中的管理系统“文档中的 web 控制台中的管理访问权限。

   或者，使用对您要管理的集群授予了权限的帐户登录到 RHEL web 控制台。帐户必须是 haclient 组的成员，才能在有限的访问模式中看到 HA 集群 Web 控制台附加组件。

2. 从集群列表中选择您要为其管理权限的集群。
3. 在集群详情中，单击页面顶部的 Permissions 选项卡，再选择 Create Permission。
4. 为用户或组添加、删除或编辑权限。
5. 默认情况下，任何拥有 haclient 组成员帐户的用户都有 read、write 和 grant 权限。在 Permissions 页面中，如果您在 web 控制台中有管理访问权限，或者有 grant 权限，则您可以删除此权限。

流程

1. 在集群的每个节点中，启用与您的系统架构对应的高可用性存储库。例如，要为 x86_64 系统启用高可用性存储库，您可以输入以下 subscription-manager 命令：

   # subscription-manager repos --enable=rhel-10-for-x86_64-highavailability-rpms

2. 在集群的每个节点中，安装 Red Hat High Availability Add-On 软件包，以及 High Availability 性频道中的所有可用的隔离代理。

   # dnf install pcs pacemaker fence-agents-all

   另外，您可以使用以下命令安装 Red Hat High Availability Add-On 软件包，并只安装您需要的隔离代理。

   # dnf install pcs pacemaker fence-agents-model

   以下命令显示可用隔离代理列表。

   # rpm -q -a | grep fence
   fence-agents-rhevm-4.0.2-3.el7.x86_64
   fence-agents-ilo-mp-4.0.2-3.el7.x86_64
   fence-agents-ipmilan-4.0.2-3.el7.x86_64
   ...

   警告

   在安装 the Red Hat High Availability Add-On 软件包后，需要确定设置了软件更新首选项，以便不会自动安装任何软件。在正在运行的集群上安装可能会导致意外行为。如需更多信息，请参阅红帽知识库文章 将软件更新应用到 RHEL 高可用性或弹性存储集群的推荐的做法。

3. 如果您正在运行 firewalld 守护进程，请执行以下命令启用红帽高可用性附加组件所需的端口。

   注意

   您可以使用 rpm -q firewalld 命令确定系统上是否安装了 firewalld 守护进程。如果已安装，您可以使用 firewall-cmd --state 命令确定它是否正在运行。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --add-service=high-availability

   注意

   集群组件的理想防火墙配置取决于本地环境，您可能需要考虑节点是否有多个网络接口或主机外防火墙是否存在。在此示例中打开 Pacemaker 集群通常所需的端口，您需要根据具体情况进行修改。为高可用性附加组件启用端口显示为红帽高可用性附加组件启用的端口，并提供每个端口的用途信息。

4. 要使用 pcs 配置集群并在节点间通信，您必须在每个节点中为用户 ID hacluster（即 pcs 管理帐户）设置密码。建议每个节点上的用户 hacluster 的密码都相同。

   # passwd hacluster
   Changing password for user hacluster.
   New password:
   Retype new password:
   passwd: all authentication tokens updated successfully.

5. 在配置集群前，必须启动并启用 pcsd 守护进程，以便在每个节点上启动。此守护进程与 pcs 命令配合使用，以管理集群中跨节点的配置。

   在集群的每个节点上执行以下命令启动 pcsd 服务并在系统启动时启用 pcsd。

   # systemctl start pcsd.service
   # systemctl enable pcsd.service

流程

1. 在要运行 pcs 的节点上，为集群中的每个节点验证 pcs 用户 hacluster。

   以下命令在 z1.example.com 上为双节点集群（由 z1.example.com 和 z2.example.com 组成）中的两个节点验证用户 hacluster。

   [root@z1 ~]# pcs host auth z1.example.com z2.example.com
   Username: hacluster
   Password:
   z1.example.com: Authorized
   z2.example.com: Authorized

2. 从 z1.example.com 执行以下命令，以创建由 z1.example.com 和 z2.example.com 组成的双节点集群 my_cluster。这会将集群配置文件传播到集群中的两个节点。此命令包含 --start 选项，该选项将在集群的两个节点上启动群集服务。

   [root@z1 ~]# pcs cluster setup my_cluster --start z1.example.com z2.example.com

3. 在节点引导时，启用集群服务在集群中的每个节点上运行。

   注意

   对于特定的环境，您可以通过禁用集群服务来跳过此步骤。如果启用且节点停机，在节点重新加入集群前，集群或资源中的任何问题都会被解决。如果禁用了集群服务，则需要在重新引导节点时手动启动该服务，方法是在该节点上执行 pcs cluster start 命令。

   [root@z1 ~]# pcs cluster enable --all

4. 使用 pcs cluster status 命令显示您创建的集群的状态。因为在使用 pcs cluster setup 命令的- start 选项启动集群服务时，集群启动和运行可能会有一些延迟，所以您应该确保在集群及其配置上执行后续操作前集群已启动并运行。

   [root@z1 ~]# pcs cluster status
   Cluster Status:
    Stack: corosync
    Current DC: z2.example.com (version 2.0.0-10.el8-b67d8d0de9) - partition with quorum
    Last updated: Thu Oct 11 16:11:18 2018
    Last change: Thu Oct 11 16:11:00 2018 by hacluster via crmd on z2.example.com
    2 Nodes configured
    0 Resources configured
   
   ...

流程

1. 创建隔离设备。请注意，您可以在为节点指定主机名时使用 IP 地址。

   [root@z1 ~]# pcs stonith create myapc fence_apc_snmp ipaddr="zapc.example.com" pcmk_host_map="z1.example.com:1;z2.example.com:2" login="apc" passwd="apc"

2. 显示您创建的隔离设备的参数。

   [root@rh7-1 ~]# pcs stonith config myapc
    Resource: myapc (class=stonith type=fence_apc_snmp)
     Attributes: ipaddr=zapc.example.com pcmk_host_map=z1.example.com:1;z2.example.com:2 login=apc passwd=apc
     Operations: monitor interval=60s (myapc-monitor-interval-60s)

   配置了隔离设备后，您应该测试该设备。有关测试隔离设备的详情，请参考 测试隔离设备。

   注意

   不要通过禁用网络接口来测试您的隔离设备，因为这不会正确测试隔离功能。

   注意

   当配置了隔离功能，且启动集群后，网络重启会触发节点的隔离，即使没有超过超时时间也会重启网络。因此，不要在集群服务运行时重启网络服务，因为它将在节点上触发意外隔离。

流程

1. 在集群的两个节点中，执行以下步骤将 LVM 系统 ID 的值设置为系统的 uname 标识符值。LVM 系统 ID 将用于确保只有集群可以激活卷组。

   1. 将 /etc/lvm/lvm.conf 配置文件中的 system_id_source 配置选项设置为 uname。

      # Configuration option global/system_id_source.
      system_id_source = "uname"

   2. 验证节点上的 LVM 系统 ID 是否与节点的 uname 匹配。

      # lvm systemid
        system ID: z1.example.com
      # uname -n
        z1.example.com

2. 创建 LVM 卷并在该卷上创建一个 XFS 文件系统。由于 /dev/sdb1 分区是共享的存储，因此您只在一个节点中执行这个操作过程。

   1. 在分区 /dev/sdb1 上创建一个 LVM 物理卷。

      [root@z1 ~]# pvcreate /dev/sdb1
        Physical volume "/dev/sdb1" successfully created

   2. 创建由物理卷 /dev/sdb1 组成的卷组 my_vg。

      指定 --setautoactivation n 标志，以确保集群中 Pacemaker 管理的卷组在启动时不会自动激活。如果您要为要创建的 LVM 卷使用现有卷组，您可以使用 vgchange --setautoactivation n 命令为卷组重置此标记。

      [root@z1 ~]# vgcreate --setautoactivation n my_vg /dev/sdb1
        Volume group "my_vg" successfully created

      注意

      如果您的 LVM 卷组包含一个或多个位于远程块存储上的物理卷，如 iSCSI 目标，红帽建议您确保服务在 Pacemaker 启动前启动。有关为 Pacemaker 集群使用的远程物理卷配置启动顺序的详情，请参考 为不由 Pacemaker 管理的资源依赖项配置启动顺序。

   3. 确认新卷组带有您要运行的节点的系统 ID，并从这个节点中创建卷组。

      [root@z1 ~]# vgs -o+systemid
        VG    #PV #LV #SN Attr   VSize  VFree  System ID
        my_vg   1   0   0 wz--n- <1.82t <1.82t z1.example.com

   4. 使用卷组 my_vg 创建逻辑卷。

      [root@z1 ~]# lvcreate -L450 -n my_lv my_vg
        Rounding up size to full physical extent 452.00 MiB
        Logical volume "my_lv" created

      您可以使用 lvs 命令显示逻辑卷。

      [root@z1 ~]# lvs
        LV      VG      Attr      LSize   Pool Origin Data%  Move Log Copy%  Convert
        my_lv   my_vg   -wi-a---- 452.00m
        ...

   5. 在逻辑卷 my_lv 上创建一个 XFS 文件系统。

      [root@z1 ~]# mkfs.xfs /dev/my_vg/my_lv
      meta-data=/dev/my_vg/my_lv       isize=512    agcount=4, agsize=28928 blks
               =                       sectsz=512   attr=2, projid32bit=1
      ...

3. 如果设备文件的使用是通过 lvm.conf 文件中的 use_devicesfile = 1 参数启用的，请将共享设备添加到集群中第二个节点上的设备文件中。此功能默认为启用。

   [root@z2 ~]# lvmdevices --adddev /dev/sdb1

流程

1. 确定在集群的每个节点中安装了 Apache HTTP Server。您还需要在集群中安装 wget 工具才能检查 Apache HTTP 服务器的状态。

   在每个节点上执行以下命令。

   # dnf install -y httpd wget

   如果您在集群的每个节点上运行的 firewalld 守护进程启用了红帽高可用性附加组件所需的端口，并启用了运行 httpd 所需的端口。这个示例启用了 httpd 端口进行公共访问，但为 httpd 启用的特定端口可能会因生产用途而异。

   # firewall-cmd --permanent --add-service=http
   # firewall-cmd --permanent --zone=public --add-service=http
   # firewall-cmd --reload

2. 要让 Apache 资源代理获得 Apache 状态，集群中的每个节点都会在现有配置之外创建一个新的配置来启用状态服务器 URL。

   # cat <<-END > /etc/httpd/conf.d/status.conf
   <Location /server-status>
       SetHandler server-status
       Require local
   </Location>
   END

3. 为 Apache 创建网页供服务。

   在集群的一个节点上，确保您 在 Pacemaker 集群中配置一个具有 XFS 文件系统的 LVM 卷 时创建的逻辑卷已被激活，挂载您在该逻辑卷上创建的文件系统，在该文件系统上创建文件 index.html，然后卸载文件系统。

   # lvchange -ay my_vg/my_lv
   # mount /dev/my_vg/my_lv /var/www/
   # mkdir /var/www/html
   # mkdir /var/www/cgi-bin
   # mkdir /var/www/error
   # restorecon -R /var/www
   # cat <<-END >/var/www/html/index.html
   <html>
   <body>Hello</body>
   </html>
   END
   # umount /var/www

1. 名为 my_lvm 的 LVM-activate 资源使用您 在Pacemaker 集群中配置具有 XFS 文件系统的 LVM 卷 时创建的 LVM 卷组。
2. 名为 my_fs 的 Filesystem 资源，它使用您 在 Pacemaker 集群中配置具有 XFS 文件系统的 LVM 卷 时创建的文件系统设备 /dev/my_vg/my_lv。
3. IPaddr2 资源，它是 apachegroup 资源组的浮动 IP 地址。IP 地址不能是一个已经与物理节点关联的 IP 地址。如果没有指定 IPaddr2 资源的 NIC 设备，浮动 IP 必须与节点静态分配的 IP 地址之一位于同一个网络中，否则无法正确检测到分配浮动 IP 地址的 NIC 设备。
4. 名为 website 的 apache 资源，它使用 index.html 文件和您在配置 Apache HTTP 服务器中定义的 Apache 配置。

流程

1. 以下命令创建 LVM-activate 资源 my_lvm。由于资源组 apachegroup 尚不存在，这个命令会创建资源组。

   注意

   不要配置多于一个的在主动/被动 HA 配置中使用相同 LVM 卷组的 LVM-activate 资源，因为这可能导致数据崩溃。另外，不要在主动/被动 HA 配置中将 LVM-activate 资源配置为克隆资源。

   [root@z1 ~]# pcs resource create my_lvm ocf:heartbeat:LVM-activate vgname=my_vg vg_access_mode=system_id --group apachegroup

   当您创建资源时，会自动启动该资源。您可以使用以下命令确认资源已创建并启动。

   # pcs resource status
    Resource Group: apachegroup
        my_lvm	(ocf::heartbeat:LVM-activate):	Started

   您可以使用 pcs resource disable 和 pcs resource enable 命令手动停止和启动单独的资源。

2. 以下命令为配置创建剩余的资源，将它们添加到现有资源组 apachegroup 中。

   [root@z1 ~]# pcs resource create my_fs Filesystem device="/dev/my_vg/my_lv" directory="/var/www" fstype="xfs" --group apachegroup
   
   [root@z1 ~]# pcs resource create VirtualIP IPaddr2 ip=198.51.100.3 cidr_netmask=24 --group apachegroup
   
   [root@z1 ~]# pcs resource create Website apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status" --group apachegroup

3. 创建资源和包含这些资源的资源组后，您可以检查集群的状态。请注意，所有四个资源都在同一个节点上运行。

   [root@z1 ~]# pcs status
   Cluster name: my_cluster
   Last updated: Wed Jul 31 16:38:51 2013
   Last change: Wed Jul 31 16:42:14 2013 via crm_attribute on z1.example.com
   Stack: corosync
   Current DC: z2.example.com (2) - partition with quorum
   Version: 1.1.10-5.el7-9abe687
   2 Nodes configured
   6 Resources configured
   
   Online: [ z1.example.com z2.example.com ]
   
   Full list of resources:
    myapc	(stonith:fence_apc_snmp):	Started z1.example.com
    Resource Group: apachegroup
        my_lvm	(ocf::heartbeat:LVM-activate):	Started z1.example.com
        my_fs	(ocf::heartbeat:Filesystem):	Started z1.example.com
        VirtualIP	(ocf::heartbeat:IPaddr2):	Started z1.example.com
        Website	(ocf::heartbeat:apache):	Started z1.example.com

   请注意，如果您还没有为集群配置隔离设备，默认情况下资源不会启动。

4. 当集群启动并运行后，您可以将浏览器指向定义为 IPaddr2 资源，查看示例显示，包括一个简单的单词 "Hello"。

   Hello

   如果发现配置的资源没有运行，则您可以运行 pcs resource debug-start resource 命令来测试资源配置。

5. 当您使用 apache 资源代理来管理 Apache 时，它不会使用 systemd。因此，您必须编辑 Apache 提供的 logrotate 脚本，使其不使用 systemctl 重新加载 Apache。

   在集群中的每个节点上删除 /etc/logrotate.d/httpd 文件中的以下行：

   /bin/systemctl reload httpd.service > /dev/null 2>/dev/null || true

   使用以下三行替换您删除的行，将 /var/run/httpd-website.pid 指定为 PID 文件路径，其中 website 是 Apache 资源的名称。在本例中，Apache 资源名称是 Website。

   /usr/bin/test -f /var/run/httpd-Website.pid >/dev/null 2>/dev/null &&
   /usr/bin/ps -q $(/usr/bin/cat /var/run/httpd-Website.pid) >/dev/null 2>/dev/null &&
   /usr/sbin/httpd -f /etc/httpd/conf/httpd.conf -c "PidFile /var/run/httpd-Website.pid" -k graceful > /dev/null 2>/dev/null || true

流程

1. 以下命令将节点 z1.example.com 置于待机模式下。

   [root@z1 ~]# pcs node standby z1.example.com

2. 将节点 z1 置于待机模式后，检查集群状态。请注意，这些资源现在都应在 z2 中运行。

   [root@z1 ~]# pcs status
   Cluster name: my_cluster
   Last updated: Wed Jul 31 17:16:17 2013
   Last change: Wed Jul 31 17:18:34 2013 via crm_attribute on z1.example.com
   Stack: corosync
   Current DC: z2.example.com (2) - partition with quorum
   Version: 1.1.10-5.el7-9abe687
   2 Nodes configured
   6 Resources configured
   
   Node z1.example.com (1): standby
   Online: [ z2.example.com ]
   
   Full list of resources:
   
    myapc	(stonith:fence_apc_snmp):	Started z1.example.com
    Resource Group: apachegroup
        my_lvm	(ocf::heartbeat:LVM-activate):	Started z2.example.com
        my_fs	(ocf::heartbeat:Filesystem):	Started z2.example.com
        VirtualIP	(ocf::heartbeat:IPaddr2):	Started z2.example.com
        Website	(ocf::heartbeat:apache):	Started z2.example.com

   定义的 IP 地址的网页仍会显示，而不中断。

3. 要从 待机 模式中删除 z1，请输入以下命令。

   [root@z1 ~]# pcs node unstandby z1.example.com

   注意

   从 待机 模式中删除节点本身不会导致资源切换到该节点。这将依赖于资源的 resource-stickiness 值。有关 resource-stickiness 元属性的详情，请参考 配置资源以首选其当前节点。

流程

1. 在集群的两个节点中，执行以下步骤将 LVM 系统 ID 的值设置为系统的 uname 标识符值。LVM 系统 ID 将用于确保只有集群可以激活卷组。

   1. 将 /etc/lvm/lvm.conf 配置文件中的 system_id_source 配置选项设置为 uname。

      # Configuration option global/system_id_source.
      system_id_source = "uname"

   2. 验证节点上的 LVM 系统 ID 是否与节点的 uname 匹配。

      # lvm systemid
        system ID: z1.example.com
      # uname -n
        z1.example.com

2. 创建 LVM 卷并在该卷上创建一个 XFS 文件系统。由于 /dev/sdb1 分区是共享的存储，因此您只在一个节点中执行这个操作过程。

   1. 在分区 /dev/sdb1 上创建一个 LVM 物理卷。

      [root@z1 ~]# pvcreate /dev/sdb1
        Physical volume "/dev/sdb1" successfully created

   2. 创建由物理卷 /dev/sdb1 组成的卷组 my_vg。

      指定 --setautoactivation n 标志，以确保集群中 Pacemaker 管理的卷组在启动时不会自动激活。如果您要为要创建的 LVM 卷使用现有卷组，您可以使用 vgchange --setautoactivation n 命令为卷组重置此标记。

      [root@z1 ~]# vgcreate --setautoactivation n my_vg /dev/sdb1
        Volume group "my_vg" successfully created

      注意

      如果您的 LVM 卷组包含一个或多个位于远程块存储上的物理卷，如 iSCSI 目标，红帽建议您确保服务在 Pacemaker 启动前启动。有关为 Pacemaker 集群使用的远程物理卷配置启动顺序的详情，请参考 为不由 Pacemaker 管理的资源依赖项配置启动顺序。

   3. 确认新卷组带有您要运行的节点的系统 ID，并从这个节点中创建卷组。

      [root@z1 ~]# vgs -o+systemid
        VG    #PV #LV #SN Attr   VSize  VFree  System ID
        my_vg   1   0   0 wz--n- <1.82t <1.82t z1.example.com

   4. 使用卷组 my_vg 创建逻辑卷。

      [root@z1 ~]# lvcreate -L450 -n my_lv my_vg
        Rounding up size to full physical extent 452.00 MiB
        Logical volume "my_lv" created

      您可以使用 lvs 命令显示逻辑卷。

      [root@z1 ~]# lvs
        LV      VG      Attr      LSize   Pool Origin Data%  Move Log Copy%  Convert
        my_lv   my_vg   -wi-a---- 452.00m
        ...

   5. 在逻辑卷 my_lv 上创建一个 XFS 文件系统。

      [root@z1 ~]# mkfs.xfs /dev/my_vg/my_lv
      meta-data=/dev/my_vg/my_lv       isize=512    agcount=4, agsize=28928 blks
               =                       sectsz=512   attr=2, projid32bit=1
      ...

3. 如果设备文件的使用是通过 lvm.conf 文件中的 use_devicesfile = 1 参数启用的，请将共享设备添加到集群中第二个节点上的设备文件中。此功能默认为启用。

   [root@z2 ~]# lvmdevices --adddev /dev/sdb1

流程

1. 在集群的两个节点上都创建 /nfsshare 目录。

   # mkdir /nfsshare

2. 在集群的一个节点上执行以下步骤。

   1. 确保您 在 Pacemaker 集群中配置具有 XFS 文件系统的 LVM 卷 时创建的逻辑卷已被激活，然后在 /nfsshare 目录上挂载您在逻辑卷上创建的文件系统。

      [root@z1 ~]# lvchange -ay my_vg/my_lv
      [root@z1 ~]# mount /dev/my_vg/my_lv /nfsshare

   2. 在 /nfsshare 目录上创建 exports 目录树。

      [root@z1 ~]# mkdir -p /nfsshare/exports
      [root@z1 ~]# mkdir -p /nfsshare/exports/export1
      [root@z1 ~]# mkdir -p /nfsshare/exports/export2

   3. 将文件放到 exports 目录中，以便 NFS 客户端进行访问。在本例中，我们创建了名为 clientdatafile1 和 clientdatafile2 的测试文件。

      [root@z1 ~]# touch /nfsshare/exports/export1/clientdatafile1
      [root@z1 ~]# touch /nfsshare/exports/export2/clientdatafile2

   4. 卸载文件系统并停用 LVM 卷组。

      [root@z1 ~]# umount /dev/my_vg/my_lv
      [root@z1 ~]# vgchange -an my_vg

流程

1. 创建名为 my_lvm 的 LVM 激活资源。由于资源组 nfsgroup 尚不存在，这个命令会创建资源组。

   警告

   不要配置多于一个的在主动/被动 HA 配置中使用相同 LVM 卷组的 LVM-activate 资源，因为这可能导致数据崩溃。另外，不要在主动/被动 HA 配置中将 LVM-activate 资源配置为克隆资源。

   [root@z1 ~]# pcs resource create my_lvm ocf:heartbeat:LVM-activate vgname=my_vg vg_access_mode=system_id --group nfsgroup

2. 检查集群的状态，以验证资源是否在运行。

   root@z1 ~]#  pcs status
   Cluster name: my_cluster
   Last updated: Thu Jan  8 11:13:17 2015
   Last change: Thu Jan  8 11:13:08 2015
   Stack: corosync
   Current DC: z2.example.com (2) - partition with quorum
   Version: 1.1.12-a14efad
   2 Nodes configured
   3 Resources configured
   
   Online: [ z1.example.com z2.example.com ]
   
   Full list of resources:
    myapc  (stonith:fence_apc_snmp):       Started z1.example.com
    Resource Group: nfsgroup
        my_lvm     (ocf::heartbeat:LVM-activate):   Started z1.example.com
   
   PCSD Status:
     z1.example.com: Online
     z2.example.com: Online
   
   Daemon Status:
     corosync: active/enabled
     pacemaker: active/enabled
     pcsd: active/enabled

3. 为集群配置 Filesystem 资源。

   以下命令配置一个名为 nfsshare 的 XFS Filesystem 资源配置，来作为 nfsgroup 资源组的一部分。这个文件系统使用您 在集群中配置具有 XFS 文件系统的 LVM 卷 时创建的 LVM 卷组和 XFS 文件系统，并将挂载到您在 配置 NFS 共享 中创建的 /nfsshare 目录上。

   [root@z1 ~]# pcs resource create nfsshare Filesystem device=/dev/my_vg/my_lv directory=/nfsshare fstype=xfs --group nfsgroup

   您可以使用 options=options 参数将挂载选项指定为 Filesystem 资源的资源配置的一部分。运行 pcs resource describe Filesystem 命令以了解完整的配置选项。

4. 验证 my_lvm 和 nfsshare 资源是否正在运行。

   [root@z1 ~]# pcs status
   ...
   Full list of resources:
    myapc  (stonith:fence_apc_snmp):       Started z1.example.com
    Resource Group: nfsgroup
        my_lvm     (ocf::heartbeat:LVM-activate):   Started z1.example.com
        nfsshare   (ocf::heartbeat:Filesystem):    Started z1.example.com
   ...

5. 创建名为 nfs-daemon 的 nfsserver 资源，作为资源组nfsgroup 的一部分。

   注意

   nfsserver 资源允许您指定 nfs_shared_infodir 参数，它是一个 NFS 服务器用于存储与 NFS 相关的有状态信息的目录。

   建议将此属性设置为您在这个导出集合中创建的 Filesystem 资源的子目录。这样可确保 NFS 服务器将其有状态的信息存储在需要重新定位资源组时可供另一个节点使用的设备中。在这个示例中;

   • /nfsshare 是由 Filesystem 资源管理的 shared-storage 目录
   • /nfsshare/exports/export1 和 /nfsshare/exports/export2 是导出目录
   • /nfsshare/nfsinfo 是 nfsserver 资源的共享目录

   [root@z1 ~]# pcs resource create nfs-daemon nfsserver nfs_shared_infodir=/nfsshare/nfsinfo nfs_no_notify=true --group nfsgroup
   
   [root@z1 ~]# pcs status
   ...

6. 添加 exportfs 资源以导出 /nfsshare/exports 目录。这些资源是 nfsgroup 资源组的一部分。这为 NFSv4 客户端构建了一个虚拟目录。NFSv3 客户端也可以访问这些导出。

   注意

   只有在您要为 NFSv4 客户端创建虚拟目录时才需要 fsid=0 选项。如需更多信息，请参阅红帽知识库解决方案 如何在 NFS 服务器的 /etc/exports 文件中配置 fsid 选项？

   [root@z1 ~]# pcs resource create nfs-root exportfs clientspec=192.168.122.0/255.255.255.0 options=rw,sync,no_root_squash directory=/nfsshare/exports fsid=0 --group nfsgroup
   
   [root@z1 ~]# pcs resource create nfs-export1 exportfs clientspec=192.168.122.0/255.255.255.0 options=rw,sync,no_root_squash directory=/nfsshare/exports/export1 fsid=1 --group nfsgroup
   
   [root@z1 ~]# pcs resource create nfs-export2 exportfs clientspec=192.168.122.0/255.255.255.0 options=rw,sync,no_root_squash directory=/nfsshare/exports/export2 fsid=2 --group nfsgroup

7. 添加 NFS 客户端用来访问 NFS 共享的浮动 IP 地址资源。这个资源是资源组 nfsgroup 的一部分。在本示例部署中，我们使用 192.168.122.200 作为浮动 IP 地址。

   [root@z1 ~]# pcs resource create nfs_ip IPaddr2 ip=192.168.122.200 cidr_netmask=24 --group nfsgroup

8. 添加 nfsnotify 资源，以便在整个 NFS 部署初始化后发送 NFSv3 重启通知。这个资源是资源组 nfsgroup 的一部分。

   注意

   为了正确处理 NFS 通知，浮动 IP 地址必须具有与其关联的主机名，在 NFS 服务器和 NFS 客户端中都一致。

   [root@z1 ~]# pcs resource create nfs-notify nfsnotify source_host=192.168.122.200 --group nfsgroup

9. 在创建资源和资源限制后，您可以检查集群的状态。请注意，所有资源都在同一个节点上运行。

   [root@z1 ~]# pcs status
   ...
   Full list of resources:
    myapc  (stonith:fence_apc_snmp):       Started z1.example.com
    Resource Group: nfsgroup
        my_lvm     (ocf::heartbeat:LVM-activate):   Started z1.example.com
        nfsshare   (ocf::heartbeat:Filesystem):    Started z1.example.com
        nfs-daemon (ocf::heartbeat:nfsserver):     Started z1.example.com
        nfs-root   (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs-export1        (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs-export2        (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs_ip     (ocf::heartbeat:IPaddr2):       Started  z1.example.com
        nfs-notify (ocf::heartbeat:nfsnotify):     Started z1.example.com
   ...

1. 如果您在集群节点上运行 firewalld 守护进程，请确保在所有节点上都启用了 NFS 访问所需的端口。

2. 在与部署位于同一个网络中的、位于集群以外的一个节点中，通过挂载 NFS 共享来确定 NFS 共享。在本例中，我们使用 192.168.122.0/24 网络。

   # showmount -e 192.168.122.200
   Export list for 192.168.122.200:
   /nfsshare/exports/export1 192.168.122.0/255.255.255.0
   /nfsshare/exports         192.168.122.0/255.255.255.0
   /nfsshare/exports/export2 192.168.122.0/255.255.255.0

3. 要验证您可以用 NFSv4 挂载 NFS 共享，将 NFS 共享挂载到客户端节点的目录中。挂载后，请确定导出目录的内容是可见的。测试后卸载共享。

   # mkdir nfsshare
   # mount -o "vers=4" 192.168.122.200:export1 nfsshare
   # ls nfsshare
   clientdatafile1
   # umount nfsshare

4. 确定您可以用 NFSv3 挂载 NFS 共享。挂载后，验证测试文件 clientdatafile1 可见。和 NFSv4 不同，因为 NFSv3 不使用虚拟文件系统，所以您必须挂载一个特定的导出。测试后卸载共享。

   # mkdir nfsshare
   # mount -o "vers=3" 192.168.122.200:/nfsshare/exports/export2 nfsshare
   # ls nfsshare
   clientdatafile2
   # umount nfsshare

1. 在集群外的节点上挂载 NFS 共享，并验证访问您在配置 NFS 共享中创建的 clientdatafile1 文件。

   # mkdir nfsshare
   # mount -o "vers=4" 192.168.122.200:export1 nfsshare
   # ls nfsshare
   clientdatafile1

2. 在集群的一个节点中，确定集群中的哪个节点正在运行 nfsgroup。在本例中，nfsgroup 在 z1.example.com 上运行。

   [root@z1 ~]# pcs status
   ...
   Full list of resources:
    myapc  (stonith:fence_apc_snmp):       Started z1.example.com
    Resource Group: nfsgroup
        my_lvm     (ocf::heartbeat:LVM-activate):   Started z1.example.com
        nfsshare   (ocf::heartbeat:Filesystem):    Started z1.example.com
        nfs-daemon (ocf::heartbeat:nfsserver):     Started z1.example.com
        nfs-root   (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs-export1        (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs-export2        (ocf::heartbeat:exportfs):      Started z1.example.com
        nfs_ip     (ocf::heartbeat:IPaddr2):       Started  z1.example.com
        nfs-notify (ocf::heartbeat:nfsnotify):     Started z1.example.com
   ...

3. 在集群的一个节点中，将运行 nfsgroup 的节点设置为待机模式。

   [root@z1 ~]# pcs node standby z1.example.com

4. 验证 nfsgroup 是否在其他集群节点上成功启动。

   [root@z1 ~]# pcs status
   ...
   Full list of resources:
    Resource Group: nfsgroup
        my_lvm     (ocf::heartbeat:LVM-activate):   Started z2.example.com
        nfsshare   (ocf::heartbeat:Filesystem):    Started z2.example.com
        nfs-daemon (ocf::heartbeat:nfsserver):     Started z2.example.com
        nfs-root   (ocf::heartbeat:exportfs):      Started z2.example.com
        nfs-export1        (ocf::heartbeat:exportfs):      Started z2.example.com
        nfs-export2        (ocf::heartbeat:exportfs):      Started z2.example.com
        nfs_ip     (ocf::heartbeat:IPaddr2):       Started  z2.example.com
        nfs-notify (ocf::heartbeat:nfsnotify):     Started z2.example.com
   ...

5. 在您挂载了 NFS 共享的集群之外的节点中，确认这个外部节点仍然可以访问 NFS 挂载中的测试文件。

   # ls nfsshare
   clientdatafile1

   在故障转移的过程中，服务可能会在短暂时间内不可用，但可以在没有用户干预的情况下恢复。默认情况下，使用 NFSv4 的客户端可能最多需要 90 秒恢复该挂载。这个 90 秒代表服务器启动时观察到的 NFSv4 文件租期的宽限期。NFSv3 客户端应该在几秒钟内就可以恢复对该挂载的访问。

6. 从集群中的一个节点中，将最初运行 nfsgroup 的节点从待机模式中删除。

   注意

   从 待机 模式中删除节点本身不会导致资源切换到该节点。这将依赖于资源的 resource-stickiness 值。有关 resource-stickiness 元属性的详情，请参考 配置资源以首选其当前节点。

   [root@z1 ~]# pcs node unstandby z1.example.com

流程

1. 使用 SSH、Telnet、HTTP 或者用来连接到设备的任何远程协议，来手动登录并测试隔离设备，或者查看给出的输出。例如，如果您要为启用了 IPMI 的设备配置隔离，则尝试使用 ipmitool 远程登录。记录手动登录时使用的选项，因为在使用隔离代理时可能需要使用这些选项。

   如果您无法登录到隔离设备，请确定设备是可以被 ping 到的，没有因为如防火墙等配置限制对隔离设备的访问，在隔离设备中启用了远程访问，且有正确的凭证。

2. 使用隔离代理脚本手动运行隔离代理。这不需要集群服务正在运行，因此您可以在集群配置该设备前执行这个步骤。这可保证在继续前隔离设备响应正常。

   注意

   这些示例将为 iLO 设备使用 fence_ipmilan 隔离代理脚本。您使用的实际隔离代理以及调用代理的命令取决于服务器硬件。您应该参考您使用的隔离保护代理的 man 页来确定要指定的选项。您通常需要了解隔离设备的登录和密码，以及其它与该隔离设备相关的信息。

   以下示例显示了使用 -o status 参数运行 fence_ipmilan 隔离代理脚本的格式，来检查另一个节点上的隔离设备接口的状态，而实际上并没有对该节点进行隔离。这可让您在尝试重新引导节点前测试该设备并使其可用。在运行这个命令时，您可以为 iLO 设备指定打开和关闭权限的 iLO 用户的名称和密码。

   # fence_ipmilan -a ipaddress -l username -p password -o status

   以下示例显示了使用 -o reboot 参数运行 fence_ipmilan 隔离代理脚本的格式。在一个节点上运行此命令可重新引导此 iLO 设备管理的节点。

   # fence_ipmilan -a ipaddress -l username -p password -o reboot

   如果隔离代理无法正确地执行 status、off、on 或 reboot 操作，您应该检查硬件、隔离设备的配置以及命令的语法。另外，您可以运行启用了 debug 输出的隔离代理脚本。调试输出会记录隔离设备时失败的事件，对于一些隔离代理，这个信息可能非常有用。

   # fence_ipmilan -a ipaddress -l username -p password -o status -D /tmp/$(hostname)-fence_agent.debug

   当诊断发生的故障时，您应该确定手动登录到隔离设备时指定的选项与您使用隔离代理传递给隔离代理的操作相同。

   对于支持加密连接的隔离代理，您可能会因为证书验证失败而看到一个错误，这需要您信任主机或使用隔离代理的 ssl-insecure 参数。同样，如果在目标设备上禁用了 SSL/TLS，可能需要在为隔离代理设置 SSL 参数时考虑此事项。

   注意

   如果正在测试的隔离代理是 fence_drac 、fence_ilo 或系统管理设备的其他一些隔离代理，并且一直出现故障，则返回尝试 fence_ipmilan。大多数系统管理卡支持 IPMI 远程登录，唯一支持的隔离代理是 fence_ipmilan。

3. 一旦隔离设备在集群中配置了与手动操作相同的选项，并且集群已经启动，则可以从任何节点（或者多次从不同的节点）使用 pcs stonith fence 命令来测试隔离，如下例所示。pcs stonith fence 命令从 CIB 中读取集群配置，并调用配置的隔离代理来执行隔离操作。这会验证集群配置是否正确。

   # pcs stonith fence node_name

   如果 pcs stonith fence 命令正常工作，这意味着发生隔离事件时集群的隔离配置应该可以正常工作。如果命令失败，这意味着集群管理无法通过它获取的配置调用隔离设备。检查以下问题并根据需要更新集群配置。

   • 检查您的隔离配置。例如，如果您使用了主机映射，则应该确保系统可以使用您提供的主机名查找节点。
   • 检查该设备的密码和用户名是否包含 bash shell 可能会错误解析的特殊字符。请确定，使用引号来包括您输入的密码和用户名是否可以解决这个问题。
   • 检查是否可以使用您在 pcs stonith 命令中指定的 IP 地址或主机名连接到设备。例如：如果您在 stonith 命令中给出主机名，但使用 IP 地址进行测试，则这不是一个有效的测试。

   • 如果您可以访问您的隔离设备使用的协议，使用那个协议尝试连接该设备。例如，很多代理都使用 ssh 或者 telnet。您应该尝试使用您在配置该设备时提供的凭证连接到该设备，查看是否收到有效提示符并登录该设备。

     如果您确定所有参数都正确，但仍无法连接到隔离设备，则可以查看隔离设备的日志信息（如果隔离设备提供了日志）。这会显示该用户是否已连接以及该用户发出什么命令。您还可以在 /var/log/messages 文件中搜索 stonith 实例和错误 ，这可以了解发生了什么，但有些代理可以提供额外的信息。

4. 隔离设备测试正常工作并启动并运行集群后，测试实际故障。要做到这一点，在集群中执行应启动令牌丢失的操作。

   • 关闭网络。如何关闭网络取决于您的具体配置。在很多情况下，您可以从主机中物理拔掉网线或电源电缆。有关模拟网络故障的详情，请查看红帽知识库解决方案 模拟 RHEL 集群上网络故障的正确方法是什么？

     注意

     不推荐通过在本地主机中禁用网络接口而不是物理断开网线或者电源电缆的方法进行测试，因为这无法准确模拟典型的实际失败。

   • 使用本地防火墙的阻塞 corosync 的入站和出站网络流落。

     以下示例会阻止 corosync，假设使用默认的 corosync 端口，firewalld 用作本地防火墙，corosync 使用的网络接口位于默认防火墙区内：

     # firewall-cmd --direct --add-rule ipv4 filter OUTPUT 2 -p udp --dport=5405 -j DROP
     # firewall-cmd --add-rich-rule='rule family="ipv4" port port="5405" protocol="udp" drop

   • 使用 sysrq-trigger 模拟崩溃，并使您的机器死机。请注意，触发内核 panic 可能会导致数据丢失 ; 建议首先禁用集群资源。

     # echo c > /proc/sysrq-trigger

流程

1. 为节点 rh7-2 上的隔离设备 my_ilo 添加隔离级别 1。

   # pcs stonith level add 1 rh7-2 my_ilo

2. 为节点 rh7-2 上的隔离设备 my_apc 添加隔离级别 2。

   # pcs stonith level add 2 rh7-2 my_apc

3. 列出当前配置的隔离级别。

   # pcs stonith level
    Node: rh7-2
     Level 1 - my_ilo
     Level 2 - my_apc

流程

1. 创建第一个隔离设备。

   # pcs stonith create apc1 fence_apc_snmp ipaddr=apc1.example.com login=user passwd='7a4D#1j!pz864' pcmk_host_map="node1.example.com:1;node2.example.com:2"

2. 创建第二个隔离设备。

   # pcs stonith create apc2 fence_apc_snmp ipaddr=apc2.example.com login=user passwd='7a4D#1j!pz864' pcmk_host_map="node1.example.com:1;node2.example.com:2"

3. 指定需要这两个设备来隔离节点。

   # pcs stonith level add 1 node1.example.com apc1,apc2
   # pcs stonith level add 1 node2.example.com apc1,apc2

流程

1. 创建一个 resource-stickiness 值为 50 的资源。

   # pcs resource create VirtualIP ocf:heartbeat:IPaddr2 ip=192.168.0.120 meta resource-stickiness=50

2. 对于名为 dummy_resource 的现有资源，将 failure-timeout meta 选项设置为 20 秒，因此资源可以在 20 秒内尝试在同一节点上重启。

   # pcs resource meta dummy_resource failure-timeout=20s

3. 显示资源的值，以验证是否设置了 failure-timeout=20s。

   # pcs resource config dummy_resource
    Resource: dummy_resource (class=ocf provider=heartbeat type=Dummy)
     Meta Attrs: failure-timeout=20s
     ...

流程

1. 重置任何 ocf:pacemaker:pgsql 资源的默认值。

   # pcs resource defaults set create id=set-1 score=100 meta resource-stickiness=10 rule resource ocf:pacemaker:pgsql

2. 以纯文本形式显示配置的资源默认值。

   # pcs resource defaults config
   Meta Attrs: build-resource-defaults
     resource-stickiness=1
   Meta Attrs: set-1 score=100
     resource-stickiness=10
     Rule: boolean-op=and score=INFINITY
       Expression: resource ocf:pacemaker:pgsql

3. 显示从当前集群默认设置配置中创建的 pcs resource defaults 命令。

   # pcs resource defaults config --output-format=cmd
   pcs -- resource defaults set create id=build-resource-defaults \
     meta resource-stickiness=1;
   pcs -- resource defaults set create id=set-1 score=100 \
     meta resource-stickiness=10 \
     rule 'resource ocf:pacemaker:pgsql'

4. 以 JSON 格式显示配置的资源默认值。

   # pcs resource defaults config --output-format=json
   {"instance_attributes": [], "meta_attributes": [{"id": "build-resource-defaults", "options": {}, "rule": null, "nvpairs": [{"id": "build-resource-stickiness", "name": "resource-stickiness", "value": "1"}]}, {"id": "set-1", "options": {"score": "100"}, "rule": {"id": "set-1-rule", "type": "RULE", "in_effect": "UNKNOWN", "options": {"boolean-op": "and", "score": "INFINITY"}, "date_spec": null, "duration": null, "expressions": [{"id": "set-1-rule-rsc-ocf-pacemaker-pgsql", "type": "RSC_EXPRESSION", "in_effect": "UNKNOWN", "options": {"class": "ocf", "provider": "pacemaker", "type": "pgsql"}, "date_spec": null, "duration": null, "expressions": [], "as_string": "resource ocf:pacemaker:pgsql"}], "as_string": "resource ocf:pacemaker:pgsql"}, "nvpairs": [{"id": "set-1-resource-stickiness", "name": "resource-stickiness", "value": "10"}]}]}

流程

1. 创建一个 LVM-activate 资源。

   # pcs resource create my_lvm ocf:heartbeat:LVM-activate vgname=my_vg vg_access_mode=system_id --group apachegroup

2. 创建一个 Filesystem 资源。

   # pcs resource create my_fs Filesystem device="/dev/my_vg/my_lv" directory="/var/www" fstype="xfs" --group apachegroup

3. 创建一个 IPaddr2 资源。

   # pcs resource create VirtualIP IPaddr2 ip=198.51.100.3 cidr_netmask=24 --group apachegroup

4. 创建一个 Apache 资源。

   # pcs resource create Website apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status" --group apachegroup

5. 显示您可以用来重新创建您在不同系统上创建的四个资源的 pcs 命令。

   # pcs resource config --output-format=cmd
   pcs resource create --no-default-ops --force -- my_lvm ocf:heartbeat:LVM-activate \
     vg_access_mode=system_id vgname=my_vg \
     op \
       monitor interval=30s id=my_lvm-monitor-interval-30s timeout=90s \
       start interval=0s id=my_lvm-start-interval-0s timeout=90s \
       stop interval=0s id=my_lvm-stop-interval-0s timeout=90s;
   pcs resource create --no-default-ops --force -- my_fs ocf:heartbeat:Filesystem \
     device=/dev/my_vg/my_lv directory=/var/www fstype=xfs \
     op \
       monitor interval=20s id=my_fs-monitor-interval-20s timeout=40s \
       start interval=0s id=my_fs-start-interval-0s timeout=60s \
       stop interval=0s id=my_fs-stop-interval-0s timeout=60s;
   pcs resource create --no-default-ops --force -- VirtualIP ocf:heartbeat:IPaddr2 \
     cidr_netmask=24 ip=198.51.100.3 \
     op \
       monitor interval=10s id=VirtualIP-monitor-interval-10s timeout=20s \
       start interval=0s id=VirtualIP-start-interval-0s timeout=20s \
       stop interval=0s id=VirtualIP-stop-interval-0s timeout=20s;
   pcs resource create --no-default-ops --force -- Website ocf:heartbeat:apache \
     configfile=/etc/httpd/conf/httpd.conf statusurl=http://127.0.0.1/server-status \
     op \
       monitor interval=10s id=Website-monitor-interval-10s timeout=20s \
       start interval=0s id=Website-start-interval-0s timeout=40s \
       stop interval=0s id=Website-stop-interval-0s timeout=60s;
   pcs resource group add apachegroup \
     my_lvm my_fs VirtualIP Website

6. 显示您可以用来只重新创建 IPaddr2 资源的 pcs 命令。要只显示一个配置的资源，请指定该资源的资源 ID。

   # pcs resource config VirtualIP --output-format=cmd
   pcs resource create --no-default-ops --force -- VirtualIP ocf:heartbeat:IPaddr2 \
     cidr_netmask=24 ip=198.51.100.3 \
     op \
       monitor interval=10s id=VirtualIP-monitor-interval-10s timeout=20s \
       start interval=0s id=VirtualIP-start-interval-0s timeout=20s \
       stop interval=0s id=VirtualIP-stop-interval-0s timeout=20s

流程

1. 显示为资源 VirtualIP 配置的参数的初始值。

   # pcs resource config VirtualIP
    Resource: VirtualIP (type=IPaddr2 class=ocf provider=heartbeat)
     Attributes: ip=192.168.0.120 cidr_netmask=24
     Operations: monitor interval=30s

2. 更改资源 VirtualIP 的 ip 参数的值。

   # pcs resource update VirtualIP ip=192.169.0.120

3. 在修改 ip 参数的值后，显示资源 VirtualIP 的参数的值。

   # pcs resource config VirtualIP
    Resource: VirtualIP (type=IPaddr2 class=ocf provider=heartbeat)
     Attributes: ip=192.169.0.120 cidr_netmask=24
     Operations: monitor interval=30s

1. 在集群中添加 ping 资源。ping 资源使用同名的系统工具来测试是否可以访问（由 DNS 主机名或 IPv4/IPv6 地址指定）一系列机器，并使用结果来维护名为 pingd 的节点属性。
2. 为资源配置位置约束，该限制将在连接丢失时将资源移动到不同的节点。

流程

1. 配置一个 ping 资源。您可以将资源配置为一个克隆，以便资源将在所有集群节点上运行。

   # pcs resource create ping ocf:pacemaker:ping dampen=5s multiplier=1000 host_list=gateway.example.com clone

2. 为名为 Webserver 的现有资源配置一个位置约束规则。这将导致 Webserver 资源移到能够 ping gateway.example.com 的主机，如果当前在其上运行 Webserver 资源的主机无法 ping gateway.example.com，。

   # pcs constraint location Webserver rule score=-INFINITY pingd lt 1 or not_defined pingd

流程

1. 在集群的一个节点上，创建资源克隆。

   当您创建资源的克隆时，默认情况下，克隆将使用资源名称，并在名称后附加 -clone 。以下命令创建一个名为 webfarm 、类型为 apache 的资源，以及名为 webfarm-clone 资源的克隆。

   # pcs resource create webfarm apache clone

2. 删除一个资源或资源组的克隆。这不会删除资源或资源组本身。

   # pcs resource unclone webfarm

流程

1. 在添加到集群的新节点上，执行以下任务：

   1. 安装集群软件包。如果集群使用 SBD、Booth 票据管理器或仲裁设备，则必须在新节点上手动安装相应的软件包（sbd、booth-site、corosync-qdevice）。

      [root@newnode ~]# dnf install -y pcs fence-agents-all

      除了集群软件包外，还需要安装并配置在集群中运行的所有服务（已安装在现有集群节点上）。例如：如果您在红帽高可用性集群中运行 Apache HTTP 服务器，则需要在您要添加的节点中安装该服务器，以及检查服务器状态的 wget 工具。

   2. 如果您正在运行 firewalld 守护进程，请执行以下命令启用红帽高可用性附加组件所需的端口。

      # firewall-cmd --permanent --add-service=high-availability
      # firewall-cmd --add-service=high-availability

   3. 为用户 ID hacluster 设置密码。建议您为集群中的每个节点使用相同的密码。

      [root@newnode ~]# passwd hacluster
      Changing password for user hacluster.
      New password:
      Retype new password:
      passwd: all authentication tokens updated successfully.

   4. 执行以下命令启动 pcsd 服务，并在系统启动时启用 pcsd ：

      # systemctl start pcsd.service
      # systemctl enable pcsd.service

2. 在现有集群中的一个节点上执行以下任务。

   1. 在新集群节点上验证用户 hacluster。

      [root@clusternode-01 ~]# pcs host auth newnode.example.com
      Username: hacluster
      Password:
      newnode.example.com: Authorized

   2. 在现有集群中添加新节点。此命令还会将集群配置文件 corosync.conf 同步到集群中的所有节点上，包括您添加的新节点。

      [root@clusternode-01 ~]# pcs cluster node add newnode.example.com

3. 在加入到集群中的新节点上，执行以下任务。

   1. 在新节点上启动并启用集群服务。

      [root@newnode ~]# pcs cluster start
      Starting Cluster...
      [root@newnode ~]# pcs cluster enable

   2. 确保您为新集群节点配置并测试隔离设备。

流程

1. 设置 health-node-strategy 集群属性，以定义 Pacemaker 如何对节点健康状况中的变化做出响应。

   # pcs property set node-health-strategy=migrate-on-red

2. 创建使用健康节点资源代理的克隆的集群资源，设置 allow-unhealthy-nodes 资源元选项，以定义集群是否将检测节点的健康状态是否恢复了，并将资源移回该节点。使用重复的监控操作配置此资源，以持续检查所有节点的健康状况。

   本例创建了一个 HealthIOWait 资源代理来监控 CPU I/O 等待，为将资源从节点移出的红色限制设置为 15%。此命令将 allow-unhealthy-nodes 资源元选项设为 true，并配置 10 秒的重复监控间隔。

   # pcs resource create io-monitor ocf:pacemaker:HealthIOWait red_limit=15 op monitor interval=10s meta allow-unhealthy-nodes=true clone

流程

1. 在集群的每个节点中将用户添加到 haclient 组中：

   # usermod -a -G haclient <username>

   将 & lt;username > 替换为您要授予权限的用户的名称。

1. 执行 pcs acl role create…​ 命令来创建一个为该角色定义权限的 角色。
2. 使用 pcs acl user create 命令将您创建的角色分配给用户。如果为同一用户分配多个角色，则任何 deny 权限优先于 write，然后 read。

流程

1. 此流程要求本地系统上 rouser 用户存在，并且 rouser 是组 haclient 的成员。

   # adduser rouser
   # usermod -a -G haclient rouser

2. 使用 pcs acl enable 命令启用 Pacemaker ACL。

   # pcs acl enable

3. 为 cib 创建名为 read-only 且具有只读权限的角色。

   # pcs acl role create read-only description="Read access to cluster" read xpath /cib

4. 在 pcs ACL 系统中创建用户 rouser，并为该用户分配 read-only 角色。

   # pcs acl user create rouser read-only

5. 查看当前的 ACL。

   # pcs acl
   User: rouser
     Roles: read-only
   Role: read-only
     Description: Read access to cluster
     Permission: read xpath /cib (read-only-read)

6. 在每个 rouser 将运行 pcs 命令的节点上，以 rouser 用户身份登录并进行本地 pcsd 服务身份验证。这是为了以 ACL 用户身份运行特定的 pcs 命令（如 pcs status ）。

   [rouser ~]$ pcs client local-auth