第 8 章 集群中的 GFS2 文件系统

步骤

1. 在集群中的两个节点上，启用与您的系统架构对应的弹性存储存储库。例如，要为 x86_64 系统启用 Resilient Storage 仓库，您可以输入以下 subscription-manager 命令：

   # subscription-manager repos --enable=rhel-9-for-x86_64-resilientstorage-rpms

   请注意，弹性存储存储库是高可用性存储库的超集。如果启用弹性存储存储库，则不需要启用高可用性存储库。

2. 在集群的两个节点上安装 lvm2-lockd、gfs2-utils 和 dlm 软件包。要支持这些软件包，您必须订阅 AppStream 频道和 Resilient Storage 频道。

   # dnf install lvm2-lockd gfs2-utils dlm

3. 在集群的两个节点上，将 /etc/lvm/lvm.conf 文件中的 use_lvmlockd 配置选项设置为 use_lvmlockd=1。

   ...
   use_lvmlockd = 1
   ...

4. 将全局 Pacemaker 参数 no-quorum-policy 设置为 freeze。

   注意

   默认情况下，将 no-quorum-policy 的值设置为 stop，表示一旦仲裁丢失，剩余分区上的所有资源都会立即停止。通常，这个默认行为是最安全、最优的选项，但与大多数资源不同，GFS2 要求使用 quorum 才可以正常工作。当使用 GFS2 挂载的应用程序和 GFS2 挂载都丢失时，就无法正确停止 GFS2 挂载。任何在没有 quorum 的情况下停止这些资源的尝试都会失败，并最终会在每次 quorum 都丢失时保护整个集群。

   要解决这个问题，请在使用 GFS2 时将 no-quorum-policy 设置为 freeze。这意味着，当 quorum 丢失时，剩余的分区将不会进行任何操作，直到 quorum 功能被恢复。

   [root@z1 ~]# pcs property set no-quorum-policy=freeze

5. 设置 dlm 资源。这是在集群中配置 GFS2 文件系统所需的依赖软件包。这个示例创建 dlm 资源作为名为 locking 的资源组的一部分。

   [root@z1 ~]# pcs resource create dlm --group locking ocf:pacemaker:controld op monitor interval=30s on-fail=fence

6. 克隆 locking 资源组，以便资源组可以在集群的两个节点上都活跃。

   [root@z1 ~]# pcs resource clone locking interleave=true

7. 建立 lvmlockd 资源，来作为 locking 资源组的一部分。

   [root@z1 ~]# pcs resource create lvmlockd --group locking ocf:heartbeat:lvmlockd op monitor interval=30s on-fail=fence

8. 检查集群的状态，以确保在集群的两个节点上启动了 locking 资源组。

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Online: [ z1.example.com (1) z2.example.com (2) ]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Started: [ z1.example.com z2.example.com ]

9. 在集群的一个节点中，创建两个共享卷组。一个卷组将包含两个 GFS2 文件系统，另一个卷组将包含一个 GFS2 文件系统。

   注意

   如果您的 LVM 卷组包含一个或多个位于远程块存储上的物理卷，如 iSCSI 目标，红帽建议您确保服务在 Pacemaker 启动前启动。有关为 Pacemaker 集群使用的远程物理卷配置启动顺序的详情，请参考 为不由 Pacemaker 管理的资源依赖项配置启动顺序。

   以下命令在 /dev/vdb 上创建共享卷组 shared_vg1。

   [root@z1 ~]# vgcreate --shared shared_vg1 /dev/vdb
     Physical volume "/dev/vdb" successfully created.
     Volume group "shared_vg1" successfully created
     VG shared_vg1 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

   以下命令在 /dev/vdc 上创建共享卷组 shared_vg2。

   [root@z1 ~]# vgcreate --shared shared_vg2 /dev/vdc
     Physical volume "/dev/vdc" successfully created.
     Volume group "shared_vg2" successfully created
     VG shared_vg2 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

10. 在集群的第二个节点上：

    1. 如果设备文件的使用是通过 lvm.conf 文件中的 use_devicesfile = 1 参数启用的，请将共享设备添加到设备文件中，此功能默认启用。

       [root@z2 ~]# lvmdevices --adddev /dev/vdb
       [root@z2 ~]# lvmdevices --adddev /dev/vdc

    2. 为每个共享卷组启动锁定管理器。

       [root@z2 ~]# vgchange --lockstart shared_vg1
         VG shared_vg1 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...
       [root@z2 ~]# vgchange --lockstart shared_vg2
         VG shared_vg2 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...

11. 在集群的一个节点中，创建共享逻辑卷并使用 GFS2 文件系统格式化卷。每个挂载文件系统的节点都需要一个日志。确保为集群中的每个节点创建足够日志。锁表名称的格式为 ClusterName:FSName，其中 ClusterName 是创建 GFS2 文件系统的集群名称，FSName 是文件系统名称，它必须在集群中所有 lock_dlm 文件系统是唯一的。

    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg1
      Logical volume "shared_lv1" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv2 shared_vg1
      Logical volume "shared_lv2" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg2
      Logical volume "shared_lv1" created.
    
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo1 /dev/shared_vg1/shared_lv1
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo2 /dev/shared_vg1/shared_lv2
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo3 /dev/shared_vg2/shared_lv1

12. 为每个逻辑卷创建一个 LVM-activate 资源，以便在所有节点中自动激活该逻辑卷。

    1. 为卷组 shared_vg1 中的逻辑卷 shared_lv1 创建名为 sharedlv1 的 LVM-activate 资源。此命令还会创建包含该资源的资源组 shared_vg1。在这个示例中，资源组的名称与包含逻辑卷的共享卷组的名称相同。

       [root@z1 ~]# pcs resource create sharedlv1 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

    2. 为卷组 shared_vg1 中的逻辑卷 shared_lv2 创建名为 sharedlv2 的 LVM-activate 资源。此资源也是资源组 shared_vg1 的一部分。

       [root@z1 ~]# pcs resource create sharedlv2 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv2 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

    3. 为卷组 shared_vg2 中的逻辑卷 shared_lv1 创建名为 sharedlv3 的 LVM-activate 资源。此命令还会创建包含该资源的资源组 shared_vg2。

       [root@z1 ~]# pcs resource create sharedlv3 --group shared_vg2 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg2 activation_mode=shared vg_access_mode=lvmlockd

13. 克隆两个新资源组。

    [root@z1 ~]# pcs resource clone shared_vg1 interleave=true
    [root@z1 ~]# pcs resource clone shared_vg2 interleave=true

14. 配置排序限制，以确保首先启动包含 dlm 和 lvmlockd 资源的 locking 资源组。

    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg1-clone
    Adding locking-clone shared_vg1-clone (kind: Mandatory) (Options: first-action=start then-action=start)
    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg2-clone
    Adding locking-clone shared_vg2-clone (kind: Mandatory) (Options: first-action=start then-action=start)

15. 配置共存限制，以确保 vg1 和 vg2 资源组在与 locking 资源组相同的节点上启动。

    [root@z1 ~]# pcs constraint colocation add shared_vg1-clone with locking-clone
    [root@z1 ~]# pcs constraint colocation add shared_vg2-clone with locking-clone

16. 在集群中的两个节点中，验证逻辑卷是否活跃。这可能会延迟几秒钟。

    [root@z1 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g
    
    [root@z2 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g

17. 创建文件系统资源在所有节点中自动挂载每个 GFS2 文件系统。

    您不应该将文件系统添加到 /etc/fstab 文件，因为它将作为 Pacemaker 集群资源进行管理。可以通过 options=options 将挂载选项指定为资源配置的一部分。运行 pcs resource describe Filesystem 命令显示完整的配置选项。

    以下命令可创建文件系统资源。这些命令在包含该文件系统逻辑卷资源的资源组中添加每个资源。

    [root@z1 ~]# pcs resource create sharedfs1 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv1" directory="/mnt/gfs1" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs2 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv2" directory="/mnt/gfs2" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs3 --group shared_vg2 ocf:heartbeat:Filesystem device="/dev/shared_vg2/shared_lv1" directory="/mnt/gfs3" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence

验证

1. 验证 GFS2 文件系统是否挂载到集群的两个节点中。

   [root@z1 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)
   
   [root@z2 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)

2. 检查集群的状态。

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg1-clone [shared_vg1]
        Resource Group: shared_vg1:0
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z2.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg1:1
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z1.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg2-clone [shared_vg2]
        Resource Group: shared_vg2:0
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg2:1
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
   
   ...