7장. 클러스터의 GFS2 파일 시스템

절차

1. 클러스터의 두 노드 모두에서 시스템 아키텍처에 해당하는 복구 스토리지용 리포지토리를 활성화합니다. 예를 들어 x86_64 시스템의 Resilient Storage 리포지토리를 활성화하려면 다음 subscription-manager 명령을 입력할 수 있습니다.

   # subscription-manager repos --enable=rhel-9-for-x86_64-resilientstorage-rpms

   Copy to Clipboard Toggle word wrap

   복구 스토리지 리포지토리는 High Availability 리포지토리의 상위 세트입니다. 복구 스토리지 리포지토리를 활성화하는 경우 고가용성 리포지토리도 활성화할 필요가 없습니다.

2. 클러스터의 두 노드에서 lvm2-lockd,gfs2-utils, dlm 패키지를 설치합니다. 이러한 패키지를 지원하려면 AppStream 채널 및 복구 스토리지 채널을 구독해야 합니다.

   # dnf install lvm2-lockd gfs2-utils dlm

   Copy to Clipboard Toggle word wrap

3. 클러스터의 두 노드 모두에서 /etc/lvm/ lvm.conf 파일의 use_lvm lockd 구성 옵션을 use_lvmlockd=1 로 설정합니다.

   ...
   use_lvmlockd = 1
   ...

   Copy to Clipboard Toggle word wrap

4. 글로벌 Pacemaker 매개 변수 no-quorum-policy 를 freeze 로 설정합니다.

   참고

   기본적으로 no-quorum-policy 의 값은 stop 으로 설정됩니다. 쿼럼이 유실되면 나머지 파티션의 모든 리소스가 즉시 중지됨을 나타냅니다. 일반적으로 이 기본값은 가장 안전하고 최적의 옵션이지만 대부분의 리소스와 달리, GFS2를 사용하려면 쿼럼이 필요합니다. 쿼럼이 GFS2 마운트 및 GFS2 마운트 자체를 사용하는 애플리케이션 모두 손실되면 제대로 중지할 수 없습니다. 쿼럼 없이 이러한 리소스를 중지하려고 하면 결국 쿼럼이 손실될 때마다 전체 클러스터가 펜싱됩니다.

   이 문제를 해결하려면 GFS2가 사용 중인 경우 no-quorum-policy 를 freeze 로 설정합니다. 즉, 쿼럼이 손실되면 쿼럼이 복구될 때까지 나머지 파티션은 아무 작업도 수행하지 않습니다.

   [root@z1 ~]# pcs property set no-quorum-policy=freeze

   Copy to Clipboard Toggle word wrap

5. dlm 리소스를 설정합니다. 이는 클러스터에서 GFS2 파일 시스템을 구성하는 데 필요한 종속 항목입니다. 이 예제에서는 locking 라는 리소스 그룹의 일부로 dlm 리소스를 생성합니다.

   [root@z1 ~]# pcs resource create dlm --group locking ocf:pacemaker:controld op monitor interval=30s on-fail=fence

   Copy to Clipboard Toggle word wrap

6. 클러스터의 두 노드에서 리소스 그룹을 활성화할 수 있도록 잠금 리소스 그룹을 복제합니다.

   [root@z1 ~]# pcs resource clone locking interleave=true

   Copy to Clipboard Toggle word wrap

7. lvmlockd 리소스를 잠금 리소스 그룹의 일부로 설정합니다.

   [root@z1 ~]# pcs resource create lvmlockd --group locking ocf:heartbeat:lvmlockd op monitor interval=30s on-fail=fence

   Copy to Clipboard Toggle word wrap

8. 클러스터 상태를 확인하여 클러스터의 두 노드에서 잠금 리소스 그룹이 시작되었는지 확인합니다.

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Online: [ z1.example.com (1) z2.example.com (2) ]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Started: [ z1.example.com z2.example.com ]

   Copy to Clipboard Toggle word wrap

9. 클러스터의 한 노드에서 두 개의 공유 볼륨 그룹을 만듭니다. 하나의 볼륨 그룹에는 두 개의 GFS2 파일 시스템이 포함되며 다른 볼륨 그룹에는 하나의 GFS2 파일 시스템이 포함됩니다.

   참고

   LVM 볼륨 그룹에 iSCSI 대상과 같은 원격 블록 스토리지에 있는 하나 이상의 물리 볼륨이 포함된 경우 Pacemaker를 시작하기 전에 서비스를 시작하는 것이 좋습니다. Pacemaker 클러스터에서 사용하는 원격 물리 볼륨의 시작 순서를 구성하는 방법에 대한 자세한 내용은 Pacemaker에서 관리하지 않는 리소스 종속 항목의 시작 순서 구성을 참조하십시오.

   다음 명령은 /dev/vdb 에 shared 볼륨 그룹 shared_vg1 을 생성합니다.

   [root@z1 ~]# vgcreate --shared shared_vg1 /dev/vdb
     Physical volume "/dev/vdb" successfully created.
     Volume group "shared_vg1" successfully created
     VG shared_vg1 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

   Copy to Clipboard Toggle word wrap

   다음 명령은 /dev/ hiera 에 shared 볼륨 그룹 shared_vg2 를 생성합니다.

   [root@z1 ~]# vgcreate --shared shared_vg2 /dev/vdc
     Physical volume "/dev/vdc" successfully created.
     Volume group "shared_vg2" successfully created
     VG shared_vg2 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

   Copy to Clipboard Toggle word wrap

10. 클러스터의 두 번째 노드에서 다음을 수행합니다.

    1. lvm.conf 파일에서 use_devicesfile = 1 매개 변수를 사용하여 장치 파일을 사용하는 경우 공유 장치를 장치 파일에 추가합니다 This feature is enabled by default.

       [root@z2 ~]# lvmdevices --adddev /dev/vdb
       [root@z2 ~]# lvmdevices --adddev /dev/vdc

       Copy to Clipboard Toggle word wrap

    2. 각 공유 볼륨 그룹에 대해 잠금 관리자를 시작합니다.

       [root@z2 ~]# vgchange --lockstart shared_vg1
         VG shared_vg1 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...
       [root@z2 ~]# vgchange --lockstart shared_vg2
         VG shared_vg2 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...

       Copy to Clipboard Toggle word wrap

11. 클러스터의 한 노드에서 공유 논리 볼륨을 생성하고 GFS2 파일 시스템으로 볼륨을 포맷합니다. 파일 시스템을 마운트하는 각 노드에 저널 1개가 필요합니다. 클러스터의 각 노드에 충분한 저널을 생성해야 합니다. 잠금 테이블 이름의 형식은 ClusterName:FSName 입니다. 여기서 ClusterName 은 GFS2 파일 시스템이 생성되는 클러스터의 이름이고 FSName 은 클러스터 전체에서 모든 lock_dlm 파일 시스템에 대해 고유해야 하는 파일 시스템 이름입니다.

    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg1
      Logical volume "shared_lv1" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv2 shared_vg1
      Logical volume "shared_lv2" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg2
      Logical volume "shared_lv1" created.
    
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo1 /dev/shared_vg1/shared_lv1
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo2 /dev/shared_vg1/shared_lv2
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo3 /dev/shared_vg2/shared_lv1

    Copy to Clipboard Toggle word wrap

12. 각 논리 볼륨에 대한 LVM 활성화 리소스를 생성하여 모든 노드에서 논리 볼륨을 자동으로 활성화합니다.

    1. shared_vg1 볼륨 그룹에 대해 shared_lv1 논리 볼륨에 대해 sharedlv1 이라는 LVM 활성화 리소스를 만듭니다. 또한 이 명령은 리소스를 포함하는 shared_vg1 리소스 그룹도 생성합니다. 이 예에서 리소스 그룹의 이름은 논리 볼륨을 포함하는 공유 볼륨 그룹과 동일합니다.

       [root@z1 ~]# pcs resource create sharedlv1 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

       Copy to Clipboard Toggle word wrap

    2. shared_vg1 볼륨 그룹에서 shared_lv2 에 대해 sharedlv2 라는 LVM 활성화 리소스를 만듭니다. 이 리소스는 shared_vg1 리소스 그룹의 일부이기도 합니다.

       [root@z1 ~]# pcs resource create sharedlv2 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv2 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

       Copy to Clipboard Toggle word wrap

    3. shared_vg2 볼륨 그룹에서 shared_lv1 에 대해 sharedlv3 이라는 LVM 활성화 리소스를 만듭니다. 또한 이 명령은 리소스를 포함하는 shared_vg2 리소스 그룹도 생성합니다.

       [root@z1 ~]# pcs resource create sharedlv3 --group shared_vg2 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg2 activation_mode=shared vg_access_mode=lvmlockd

       Copy to Clipboard Toggle word wrap

13. 두 개의 새 리소스 그룹을 복제합니다.

    [root@z1 ~]# pcs resource clone shared_vg1 interleave=true
    [root@z1 ~]# pcs resource clone shared_vg2 interleave=true

    Copy to Clipboard Toggle word wrap

14. dlm 및 lvmlockd 리소스가 포함된 잠금 리소스 그룹을 먼저 시작하도록 순서 제한 조건을 구성합니다.

    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg1-clone
    Adding locking-clone shared_vg1-clone (kind: Mandatory) (Options: first-action=start then-action=start)
    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg2-clone
    Adding locking-clone shared_vg2-clone (kind: Mandatory) (Options: first-action=start then-action=start)

    Copy to Clipboard Toggle word wrap

15. tekton 1 및 pxe 2 리소스 그룹이 잠금 리소스 그룹과 동일한 노드에서 시작하도록 공동 배치 제한 조건을 구성합니다.

    [root@z1 ~]# pcs constraint colocation add shared_vg1-clone with locking-clone
    [root@z1 ~]# pcs constraint colocation add shared_vg2-clone with locking-clone

    Copy to Clipboard Toggle word wrap

16. 클러스터의 두 노드에서 논리 볼륨이 활성화되어 있는지 확인합니다. 몇 초 정도 지연될 수 있습니다.

    [root@z1 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g
    
    [root@z2 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g

    Copy to Clipboard Toggle word wrap

17. 파일 시스템 리소스를 생성하여 각 GFS2 파일 시스템을 모든 노드에 자동으로 마운트합니다.

    Pacemaker 클러스터 리소스로 관리되므로 파일 시스템을 /etc/fstab 파일에 추가하지 않아야 합니다. 마운트 옵션은 options= 옵션을 사용하여 리소스 구성의 일부로 지정할 수 있습니다. pcs resource describe Filesystem 명령을 실행하여 전체 구성 옵션을 표시합니다.

    다음 명령은 파일 시스템 리소스를 생성합니다. 이러한 명령은 해당 파일 시스템의 논리 볼륨 리소스를 포함하는 각 리소스를 리소스 그룹에 추가합니다.

    [root@z1 ~]# pcs resource create sharedfs1 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv1" directory="/mnt/gfs1" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs2 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv2" directory="/mnt/gfs2" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs3 --group shared_vg2 ocf:heartbeat:Filesystem device="/dev/shared_vg2/shared_lv1" directory="/mnt/gfs3" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence

    Copy to Clipboard Toggle word wrap

검증

1. GFS2 파일 시스템이 클러스터의 두 노드에 마운트되었는지 확인합니다.

   [root@z1 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)
   
   [root@z2 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)

   Copy to Clipboard Toggle word wrap

2. 클러스터 상태를 확인합니다.

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg1-clone [shared_vg1]
        Resource Group: shared_vg1:0
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z2.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg1:1
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z1.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg2-clone [shared_vg2]
        Resource Group: shared_vg2:0
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg2:1
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
   
   ...

   Copy to Clipboard Toggle word wrap