Chapitre 7. Systèmes de fichiers GFS2 dans un cluster

Procédure

1. Sur les deux nœuds du cluster, activez le référentiel Resilient Storage correspondant à l'architecture de votre système. Par exemple, pour activer le référentiel Resilient Storage pour un système x86_64, vous pouvez entrer la commande subscription-manager suivante :

   # subscription-manager repos --enable=rhel-9-for-x86_64-resilientstorage-rpms

   Notez que le référentiel de stockage résilient est un surensemble du référentiel de haute disponibilité. Si vous activez le référentiel de stockage résilient, il n'est pas nécessaire d'activer également le référentiel de haute disponibilité.

2. Sur les deux nœuds du cluster, installez les paquets lvm2-lockd, gfs2-utils, et dlm. Pour prendre en charge ces paquets, vous devez être abonné au canal AppStream et au canal Resilient Storage.

   # dnf install lvm2-lockd gfs2-utils dlm

3. Sur les deux nœuds du cluster, définissez l'option de configuration use_lvmlockd dans le fichier /etc/lvm/lvm.conf sur use_lvmlockd=1.

   ...
   use_lvmlockd = 1
   ...

4. Réglez le paramètre global du stimulateur cardiaque no-quorum-policy sur freeze.

   Note

   Par défaut, la valeur de no-quorum-policy est fixée à stop, indiquant qu'une fois le quorum perdu, toutes les ressources sur la partition restante seront immédiatement arrêtées. En général, cette valeur par défaut est l'option la plus sûre et la plus optimale, mais contrairement à la plupart des ressources, GFS2 a besoin du quorum pour fonctionner. Lorsque le quorum est perdu, les applications utilisant les montages GFS2 et le montage GFS2 lui-même ne peuvent pas être arrêtés correctement. Toute tentative d'arrêt de ces ressources sans quorum échouera, ce qui aura pour conséquence de clôturer l'ensemble du cluster à chaque fois que le quorum est perdu.

   Pour remédier à cette situation, définissez no-quorum-policy sur freeze lorsque GFS2 est utilisé. Cela signifie que lorsque le quorum est perdu, la partition restante ne fera rien jusqu'à ce que le quorum soit rétabli.

   [root@z1 ~]# pcs property set no-quorum-policy=freeze

5. Configurer une ressource dlm. Il s'agit d'une dépendance nécessaire pour configurer un système de fichiers GFS2 dans un cluster. Cet exemple crée la ressource dlm dans le cadre d'un groupe de ressources nommé locking.

   [root@z1 ~]# pcs resource create dlm --group locking ocf:pacemaker:controld op monitor interval=30s on-fail=fence

6. Clonez le groupe de ressources locking afin que le groupe de ressources puisse être actif sur les deux nœuds du cluster.

   [root@z1 ~]# pcs resource clone locking interleave=true

7. Créez une ressource lvmlockd dans le cadre du groupe de ressources locking.

   [root@z1 ~]# pcs resource create lvmlockd --group locking ocf:heartbeat:lvmlockd op monitor interval=30s on-fail=fence

8. Vérifiez l'état du cluster pour vous assurer que le groupe de ressources locking a démarré sur les deux nœuds du cluster.

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Online: [ z1.example.com (1) z2.example.com (2) ]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Started: [ z1.example.com z2.example.com ]

9. Sur un nœud de la grappe, créez deux groupes de volumes partagés. Un groupe de volumes contiendra deux systèmes de fichiers GFS2 et l'autre groupe de volumes contiendra un système de fichiers GFS2.

   Note

   Si votre groupe de volumes LVM contient un ou plusieurs volumes physiques résidant sur un stockage en bloc distant, tel qu'une cible iSCSI, Red Hat vous recommande de vous assurer que le service démarre avant le démarrage de Pacemaker. Pour plus d'informations sur la configuration de l'ordre de démarrage d'un volume physique distant utilisé par un cluster Pacemaker, reportez-vous à Configuration de l'ordre de démarrage pour les dépendances de ressources non gérées par Pacemaker.

   La commande suivante crée le groupe de volumes partagés shared_vg1 sur /dev/vdb.

   [root@z1 ~]# vgcreate --shared shared_vg1 /dev/vdb
     Physical volume "/dev/vdb" successfully created.
     Volume group "shared_vg1" successfully created
     VG shared_vg1 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

   La commande suivante crée le groupe de volumes partagés shared_vg2 sur /dev/vdc.

   [root@z1 ~]# vgcreate --shared shared_vg2 /dev/vdc
     Physical volume "/dev/vdc" successfully created.
     Volume group "shared_vg2" successfully created
     VG shared_vg2 starting dlm lockspace
     Starting locking.  Waiting until locks are ready...

10. Sur le deuxième nœud du cluster :

    1. Ajoutez les périphériques partagés au fichier des périphériques LVM.

       [root@z2 ~]# lvmdevices --adddev /dev/vdb
       [root@z2 ~]# lvmdevices --adddev /dev/vdc

    2. Lancez le gestionnaire de verrous pour chacun des groupes de volumes partagés.

       [root@z2 ~]# vgchange --lockstart shared_vg1
         VG shared_vg1 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...
       [root@z2 ~]# vgchange --lockstart shared_vg2
         VG shared_vg2 starting dlm lockspace
         Starting locking.  Waiting until locks are ready...

11. Sur un nœud de la grappe, créez les volumes logiques partagés et formatez les volumes avec un système de fichiers GFS2. Un journal est nécessaire pour chaque nœud qui monte le système de fichiers. Veillez à créer suffisamment de journaux pour chacun des nœuds de votre grappe. Le format du nom de la table de verrouillage est ClusterName:FSName, où ClusterName est le nom de la grappe pour laquelle le système de fichiers GFS2 est créé et FSName est le nom du système de fichiers, qui doit être unique pour tous les systèmes de fichiers lock_dlm de la grappe.

    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg1
      Logical volume "shared_lv1" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv2 shared_vg1
      Logical volume "shared_lv2" created.
    [root@z1 ~]# lvcreate --activate sy -L5G -n shared_lv1 shared_vg2
      Logical volume "shared_lv1" created.
    
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo1 /dev/shared_vg1/shared_lv1
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo2 /dev/shared_vg1/shared_lv2
    [root@z1 ~]# mkfs.gfs2 -j2 -p lock_dlm -t my_cluster:gfs2-demo3 /dev/shared_vg2/shared_lv1

12. Créez une ressource LVM-activate pour chaque volume logique afin d'activer automatiquement ce volume logique sur tous les nœuds.

    1. Créez une ressource LVM-activate nommée sharedlv1 pour le volume logique shared_lv1 dans le groupe de volumes shared_vg1. Cette commande crée également le groupe de ressources shared_vg1 qui inclut la ressource. Dans cet exemple, le groupe de ressources porte le même nom que le groupe de volumes partagés qui comprend le volume logique.

       [root@z1 ~]# pcs resource create sharedlv1 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

    2. Créez une ressource LVM-activate nommée sharedlv2 pour le volume logique shared_lv2 dans le groupe de volumes shared_vg1. Cette ressource fera également partie du groupe de ressources shared_vg1.

       [root@z1 ~]# pcs resource create sharedlv2 --group shared_vg1 ocf:heartbeat:LVM-activate lvname=shared_lv2 vgname=shared_vg1 activation_mode=shared vg_access_mode=lvmlockd

    3. Créez une ressource LVM-activate nommée sharedlv3 pour le volume logique shared_lv1 dans le groupe de volumes shared_vg2. Cette commande crée également le groupe de ressources shared_vg2 qui inclut la ressource.

       [root@z1 ~]# pcs resource create sharedlv3 --group shared_vg2 ocf:heartbeat:LVM-activate lvname=shared_lv1 vgname=shared_vg2 activation_mode=shared vg_access_mode=lvmlockd

13. Clonez les deux nouveaux groupes de ressources.

    [root@z1 ~]# pcs resource clone shared_vg1 interleave=true
    [root@z1 ~]# pcs resource clone shared_vg2 interleave=true

14. Configurez les contraintes d'ordre pour vous assurer que le groupe de ressources locking qui inclut les ressources dlm et lvmlockd démarre en premier.

    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg1-clone
    Adding locking-clone shared_vg1-clone (kind: Mandatory) (Options: first-action=start then-action=start)
    [root@z1 ~]# pcs constraint order start locking-clone then shared_vg2-clone
    Adding locking-clone shared_vg2-clone (kind: Mandatory) (Options: first-action=start then-action=start)

15. Configurez les contraintes de colocation pour vous assurer que les groupes de ressources vg1 et vg2 démarrent sur le même nœud que le groupe de ressources locking.

    [root@z1 ~]# pcs constraint colocation add shared_vg1-clone with locking-clone
    [root@z1 ~]# pcs constraint colocation add shared_vg2-clone with locking-clone

16. Sur les deux nœuds du cluster, vérifiez que les volumes logiques sont actifs. Il peut y avoir un délai de quelques secondes.

    [root@z1 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g
    
    [root@z2 ~]# lvs
      LV         VG          Attr       LSize
      shared_lv1 shared_vg1  -wi-a----- 5.00g
      shared_lv2 shared_vg1  -wi-a----- 5.00g
      shared_lv1 shared_vg2  -wi-a----- 5.00g

17. Créez une ressource de système de fichiers pour monter automatiquement chaque système de fichiers GFS2 sur tous les nœuds.

    Vous ne devez pas ajouter le système de fichiers au fichier /etc/fstab car il sera géré comme une ressource de cluster Pacemaker. Les options de montage peuvent être spécifiées dans le cadre de la configuration de la ressource à l'aide de la commande options=options. Exécutez la commande pcs resource describe Filesystem pour afficher les options de configuration complètes.

    Les commandes suivantes créent les ressources du système de fichiers. Elles ajoutent chaque ressource au groupe de ressources qui comprend la ressource de volume logique pour ce système de fichiers.

    [root@z1 ~]# pcs resource create sharedfs1 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv1" directory="/mnt/gfs1" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs2 --group shared_vg1 ocf:heartbeat:Filesystem device="/dev/shared_vg1/shared_lv2" directory="/mnt/gfs2" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence
    [root@z1 ~]# pcs resource create sharedfs3 --group shared_vg2 ocf:heartbeat:Filesystem device="/dev/shared_vg2/shared_lv1" directory="/mnt/gfs3" fstype="gfs2" options=noatime op monitor interval=10s on-fail=fence

Verification steps

1. Vérifiez que les systèmes de fichiers GFS2 sont montés sur les deux nœuds du cluster.

   [root@z1 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)
   
   [root@z2 ~]# mount | grep gfs2
   /dev/mapper/shared_vg1-shared_lv1 on /mnt/gfs1 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg1-shared_lv2 on /mnt/gfs2 type gfs2 (rw,noatime,seclabel)
   /dev/mapper/shared_vg2-shared_lv1 on /mnt/gfs3 type gfs2 (rw,noatime,seclabel)

2. Vérifier l'état de la grappe.

   [root@z1 ~]# pcs status --full
   Cluster name: my_cluster
   [...]
   
   Full list of resources:
   
    smoke-apc      (stonith:fence_apc):    Started z1.example.com
    Clone Set: locking-clone [locking]
        Resource Group: locking:0
            dlm    (ocf::pacemaker:controld):      Started z2.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z2.example.com
        Resource Group: locking:1
            dlm    (ocf::pacemaker:controld):      Started z1.example.com
            lvmlockd       (ocf::heartbeat:lvmlockd):      Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg1-clone [shared_vg1]
        Resource Group: shared_vg1:0
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z2.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg1:1
            sharedlv1      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedlv2      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs1      (ocf::heartbeat:Filesystem):    Started z1.example.com
            sharedfs2      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
    Clone Set: shared_vg2-clone [shared_vg2]
        Resource Group: shared_vg2:0
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z2.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z2.example.com
        Resource Group: shared_vg2:1
            sharedlv3      (ocf::heartbeat:LVM-activate):  Started z1.example.com
            sharedfs3      (ocf::heartbeat:Filesystem):    Started z1.example.com
        Started: [ z1.example.com z2.example.com ]
   
   ...