第23章 ファイルのスプリットブレインの手動リカバリー

以下のコマンドを実行して、スプリットブレインにあるファイルのパスを取得します。

# gluster volume heal VOLNAME info split-brain

コマンド出力から、クライアントから実行したファイル操作が Input/Output エラーで失敗したファイルを特定します。

マウントポイントからスプリットブレインファイルを開くアプリケーションを閉じます。仮想マシンを使用している場合は、マシンの電源をオフにする必要があります。

getfattr コマンドを使用して、ファイルの AFR changelog 拡張属性を取得して検証します。次に、スプリットブレインのタイプを特定し、ファイルの 'good copy' が含まれるブリックを決定します。

getfattr -d -m . -e hex <file-path-on-brick>

以下に例を示します。

# getfattr -d -e hex -m. brick-a/file.txt
#file: brick-a/file.txt
security.selinux=0x726f6f743a6f626a6563745f723a66696c655f743a733000
trusted.afr.vol-client-2=0x000000000000000000000000
trusted.afr.vol-client-3=0x000000000200000000000000
trusted.gfid=0x307a5c9efddd4e7c96e94fd4bcdcbd1b

trusted.afr.VOLNAMEvolname-client-<subvolume-index> を持つ拡張属性は、ファイルの changelog を維持するために AFR によって使用されます。trusted.afr.VOLNAMEvolname-client-<subvolume-index> の値は、glusterFS クライアント (FUSE または NFS-server) プロセスにより計算されます。glusterFS クライアントがファイルまたはディレクトリーを変更すると、クライアントは各ブリックに問い合わせ、ブリックのレスポンスに従って changelog 拡張属性を更新します。

subvolume-index は gluster volume info VOLNAME の brick number - 1 です。

以下に例を示します。

# gluster volume info vol
Volume Name: vol
Type: Distributed-Replicate
Volume ID: 4f2d7849-fbd6-40a2-b346-d13420978a01
Status: Created
Number of Bricks: 4 x 2 = 8
Transport-type: tcp
Bricks:
brick1: server1:/rhgs/brick1
brick2: server1:/rhgs/brick2
brick3: server1:/rhgs/brick3
brick4: server1:/rhgs/brick4
brick5: server1:/rhgs/brick5
brick6: server1:/rhgs/brick6
brick7: server1:/rhgs/brick7
brick8: server1:/rhgs/brick8

上記の例では、以下のようになります。

Brick             |    Replica set        |    Brick subvolume index
----------------------------------------------------------------------------
/rhgs/brick1     |       0               |       0
/rhgs/brick2     |       0               |       1
/rhgs/brick3     |       1               |       2
/rhgs/brick4     |       1               |       3
/rhgs/brick5     |       2               |       4
/rhgs/brick6     |       2               |       5
/rhgs/brick7     |       3               |       6
/rhgs/brick8     |       3               |       7
```

ブリック内の各ファイルは、それ自体の変更ログと、そのブリックがレプリカセット内の他のすべてのブリックに存在するファイルを維持します。

上記の例のボリュームでは、brick-a のすべてのファイルにはエントリーが 2 つ、それ自体には、そのレプリカペアにあるファイルのもう 1 つがエントリーになります。以下は、brick2 の changelog です。

同様に、brick2 のすべてのファイルは以下のようになります。

他のレプリカのペアでも同じ拡張が可能です。

同じ語を表す Pictally は以下の通りです。

0x 000003d7 00000001 00000000110
        |      |       |
        |      |        \_ changelog of directory entries
        |       \_ changelog of metadata
         \ _ changelog of data

ディレクトリーの場合は、メタデータおよびエントリー変更ログは有効です。通常のファイルでは、データおよびメタデータの changelogs が有効となります。デバイスファイルなどの特別なファイルの場合は、メタデータの変更ログが有効になります。ファイルのスプリットブレインが発生すると、データスプリットブレインまたはメタデータスプリットブレインのいずれかになります。

以下は、同じファイルにあるメタデータのスプリットブレインの例です。

# getfattr -d -m . -e hex /rhgs/brick?/a
getfattr: Removing leading '/' from absolute path names
#file: rhgs/brick1/a
trusted.afr.vol-client-0=0x000000000000000000000000
trusted.afr.vol-client-1=0x000003d70000000100000000
trusted.gfid=0x80acdbd886524f6fbefa21fc356fed57
#file: rhgs/brick2/a
trusted.afr.vol-client-0=0x000003b00000000100000000
trusted.afr.vol-client-1=0x000000000000000000000000
trusted.gfid=0x80acdbd886524f6fbefa21fc356fed57

ファイル /rhgs/brick1/a の changelog 拡張属性は以下のとおりです。

ファイル /rhgs/brick2/a の changelog 拡張属性は以下のとおりです。

ここでは、両方のコピーには、他のファイル上にないデータ、メタデータの変更があります。したがって、これはデータとメタデータのスプリットブレインです。

ファイルの変更ログ拡張属性は、/rhgs/brick2/a で成功したものの、/rhgs/brick1/a で失敗したかのように、ファイルの changelog 拡張属性を変更する必要があります。ただし、/rhgs/brick1/a には、一部のメタデータ操作が /rhgs/brick1/a で成功しても /rhgs /brick2/a で失敗したことを示す changelog を含めることはできません。/rhgs/brick1/a の trusted.afr.vol-client-1 の changelog のメタデータ部分をリセットする必要があります。

以下のコマンドを実行して、拡張属性をリセットします。

拡張属性をリセットすると、changelogs は以下のようになります。

# getfattr -d -m . -e hex /rhgs/brick?/a
getfattr: Removing leading '/' from absolute path names
#file: rhgs/brick1/a
trusted.afr.vol-client-0=0x000000000000000000000000
trusted.afr.vol-client-1=0x000003d70000000000000000
trusted.gfid=0x80acdbd886524f6fbefa21fc356fed57

#file: rhgs/brick2/a
trusted.afr.vol-client-0=0x000000000000000100000000
trusted.afr.vol-client-1=0x000000000000000000000000
trusted.gfid=0x80acdbd886524f6fbefa21fc356fed57

以下に例を示します。

brick-a では、ディレクトリーには、gfid_x を持つfile1と、file2の2つのエントリーがあります。brick-b では、ディレクトリーには、gfid_y を持つfile1と file3 の 2 つのエントリーがあります。ここでは、ブリック上の file1 の gfid は異なります。このようなディレクトリーのスプリットブレインには、問題の解決に人間の介入が必要です。スプリットブレインを解消するためには、brick-aのfile1かbrick-bのfile1を削除する必要があります。

さらに、対応する gfid-link ファイルを削除する必要があります。gfid-link ファイルは、ブリックのトップレベルディレクトリーにある .glusterfs ディレクトリーにあります。ファイルの gfid が 0x307a5c9efddd4e7c96e94fd4bcdcbd1b （get fattr コマンドから受信した trusted.gfid 拡張属性）の場合、gfid-link ファイルは /rhgs/brick1/.glusterfs/30/7a/307a5c9efddd4e7c96e94fd4bcdcbd1b にあります。

警告

gfiid-link を削除する前に、そのブリックに存在するファイルへのハードリンクがないことを確認する必要があります。ハードリンクが存在する場合は、それらを削除する必要があります。

以下のコマンドを実行して自己修復をトリガーします。

# ls -l <file-path-on-gluster-mount>

または

# gluster volume heal VOLNAME