第4章 モニターのトラブルシューティング

該当モニター以外のモニターで quorum を形成できる場合、ceph mon getmap コマンドでモニターマップを取得します。

# ceph mon getmap -o /tmp/monmap

他のモニターでは quorum を形成できないものの、少なくとも 1 つのモニターに正常なモニターマップがある場合は、これをコピーします。

モニターマップが破損している、または古くなっているモニターを停止します。

systemctl stop ceph-mon@<host-name>

例えば、短いホスト名が host2 のホスト上で実行中のモニターを停止するには、以下のコマンドを使用します。

# systemctl stop ceph-mon@host2

モニターマップを挿入します。

ceph-mon -i <id> --inject-monmap /tmp/monmap

<id> をモニターマップが破損または古くなっているモニターの ID で置き換えます。例を示します。

# ceph-mon -i mon.c --inject-monmap /tmp/monmap

モニターを起動します。

# systemctl start ceph-mon@host2

モニターマップのコピー元となったモニターも起動します。

# systemctl start ceph-mon@host1

全 OSD ノードからクラスターマップを収集します。

ms=<directory>
mkdir $ms

for host in $host_list; do
  rsync -avz "$ms" root@$host:"$ms"; rm -rf "$ms"
  ssh root@$host <<EOF
  for osd in  /var/lib/ceph/osd/ceph-*; do
    ceph-objectstore-tool --data-path \$osd --op update-mon-db --mon-store-path $ms
  done
EOF
rsync -avz root@$host:$ms $ms; done

<directory> を収集するクラスターマップを保存する一時ディレクトリーに置き換えます。例を示します。

$ ms=/tmp/monstore/
$ mkdir $ms
$ for host in $host_list; do
  rsync -avz "$ms" root@$host:"$ms"; rm -rf "$ms"
  ssh root@$host <<EOF
  for osd in  /var/lib/ceph/osd/ceph-*; do
    ceph-objectstore-tool --data-path \$osd --op update-mon-db --mon-store-path $ms
  done
EOF
rsync -avz root@$host:$ms $ms; done

適切なケイパビリティーを設定します。

ceph-authtool <keyring>  -n mon. --cap mon 'allow *'
ceph-authtool <keyring>  -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *'

<keyring> をクライアントの管理キーリングへのパスで置き換えます。例を示します。

$ ceph-authtool /etc/ceph/ceph.client.admin.keyring  -n mon. --cap mon 'allow *'
$ ceph-authtool /etc/ceph/ceph.client.admin.keyring  -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *'

収集したマップからモニターストアを再ビルドします。

ceph-monstore-tool <directory> rebuild -- --keyring <keyring>

<directory> を最初のステップの一時ディレクトリーで置き換え、 <keyring> をクライアントの管理キーリングへのパスで置き換えます。例を示します。

$ ceph-monstore-tool /tmp/mon-store rebuild -- --keyring /etc/ceph/ceph.client.admin.keyring

$ ceph-monstore-tool /tmp/mon-store rebuild

破損したストアのバックアップを作成します。

mv /var/lib/ceph/mon/<mon-ID>/store.db \
   /var/lib/ceph/mon/<mon-ID>/store.db.corrupted

<mon-ID> を <mon.0> といったモニター ID で置き換えます。

# mv /var/lib/ceph/mon/mon.0/store.db \
     /var/lib/ceph/mon/mon.0/store.db.corrupted

破損したストアを置き換えます。

mv /tmp/mon-store/store.db /var/lib/ceph/mon/<mon-ID>/store.db

<mon-ID> を <mon.0> といったモニター ID で置き換えます。

# mv /tmp/mon-store/store.db /var/lib/ceph/mon/mon.0/store.db

ストアが破損している全モニターでこれらのステップを繰り返します。

新規ストアの所有者を変更します。

chown -R ceph:ceph /var/lib/ceph/mon/<mon-ID>/store.db

<mon-ID> を <mon.0> といったモニター ID で置き換えます。

# chown -R ceph:ceph /var/lib/ceph/mon/mon.0/store.db

ストアが破損している全モニターでこれらのステップを繰り返します。

モニターホストから、デフォルトで /var/lib/ceph/mon/<cluster-name>-<short-host-name> にあるモニターストアを削除します。

rm -rf /var/lib/ceph/mon/<cluster-name>-<short-host-name>

モニターホストの短いホスト名とクラスター名を指定します。例えば、 remote という名前のクラスターから host1 で実行中のモニターのモニターストアを削除するには、以下を実行します。

# rm -rf /var/lib/ceph/mon/remote-host1

モニターマップ (monmap) からモニターを削除します。

ceph mon remove <short-host-name> --cluster <cluster-name>

モニターホストの短いホスト名とクラスター名を指定します。例えば、 remote という名前のクラスターから host1 で実行中のモニターを削除するには、以下を実行します。

# ceph mon remove host1 --cluster remote

Ansible の管理ノードから ceph-ansible プレイブックを実行してモニターを再デプロイします。

# /usr/share/ceph-ansible/ansible-playbook site.yml

Ceph 設定の [mon] セクション下に以下のパラメーターを追加します。

[mon]
mon_compact_on_start = true

ceph-mon デーモンを再起動します。

systemctl restart ceph-mon@<host-name>

<host-name> をデーモンが実行中のホストの短い名前で置き換えます。分からない場合は、hostname -s を使用します。

# systemctl restart ceph-mon@host1

モニターが quorum を形成していることを確認します。

# ceph mon stat

ceph-mon デーモンが大きいストアで稼働していないことを確認します。必要に応じてデーモンを停止します。

systemctl status ceph-mon@<host-name>
systemctl stop ceph-mon@<host-name>

<host-name> をデーモンが実行中のホストの短い名前で置き換えます。分からない場合は、hostname -s を使用します。

# systemctl status ceph-mon@host1
# systemctl stop ceph-mon@host1

モニターストアを圧縮します。

ceph-monstore-tool /var/lib/ceph/mon/mon.<host-name> compact

<host-name> をモニターホストの短いホスト名で置き換えます。

# ceph-monstore-tool /var/lib/ceph/mon/mon.node1 compact

ceph-mon を再起動します。

systemctl start ceph-mon@<host-name>

例を以下に示します。

# systemctl start ceph-mon@host1