9.3. オンプレミス環境での etcd のバックアップと復元

手順

1. まず、環境変数を設定します。

   1. 必要に応じて値を置き換えて次のコマンドを入力し、ホステッドクラスターの環境変数を設定します。

      $ CLUSTER_NAME=my-cluster

      $ HOSTED_CLUSTER_NAMESPACE=clusters

      $ CONTROL_PLANE_NAMESPACE="${HOSTED_CLUSTER_NAMESPACE}-${CLUSTER_NAME}"

   2. 必要に応じて値を置き換えて次のコマンドを入力し、ホステッドクラスターのリコンシリエーションを一時停止します。

      $ oc patch -n ${HOSTED_CLUSTER_NAMESPACE} hostedclusters/${CLUSTER_NAME} \
        -p '{"spec":{"pausedUntil":"true"}}' --type=merge

2. 次に、次のいずれかの方法を使用して etcd のスナップショットを取得します。

   1. 以前にバックアップした etcd のスナップショットを使用します。

   2. 使用可能な etcd Pod がある場合は、次の手順を実行して、アクティブな etcd Pod からスナップショットを取得します。

      1. 次のコマンドを入力して、etcd Pod をリスト表示します。

         $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd

      2. 次のコマンドを入力して、Pod データベースのスナップショットを取得し、マシンのローカルに保存します。

         $ ETCD_POD=etcd-0

         $ oc exec -n ${CONTROL_PLANE_NAMESPACE} -c etcd -t ${ETCD_POD} -- \
           env ETCDCTL_API=3 /usr/bin/etcdctl \
           --cacert /etc/etcd/tls/etcd-ca/ca.crt \
           --cert /etc/etcd/tls/client/etcd-client.crt \
           --key /etc/etcd/tls/client/etcd-client.key \
           --endpoints=https://localhost:2379 \
           snapshot save /var/lib/snapshot.db

      3. 次のコマンドを入力して、スナップショットが成功したことを確認します。

         $ oc exec -n ${CONTROL_PLANE_NAMESPACE} -c etcd -t ${ETCD_POD} -- \
           env ETCDCTL_API=3 /usr/bin/etcdctl -w table snapshot status \
           /var/lib/snapshot.db

   3. 次のコマンドを入力して、スナップショットのローカルコピーを作成します。

      $ oc cp -c etcd ${CONTROL_PLANE_NAMESPACE}/${ETCD_POD}:/var/lib/snapshot.db \
        /tmp/etcd.snapshot.db

      1. etcd 永続ストレージからスナップショットデータベースのコピーを作成します。

         1. 次のコマンドを入力して、etcd Pod をリスト表示します。

            $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd

         2. 実行中の Pod を検索し、その名前を ETCD_POD: ETCD_POD=etcd-0 の値として設定し、次のコマンドを入力してそのスナップショットデータベースをコピーします。

            $ oc cp -c etcd \
              ${CONTROL_PLANE_NAMESPACE}/${ETCD_POD}:/var/lib/data/member/snap/db \
              /tmp/etcd.snapshot.db

3. 次のコマンドを入力して、etcd statefulset をスケールダウンします。

   $ oc scale -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd --replicas=0

   1. 次のコマンドを入力して、2 番目と 3 番目のメンバーのボリュームを削除します。

      $ oc delete -n ${CONTROL_PLANE_NAMESPACE} pvc/data-etcd-1 pvc/data-etcd-2

   2. 最初の etcd メンバーのデータにアクセスする Pod を作成します。

      1. 次のコマンドを入力して、etcd イメージを取得します。

         $ ETCD_IMAGE=$(oc get -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd \
           -o jsonpath='{ .spec.template.spec.containers[0].image }')

      2. etcd データへのアクセスを許可する Pod を作成します。

         $ cat << EOF | oc apply -n ${CONTROL_PLANE_NAMESPACE} -f -
         apiVersion: apps/v1
         kind: Deployment
         metadata:
           name: etcd-data
         spec:
           replicas: 1
           selector:
             matchLabels:
               app: etcd-data
           template:
             metadata:
               labels:
                 app: etcd-data
             spec:
               containers:
               - name: access
                 image: $ETCD_IMAGE
                 volumeMounts:
                 - name: data
                   mountPath: /var/lib
                 command:
                 - /usr/bin/bash
                 args:
                 - -c
                 - |-
                   while true; do
                     sleep 1000
                   done
               volumes:
               - name: data
                 persistentVolumeClaim:
                   claimName: data-etcd-0
         EOF

      3. 次のコマンドを入力して、etcd-data Pod のステータスを確認し、実行されるまで待ちます。

         $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd-data

      4. 次のコマンドを入力して、etcd-data Pod の名前を取得します。

         $ DATA_POD=$(oc get -n ${CONTROL_PLANE_NAMESPACE} pods --no-headers \
           -l app=etcd-data -o name | cut -d/ -f2)

   3. 次のコマンドを入力して、etcd スナップショットを Pod にコピーします。

      $ oc cp /tmp/etcd.snapshot.db \
        ${CONTROL_PLANE_NAMESPACE}/${DATA_POD}:/var/lib/restored.snap.db

   4. 次のコマンドを入力して、etcd-data Pod から古いデータを削除します。

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- rm -rf /var/lib/data

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- mkdir -p /var/lib/data

   5. 次のコマンドを入力して、etcd スナップショットを復元します。

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- \
           etcdutl snapshot restore /var/lib/restored.snap.db \
           --data-dir=/var/lib/data --skip-hash-check \
           --name etcd-0 \
           --initial-cluster-token=etcd-cluster \
           --initial-cluster etcd-0=https://etcd-0.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380,etcd-1=https://etcd-1.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380,etcd-2=https://etcd-2.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380 \
           --initial-advertise-peer-urls https://etcd-0.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380

   6. 次のコマンドを入力して、Pod から一時的な etcd スナップショットを削除します。

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- \
        rm /var/lib/restored.snap.db

   7. 次のコマンドを入力して、データアクセスデプロイメントを削除します。

      $ oc delete -n ${CONTROL_PLANE_NAMESPACE} deployment/etcd-data

   8. 次のコマンドを入力して、etcd クラスターをスケールアップします。

      $ oc scale -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd --replicas=3

   9. 次のコマンドを入力して、etcd メンバー Pod が返され、使用可能であると報告されるのを待ちます。

      $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd -w

4. 次のコマンドを入力して、ホステッドクラスターのリコンシリエーションを復元します。

   $ oc patch -n ${HOSTED_CLUSTER_NAMESPACE} hostedclusters/${CLUSTER_NAME} \
     -p '{"spec":{"pausedUntil":"null"}}' --type=merge

5. 次のコマンドを入力して、ホステッドクラスターを手動でロールアウトします。

   $ oc annotate hostedcluster -n \
     <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/restart-date=$(date --iso-8601=seconds)

   この時点では、Multus アドミッションコントローラーとネットワークノードアイデンティティー Pod はまだ起動しません。

6. 次のコマンドを入力して、etcd の 2 番目と 3 番目のメンバーの Pod とその PVC を削除します。

   $ oc delete -n ${CONTROL_PLANE_NAMESPACE} pvc/data-etcd-1 pod/etcd-1 --wait=false

   $ oc delete -n ${CONTROL_PLANE_NAMESPACE} pvc/data-etcd-2 pod/etcd-2 --wait=false

7. 次のコマンドを入力して、ホステッドクラスターを手動で再度ロールアウトします。

   $ oc annotate hostedcluster -n \
     <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/restart-date=$(date --iso-8601=seconds) \
     --overwrite

   数分後、コントロールプレーン Pod が稼働します。