8.3. 在内部环境中备份和恢复 etcd

流程

1. 首先，设置环境变量并缩减 API 服务器：

   1. 输入以下命令为您的托管集群设置环境变量，根据需要替换值：

      $ CLUSTER_NAME=my-cluster

      $ HOSTED_CLUSTER_NAMESPACE=clusters

      $ CONTROL_PLANE_NAMESPACE="${HOSTED_CLUSTER_NAMESPACE}-${CLUSTER_NAME}"

   2. 输入以下命令暂停托管集群的协调，根据需要替换值：

      $ oc patch -n ${HOSTED_CLUSTER_NAMESPACE} hostedclusters/${CLUSTER_NAME} -p '{"spec":{"pausedUntil":"true"}}' --type=merge

   3. 输入以下命令缩减 API 服务器：

      1. 缩减 kube-apiserver ：

         $ oc scale -n ${CONTROL_PLANE_NAMESPACE} deployment/kube-apiserver --replicas=0

      2. 缩减 openshift-apiserver ：

         $ oc scale -n ${CONTROL_PLANE_NAMESPACE} deployment/openshift-apiserver --replicas=0

      3. 缩减 openshift-oauth-apiserver ：

         $ oc scale -n ${CONTROL_PLANE_NAMESPACE} deployment/openshift-oauth-apiserver --replicas=0

2. 接下来，使用以下方法之一生成 etcd 快照：

   1. 使用之前备份的 etcd 快照。

   2. 如果您有可用的 etcd pod，通过完成以下步骤从活跃 etcd pod 创建快照：

      1. 输入以下命令列出 etcd pod：

         $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd

      2. 输入以下命令为 pod 数据库生成快照并将其保存在您的机器中：

         $ ETCD_POD=etcd-0

         $ oc exec -n ${CONTROL_PLANE_NAMESPACE} -c etcd -t ${ETCD_POD} -- env ETCDCTL_API=3 /usr/bin/etcdctl \
         --cacert /etc/etcd/tls/etcd-ca/ca.crt \
         --cert /etc/etcd/tls/client/etcd-client.crt \
         --key /etc/etcd/tls/client/etcd-client.key \
         --endpoints=https://localhost:2379 \
         snapshot save /var/lib/snapshot.db

      3. 输入以下命令验证快照是否成功：

         $ oc exec -n ${CONTROL_PLANE_NAMESPACE} -c etcd -t ${ETCD_POD} -- env ETCDCTL_API=3 /usr/bin/etcdctl -w table snapshot status /var/lib/snapshot.db

   3. 输入以下命令制作快照的本地副本：

      $ oc cp -c etcd ${CONTROL_PLANE_NAMESPACE}/${ETCD_POD}:/var/lib/snapshot.db /tmp/etcd.snapshot.db

      1. 从 etcd 持久性存储生成快照数据库副本：

         1. 输入以下命令列出 etcd pod：

            $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd

         2. 输入以下命令查找正在运行的 pod，并将其名称设置为 ETCD_POD: ETCD_POD=etcd-0，然后复制其快照数据库：

            $ oc cp -c etcd ${CONTROL_PLANE_NAMESPACE}/${ETCD_POD}:/var/lib/data/member/snap/db /tmp/etcd.snapshot.db

3. 接下来，输入以下命令缩减 etcd statefulset：

   $ oc scale -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd --replicas=0

   1. 输入以下命令删除第二个和第三个成员的卷：

      $ oc delete -n ${CONTROL_PLANE_NAMESPACE} pvc/data-etcd-1 pvc/data-etcd-2

   2. 创建 pod 以访问第一个 etcd 成员的数据：

      1. 输入以下命令来获取 etcd 镜像：

         $ ETCD_IMAGE=$(oc get -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd -o jsonpath='{ .spec.template.spec.containers[0].image }')

      2. 创建允许访问 etcd 数据的 pod：

         $ cat << EOF | oc apply -n ${CONTROL_PLANE_NAMESPACE} -f -
         apiVersion: apps/v1
         kind: Deployment
         metadata:
           name: etcd-data
         spec:
           replicas: 1
           selector:
             matchLabels:
               app: etcd-data
           template:
             metadata:
               labels:
                 app: etcd-data
             spec:
               containers:
               - name: access
                 image: $ETCD_IMAGE
                 volumeMounts:
                 - name: data
                   mountPath: /var/lib
                 command:
                 - /usr/bin/bash
                 args:
                 - -c
                 - |-
                   while true; do
                     sleep 1000
                   done
               volumes:
               - name: data
                 persistentVolumeClaim:
                   claimName: data-etcd-0
         EOF

      3. 输入以下命令检查 etcd-data pod 的状态并等待它正在运行：

         $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd-data

      4. 输入以下命令来获取 etcd-data pod 的名称：

         $ DATA_POD=$(oc get -n ${CONTROL_PLANE_NAMESPACE} pods --no-headers -l app=etcd-data -o name | cut -d/ -f2)

   3. 输入以下命令将 etcd 快照复制到 pod 中：

      $ oc cp /tmp/etcd.snapshot.db ${CONTROL_PLANE_NAMESPACE}/${DATA_POD}:/var/lib/restored.snap.db

   4. 输入以下命令从 etcd-data pod 中删除旧数据：

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- rm -rf /var/lib/data

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- mkdir -p /var/lib/data

   5. 输入以下命令恢复 etcd 快照：

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- etcdutl snapshot restore /var/lib/restored.snap.db \
           --data-dir=/var/lib/data --skip-hash-check \
           --name etcd-0 \
           --initial-cluster-token=etcd-cluster \
           --initial-cluster etcd-0=https://etcd-0.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380,etcd-1=https://etcd-1.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380,etcd-2=https://etcd-2.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380 \
           --initial-advertise-peer-urls https://etcd-0.etcd-discovery.${CONTROL_PLANE_NAMESPACE}.svc:2380

   6. 输入以下命令从 pod 中删除临时 etcd 快照：

      $ oc exec -n ${CONTROL_PLANE_NAMESPACE} ${DATA_POD} -- rm /var/lib/restored.snap.db

   7. 输入以下命令删除数据访问部署：

      $ oc delete -n ${CONTROL_PLANE_NAMESPACE} deployment/etcd-data

   8. 输入以下命令扩展 etcd 集群：

      $ oc scale -n ${CONTROL_PLANE_NAMESPACE} statefulset/etcd --replicas=3

   9. 输入以下命令等待 etcd 成员 pod 返回并报告 available：

      $ oc get -n ${CONTROL_PLANE_NAMESPACE} pods -l app=etcd -w

   10. 输入以下命令扩展所有 etcd-writer 部署：

       $ oc scale deployment -n ${CONTROL_PLANE_NAMESPACE} --replicas=3 kube-apiserver openshift-apiserver openshift-oauth-apiserver

4. 输入以下命令恢复托管集群的协调：

   $ oc patch -n ${CLUSTER_NAMESPACE} hostedclusters/${CLUSTER_NAME} -p '{"spec":{"pausedUntil":""}}' --type=merge