3.3. 恢复到一个以前的集群状态

流程

1. 准备集群中要还原每个 master 主机。

   您应该在短时间内在所有 master 主机上运行还原脚本，以使集群成员可以大约在同时启动并形成仲裁。因此，建议为每一个 master 主机使用一个单独的终端，以便恢复脚本可以快速地在各个终端中同时运行。

   1. 将 etcd 备份目录复制到一个 master 主机上。

      此流程假设您将 backup 目录（其中包含 etcd 快照和静态 Kubernetes API 服务器资源）复制到 master 主机的 /home/core/ 目录中。

   2. 访问 master 主机。

   3. 将INITIAL_CLUSTER变量设置为以<name>=<url>格式代表的成员列表。该变量将被传递到恢复脚本，并且对于每个成员必须完全相同。

      [core@ip-10-0-143-125 ~]$ export INITIAL_CLUSTER="etcd-member-ip-10-0-143-125.ec2.internal=https://etcd-0.clustername.devcluster.openshift.com:2380,etcd-member-ip-10-0-35-108.ec2.internal=https://etcd-1.clustername.devcluster.openshift.com:2380,etcd-member-ip-10-0-10-16.ec2.internal=https://etcd-2.clustername.devcluster.openshift.com:2380"

      Copy to Clipboard Toggle word wrap

   4. 如果启用了集群范围的代理，请确定已导出了 NO_PROXY、HTTP_PROXY和 HTTPS_PROXY 环境变量。

      提示

      您可以通过查看 oc get proxy cluster -o yaml 的输出来检查代理是否已启用。如果 httpProxy、httpsProxy和 noProxy 字段设置了值，则会启用代理。

   5. 在其他 master 主机上重复这些步骤（每个 master 都使用一个单独的终端）。确保在每个 master 主机上使用包含相同备份文件的备份目录。

2. 在所有 master 主机上运行恢复脚本。

   1. 在第一个 master 主机上启动etcd-snapshot-restore.sh脚本。传递两个参数：etcd 备份目录的路径，成员列表（由INITIAL_CLUSTER变量定义）。

      [core@ip-10-0-143-125 ~]$ sudo -E /usr/local/bin/etcd-snapshot-restore.sh /home/core/backup $INITIAL_CLUSTER
      Creating asset directory ./assets
      Downloading etcdctl binary..
      etcdctl version: 3.3.10
      API version: 3.3
      Backing up /etc/kubernetes/manifests/etcd-member.yaml to ./assets/backup/
      Stopping all static pods..
      ..stopping kube-scheduler-pod.yaml
      ..stopping kube-controller-manager-pod.yaml
      ..stopping kube-apiserver-pod.yaml
      ..stopping etcd-member.yaml
      Stopping etcd..
      Waiting for etcd-member to stop
      Stopping kubelet..
      Stopping all containers..
      bd44e4bc942276eb1a6d4b48ecd9f5fe95570f54aa9c6b16939fa2d9b679e1ea
      d88defb9da5ae623592b81619e3690faeb4fa645440e71c029812cb960ff586f
      3920ced20723064a379739c4a586f909497a7b6705a5b3cf367d9b930f23a5f1
      d470f7a2d962c90f3a21bcc021970bde96bc8908f317ec70f1c21720b322c25c
      Backing up etcd data-dir..
      Removing etcd data-dir /var/lib/etcd
      Restoring etcd member etcd-member-ip-10-0-143-125.ec2.internal from snapshot..
      2019-05-15 19:03:34.647589 I | pkg/netutil: resolving etcd-0.clustername.devcluster.openshift.com:2380 to 10.0.143.125:2380
      2019-05-15 19:03:34.883545 I | mvcc: restore compact to 361491
      2019-05-15 19:03:34.915679 I | etcdserver/membership: added member cbe982c74cbb42f [https://etcd-0.clustername.devcluster.openshift.com:2380] to cluster 807ae3bffc8d69ca
      Starting static pods..
      ..starting kube-scheduler-pod.yaml
      ..starting kube-controller-manager-pod.yaml
      ..starting kube-apiserver-pod.yaml
      ..starting etcd-member.yaml
      Starting kubelet..

      Copy to Clipboard Toggle word wrap
   2. 当恢复操作开始后，在其他 master 主机上运行脚本。

3. 验证 Machine Configs 已被使用。

   在一个终端中使用 cluster-admin 用户连接到集群，运行以下命令。

   $ oc get machineconfigpool
   NAME     CONFIG                                             UPDATED   UPDATING
   master   rendered-master-50e7e00374e80b767fcc922bdfbc522b   True      False

   Copy to Clipboard Toggle word wrap

   应用快照后，master 服务器的currentConfig将与 etcd 快照被创建时的 ID相匹配。master 的currentConfig名称格式为 rendered-master-<currentConfig> 。

4. 验证所有 master 主机已启动并加入集群。

   1. 访问一个 master 主机，连接到正在运行的 etcd 容器。

      [core@ip-10-0-143-125 ~] id=$(sudo crictl ps --name etcd-member | awk 'FNR==2{ print $1}') && sudo crictl exec -it $id /bin/sh

      Copy to Clipboard Toggle word wrap

   2. 在 etcd 容器中，导出连接到 etcd 所需的变量。

      sh-4.3# export ETCDCTL_API=3 ETCDCTL_CACERT=/etc/ssl/etcd/ca.crt ETCDCTL_CERT=$(find /etc/ssl/ -name *peer*crt) ETCDCTL_KEY=$(find /etc/ssl/ -name *peer*key)

      Copy to Clipboard Toggle word wrap

   3. 在 etcd 容器中，执行etcdctl member list，检查三个成员的状态都为“started”。

      sh-4.3#  etcdctl member list -w table
      
      +------------------+---------+------------------------------------------+------------------------------------------------------------------+---------------------------+
      |        ID        | STATUS  |                   NAME                   |                            PEER ADDRS                            |       CLIENT ADDRS        |
      +------------------+---------+------------------------------------------+------------------------------------------------------------------+---------------------------+
      | 29e461db6be4eaaa | started | etcd-member-ip-10-0-164-170.ec2.internal | https://etcd-2.clustername.devcluster.openshift.com:2380 | https://10.0.164.170:2379 |
      |  cbe982c74cbb42f | started | etcd-member-ip-10-0-143-125.ec2.internal | https://etcd-0.clustername.devcluster.openshift.com:2380 | https://10.0.143.125:2379 |
      | a752f80bcb0da3e8 | started |   etcd-member-ip-10-0-156-2.ec2.internal | https://etcd-1.clustername.devcluster.openshift.com:2380 |   https://10.0.156.2:2379 |
      +------------------+---------+------------------------------------------+------------------------------------------------------------------+---------------------------+

      Copy to Clipboard Toggle word wrap

      请注意，每个新成员最多可能需要 20 分钟才能启动。