OpenShift Data Foundation 故障排除

流程

1. 为 openshift-storage 命名空间指定一个空白节点选择器。

   $ oc annotate namespace openshift-storage openshift.io/node-selector=

2. 删除 DaemonSet 生成的原始 pod。

   oc delete pod -l app=csi-cephfsplugin -n openshift-storage
   oc delete pod -l app=csi-rbdplugin -n openshift-storage

流程

1. 登录 OpenShift Container Platform Web 控制台。
2. 点 Workloads → Secrets

3. 更新用于集群范围加密的 ocs-kms-token ：

   1. 将 Project 设置为 openshift-storage。
   2. 点 ocs-kms-token → Actions → Edit Secret。
   3. 在 Value 字段中拖放或上传您的加密令牌文件。令牌可以是可复制和粘贴的文件或文本。
   4. 点击 Save。

4. 为带有加密持久性卷的给定项目或命名空间更新 ceph-csi-kms-token ：

   1. 选择所需的项目。
   2. 点 ceph-csi-kms-token → Actions → Edit Secret。
   3. 在 Value 字段中拖放或上传您的加密令牌文件。令牌可以是可复制和粘贴的文件或文本。

   4. 点击 Save。

      注意

      只有在所有使用 ceph-csi-kms-token 的加密 PVC 已被删除后，才能删除令牌。

1. 使用以下命令，检查与 OpenShift Data Foundation 集群 PVC 关联的存储类：

   $ oc get pvc -n openshift-storage

2. 检查输出。对于使用 Local Storage Operator 的集群，与 ocs-deviceset 关联的 PVC 使用存储类 localblock。输出结果类似如下：

   NAME                      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   db-noobaa-db-0            Bound    pvc-d96c747b-2ab5-47e2-b07e-1079623748d8   50Gi       RWO            ocs-storagecluster-ceph-rbd   114s
   ocs-deviceset-0-0-lzfrd   Bound    local-pv-7e70c77c                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-1-0-7rggl   Bound    local-pv-b19b3d48                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-2-0-znhk8   Bound    local-pv-e9f22cdc                          1769Gi     RWO            localblock                    2m10s

1. 验证 Ceph 健康状态。

   有关更多信息，请参阅： 验证 Ceph 集群是否健康。

2. 根据 OSD 的调配，移除失败或不需要的 Ceph OSD。

   请参阅：

   • 在 动态置备的 Red Hat OpenShift Data Foundation 中删除失败的或不需要的 Ceph OSD。
   • 使用本地存储设备移除失败的或不需要的 Ceph OSD。

1. 检查 openshift-storage 命名空间在删除时是否处于 Terminating 状态。

   $ oc get project -n <namespace>

   输出：

   NAME                DISPLAY NAME   STATUS
   openshift-storage                  Terminating

2. 在命令输出的 STATUS 部分检查 NamespaceFinalizersRemaining 和 NamespaceContentRemaining 信息，并对列出的每个资源执行下一步。

   $ oc get project openshift-storage -o yaml

   输出示例：

   status:
     conditions:
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All resources successfully discovered
       reason: ResourcesDiscovered
       status: "False"
       type: NamespaceDeletionDiscoveryFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All legacy kube types successfully parsed
       reason: ParsedGroupVersions
       status: "False"
       type: NamespaceDeletionGroupVersionParsingFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All content successfully deleted, may be waiting on finalization
       reason: ContentDeleted
       status: "False"
       type: NamespaceDeletionContentFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some resources are remaining: cephobjectstoreusers.ceph.rook.io has
         1 resource instances'
       reason: SomeResourcesRemain
       status: "True"
       type: NamespaceContentRemaining
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some content in the namespace has finalizers remaining: cephobjectstoreuser.ceph.rook.io
         in 1 resource instances'
       reason: SomeFinalizersRemain
       status: "True"
       type: NamespaceFinalizersRemaining

3. 删除上一步中列出的所有剩余资源。

   对于要删除的每个资源，请执行以下操作：

   1. 获取需要删除的资源的对象类型。查看以上输出中的消息。

      示例：

      Message: 命名空间中的一些内容使终结器为 cephobjectstoreuser.ceph.rook.io

      其中 cephobjectstoreuser.ceph.rook.io 是对象类型。

   2. 获取与对象类型对应的对象名称。

      $ oc get  <Object-kind> -n  <project-name>

      示例：

      $ oc get cephobjectstoreusers.ceph.rook.io -n openshift-storage

      输出示例：

      NAME                           AGE
      noobaa-ceph-objectstore-user   26h

   3. 修补资源。

      $ oc patch -n <project-name> <object-kind>/<object-name> --type=merge -p '{"metadata": {"finalizers":null}}'

      例如：

      $ oc patch -n openshift-storage cephobjectstoreusers.ceph.rook.io/noobaa-ceph-objectstore-user \
      --type=merge -p '{"metadata": {"finalizers":null}}'

      输出：

      cephobjectstoreuser.ceph.rook.io/noobaa-ceph-objectstore-user patched

4. 验证 openshift-storage 项目是否已删除。

   $ oc get project openshift-storage

   输出：

   Error from server (NotFound): namespaces "openshift-storage" not found

   如果问题仍然存在，请联系红帽支持团队。

1. 检查 CephFS pvc 处于 Pending 状态。

   # oc get pvc -n <namespace>

   输出示例：

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Pending
                             ocs-external-storagecluster-cephfs  28h
   [...]

2. 检查 describe 输出，以查看相应 pvc 的事件。

   预期的错误消息为 cephfs_metadata/csi.volumes.default/csi.volume.pvc-xxxxxx-xxxx-xxxx-xxxx-xxxxxxx:(1)Operation not permitted）

   # oc describe pvc ngx-fs-pxknkcix20-pod -n nginx-file

   输出示例：

   Name:          ngx-fs-pxknkcix20-pod
   Namespace:     nginx-file
   StorageClass:  ocs-external-storagecluster-cephfs
   Status:        Pending
   Volume:
   Labels:        <none>
   Annotations:   volume.beta.kubernetes.io/storage-provisioner: openshift-storage.cephfs.csi.ceph.com
   Finalizers:    [kubernetes.io/pvc-protection]
   Capacity:
   Access Modes:
   VolumeMode:    Filesystem
   Mounted By:    ngx-fs-oyoe047v2bn2ka42jfgg-pod-hqhzf
   Events:
    Type     Reason              Age                   From                                                                                                                      Message
    ----     ------              ----                  ----                                                                                                                      -------
    Warning  ProvisioningFailed  107m (x245 over 22h)  openshift-storage.cephfs.csi.ceph.com_csi-cephfsplugin-provisioner-5f8b66cc96-hvcqp_6b7044af-c904-4795-9ce5-bf0cf63cc4a4
    (combined from similar events): failed to provision volume with StorageClass "ocs-external-storagecluster-cephfs": rpc error: code = Internal desc = error (an error (exit status 1) occurred while
    running rados args: [-m 192.168.13.212:6789,192.168.13.211:6789,192.168.13.213:6789 --id csi-cephfs-provisioner --keyfile=stripped -c /etc/ceph/ceph.conf -p cephfs_metadata getomapval
    csi.volumes.default csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47 /tmp/omap-get-186436239 --namespace=csi]) occurred, command output streams is ( error getting omap value
    cephfs_metadata/csi.volumes.default/csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47: (1) Operation not permitted)

3. 检查 <cephfs metadata pool name> (这里是 cephfs_metadata ) 和 <cephfs data pool name> (这里是 cephfs_data)。为了运行命令，需要在 Red Hat Ceph Storage 客户端节点中预安装 jq。

   # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
   {
     "cephfs": {}
   }
   "cephfs_metadata"
   {
      "cephfs": {}
   }

4. 设置 CephFS 池的应用类型。

   • 在 Red Hat Ceph Storage 客户端节点中运行以下命令：

     # ceph osd pool application set <cephfs metadata pool name> cephfs metadata cephfs

     # ceph osd pool application set <cephfs data pool name> cephfs data cephfs

5. 验证是否应用了设置。

    # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
     {
       "cephfs": {
         "data": "cephfs"
      }
     }
     "cephfs_metadata"
     {
       "cephfs": {
         "metadata": "cephfs"
       }
     }

6. 再次检查 CephFS PVC 状态。PVC 现在处于 Bound 状态。

   # oc get pvc -n <namespace>

   输出示例：

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Bound     pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47
   1Mi       RWO             ocs-external-storagecluster-cephfs  29h
   [...]

流程

1. 缩减 rook-ceph-operator 和 ocs operator 部署。

   # oc scale deployment rook-ceph-operator --replicas=0 -n openshift-storage

   # oc scale deployment ocs-operator --replicas=0 -n openshift-storage

2. 在 openshift-storage 命名空间中创建所有部署的备份。

   # mkdir backup

   # cd backup

   # oc project openshift-storage

   # for d in $(oc get deployment|awk -F' ' '{print $1}'|grep -v NAME); do echo $d;oc get deployment $d -o yaml > oc_get_deployment.${d}.yaml; done

3. 修补 OSD 部署以移除 livenessProbe 参数，再以 命令参数作为 sleep 状态运行它。

   # for i in $(oc get deployment -l app=rook-ceph-osd -oname);do oc patch ${i} -n openshift-storage --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]' ; oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "osd", "command": ["sleep", "infinity"], "args": []}]}}}}' ; done

4. 从所有 OSD 检索 monstore 集群映射。

   1. 创建 restore_mon.sh 脚本。

      #!/bin/bash
      ms=/tmp/monstore
      
      rm -rf $ms
      mkdir $ms
      
      for osd_pod in $(oc get po -l app=rook-ceph-osd -oname -n openshift-storage); do
      
        echo "Starting with pod: $osd_pod"
      
        podname=$(echo $osd_pod|sed 's/pod\///g')
        oc exec $osd_pod -- rm -rf $ms
        oc cp $ms $podname:$ms
      
        rm -rf $ms
        mkdir $ms
      
        echo "pod in loop: $osd_pod ; done deleting local dirs"
      
        oc exec $osd_pod -- ceph-objectstore-tool --type bluestore --data-path /var/lib/ceph/osd/ceph-$(oc get $osd_pod -ojsonpath='{ .metadata.labels.ceph_daemon_id }') --op update-mon-db --no-mon-config --mon-store-path $ms
        echo "Done with COT on pod: $osd_pod"
      
        oc cp $podname:$ms $ms
      
        echo "Finished pulling COT data from pod: $osd_pod"
      done

   2. 运行 restore_mon.sh 脚本。

      # chmod +x recover_mon.sh

      # ./recover_mon.sh

5. 修补 MON 部署，并使用命令参数作为 sleep 状态运行它。

   1. 编辑 MON 部署。

      # for i in $(oc get deployment -l app=rook-ceph-mon -oname);do oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'; done

   2. 修补 MON 部署，以增加 initialDelaySeconds。

      # oc get deployment rook-ceph-mon-a -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      # oc get deployment rook-ceph-mon-b -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      # oc get deployment rook-ceph-mon-c -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

6. 将之前检索到的 monstore 复制到 mon-a pod。

   # oc cp /tmp/monstore/ $(oc get po -l app=rook-ceph-mon,mon=a -oname |sed 's/pod\///g'):/tmp/

7. 导航到 MON 容器集，再更改检索到的 monstore 的所有权。

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   # chown -R ceph:ceph /tmp/monstore

8. 在重建 mon db 之前复制密钥环模板文件。

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   # cp /etc/ceph/keyring-store/keyring /tmp/keyring

   # cat /tmp/keyring
     [mon.]
       key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
       caps mon = "allow *"
     [client.admin]
       key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
       auid = 0
       caps mds = "allow *"
       caps mgr = "allow *"
       caps mon = "allow *"
       caps osd = "allow *”

9. 从对应的机密中识别所有其他 Ceph 守护进程（MGR、MDS、RGW、Crash、CSI 和 CSI 置备程序）的密钥环。

   # oc get secret rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-keyring -ojson  | jq .data.keyring | xargs echo | base64 -d
   
   [mds.ocs-storagecluster-cephfilesystem-a]
   key = AQB3r8VgAtr6OhAAVhhXpNKqRTuEVdRoxG4uRA==
   caps mon = "allow profile mds"
   caps osd = "allow *"
   caps mds = "allow"

   keyring 文件示例： /etc/ceph/ceph.client.admin.keyring:

   [mon.]
   	key = AQDxTF1hNgLTNxAAi51cCojs01b4I5E6v2H8Uw==
   	caps mon = "allow "
   [client.admin]
           key = AQDxTF1hpzguOxAA0sS8nN4udoO35OEbt3bqMQ==
           caps mds = "allow " caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-a] key = AQCKTV1horgjARAA8aF/BDh/4+eG4RCNBCl+aw== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-b] key = AQCKTV1hN4gKLBAA5emIVq3ncV7AMEM1c1RmGA== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [client.rgw.ocs.storagecluster.cephobjectstore.a] key = AQCOkdBixmpiAxAA4X7zjn6SGTI9c1MBflszYA== caps mon = "allow rw" caps osd = "allow rwx" [mgr.a] key = AQBOTV1hGYOEORAA87471+eIZLZtptfkcHvTRg== caps mds = "allow *" caps mon = "allow profile mgr" caps osd = "allow *" [client.crash] key = AQBOTV1htO1aGRAAe2MPYcGdiAT+Oo4CNPSF1g== caps mgr = "allow rw" caps mon = "allow profile crash" [client.csi-cephfs-node] key = AQBOTV1hiAtuBBAAaPPBVgh1AqZJlDeHWdoFLw== caps mds = "allow rw" caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs *=" [client.csi-cephfs-provisioner] key = AQBNTV1hHu6wMBAAzNXZv36aZJuE1iz7S7GfeQ== caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs metadata="
   [client.csi-rbd-node]
   	key = AQBNTV1h+LnkIRAAWnpIN9bUAmSHOvJ0EJXHRw==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"
   [client.csi-rbd-provisioner]
   	key = AQBNTV1hMNcsExAAvA3gHB2qaY33LOdWCvHG/A==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"

   重要
   • 对于 client.csi 相关的密钥环，请参阅前面的密钥环文件输出，并在从其相应的 OpenShift Data Foundation secret 获取密钥后添加默认 大写字母。
   • OSD 密钥环会在恢复后自动添加。

10. 进入 mon-a pod，验证 monstore 具有 monmap。

    1. 进入到 mon-a 容器集。

       # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

    2. 验证 monstore 有 monmap。

       # ceph-monstore-tool /tmp/monstore get monmap -- --out /tmp/monmap

       # monmaptool /tmp/monmap --print

11. 可选：如果没有 monmap，则创建新的 monmap。

    # monmaptool --create --add <mon-a-id> <mon-a-ip> --add <mon-b-id> <mon-b-ip> --add <mon-c-id> <mon-c-ip> --enable-all-features --clobber /root/monmap --fsid <fsid>

    <mon-a-id>

    是 mon-a pod 的 ID。

    <mon-a-ip>

    是 mon-a pod 的 IP 地址。

    <mon-b-id>

    是 mon-b pod 的 ID。

    <mon-b-ip>

    是 mon-b pod 的 IP 地址。

    <mon-c-id>

    是 mon-c pod 的 ID。

    <mon-c-ip>

    是 mon-c pod 的 IP 地址。

    <fsid>

    是文件系统 ID。

12. 验证 monmap。

    # monmaptool /root/monmap --print

13. 导入 monmap。

    重要

    使用之前创建的 keyring 文件。

    # ceph-monstore-tool /tmp/monstore rebuild -- --keyring /tmp/keyring --monmap /root/monmap

    # chown -R ceph:ceph /tmp/monstore

14. 创建旧 store.db 文件的备份。

    # mv /var/lib/ceph/mon/ceph-a/store.db /var/lib/ceph/mon/ceph-a/store.db.corrupted

    # mv /var/lib/ceph/mon/ceph-b/store.db /var/lib/ceph/mon/ceph-b/store.db.corrupted

    # mv /var/lib/ceph/mon/ceph-c/store.db /var/lib/ceph/mon/ceph-c/store.db.corrupted

15. 将重新构建 store.db 文件复制到 monstore 目录。

    # mv /tmp/monstore/store.db /var/lib/ceph/mon/ceph-a/store.db

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-a/store.db

16. 在重建了 monstore 目录后，将 store.db 文件从本地 复制到 MON 容器集的其余部分。

    # oc cp $(oc get po -l app=rook-ceph-mon,mon=a -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-a/store.db /tmp/store.db

    # oc cp /tmp/store.db $(oc get po -l app=rook-ceph-mon,mon=<id> -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-<id>

    <id>

    是 MON Pod 的 ID

17. 前往 MON 容器集的其余部分，再更改复制的 monstore 的所有权。

    # oc rsh $(oc get po -l app=rook-ceph-mon,mon=<id> -oname)

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-<id>/store.db

    <id>

    是 MON Pod 的 ID

18. 恢复补丁的更改。

    • 对于 MON 部署：

      # oc replace --force -f <mon-deployment.yaml>

      <mon-deployment.yaml>

      是 MON 部署 yaml 文件

    • 对于 OSD 部署：

      # oc replace --force -f <osd-deployment.yaml>

      <osd-deployment.yaml>

      是 OSD 部署 yaml 文件

    • 对于 MGR 部署：

      # oc replace --force -f <mgr-deployment.yaml>

      <mgr-deployment.yaml>

      是 MGR 部署 yaml 文件

      重要

      确保 MON、MGR 和 OSD 容器集已启动并在运行。

19. 扩展 rook-ceph-operator 和 ocs-operator 部署。

    # oc -n openshift-storage scale deployment ocs-operator --replicas=1

验证步骤

1. 检查 Ceph 状态，以确认 CephFS 正在运行。

   # ceph -s

   输出示例：

   cluster:
      id:     f111402f-84d1-4e06-9fdb-c27607676e55
      health: HEALTH_ERR
               1 filesystem is offline
               1 filesystem is online with fewer MDS than max_mds
               3 daemons have recently crashed
   
      services:
        mon: 3 daemons, quorum b,c,a (age 15m)
        mgr: a(active, since 14m)
        mds: ocs-storagecluster-cephfilesystem:0
        osd: 3 osds: 3 up (since 15m), 3 in (since 2h)
   
      data:
        pools:   3 pools, 96 pgs
        objects: 500 objects, 1.1 GiB
        usage:   5.5 GiB used, 295 GiB / 300 GiB avail
        pgs:     96 active+clean

2. 检查 Multicloud 对象网关(MCG)状态。它应该处于活跃状态，后备存储和 bucketclass 应为 Ready 状态。

   noobaa status -n openshift-storage

   重要

   如果 MCG 不在活跃状态，且后备存储和存储桶类没有处于 Ready 状态，则需要重启所有 MCG 相关 pod。如需更多信息，请参阅 第 11.1 节 “恢复 Multicloud 对象网关”。

流程

1. 停止 rook-ceph-operator，以便在修改 monmap 时不通过 mons 失败。

   # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=0

2. 注入一个新的 monmap。

   警告

   您必须非常仔细注入 monmap。如果运行不正确，您的集群可以被永久销毁。Ceph monmap 来跟踪 mon 仲裁。monmap 被更新为仅包含健康的 mon。在本例中，健康的 mon 是 rook-ceph-mon-b，而不健康的 mons 为 rook-ceph-mon-a 和 rook-ceph-mon-c。

   1. 备份当前的 rook-ceph-mon-b 部署：

      # oc -n openshift-storage get deployment rook-ceph-mon-b -o yaml > rook-ceph-mon-b-deployment.yaml

   2. 打开 YAML 文件，并从 mon 容器复制命令和参数（请参见以下示例中的容器列表）。这是 monmap 更改所需要的。

      [...]
        containers:
        - args:
          - --fsid=41a537f2-f282-428e-989f-a9e07be32e47
          - --keyring=/etc/ceph/keyring-store/keyring
          - --log-to-stderr=true
          - --err-to-stderr=true
          - --mon-cluster-log-to-stderr=true
          - '--log-stderr-prefix=debug '
          - --default-log-to-file=false
          - --default-mon-cluster-log-to-file=false
          - --mon-host=$(ROOK_CEPH_MON_HOST)
          - --mon-initial-members=$(ROOK_CEPH_MON_INITIAL_MEMBERS)
          - --id=b
          - --setuser=ceph
          - --setgroup=ceph
          - --foreground
          - --public-addr=10.100.13.242
          - --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db
          - --public-bind-addr=$(ROOK_POD_IP)
          command:
          - ceph-mon
      [...]

   3. 清理复制的 command 和 args 字段以形成过去的命令，如下所示：

      # ceph-mon \
          --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
          --keyring=/etc/ceph/keyring-store/keyring \
          --log-to-stderr=true \
          --err-to-stderr=true \
          --mon-cluster-log-to-stderr=true \
          --log-stderr-prefix=debug \
          --default-log-to-file=false \
          --default-mon-cluster-log-to-file=false \
          --mon-host=$ROOK_CEPH_MON_HOST \
          --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
          --id=b \
          --setuser=ceph \
          --setgroup=ceph \
          --foreground \
          --public-addr=10.100.13.242 \
          --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
          --public-bind-addr=$ROOK_POD_IP

      注意

      确保删除括起了 --log-stderr-prefix 标记的单引号，以及包括 ROOK_CEPH_MON_MON_MON_MON_HOST、ROOK_CEPH_MON_MON_CEPH_MON_INITIAL_MEMBERS 和 ROOK_POD_IP 变量的括号。

   4. 修补 rook-ceph-mon-b 部署，在不删除 mon 的情况下停止这个 mon 工作。

      # oc -n openshift-storage patch deployment rook-ceph-mon-b  --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]'
      
      # oc -n openshift-storage patch deployment rook-ceph-mon-b -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'

   5. 在 mon-b pod 上执行以下步骤：

      1. 连接到健康 mon 的 pod 并运行以下命令：

         # oc -n openshift-storage exec -it <mon-pod> bash

      2. 设置变量。

         # monmap_path=/tmp/monmap

      3. 将 monmap 提取到一个文件，从健康的 mon 部署中粘贴 ceph mon 命令并添加 --extract-monmap=${monmap_path} 标记。

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --extract-monmap=${monmap_path}

      4. 检查 monmap 的内容。

         # monmaptool --print /tmp/monmap

      5. 从 monmap 中删除错误的 mons。

         # monmaptool ${monmap_path} --rm <bad_mon>

         在本例中，我们移除了 mon0 和 mon2 ：

         # monmaptool ${monmap_path} --rm a
         # monmaptool ${monmap_path} --rm c

      6. 把修改过的 monmap 注入到健康的 mon中，粘贴 ceph mon 命令并添加 --inject-monmap=${monmap_path} 标记：

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --inject-monmap=${monmap_path}

      7. 退出 shell 以继续。

3. 编辑 Rook configmaps。

   1. 编辑 operator 用来跟踪 mons 的 configmap。

      # oc -n openshift-storage edit configmap rook-ceph-mon-endpoints

   2. 验证在数据元素中，您可以看到如下三个 mon （具体取决于您的 moncount，可能会更多）：

      data: a=10.100.35.200:6789;b=10.100.13.242:6789;c=10.100.35.12:6789

   3. 从列表中删除有问题的 mons，以使用一个好的 mon 结束。例如：

      data: b=10.100.13.242:6789

   4. 保存文件并退出。

   5. 现在，您需要使用用于 mons 和其他组件的 Secret。

      1. 为变量 good_mon_id 设置一个值。

         例如：

         # good_mon_id=b

      2. 您可以使用 oc patch 命令来修补 rook-ceph-config secret，并更新两个键/值对 mon_host 和 mon_initial_members。

         # mon_host=$(oc -n openshift-storage get svc rook-ceph-mon-b -o jsonpath='{.spec.clusterIP}')
         
         # oc -n openshift-storage patch secret rook-ceph-config -p '{"stringData": {"mon_host": "[v2:'"${mon_host}"':3300,v1:'"${mon_host}"':6789]", "mon_initial_members": "'"${good_mon_id}"'"}}'

         注意

         如果使用 hostNetwork: true，则需要将 mon_host 变量替换为代表 mon 固定到的节点 IP(nodeSelector)。这是因为在那个 "mode" 中创建了 rook-ceph-mon-* 服务。

4. 重新启动 mon。

   您需要使用原始 ceph-mon 命令重启好的 mon pod，以获取这些更改。

   1. 在 mon 部署 YAML 文件的备份中使用 oc replace 命令：

      # oc replace --force -f rook-ceph-mon-b-deployment.yaml

      注意

      选项 --force 删除部署并创建新部署。

   2. 验证集群的状态。

      状态应该在仲裁中显示 mon。如果状态正常，您的集群应该再次处于健康状态。

5. 删除不再预期在仲裁中的两个 mon 部署。

   例如：

   # oc delete deploy <rook-ceph-mon-1>
   # oc delete deploy <rook-ceph-mon-2>

   在本例中，要删除的部署有 rook-ceph-mon-a 和 rook-ceph-mon-c。

6. 重启 Operator。

   1. 再次启动 rook 运算符，以恢复监控集群的健康状况。

      注意

      忽略多个资源已存在的错误是安全的。

      # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=1

      根据 mon 数量，Operator 会自动添加更多 mons 来再次增加仲裁大小。