OpenShift Data Foundation 문제 해결

절차

1. openshift-storage 네임스페이스에 빈 노드 선택기를 지정합니다.

   $ oc annotate namespace openshift-storage openshift.io/node-selector=

   Copy to Clipboard Toggle word wrap

2. DaemonSet에서 생성한 원래 포드를 삭제합니다.

   oc delete pod -l app=csi-cephfsplugin -n openshift-storage
   oc delete pod -l app=csi-rbdplugin -n openshift-storage

   Copy to Clipboard Toggle word wrap

절차

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. 워크로드 → 시크릿 을 클릭합니다.

3. 클러스터 전체 암호화에 사용되는 ocs-kms-token 을 업데이트하려면 다음을 수행합니다.

   1. 프로젝트를 openshift-storage 로 설정합니다.
   2. ocs-kms-token → Actions → Edit Secret 을 클릭합니다.
   3. Value 필드에 암호화 토큰 파일을 드래그 앤 드롭하거나 업로드합니다. 토큰은 복사 및 붙여넣기할 수 있는 파일 또는 텍스트일 수 있습니다.
   4. 저장을 클릭합니다.

4. 암호화된 영구 볼륨으로 지정된 프로젝트 또는 네임스페이스에 대해 ceph-csi-kms-token 을 업데이트하려면 다음을 수행합니다.

   1. 필수 프로젝트를 선택합니다.
   2. ceph-csi-kms-token → Actions → Edit Secret 을 클릭합니다.
   3. Value 필드에 암호화 토큰 파일을 드래그 앤 드롭하거나 업로드합니다. 토큰은 복사 및 붙여넣기할 수 있는 파일 또는 텍스트일 수 있습니다.

   4. 저장을 클릭합니다.

      참고

      토큰은 ceph-csi-kms-token 을 사용하는 모든 암호화된 PVC가 삭제된 후에만 삭제할 수 있습니다.

1. 다음 명령을 사용하여 OpenShift Data Foundation 클러스터의 PVC와 연결된 스토리지 클래스를 확인합니다.

   $ oc get pvc -n openshift-storage

   Copy to Clipboard Toggle word wrap

2. 출력을 확인합니다. Local Storage Operator가 있는 클러스터의 경우 ocs-deviceset 과 연결된 PVC는 스토리지 클래스 localblock 을 사용합니다. 출력은 다음과 유사합니다.

   NAME                      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   db-noobaa-db-0            Bound    pvc-d96c747b-2ab5-47e2-b07e-1079623748d8   50Gi       RWO            ocs-storagecluster-ceph-rbd   114s
   ocs-deviceset-0-0-lzfrd   Bound    local-pv-7e70c77c                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-1-0-7rggl   Bound    local-pv-b19b3d48                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-2-0-znhk8   Bound    local-pv-e9f22cdc                          1769Gi     RWO            localblock                    2m10s

   Copy to Clipboard Toggle word wrap

1. Ceph 상태를 확인합니다.

   자세한 내용은 다음을 참조하십시오. Ceph 클러스터가 정상인지 확인합니다.

2. OSD의 프로비저닝에 따라 실패하거나 원하지 않는 Ceph OSD를 제거합니다.

   다음 내용을 참조하십시오.

   • 동적으로 프로비저닝된 Red Hat OpenShift Data Foundation에서 실패하거나 원하지 않는 Ceph OSD 제거.
   • 로컬 스토리지 장치를 사용하여 프로비저닝된 Ceph OSD를 제거하지 못했습니다.

1. 삭제 시 openshift-storage 네임스페이스가 Terminating 상태인지 확인합니다.

   $ oc get project -n <namespace>

   Copy to Clipboard Toggle word wrap

   출력:

   NAME                DISPLAY NAME   STATUS
   openshift-storage                  Terminating

   Copy to Clipboard Toggle word wrap

2. 명령 출력의 STATUS 섹션에서 NamespaceFinalizersRemaining 및 NamespaceContentRemaining 메시지를 확인하고 나열된 각 리소스에 대해 다음 단계를 수행합니다.

   $ oc get project openshift-storage -o yaml

   Copy to Clipboard Toggle word wrap

   출력 예 :

   status:
     conditions:
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All resources successfully discovered
       reason: ResourcesDiscovered
       status: "False"
       type: NamespaceDeletionDiscoveryFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All legacy kube types successfully parsed
       reason: ParsedGroupVersions
       status: "False"
       type: NamespaceDeletionGroupVersionParsingFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All content successfully deleted, may be waiting on finalization
       reason: ContentDeleted
       status: "False"
       type: NamespaceDeletionContentFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some resources are remaining: cephobjectstoreusers.ceph.rook.io has
         1 resource instances'
       reason: SomeResourcesRemain
       status: "True"
       type: NamespaceContentRemaining
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some content in the namespace has finalizers remaining: cephobjectstoreuser.ceph.rook.io
         in 1 resource instances'
       reason: SomeFinalizersRemain
       status: "True"
       type: NamespaceFinalizersRemaining

   Copy to Clipboard Toggle word wrap

3. 이전 단계에 나열된 나머지 리소스를 모두 삭제합니다.

   각 리소스를 삭제할 경우 다음을 수행합니다.

   1. 제거해야 하는 리소스의 개체 유형을 가져옵니다. 위의 출력에서 메시지를 확인합니다.

      예:

      메세지: 네임스페이스의 일부 콘텐츠에는 종료자가 남아 있습니다. cephobjectstoreuser.ceph.rook.io

      여기에서 cephobjectstoreuser.ceph.rook.io 는 오브젝트 종류입니다.

   2. 오브젝트 유형에 해당하는 오브젝트 이름을 가져옵니다.

      $ oc get  <Object-kind> -n  <project-name>

      Copy to Clipboard Toggle word wrap

      예:

      $ oc get cephobjectstoreusers.ceph.rook.io -n openshift-storage

      Copy to Clipboard Toggle word wrap

      출력 예:

      NAME                           AGE
      noobaa-ceph-objectstore-user   26h

      Copy to Clipboard Toggle word wrap

   3. 리소스를 패치합니다.

      $ oc patch -n <project-name> <object-kind>/<object-name> --type=merge -p '{"metadata": {"finalizers":null}}'

      Copy to Clipboard Toggle word wrap

      예제:

      $ oc patch -n openshift-storage cephobjectstoreusers.ceph.rook.io/noobaa-ceph-objectstore-user \
      --type=merge -p '{"metadata": {"finalizers":null}}'

      Copy to Clipboard Toggle word wrap

      출력:

      cephobjectstoreuser.ceph.rook.io/noobaa-ceph-objectstore-user patched

      Copy to Clipboard Toggle word wrap

4. openshift-storage 프로젝트가 삭제되었는지 확인합니다.

   $ oc get project openshift-storage

   Copy to Clipboard Toggle word wrap

   출력:

   Error from server (NotFound): namespaces "openshift-storage" not found

   Copy to Clipboard Toggle word wrap

   문제가 해결되지 않는 경우 Red Hat 지원팀에 문의하십시오.

1. CephFS pvc가 Pending 상태인지 확인합니다.

   # oc get pvc -n <namespace>

   Copy to Clipboard Toggle word wrap

   출력 예 :

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Pending
                             ocs-external-storagecluster-cephfs  28h
   [...]

   Copy to Clipboard Toggle word wrap

2. describe 출력을 확인하여 각 pvc의 이벤트를 확인합니다.

   예상 오류 메시지 cephfs_metadata/csi.volumes.default/csi.volume.pvc-xxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxxxx: (1) 작업이 허용되지 않음)

   # oc describe pvc ngx-fs-pxknkcix20-pod -n nginx-file

   Copy to Clipboard Toggle word wrap

   출력 예:

   Name:          ngx-fs-pxknkcix20-pod
   Namespace:     nginx-file
   StorageClass:  ocs-external-storagecluster-cephfs
   Status:        Pending
   Volume:
   Labels:        <none>
   Annotations:   volume.beta.kubernetes.io/storage-provisioner: openshift-storage.cephfs.csi.ceph.com
   Finalizers:    [kubernetes.io/pvc-protection]
   Capacity:
   Access Modes:
   VolumeMode:    Filesystem
   Mounted By:    ngx-fs-oyoe047v2bn2ka42jfgg-pod-hqhzf
   Events:
    Type     Reason              Age                   From                                                                                                                      Message
    ----     ------              ----                  ----                                                                                                                      -------
    Warning  ProvisioningFailed  107m (x245 over 22h)  openshift-storage.cephfs.csi.ceph.com_csi-cephfsplugin-provisioner-5f8b66cc96-hvcqp_6b7044af-c904-4795-9ce5-bf0cf63cc4a4
    (combined from similar events): failed to provision volume with StorageClass "ocs-external-storagecluster-cephfs": rpc error: code = Internal desc = error (an error (exit status 1) occurred while
    running rados args: [-m 192.168.13.212:6789,192.168.13.211:6789,192.168.13.213:6789 --id csi-cephfs-provisioner --keyfile=stripped -c /etc/ceph/ceph.conf -p cephfs_metadata getomapval
    csi.volumes.default csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47 /tmp/omap-get-186436239 --namespace=csi]) occurred, command output streams is ( error getting omap value
    cephfs_metadata/csi.volumes.default/csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47: (1) Operation not permitted)

   Copy to Clipboard Toggle word wrap

3. <cephfs 메타데이터 풀 이름> (여기에서 cephfs_metadata ) 및 <cephfs 데이터 풀 name> (이전 cephfs_data)에 대한 설정을 확인합니다. 명령을 실행하려면 Red Hat Ceph Storage 클라이언트 노드에 jq 가 사전 설치되어 있어야 합니다.

   # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
   {
     "cephfs": {}
   }
   "cephfs_metadata"
   {
      "cephfs": {}
   }

   Copy to Clipboard Toggle word wrap

4. CephFS 풀의 애플리케이션 유형을 설정합니다.

   • Red Hat Ceph Storage 클라이언트 노드에서 다음 명령을 실행합니다.

     # ceph osd pool application set <cephfs metadata pool name> cephfs metadata cephfs

     Copy to Clipboard Toggle word wrap

     # ceph osd pool application set <cephfs data pool name> cephfs data cephfs

     Copy to Clipboard Toggle word wrap

5. 설정이 적용되는지 확인합니다.

    # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
     {
       "cephfs": {
         "data": "cephfs"
      }
     }
     "cephfs_metadata"
     {
       "cephfs": {
         "metadata": "cephfs"
       }
     }

   Copy to Clipboard Toggle word wrap

6. CephFS PVC 상태를 다시 확인합니다. 이제 PVC가 Bound 상태여야 합니다.

   # oc get pvc -n <namespace>

   Copy to Clipboard Toggle word wrap

   출력 예 :

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Bound     pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47
   1Mi       RWO             ocs-external-storagecluster-cephfs  29h
   [...]

   Copy to Clipboard Toggle word wrap

절차

1. rook-ceph-operator 및 ocs Operator 배포를 축소합니다.

   # oc scale deployment rook-ceph-operator --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   # oc scale deployment ocs-operator --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

2. openshift-storage 네임스페이스에 모든 배포의 백업을 생성합니다.

   # mkdir backup

   Copy to Clipboard Toggle word wrap

   # cd backup

   Copy to Clipboard Toggle word wrap

   # oc project openshift-storage

   Copy to Clipboard Toggle word wrap

   # for d in $(oc get deployment|awk -F' ' '{print $1}'|grep -v NAME); do echo $d;oc get deployment $d -o yaml > oc_get_deployment.${d}.yaml; done

   Copy to Clipboard Toggle word wrap

3. OSD 배포를 패치하여 livenessProbe 매개 변수를 제거하고 sleep 으로 command 매개 변수를 사용하여 실행합니다.

   # for i in $(oc get deployment -l app=rook-ceph-osd -oname);do oc patch ${i} -n openshift-storage --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]' ; oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "osd", "command": ["sleep", "infinity"], "args": []}]}}}}' ; done

   Copy to Clipboard Toggle word wrap

4. 모든 OSD에서 monstore 클러스터 맵을 검색합니다.

   1. recover_mon.sh 스크립트를 생성합니다.

      #!/bin/bash
      ms=/tmp/monstore
      
      rm -rf $ms
      mkdir $ms
      
      for osd_pod in $(oc get po -l app=rook-ceph-osd -oname -n openshift-storage); do
      
        echo "Starting with pod: $osd_pod"
      
        podname=$(echo $osd_pod|sed 's/pod\///g')
        oc exec $osd_pod -- rm -rf $ms
        oc cp $ms $podname:$ms
      
        rm -rf $ms
        mkdir $ms
      
        echo "pod in loop: $osd_pod ; done deleting local dirs"
      
        oc exec $osd_pod -- ceph-objectstore-tool --type bluestore --data-path /var/lib/ceph/osd/ceph-$(oc get $osd_pod -ojsonpath='{ .metadata.labels.ceph_daemon_id }') --op update-mon-db --no-mon-config --mon-store-path $ms
        echo "Done with COT on pod: $osd_pod"
      
        oc cp $podname:$ms $ms
      
        echo "Finished pulling COT data from pod: $osd_pod"
      done

      Copy to Clipboard Toggle word wrap

   2. recover_mon.sh 스크립트를 실행합니다.

      # chmod +x recover_mon.sh

      Copy to Clipboard Toggle word wrap

      # ./recover_mon.sh

      Copy to Clipboard Toggle word wrap

5. MON 배포를 패치하고 command 매개 변수를 sleep 으로 사용하여 실행합니다.

   1. MON 배포를 편집합니다.

      # for i in $(oc get deployment -l app=rook-ceph-mon -oname);do oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'; done

      Copy to Clipboard Toggle word wrap

   2. MON 배포를 패치하여 initialDelaySeconds 를 늘립니다.

      # oc get deployment rook-ceph-mon-a -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      Copy to Clipboard Toggle word wrap

      # oc get deployment rook-ceph-mon-b -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      Copy to Clipboard Toggle word wrap

      # oc get deployment rook-ceph-mon-c -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      Copy to Clipboard Toggle word wrap

6. 이전에 검색한 monstore 를 mon-a 포드에 복사합니다.

   # oc cp /tmp/monstore/ $(oc get po -l app=rook-ceph-mon,mon=a -oname |sed 's/pod\///g'):/tmp/

   Copy to Clipboard Toggle word wrap

7. MON 포드로 이동하여 검색된 monstore 의 소유권을 변경합니다.

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   Copy to Clipboard Toggle word wrap

   # chown -R ceph:ceph /tmp/monstore

   Copy to Clipboard Toggle word wrap

8. mon db 를 다시 빌드하기 전에 인증 키 템플릿 파일을 복사합니다.

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   Copy to Clipboard Toggle word wrap

   # cp /etc/ceph/keyring-store/keyring /tmp/keyring

   Copy to Clipboard Toggle word wrap

   # cat /tmp/keyring
     [mon.]
       key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
       caps mon = "allow *"
     [client.admin]
       key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
       auid = 0
       caps mds = "allow *"
       caps mgr = "allow *"
       caps mon = "allow *"
       caps osd = "allow *”

   Copy to Clipboard Toggle word wrap

9. 해당 시크릿에서 다른 모든 Ceph 데몬(MGR, MDS, RGW, Crash, CSI 및 CSI 프로비저너)의 인증 키를 식별합니다.

   # oc get secret rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-keyring -ojson  | jq .data.keyring | xargs echo | base64 -d
   
   [mds.ocs-storagecluster-cephfilesystem-a]
   key = AQB3r8VgAtr6OhAAVhhXpNKqRTuEVdRoxG4uRA==
   caps mon = "allow profile mds"
   caps osd = "allow *"
   caps mds = "allow"

   Copy to Clipboard Toggle word wrap

   인증 키 파일의 예, /etc/ceph/ceph.client.admin.keyring:

   [mon.]
   	key = AQDxTF1hNgLTNxAAi51cCojs01b4I5E6v2H8Uw==
   	caps mon = "allow "
   [client.admin]
           key = AQDxTF1hpzguOxAA0sS8nN4udoO35OEbt3bqMQ==
           caps mds = "allow " caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-a] key = AQCKTV1horgjARAA8aF/BDh/4+eG4RCNBCl+aw== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-b] key = AQCKTV1hN4gKLBAA5emIVq3ncV7AMEM1c1RmGA== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [client.rgw.ocs.storagecluster.cephobjectstore.a] key = AQCOkdBixmpiAxAA4X7zjn6SGTI9c1MBflszYA== caps mon = "allow rw" caps osd = "allow rwx" [mgr.a] key = AQBOTV1hGYOEORAA87471+eIZLZtptfkcHvTRg== caps mds = "allow *" caps mon = "allow profile mgr" caps osd = "allow *" [client.crash] key = AQBOTV1htO1aGRAAe2MPYcGdiAT+Oo4CNPSF1g== caps mgr = "allow rw" caps mon = "allow profile crash" [client.csi-cephfs-node] key = AQBOTV1hiAtuBBAAaPPBVgh1AqZJlDeHWdoFLw== caps mds = "allow rw" caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs *=" [client.csi-cephfs-provisioner] key = AQBNTV1hHu6wMBAAzNXZv36aZJuE1iz7S7GfeQ== caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs metadata="
   [client.csi-rbd-node]
   	key = AQBNTV1h+LnkIRAAWnpIN9bUAmSHOvJ0EJXHRw==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"
   [client.csi-rbd-provisioner]
   	key = AQBNTV1hMNcsExAAvA3gHB2qaY33LOdWCvHG/A==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"

   Copy to Clipboard Toggle word wrap
   중요
   • client.csi 관련 인증 키의 경우 이전 인증 키 파일 출력을 참조하고 각 OpenShift Data Foundation 시크릿에서 키를 가져온 후 기본 대문자 를 추가합니다.
   • OSD 인증 키는 복구 후 자동으로 추가됩니다.

10. mon-a pod로 이동하여 monstore 에 monmap 이 있는지 확인합니다.

    1. mon-a 포드로 이동합니다.

       # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

       Copy to Clipboard Toggle word wrap

    2. monstore에 mon map 이 있는지 확인합니다.

       # ceph-monstore-tool /tmp/monstore get monmap -- --out /tmp/monmap

       Copy to Clipboard Toggle word wrap

       # monmaptool /tmp/monmap --print

       Copy to Clipboard Toggle word wrap

11. 선택 사항: monmap 이 누락된 경우 새 monmap 을 만듭니다.

    # monmaptool --create --add <mon-a-id> <mon-a-ip> --add <mon-b-id> <mon-b-ip> --add <mon-c-id> <mon-c-ip> --enable-all-features --clobber /root/monmap --fsid <fsid>

    Copy to Clipboard Toggle word wrap

    <mon-a-id>

    mon-a Pod의 ID입니다.

    <mon-a-ip>

    는 mon-a 포드의 IP 주소입니다.

    <mon-b-id>

    mon-b Pod의 ID입니다.

    <mon-b-ip>

    는 mon-b 포드의 IP 주소입니다.

    <mon-c-id>

    mon-c Pod의 ID입니다.

    <mon-c-ip>

    는 mon-c Pod의 IP 주소입니다.

    <fsid>

    는 파일 시스템 ID입니다.

12. monmap 을 확인합니다.

    # monmaptool /root/monmap --print

    Copy to Clipboard Toggle word wrap

13. monmap 가져오기.

    중요

    이전에 생성된 인증 키 파일을 사용합니다.

    # ceph-monstore-tool /tmp/monstore rebuild -- --keyring /tmp/keyring --monmap /root/monmap

    Copy to Clipboard Toggle word wrap

    # chown -R ceph:ceph /tmp/monstore

    Copy to Clipboard Toggle word wrap

14. 이전 store.db 파일의 백업을 만듭니다.

    # mv /var/lib/ceph/mon/ceph-a/store.db /var/lib/ceph/mon/ceph-a/store.db.corrupted

    Copy to Clipboard Toggle word wrap

    # mv /var/lib/ceph/mon/ceph-b/store.db /var/lib/ceph/mon/ceph-b/store.db.corrupted

    Copy to Clipboard Toggle word wrap

    # mv /var/lib/ceph/mon/ceph-c/store.db /var/lib/ceph/mon/ceph-c/store.db.corrupted

    Copy to Clipboard Toggle word wrap

15. 다시 빌드 저장소 store.db 파일을 monstore 디렉터리에 복사합니다.

    # mv /tmp/monstore/store.db /var/lib/ceph/mon/ceph-a/store.db

    Copy to Clipboard Toggle word wrap

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-a/store.db

    Copy to Clipboard Toggle word wrap

16. monstore 디렉터리를 다시 빌드한 후 store.db 파일을 local에서 MON 포드의 나머지 부분에 복사합니다.

    # oc cp $(oc get po -l app=rook-ceph-mon,mon=a -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-a/store.db /tmp/store.db

    Copy to Clipboard Toggle word wrap

    # oc cp /tmp/store.db $(oc get po -l app=rook-ceph-mon,mon=<id> -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-<id>

    Copy to Clipboard Toggle word wrap

    <id>

    MON Pod의 ID입니다.

17. 나머지 MON 포드로 이동하여 복사한 monstore 의 소유권을 변경합니다.

    # oc rsh $(oc get po -l app=rook-ceph-mon,mon=<id> -oname)

    Copy to Clipboard Toggle word wrap

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-<id>/store.db

    Copy to Clipboard Toggle word wrap

    <id>

    MON Pod의 ID입니다.

18. 패치된 변경 사항을 되돌립니다.

    • MON 배포의 경우:

      # oc replace --force -f <mon-deployment.yaml>

      Copy to Clipboard Toggle word wrap

      <mon-deployment.yaml>

      MON deployment yaml 파일입니다.

    • OSD 배포의 경우:

      # oc replace --force -f <osd-deployment.yaml>

      Copy to Clipboard Toggle word wrap

      <osd-deployment.yaml>

      OSD 배포 yaml 파일입니다.

    • MGR 배포의 경우:

      # oc replace --force -f <mgr-deployment.yaml>

      Copy to Clipboard Toggle word wrap

      <mgr-deployment.yaml>

      MGR 배포 yaml 파일입니다.

      중요

      MON, MGR 및 OSD 포드가 실행 중인지 확인합니다.

19. rook-ceph-operator 및 ocs-operator 배포를 확장합니다.

    # oc -n openshift-storage scale deployment ocs-operator --replicas=1

    Copy to Clipboard Toggle word wrap

검증 단계

1. Ceph 상태를 확인하여 CephFS가 실행 중인지 확인합니다.

   # ceph -s

   Copy to Clipboard Toggle word wrap

   출력 예:

   cluster:
      id:     f111402f-84d1-4e06-9fdb-c27607676e55
      health: HEALTH_ERR
               1 filesystem is offline
               1 filesystem is online with fewer MDS than max_mds
               3 daemons have recently crashed
   
      services:
        mon: 3 daemons, quorum b,c,a (age 15m)
        mgr: a(active, since 14m)
        mds: ocs-storagecluster-cephfilesystem:0
        osd: 3 osds: 3 up (since 15m), 3 in (since 2h)
   
      data:
        pools:   3 pools, 96 pgs
        objects: 500 objects, 1.1 GiB
        usage:   5.5 GiB used, 295 GiB / 300 GiB avail
        pgs:     96 active+clean

   Copy to Clipboard Toggle word wrap

2. MCG(Multicloud Object Gateway) 상태를 확인합니다. 활성 상태여야 하며 backingstore 및 버킷 클래스는 Ready 상태여야 합니다.

   noobaa status -n openshift-storage

   Copy to Clipboard Toggle word wrap
   중요

   MCG가 활성 상태가 아니며 backstore 및 bucketclass가 Ready 상태가 아닌 경우 모든 MCG 관련 Pod를 다시 시작해야 합니다. 자세한 내용은 11.1절. “Multicloud Object Gateway 복원”의 내용을 참조하십시오.

절차

1. monmap 을 수정할 때 mons 가 실패하지 않도록 rook-ceph-operator 를 중지합니다.

   # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=0

   Copy to Clipboard Toggle word wrap

2. 새 monmap 을 삽입합니다.

   주의

   몬맵 을 매우 신중하게 삽입해야 합니다. 잘못 실행하면 클러스터가 영구적으로 삭제될 수 있습니다. Ceph monmap 은 mon quorum를 추적합니다. 몬맵 은 건강한 원만 포함하도록 업데이트됩니다. 이 예에서 정상적인 mon은 rook-ceph-mon-b 이지만 비정상 원은 rook-ceph-mon-a 및 rook-ceph-mon-c 입니다.

   1. 현재 rook-ceph-mon-b 배포를 백업하십시오.

      # oc -n openshift-storage get deployment rook-ceph-mon-b -o yaml > rook-ceph-mon-b-deployment.yaml

      Copy to Clipboard Toggle word wrap

   2. YAML 파일을 열고 mon 컨테이너에서 명령 및 인수를 복사합니다(다음 예제의 컨테이너 목록 참조). 이는 monmap 의 변경에 필요합니다.

      [...]
        containers:
        - args:
          - --fsid=41a537f2-f282-428e-989f-a9e07be32e47
          - --keyring=/etc/ceph/keyring-store/keyring
          - --log-to-stderr=true
          - --err-to-stderr=true
          - --mon-cluster-log-to-stderr=true
          - '--log-stderr-prefix=debug '
          - --default-log-to-file=false
          - --default-mon-cluster-log-to-file=false
          - --mon-host=$(ROOK_CEPH_MON_HOST)
          - --mon-initial-members=$(ROOK_CEPH_MON_INITIAL_MEMBERS)
          - --id=b
          - --setuser=ceph
          - --setgroup=ceph
          - --foreground
          - --public-addr=10.100.13.242
          - --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db
          - --public-bind-addr=$(ROOK_POD_IP)
          command:
          - ceph-mon
      [...]

      Copy to Clipboard Toggle word wrap

   3. 복사된 명령 및 args 필드를 정리하여 다음과 같이 붙여넣을 수 있는 명령을 형성합니다.

      # ceph-mon \
          --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
          --keyring=/etc/ceph/keyring-store/keyring \
          --log-to-stderr=true \
          --err-to-stderr=true \
          --mon-cluster-log-to-stderr=true \
          --log-stderr-prefix=debug \
          --default-log-to-file=false \
          --default-mon-cluster-log-to-file=false \
          --mon-host=$ROOK_CEPH_MON_HOST \
          --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
          --id=b \
          --setuser=ceph \
          --setgroup=ceph \
          --foreground \
          --public-addr=10.100.13.242 \
          --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
          --public-bind-addr=$ROOK_POD_IP

      Copy to Clipboard Toggle word wrap
      참고

      --log-stderr-prefix 플래그와 parenthesis가 통과 중인 ROOK_CEPH_TripleO_ HOST , ROOK_CEPH_TripleO_INITIAL_ MEMBERS, ROOK_MEMBERS 및 ROOK_POD_IP )의 단일 따옴표를 제거해야 합니다.

   4. mon pod를 삭제하지 않고 이 mon 의 작동을 중지하도록 rook-ceph-mon-b 배포를 패치합니다.

      # oc -n openshift-storage patch deployment rook-ceph-mon-b  --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]'
      
      # oc -n openshift-storage patch deployment rook-ceph-mon-b -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'

      Copy to Clipboard Toggle word wrap

   5. mon-b Pod에서 다음 단계를 수행합니다.

      1. 정상적인 mon 의 Pod에 연결하고 다음 명령을 실행합니다.

         # oc -n openshift-storage exec -it <mon-pod> bash

         Copy to Clipboard Toggle word wrap

      2. 변수를 설정합니다.

         # monmap_path=/tmp/monmap

         Copy to Clipboard Toggle word wrap

      3. 좋은 mon 배포에서 ceph mon 명령을 붙여넣고 --extract- monmap =${monmap_path} 플래그를 추가하여 mon map 을 파일로 추출합니다.

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --extract-monmap=${monmap_path}

         Copy to Clipboard Toggle word wrap

      4. monmap 의 내용을 검토합니다.

         # monmaptool --print /tmp/monmap

         Copy to Clipboard Toggle word wrap

      5. monmap 에서 나쁜 원을 제거하십시오.

         # monmaptool ${monmap_path} --rm <bad_mon>

         Copy to Clipboard Toggle word wrap

         이 예제에서는 mon0 및 mon2 를 제거합니다.

         # monmaptool ${monmap_path} --rm a
         # monmaptool ${monmap_path} --rm c

         Copy to Clipboard Toggle word wrap

      6. 다음과 같이 Ceph mon 명령을 붙여넣고 --inject- monmap =${monmap_path} 플래그를 추가하여 수정된 mon map 을 좋은 Monmap에 삽입합니다.

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --inject-monmap=${monmap_path}

         Copy to Clipboard Toggle word wrap
      7. 쉘을 종료하여 계속합니다.

3. Rook 구성 맵 을 편집합니다.

   1. 운영자가 mon s 를 추적하는 데 사용하는 configmap을 편집합니다.

      # oc -n openshift-storage edit configmap rook-ceph-mon-endpoints

      Copy to Clipboard Toggle word wrap

   2. 데이터 요소에서 다음과 같은 세 개의 몬수(또는 moncount 에 따라 더 많은 정보)가 표시되는지 확인합니다.

      data: a=10.100.35.200:6789;b=10.100.13.242:6789;c=10.100.35.12:6789

      Copy to Clipboard Toggle word wrap

   3. 하나의 좋은 원으로 종료하기 위해 목록에서 잘못된 원을 삭제합니다. 예를 들면 다음과 같습니다.

      data: b=10.100.13.242:6789

      Copy to Clipboard Toggle word wrap
   4. 파일을 저장하고 종료합니다.

   5. 이제 mons 및 기타 구성 요소에 사용되는 시크릿 을 조정해야 합니다.

      1. good_mon_id 변수의 값을 설정합니다.

         예를 들면 다음과 같습니다.

         # good_mon_id=b

         Copy to Clipboard Toggle word wrap

      2. oc patch 명령을 사용하여 rook-ceph-config 시크릿을 패치하고 두 개의 키/값 쌍 mon_host 및 mon_initial_members 를 업데이트할 수 있습니다.

         # mon_host=$(oc -n openshift-storage get svc rook-ceph-mon-b -o jsonpath='{.spec.clusterIP}')
         
         # oc -n openshift-storage patch secret rook-ceph-config -p '{"stringData": {"mon_host": "[v2:'"${mon_host}"':3300,v1:'"${mon_host}"':6789]", "mon_initial_members": "'"${good_mon_id}"'"}}'

         Copy to Clipboard Toggle word wrap
         참고

         hostNetwork: true 를 사용하는 경우 mon_host var을 mon 이 고정된 노드 IP (nodeSelector)로 교체해야 합니다. 이는 해당 "mode"에서 생성된 rook-ceph-mon-* 서비스가 없기 때문입니다.

4. 몬 을 다시 시작합니다.

   변경 사항을 찾으려면 원래 ceph-mon 명령으로 좋은 mon pod를 다시 시작해야 합니다.

   1. mon 배포 YAML 파일의 백업에서 oc replace 명령을 사용합니다.

      # oc replace --force -f rook-ceph-mon-b-deployment.yaml

      Copy to Clipboard Toggle word wrap
      참고

      옵션 --force 에서 배포를 삭제하고 새 항목을 생성합니다.

   2. 클러스터 상태를 확인합니다.

      상태에는 쿼럼에 하나의 mon 이 표시되어야 합니다. 상태가 정상인 경우 클러스터가 다시 정상이어야 합니다.

5. 더 이상 쿼럼에 없을 것으로 예상되지 않은 두 개의 mon 배포를 삭제합니다.

   예를 들면 다음과 같습니다.

   # oc delete deploy <rook-ceph-mon-1>
   # oc delete deploy <rook-ceph-mon-2>

   Copy to Clipboard Toggle word wrap

   이 예에서 삭제할 배포는 rook-ceph-mon-a 및 rook-ceph-mon-c 입니다.

6. Operator를 다시 시작합니다.

   1. rook Operator를 다시 시작하여 클러스터의 상태 모니터링을 다시 시작합니다.

      참고

      여러 리소스가 이미 존재하는 오류를 무시하는 것이 안전합니다.

      # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=1

      Copy to Clipboard Toggle word wrap

      Operator는 mon count에 따라 쿼럼 크기를 다시 늘리기 위해 자동으로 더 많은 원을 추가합니다.