Replacing nodes

절차

1. 교체해야 하는 노드를 식별합니다.

2. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

3. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

4. 노드를 제거합니다.

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap
5. 필요한 인프라를 사용하여 새 AWS(Amazon Web Service) 머신 인스턴스를 생성합니다. 플랫폼 요구 사항을 참조하십시오.
6. 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

7. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

8. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

   $ oc adm certificate approve <certificate_name>

   Copy to Clipboard Toggle word wrap

   <certificate_name>

   CSR의 이름을 지정합니다.

9. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

10. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.

3. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

4. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
6. 필요한 머신 외에도 작업 메뉴(Cinder) → 머신 삭제를 클릭합니다.
7. 삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 시스템이 자동으로 생성됩니다.

8. 새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.

9. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

10. 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 교체해야 하는 노드의 AWS(Amazon Web Service) 머신 인스턴스를 식별합니다.
2. AWS에 로그인하고 식별한 AWS 머신 인스턴스를 종료합니다.
3. 필요한 인프라를 사용하여 새 AWS 머신 인스턴스를 생성합니다. 플랫폼 요구 사항을 참조하십시오.
4. 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

5. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

6. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

   $ oc adm certificate approve <certificate_name>

   Copy to Clipboard Toggle word wrap

   <certificate_name>

   CSR의 이름을 지정합니다.

7. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

8. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 문제가 발생한 노드를 식별하고 시스템 이름을 클릭합니다.
3. 작업 → 주석 편집 을 클릭하고 추가 를 클릭합니다.
4. machine.openshift.io/exclude-node-draining 을 추가하고 저장을 클릭합니다.
5. 작업 → 머신 삭제를 클릭하고 삭제를 클릭합니다.

6. 새 머신이 자동으로 생성되어 새 머신이 시작될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드의 레이블을 지정할 때 자동으로 확인되며 작동합니다.

7. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

8. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

9. 선택 사항: 실패한 AWS(Amazon Web Service) 인스턴스가 자동으로 제거되지 않으면 AWS 콘솔에서 인스턴스를 종료합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 교체가 필요한 노드와 해당 VM(가상 머신)을 식별합니다.

2. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

3. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

4. 노드를 제거합니다.

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

5. VMware vSphere에 로그인하고 식별한 VM을 종료합니다.

   중요

   디스크가 아닌 인벤토리에서만 VM을 삭제합니다.

6. 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
7. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

8. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

9. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

   $ oc adm certificate approve <certificate_name>

   Copy to Clipboard Toggle word wrap

   <certificate_name>

   CSR의 이름을 지정합니다.

10. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

11. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.

3. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

4. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
6. 필요한 머신 외에도 작업 메뉴(Cinder) → 머신 삭제를 클릭합니다.
7. 삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 시스템이 자동으로 생성됩니다.

8. 새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.

9. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

10. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 교체해야 하는 노드와 해당 VM(가상 머신)을 식별합니다.

2. 노드를 제거합니다.

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

3. VMware vSphere에 로그인하고 식별한 VM을 종료합니다.

   중요

   디스크가 아닌 인벤토리에서만 VM을 삭제합니다.

4. 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
5. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

6. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

7. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

   $ oc adm certificate approve <certificate_name>

   Copy to Clipboard Toggle word wrap

   <certificate_name>

   CSR의 이름을 지정합니다.

8. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

9. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 문제가 발생한 노드를 식별하고 시스템 이름을 클릭합니다.
3. 작업 → 주석 편집 을 클릭하고 추가 를 클릭합니다.
4. machine.openshift.io/exclude-node-draining 을 추가하고 저장을 클릭합니다.
5. 작업 → 머신 삭제를 클릭하고 삭제를 클릭합니다.

6. 새 시스템이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

7. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

8. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

9. 선택 사항: 실패한 VM(가상 머신)이 자동으로 제거되지 않으면 VMware vSphere에서 VM을 종료합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.

3. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

4. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
6. 필요한 머신 외에도 작업 메뉴(Cinder) → 머신 삭제를 클릭합니다.

7. 삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 시스템이 자동으로 생성됩니다. 새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.

8. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

9. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 문제가 발생한 노드를 확인합니다. 시스템 이름을 기록해 둡니다.

3. VM(가상 머신) 인스턴스를 삭제할 때 디스크가 삭제되지 않는지 확인합니다.

   • Red Hat Virtualization 관리 포털에 로그인하고 실패한 VM에서 모니터 Pod 및 OSD(오브젝트 스토리지 장치)와 연결된 가상 디스크를 제거합니다.

     중요

     하나 이상의 디스크를 제거할 때 영구 제거 옵션을 선택하지 마십시오.

4. OpenShift 웹 콘솔에서 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
5. 작업 → 주석 편집 을 클릭하고 추가 를 클릭합니다.
6. machine.openshift.io/exclude-node-draining 을 추가하고 저장을 클릭합니다.

7. 작업 → 머신 삭제를 클릭하고 삭제를 클릭합니다.

   새 시스템이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

8. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

9. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

10. 선택 사항: 실패한 VM이 자동으로 제거되지 않으면 Red Hat Virtualization 관리 포털에서 VM을 제거합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.

3. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

4. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
6. 필요한 머신 외에도 작업 메뉴(Cinder) → 머신 삭제를 클릭합니다.
7. 삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 시스템이 자동으로 생성됩니다.

8. 새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.

9. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

10. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드→ 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
2. 문제가 발생한 노드를 식별하고 시스템 이름을 클릭합니다.
3. 작업 → 주석 편집 을 클릭하고 추가 를 클릭합니다.
4. machine.openshift.io/exclude-node-draining 을 추가하고 저장을 클릭합니다.
5. 작업 → 머신 삭제를 클릭하고 삭제를 클릭합니다.

6. 새 시스템이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.

   중요

   이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 확인되며 작동합니다.

7. 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

8. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스에서

   • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

   <new_node_name>

   새 노드의 이름을 지정합니다.

9. 선택 사항: 실패한 Azure 인스턴스가 자동으로 제거되지 않으면 Azure 콘솔에서 인스턴스를 종료합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(오브젝트 스토리지 장치) Pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 노드를 식별하고 교체해야 하는 노드의 라벨을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

2. 교체해야 하는 노드에서 실행 중인 모니터 포드(있는 경우)와 OSD를 확인합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

   예를 들어 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

6. 노드를 제거합니다.

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap

7. 필수 인프라가 있는 새 베어 메탈 머신을 가져옵니다. 베어 메탈에 설치를 참조하십시오.

   중요

   3 노드 OpenShift 컴팩트 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.

8. 새 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

9. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

10. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <certificate_name>

    Copy to Clipboard Toggle word wrap

    <certificate_name>

    CSR의 이름을 지정합니다.

11. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

12. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

13. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    예를 들어 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    echo $local_storage_project

    Copy to Clipboard Toggle word wrap

    출력 예:

    openshift-local-storage

    Copy to Clipboard Toggle word wrap

14. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

       Copy to Clipboard Toggle word wrap

       출력 예:

       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 결정합니다.

       # oc get -n $local_storage_project localvolumeset

       Copy to Clipboard Toggle word wrap

       출력 예:

       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolumeset localblock

       Copy to Clipboard Toggle word wrap

       출력 예:

       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

15. 새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available

    Copy to Clipboard Toggle word wrap

    출력 예:

    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

16. openshift-storage 프로젝트로 이동합니다.

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

17. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -

    Copy to Clipboard Toggle word wrap

    <failed_osd_id>

    rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.

    OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

18. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

19. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    Copy to Clipboard Toggle word wrap

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    Copy to Clipboard Toggle word wrap
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들어 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

    Copy to Clipboard Toggle word wrap

20. PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    Copy to Clipboard Toggle word wrap

    출력 예:

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Copy to Clipboard Toggle word wrap

    Released 상태가 PV인 경우 삭제합니다.

    # oc delete pv <persistent_volume>

    Copy to Clipboard Toggle word wrap

    예를 들어 다음과 같습니다.

    # oc delete pv local-pv-d6bf175b

    Copy to Clipboard Toggle word wrap

    출력 예:

    persistentvolume "local-pv-d9c5cbd6" deleted

    Copy to Clipboard Toggle word wrap

21. crashcollector Pod 배포를 확인합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

22. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

   새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 노드를 식별하고 교체해야 하는 노드의 라벨을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   교체해야 하는 노드의 이름을 지정합니다.

2. 교체해야 하는 노드에서 실행 중인 모니터 포드(있는 경우)와 OSD를 확인합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

   예를 들어 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. Terminating 상태의 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. 노드를 제거합니다.

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap

8. 필수 인프라가 있는 새 베어 메탈 머신을 가져옵니다. 베어 메탈에 설치를 참조하십시오.

   중요

   3 노드 OpenShift 컴팩트 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.

9. 새 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

10. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <certificate_name>

    Copy to Clipboard Toggle word wrap

    <certificate_name>

    CSR의 이름을 지정합니다.

12. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

13. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    새 노드의 이름을 지정합니다.

14. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    예를 들어 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    echo $local_storage_project

    Copy to Clipboard Toggle word wrap

    출력 예:

    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

       Copy to Clipboard Toggle word wrap

       출력 예:

       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 결정합니다.

       # oc get -n $local_storage_project localvolumeset

       Copy to Clipboard Toggle word wrap

       출력 예:

       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolumeset localblock

       Copy to Clipboard Toggle word wrap

       출력 예:

       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

16. 새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available

    Copy to Clipboard Toggle word wrap

    출력 예:

    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

17. openshift-storage 프로젝트로 이동합니다.

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

18. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -

    Copy to Clipboard Toggle word wrap

    <failed_osd_id>

    rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.

    OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

19. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

20. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    Copy to Clipboard Toggle word wrap

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    Copy to Clipboard Toggle word wrap
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들어 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

    Copy to Clipboard Toggle word wrap

21. PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    Copy to Clipboard Toggle word wrap

    출력 예:

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Copy to Clipboard Toggle word wrap

    Released 상태가 PV인 경우 삭제합니다.

    # oc delete pv <persistent_volume>

    Copy to Clipboard Toggle word wrap

    예를 들어 다음과 같습니다.

    # oc delete pv local-pv-d6bf175b

    Copy to Clipboard Toggle word wrap

    출력 예:

    persistentvolume "local-pv-d9c5cbd6" deleted

    Copy to Clipboard Toggle word wrap

22. crashcollector Pod 배포를 확인합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

23. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

   새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

절차

1. 노드를 식별하고 교체할 노드의 레이블을 가져옵니다. rack 레이블을 기록합니다.

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD(오브젝트 스토리지 장치) Pod를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

   예를 들어 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 노드를 예약 불가로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 상태가 종료인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
8. 새로운 IBM zSystem 스토리지 노드를 교체로 가져옵니다.

9. Pending 상태인 OpenShift Data Foundation과 관련된 CSR(인증서 서명 요청)을 확인합니다.

   $ oc get csr

   Copy to Clipboard Toggle word wrap

10. 새 노드에 필요한 모든 OpenShift Data Foundation CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
11. OpenShift 웹 콘솔에서 컴퓨팅 → 노드 를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

12. 다음 중 하나를 사용하여 새 노드에 openshift-storage 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 경우 Action Menu (tekton) → Edit Labels를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스의 경우

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

13. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n local-storage-project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 은 새 노드입니다.

    2. 편집할 로컬VolumeSet 을 확인합니다.

       다음 명령에서 local-storage-project 를 로컬 스토리지 프로젝트의 이름으로 바꿉니다. 기본 프로젝트 이름은 OpenShift Data Foundation 4.6 이상에서 openshift-local-storage 입니다. 이전 버전에서는 기본적으로 local-storage 를 사용합니다.

       # oc get -n local-storage-project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n local-storage-project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장하셔야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 은 새 노드입니다.

14. 새 로컬 블록 PV를 사용할 수 있는지 확인합니다.

    $ oc get pv | grep localblock
              CAPA- ACCESS RECLAIM                                STORAGE
    NAME      CITY  MODES  POLICY  STATUS     CLAIM               CLASS       AGE
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    3e8964d3                                  ocs-deviceset-2-0
                                              -79j94
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    414755e0                                  ocs-deviceset-1-0
                                              -959rp
    local-pv- 931Gi RWO Delete Available localblock 3m24s b481410
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    d9c5cbd6                                  ocs-deviceset-0-0
                                              -nvs68

    Copy to Clipboard Toggle word wrap

15. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

16. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    1. 나중에 PVC를 특정 PVC와 연결된 PV를 삭제해야 합니다.

       $ osd_id_to_remove=1
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       Copy to Clipboard Toggle word wrap

       여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 직후 pod 이름의 정수입니다. 이 예에서 배포 이름은 rook-ceph-osd-1 입니다.

       출력 예:

       ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
           ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

       Copy to Clipboard Toggle word wrap

       이 예에서 PVC 이름은 ocs-deviceset-localblock-0-data-0-g2mmc 입니다.

    2. 클러스터에서 오류가 발생한 OSD를 제거합니다.

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} |oc create -f -

       Copy to Clipboard Toggle word wrap

       명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다. (예: FAILED_OSD_IDS=0,1,2)

       주의

       이 단계에서는 OSD가 클러스터에서 완전히 제거됩니다. osd_id_to_remove 의 올바른 값이 제공되었는지 확인합니다.

17. ocs-osd-removal Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage

    Copy to Clipboard Toggle word wrap
    참고

    ocs-osd-removal 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 수행합니다. 예를 들어 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage --tail=-1

    Copy to Clipboard Toggle word wrap

    다음과 같이 삭제된 OSD를 수동으로 정리해야 할 수 있습니다.

    ceph osd crush remove osd.osd_id_to_remove
    ceph osd rm osd_id_to_remove
    ceph auth del osd.osd_id_to_remove
    ceph osd crush rm osd_id_to_remove

    Copy to Clipboard Toggle word wrap

18. 실패한 노드와 연결된 PV를 삭제합니다.

    1. PVC와 연결된 PV를 식별합니다.

       PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 얻은 이름과 동일해야 합니다.

       # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
       local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0

       Copy to Clipboard Toggle word wrap

    2. Released 상태인 PV가 있는 경우 삭제합니다.

       # oc delete pv <persistent-volume>

       Copy to Clipboard Toggle word wrap

       예를 들어 다음과 같습니다.

       # oc delete pv local-pv-5c9b8982
       persistentvolume "local-pv-5c9b8982" deleted

       Copy to Clipboard Toggle word wrap

19. crashcollector 포드 배포를 식별합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

20. ocs-osd-removal 작업을 삭제합니다.

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    Copy to Clipboard Toggle word wrap

    출력 예:

    job.batch "ocs-osd-removal-0" deleted

    Copy to Clipboard Toggle word wrap