OpenShift Data Foundation 문제 해결
OpenShift Data Foundation 문제 해결에 대한 지침
초록
보다 포괄적 수용을 위한 오픈 소스 용어 교체
Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 용어를 교체하기 위해 최선을 다하고 있습니다. 먼저 마스터(master), 슬레이브(slave), 블랙리스트(blacklist), 화이트리스트(whitelist) 등 네 가지 용어를 교체하고 있습니다. 이러한 변경 작업은 작업 범위가 크므로 향후 여러 릴리스에 걸쳐 점차 구현할 예정입니다. 자세한 내용은 CTO Chris Wright의 메시지를 참조하십시오.
Red Hat 문서에 관한 피드백 제공
문서 개선을 위한 의견을 보내 주십시오. 개선할 내용에 대해 알려주십시오.
피드백을 제공하려면 Bugzilla 티켓을 생성합니다.
- Bugzilla 웹 사이트로 이동합니다.
- 구성 요소 섹션에서 문서를 선택합니다.
- 설명 필드에 문서 개선을 위한 제안 사항을 기입하십시오. 관련된 문서의 해당 부분 링크를 알려주십시오.
- 버그 제출을 클릭합니다.
1장. 개요
Troubleshooting OpenShift Data Foundation은 관리자가 Red Hat OpenShift Data Foundation 클러스터의 문제 해결 및 수정 방법을 이해하는 데 도움이 되도록 작성되었습니다.
대부분의 문제 해결 작업은 수정 사항 또는 해결 방법에 중점을 둡니다. 이 문서는 관리자가 발생할 수 있는 오류에 따라 단계로 나뉩니다.
- 2장. must-gather를 사용하여 로그 파일 및 진단 정보 다운로드 OpenShift Data Foundation에서 must-gather 유틸리티를 사용하는 방법을 보여줍니다.
- 3장. 문제 해결을 위해 일반적으로 필요한 로그 OpenShift Data Foundation에 대해 일반적으로 필요한 로그 파일을 가져오는 방법을 보여줍니다.
- 6장. OpenShift Data Foundation의 경고 및 오류 문제 해결 발생한 오류를 식별하고 필요한 작업을 수행하는 방법을 보여줍니다.
Red Hat은 잘못된 명령을 실행할 때 데이터가 손실될 수 있으므로 OpenShift Data Foundation 클러스터에서 Ceph 명령 실행을 지원하지 않습니다(Red Hat 지원 또는 Red Hat 설명서에 명시되어 있지 않음). 이 경우 Red Hat 지원팀은 상업적으로 합리적인 노력으로만 제공할 수 있으며 데이터 손실 시 모든 데이터를 복원할 수 없습니다.
2장. must-gather를 사용하여 로그 파일 및 진단 정보 다운로드
Red Hat OpenShift Data Foundation이 문제를 자동으로 해결할 수 없는 경우 must-gather
툴을 사용하여 로그 파일 및 진단 정보를 수집하여 귀하 또는 Red Hat 지원팀이 문제를 검토하고 솔루션을 결정할 수 있도록 합니다.
Red Hat OpenShift Data Foundation이 외부 모드로 배포되는 경우 must-gather
는 OpenShift Data Foundation 클러스터에서만 로그를 수집하고 외부 Red Hat Ceph Storage 클러스터에서 디버그 데이터 및 로그를 수집하지 않습니다. 외부 Red Hat Ceph Storage 클러스터에서 디버그 로그를 수집하려면 Red Hat Ceph Storage 문제 해결 가이드를 참조하십시오. Red Hat Ceph Storage 관리자에게 문의하십시오.
사전 요구 사항
선택 사항: OpenShift Data Foundation이 연결이 끊긴 환경에 배포된 경우 연결이 끊긴 환경에서 사용 가능한 미러 레지스트리에 개별
must-gather
이미지를 미러링해야 합니다.$ oc image mirror registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 <local-registry>/odf4/odf-must-gather-rhel9:v4.15 [--registry-config=<path-to-the-registry-config>] [--insecure=true]
<local-registry>
- 연결이 끊긴 OpenShift Container Platform 클러스터에 사용할 수 있는 로컬 이미지 미러 레지스트리입니까.
<path-to-the-registry-config>
-
레지스트리 인증 정보의 경로입니다. 기본적으로
~/.docker/config.json
입니다. --insecure
- 미러 레지스트리가 안전하지 않은 경우에만 이 플래그를 추가합니다.
자세한 내용은 Red Hat Knowledgebase 솔루션을 참조하십시오.
프로세스
OpenShift Data Foundation 클러스터에 연결된 클라이언트에서
must-gather
명령을 실행합니다.$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 --dest-dir=<directory-name>
<directory-name>
데이터를 작성할 디렉터리의 이름입니다.
중요연결이 끊긴 환경 배포의 경우
--image
매개변수의 이미지를 미러링된must-gather
이미지로 교체합니다.$ oc adm must-gather --image=<local-registry>/odf4/odf-must-gather-rhel9:v4.15 --dest-dir=<directory-name>
<local-registry>
- 연결이 끊긴 OpenShift Container Platform 클러스터에 사용할 수 있는 로컬 이미지 미러 레지스트리입니까.
이렇게 하면 지정된 디렉터리에서 다음 정보가 수집됩니다.
- 해당 네임스페이스와 모든 Red Hat OpenShift Data Foundation 클러스터 관련 사용자 정의 리소스(CR)입니다.
- 모든 Red Hat OpenShift Data Foundation 관련 Pod의 Pod 로그입니다.
- Status, Cluster 상태 등 일부 표준 Ceph 명령의 출력입니다.
2.1. must-gather-commands의 변형
하나 이상의 마스터 노드가 Ready 상태가 아닌 경우
--node-name
을 사용하여must-gather
Pod를 안전하게 예약할 수 있도록 Ready 인 마스터 노드를 제공합니다.$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 --dest-dir=_<directory-name>_ --node-name=_<node-name>_
특정 시간에서 정보를 수집하려는 경우:
수집된 로그의 상대 기간(예: 5초 또는 2일 이내)을 지정하려면=<
duration> 이후 /usr/bin/gather
를 추가합니다.$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 --dest-dir=_<directory-name>_ /usr/bin/gather since=<duration>
이후에 로그를 수집할 특정 시간을 지정하려면
/usr/bin/gather since-time=<rfc3339-timestamp
> :을 추가합니다.$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 --dest-dir=_<directory-name>_ /usr/bin/gather since-time=<rfc3339-timestamp>
다음 명령에서 예제 값을 다음과 같이 바꿉니다.
- <node-name>
-
하나 이상의 마스터 노드가 Ready 상태에 있지 않은 경우 이 매개 변수를 사용하여 여전히 Ready 상태에 있는 마스터 노드의 이름을 제공합니다. 이렇게 하면
must-gather
Pod가 준비되지 않은 마스터 노드에서 예약되지 않도록 하여 예약 오류가 발생하지 않습니다. - <directory-name>
-
must-gather
에서 수집하는 정보를 저장할 디렉터리입니다. - <duration>
-
정보를 상대 기간(예:
5
시간 전)으로 수집할 시간을 지정합니다. - <rfc3339-timestamp>
-
에서 정보를 RFC 3339 타임스탬프로 수집할 시간을 지정합니다(예:
2020-11-10T04:00:00+00:00
(2020년 11월 11일 UTC로 시작).
2.2. 모듈식 모드에서 must-gather 실행
Red Hat OpenShift Data Foundation must-gather
는 일부 환경에서 실행하는 데 시간이 오래 걸릴 수 있습니다. 이를 방지하려면 모듈식 모드에서 must-gather
를 실행하고 다음 명령을 사용하여 필요한 리소스만 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15 -- /usr/bin/gather <-arg>
must -gather 로그가 필요한 리소스를 지정하려면 < -arg
>를 다음 인수 중 하나 이상으로 바꿉니다.
-o
,--odf
- ODF 로그(Ceph 리소스, 네임스페이스 리소스, 클러스터 범위 리소스 및 Ceph 로그 포함)
-d
,--dr
- DR 로그
-n
,--noobaa
- NooBaa 로그
-c
,--ceph
- Ceph 명령 및 Pod 로그
-cl
,--ceph-logs
- Ceph 데몬, 커널, 저널 로그 및 크래시 보고서
-NS
,--namespaced
-
네임스페이스가 지정된
리소스 -CS
,--clusterscoped
-
클러스터 범위
리소스 -h
,--help
- 도움말 메시지 인쇄
3장. 문제 해결을 위해 일반적으로 필요한 로그
OpenShift Data Foundation 문제 해결에 일반적으로 사용되는 일부 로그는 해당 로그를 생성하는 명령과 함께 나열됩니다.
특정 Pod의 로그를 생성합니다.
$ oc logs <pod-name> -n <namespace>
Ceph 또는 OpenShift Data Foundation 클러스터의 로그를 생성합니다.
$ oc logs rook-ceph-operator-<ID> -n openshift-storage
중요현재 rook-ceph-operator 로그는 실패에 대한 정보를 제공하지 않으며 이는 문제 해결 문제의 제한으로 작동하여 rook-ceph-operator의 디버그 로그 활성화 및 비활성화 를 참조하십시오.
cephfs 또는 rbd와 같은 플러그인 Pod 로그를 생성하여 app-pod의 PVC 마운트에서 문제를 감지합니다.
$ oc logs csi-cephfsplugin-<ID> -n openshift-storage -c csi-cephfsplugin
$ oc logs csi-rbdplugin-<ID> -n openshift-storage -c csi-rbdplugin
CSI Pod의 모든 컨테이너에 대한 로그를 생성하려면 다음을 수행합니다.
$ oc logs csi-cephfsplugin-<ID> -n openshift-storage --all-containers
$ oc logs csi-rbdplugin-<ID> -n openshift-storage --all-containers
PVC가 BOUND 상태에 있지 않은 경우 문제를 감지하기 위해 cephfs 또는 rbd 프로비저너 Pod의 로그를 생성합니다.
$ oc logs csi-cephfsplugin-provisioner-<ID> -n openshift-storage -c csi-cephfsplugin
$ oc logs csi-rbdplugin-provisioner-<ID> -n openshift-storage -c csi-rbdplugin
CSI Pod의 모든 컨테이너에 대한 로그를 생성하려면 다음을 수행합니다.
$ oc logs csi-cephfsplugin-provisioner-<ID> -n openshift-storage --all-containers
$ oc logs csi-rbdplugin-provisioner-<ID> -n openshift-storage --all-containers
cluster-info 명령을 사용하여 OpenShift Data Foundation 로그 생성:
$ oc cluster-info dump -n openshift-storage --output-directory=<directory-name>
Local Storage Operator를 사용하는 경우 cluster-info 명령을 사용하여 로그 생성을 수행할 수 있습니다.
$ oc cluster-info dump -n openshift-local-storage --output-directory=<directory-name>
OpenShift Data Foundation Operator 로그 및 이벤트를 확인합니다.
Operator 로그를 확인하려면 다음을 수행합니다.
# oc logs <ocs-operator> -n openshift-storage
- <ocs-operator>
# oc get pods -n openshift-storage | grep -i "ocs-operator" | awk '{print $1}'
Operator 이벤트를 확인하려면 다음을 수행합니다.
# oc get events --sort-by=metadata.creationTimestamp -n openshift-storage
OpenShift Data Foundation Operator 버전 및 채널을 가져옵니다.
# oc get csv -n openshift-storage
출력 예:
NAME DISPLAY VERSION REPLACES PHASE mcg-operator.v4.15.0 NooBaa Operator 4.15.0 Succeeded ocs-operator.v4.15.0 OpenShift Container Storage 4.15.0 Succeeded odf-csi-addons-operator.v4.15.0 CSI Addons 4.15.0 Succeeded odf-operator.v4.15.0 OpenShift Data Foundation 4.15.0 Succeeded
# oc get subs -n openshift-storage
출력 예:
NAME PACKAGE SOURCE CHANNEL mcg-operator-stable-4.15-redhat-operators-openshift-marketplace mcg-operator redhat-operators stable-4.15 ocs-operator-stable-4.15-redhat-operators-openshift-marketplace ocs-operator redhat-operators stable-4.15 odf-csi-addons-operator odf-csi-addons-operator redhat-operators stable-4.15 odf-operator odf-operator redhat-operators stable-4.15
installplan
이 생성되었는지 확인합니다.# oc get installplan -n openshift-storage
OpenShift Data Foundation 업데이트 후 구성 요소의 이미지를 확인합니다.
이미지가 실행 중인지 확인하려는 구성 요소의 Pod를 확인하는 노드를 확인합니다.
# oc get pods -o wide | grep <component-name>
예를 들면 다음과 같습니다.
# oc get pods -o wide | grep rook-ceph-operator
출력 예:
rook-ceph-operator-566cc677fd-bjqnb 1/1 Running 20 4h6m 10.128.2.5 rook-ceph-operator-566cc677fd-bjqnb 1/1 Running 20 4h6m 10.128.2.5 dell-r440-12.gsslab.pnq2.redhat.com <none> <none> <none> <none>
Dell-r440-12.gsslab.pnq2.redhat.com
은 노드 이름입니다.이미지 ID를 확인합니다.
# oc debug node/<node name>
<node-name>
is the name of the node on which the pod of the component you want to verify the image is running.
# chroot /host
# crictl images | grep <component>
예를 들면 다음과 같습니다.
# crictl images | grep rook-ceph
IMAGEID
를 기록해 Rook Ceph Operator 페이지의 Digest ID에 매핑합니다.
추가 리소스
3.1. 로그 세부 정보 표시 수준 조정
로그를 디버깅하는 데 소비되는 공간의 양이 중요한 문제가 될 수 있습니다. Red Hat OpenShift Data Foundation은 로그를 디버깅하는 데 사용할 스토리지 양을 조정하므로 제어할 수 있는 방법을 제공합니다.
디버깅 로그의 상세 정보 수준을 조정하기 위해 CSI(컨테이너 스토리지 인터페이스) 작업을 담당하는 컨테이너의 로그 수준을 조정할 수 있습니다. 컨테이너의 yaml 파일에서 다음 매개변수를 조정하여 로깅 수준을 설정합니다.
-
CSI_LOG_LEVEL
- 기본값은5
입니다. -
CSI_SIDECAR_LOG_LEVEL
- 기본값은1
입니다.
지원되는 값은 0
에서 5
까지입니다. 일반적인 유용한 로그에는 0
을 사용하고 추적 수준 세부 정보 표시에는 5
를 사용합니다.
4장. OpenShift Data Foundation 사후 배포의 클러스터 수준 기본 노드 선택기 덮어쓰기
클러스터 수준 기본 노드 선택기가 OpenShift Data Foundation에 사용되는 경우 CSI(Container Storage Interface) 데몬 세트에서 생성된 Pod는 선택기와 일치하는 노드에서만 시작할 수 있습니다. 선택기와 일치하지 않는 노드에서 OpenShift Data Foundation을 사용하려면 명령줄 인터페이스에서 다음 단계를 수행하여 클러스터 수준 기본 노드 선택기를
재정의합니다.
프로세스
openshift-storage 네임스페이스에 빈 노드 선택기를 지정합니다.
$ oc annotate namespace openshift-storage openshift.io/node-selector=
DaemonSets에서 생성한 원래 Pod를 삭제합니다.
oc delete pod -l app=csi-cephfsplugin -n openshift-storage oc delete pod -l app=csi-rbdplugin -n openshift-storage
5장. 암호화 토큰이 삭제되거나 만료됨
키 관리 시스템의 암호화 토큰이 삭제되거나 만료되는 경우 이 절차를 사용하여 토큰을 업데이트합니다.
사전 요구 사항
- 삭제 또는 만료된 토큰과 동일한 정책이 있는 새 토큰이 있는지 확인합니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
- 워크로드 → 시크릿 을 클릭합니다.
클러스터 전체 암호화에 사용되는 ocs-kms-token 을 업데이트하려면 다음을 수행합니다.
-
프로젝트를
openshift-storage
로 설정합니다. - ocs-kms-token → Actions → Secret 편집을 클릭합니다.
- Value 필드에 암호화 토큰 파일을 드래그 앤 드롭하거나 업로드합니다. 토큰은 복사 및 붙여넣을 수 있는 파일 또는 텍스트일 수 있습니다.
- 저장을 클릭합니다.
-
프로젝트를
지정된 프로젝트 또는 네임스페이스의 ceph-csi-kms-token 을 암호화된 영구 볼륨으로 업데이트하려면 다음을 수행합니다.
- 필요한 프로젝트를 선택합니다.
- ceph-csi-kms-token → Actions → Secret 편집을 클릭합니다.
- Value 필드에 암호화 토큰 파일을 드래그 앤 드롭하거나 업로드합니다. 토큰은 복사 및 붙여넣을 수 있는 파일 또는 텍스트일 수 있습니다.
저장을 클릭합니다.
참고토큰은
ceph-csi-kms-token
을 사용하여 암호화된 모든 PVC가 삭제된 경우에만 삭제할 수 있습니다.
6장. OpenShift Data Foundation의 경고 및 오류 문제 해결
6.1. 경고 및 오류 해결
Red Hat OpenShift Data Foundation은 여러 일반적인 오류 시나리오를 감지하고 자동으로 해결할 수 있습니다. 그러나 일부 문제는 관리자의 개입이 필요합니다.
현재 실행 중인 오류를 알아보려면 다음 위치 중 하나를 확인합니다.
- 모니터링 → 경고 → 실행 옵션
- 홈 → 개요 → 클러스터 탭
- 팝업 창에 있는 스토리지 → 데이터 기반 → 스토리지 시스템 → 스토리지 시스템 링크 → 개요 → 블록 및 파일 탭
- 팝업 → 개요 → 오브젝트 탭의 스토리지 → 스토리지 시스템 → 스토리지 시스템 → 스토리지 시스템 링크
표시된 오류를 복사하고 다음 섹션에서 검색하여 심각도 및 해상도를 확인합니다.
Name:
Message:
설명: 심각도: 경고 해결 방법 : 수정 프로시저: 사용자 인터페이스를 검사하고 기록한 후 업데이트가 진행 중인지 확인합니다.
|
이름:
Message:
설명: 심각도: 경고 해결 방법 : 수정 프로시저: 사용자 인터페이스를 검사하고 기록한 후 업데이트가 진행 중인지 확인합니다.
|
이름:
메시지:
설명: 심각도: Crtical 해결 방법 : 수정 프로시저: 불필요한 데이터를 제거하거나 클러스터를 확장합니다. |
이름:
수정 사항:
설명: 심각도: 경고 해결 방법 : 수정 프로시저: 불필요한 데이터를 제거하거나 클러스터를 확장합니다. |
Name:
메시지:
설명: 심각도: 경고 해결 방법 : 해결 방법 procedure:비정상 버킷의 오류 코드를 찾습니다. |
Name:
메시지:
설명: 심각도: 경고 해결 방법 : 수정 procedure:비정상 네임스페이스 저장소 리소스의 오류 코드 찾기 |
Name:
메시지:
설명: 심각도: 경고 해결 방법 : 수정 procedure:비정상 버킷의 오류 코드를 찾습니다. |
이름:
메시지: Description: '최소 필수 복제본은 사용할 수 없습니다. 스토리지 클러스터 작동에 영향을 미칠 수 있습니다. 심각도: 경고 해결 방법 :Red Hat 지원 문의 절차:
|
이름:
Message:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 절차:
|
이름:
메시지:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 절차:
|
name:
메시지:
설명 심각도: 심각 해결 방법 :Red Hat 지원 문의 절차:
|
이름:
메시지:
설명 심각도: 경고 해결 방법 :Red Hat 지원 문의 절차:
|
Name:
메시지:
설명: 심각도: 경고 해결 방법 :Red Hat 지원 문의 |
이름:
메시지:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 |
이름:
메시지:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 |
Name:
메시지:
설명: 심각도: 경고 해결 방법 :Red Hat 지원 문의 |
Name:
메시지:
설명: 심각도: 경고 해결 방법 :Red Hat 지원 문의 |
Name:
Message
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 |
Name:
메시지:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 절차:
|
이름:
메시지:
설명: 심각도: 심각 해결 방법 :Red Hat 지원 문의 |
Name:
메시지: 설명: 재해 복구는 하나 또는 몇 가지 애플리케이션에서 실패합니다. 심각도: 경고 해결 방법 :Red Hat 지원 문의 |
Name:
메시지: 설명: 전체 클러스터에서 재해 복구에 실패합니다. 미러 데몬은 1m 이상 비정상 상태입니다. 이 클러스터의 미러링이 예상대로 작동하지 않습니다. 심각도: 심각 해결 방법 :Red Hat 지원 문의 |
6.2. 클러스터 상태 문제 해결
Red Hat Ceph Storage 클러스터가 OpenShift Data Foundation 사용자 인터페이스에 표시할 수 있는 제한된 상태 메시지 세트가 있습니다. 이러한 항목은 고유 식별자가 있는 상태 점검으로 정의됩니다. 식별자는 툴에서 상태 점검을 감지하여 의미를 반영하는 방식으로 제공할 수 있도록 하기 위한 의사 사람이 읽을 수 있는 문자열입니다. 자세한 내용 및 문제 해결을 위해 아래 상태 코드를 클릭합니다.
상태 코드 | 설명 |
---|---|
하나 이상의 Ceph 모니터가 디스크 공간에서 부족합니다. |
6.2.1. MON_DISK_LOW
이 경고는 모니터 데이터베이스를 백분율로 저장하는 파일 시스템의 사용 가능한 공간이 mon_data_avail_warn
아래로 떨어지면 트리거됩니다(기본값: 15%). 이는 시스템의 다른 프로세스 또는 사용자가 모니터에서 사용하는 동일한 파일 시스템을 채우고 있음을 나타낼 수 있습니다. 또한 모니터의 데이터베이스가 커졌음을 나타낼 수도 있습니다.
파일 시스템의 경로는 mons 배포에 따라 다릅니다. mon이 storagecluster.yaml
에 배포된 위치의 경로를 찾을 수 있습니다.
예제 경로:
-
Mon은 PVC 경로를 통해 배포됨:
/var/lib/ceph/mon
-
Mon은 hostpath를 통해 배포됨:
/var/lib/rook/mon
공간을 정리하려면 파일 시스템의 사용량이 많은 파일을 보고 삭제할 항목을 선택합니다. 파일을 보려면 다음을 실행합니다.
# du -a <path-in-the-mon-node> |sort -n -r |head -n10
& lt;path-in-the-mon-node
>를 mons가 배포된 파일 시스템의 경로로 바꿉니다.
6.3. 클러스터 경고 해결
Red Hat Ceph Storage 클러스터가 OpenShift Data Foundation 사용자 인터페이스에 표시될 수 있는 제한된 상태 경고 세트가 있습니다. 이러한 경고는 고유 식별자가 있는 상태 경고로 정의됩니다. 식별자는 툴에서 상태 점검을 감지하여 의미를 반영하는 방식으로 제공할 수 있도록 하기 위한 의사 사람이 읽을 수 있는 문자열입니다. 자세한 내용 및 문제 해결을 위해 상태 경고를 클릭합니다.
상태 경고 | 개요 |
---|---|
스토리지 클러스터 사용률은 80%를 초과했습니다. | |
스토리지 클러스터는 10분 이상 오류 상태입니다. | |
스토리지 클러스터가 전체 용량에 가까워지고 있습니다. 데이터 삭제 또는 클러스터 확장이 필요합니다. | |
스토리지 클러스터는 이제 읽기 전용이며 즉시 데이터 삭제 또는 클러스터 확장이 필요합니다. | |
스토리지 클러스터는 10분 이상 경고 상태입니다. | |
데이터 복구는 너무 오래 지속되었습니다. | |
MDS 데몬의 Ceph 메타데이터 서비스(MDS) 캐시 사용량이 | |
MDS 데몬의 Ceph MDS CPU 사용량이 적절한 성능을 위해 임계값을 초과했습니다. | |
스토리지 메타데이터 서비스에 필요한 최소 복제본을 사용할 수 없습니다. 스토리지 클러스터의 작동에 영향을 미칠 수 있습니다. | |
Ceph Manager는 Prometheus 대상 검색에서 사라졌습니다. | |
Ceph 관리자가 복제본이 누락되어 있습니다. 이pts 상태 보고 및 | |
Ceph 모니터 리더는 비정상적으로 변경되고 있습니다. | |
스토리지 클러스터 쿼럼이 낮습니다. | |
스토리지 클러스터의 모니터 Pod 수로는 충분하지 않습니다. | |
다양한 버전의 Ceph Mon 구성 요소가 실행되고 있습니다. | |
스토리지 노드가 중단되었습니다. 노드를 즉시 확인합니다. 경고에는 노드 이름이 포함되어야 합니다. | |
백엔드 OSD(오브젝트 스토리지 장치)의 사용률은 80%를 초과했습니다. 일부 공간을 즉시 확보하거나 스토리지 클러스터를 확장하거나 지원 팀에 문의하십시오. | |
디스크 장치가 호스트 중 하나에 응답하지 않습니다. | |
호스트 중 하나에서 디스크 장치에 액세스할 수 없습니다. | |
Ceph 스토리지 OSD 풀링. | |
OSD 스토리지 장치 중 하나가 완전히 가까워지고 있습니다. | |
OSD 요청은 처리하는 데 시간이 너무 오래 걸립니다. | |
다양한 버전의 Ceph OSD 구성 요소가 실행되고 있습니다. | |
자동 복구 작업에는 시간이 너무 오래 걸립니다. | |
스토리지 풀 할당량 사용량은 90%를 초과했습니다. | |
스토리지 풀 할당량 사용량은 70%를 초과했습니다. | |
특정 Pod의 OSD 컨테이너의 CPU 사용량이 80%를 초과하여 OSD 성능에 영향을 미칠 수 있습니다. | |
영구 볼륨 클레임 사용량이 용량의 85%를 초과했습니다. | |
영구 볼륨 클레임 사용량이 용량의 75%를 초과했습니다. |
6.3.1. CephClusterCriticallyFull
의미 | 스토리지 클러스터 사용률은 80%를 초과하여 85%로 읽기 전용입니다. 사용률이 85%를 초과하면 Ceph 클러스터가 읽기 전용입니다. 일부 공간을 확보하거나 스토리지 클러스터를 즉시 확장합니다. 일반적으로 이 경고에 앞서 전체 또는 전체 오브젝트 스토리지 장치(OSD)와 관련된 경고를 볼 수 있습니다. |
보안 등급 | 높음 |
진단
- Scaling storage
- 클러스터 유형에 따라 스토리지 장치, 노드 또는 둘 다를 추가해야 합니다. 자세한 내용은 스토리지 확장 가이드를 참조하십시오.
완화 방법
- 정보 삭제
- 클러스터를 확장할 수 없는 경우 정보를 삭제하여 일부 공간을 확보해야 합니다.
6.3.2. CephClusterErrorState
의미 |
이 경고는 스토리지 클러스터가 허용되지 않는 시간 동안 |
보안 등급 | 심각 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
$ oc get pod | grep rook-ceph
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a rook-ceph that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요- 노드가 할당된 경우 노드에서 kubelet을 확인합니다.
- 실행 중인 Pod의 기본 상태, 노드에서 노드 유사성 및 리소스 가용성이 확인되면 Ceph 툴을 실행하여 스토리지 구성 요소의 상태를 가져옵니다.
완화 방법
- 로그 정보 디버깅
이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.3. CephClusterNearFull
의미 | 스토리지 클러스터 사용률은 75%를 초과하여 85%로 읽기 전용입니다. 일부 공간을 확보하거나 스토리지 클러스터를 확장합니다. |
보안 등급 | 심각 |
진단
- Scaling storage
- 클러스터 유형에 따라 스토리지 장치, 노드 또는 둘 다를 추가해야 합니다. 자세한 내용은 스토리지 확장 가이드를 참조하십시오.
완화 방법
- 정보 삭제
- 클러스터를 확장할 수 없는 경우 일부 공간을 확보하기 위해 정보를 삭제해야 합니다.
6.3.4. CephClusterReadOnly
의미 | 스토리지 클러스터 사용률은 85%를 초과했으며 이제 읽기 전용입니다. 일부 공간을 확보하거나 스토리지 클러스터를 즉시 확장합니다. |
보안 등급 | 심각 |
진단
- Scaling storage
- 클러스터 유형에 따라 스토리지 장치, 노드 또는 둘 다를 추가해야 합니다. 자세한 내용은 스토리지 확장 가이드를 참조하십시오.
완화 방법
- 정보 삭제
- 클러스터를 확장할 수 없는 경우 일부 공간을 확보하기 위해 정보를 삭제해야 합니다.
6.3.5. CephClusterWarningState
의미 | 이 경고는 스토리지 클러스터가 허용되지 않는 시간 동안 경고 상태에 있음을 반영합니다. 스토리지 작업이 이 상태에서 계속 작동하지만 클러스터가 오류 상태가 되지 않도록 오류를 수정하는 것이 좋습니다. 이 전에 트리거되었을 수 있는 다른 경고를 확인하고 먼저 해당 경고 문제를 해결합니다. |
보안 등급 | 높음 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep {ceph-component}
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.6. CephDataRecoveryTakingTooLong
의미 | 데이터 복구 속도가 느리다. 모든 OSD(오브젝트 스토리지 장치)가 실행 중인지 확인합니다. |
보안 등급 | 높음 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep rook-ceph-osd
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.7. CephMdsCacheUsageHigh
의미 |
스토리지 메타데이터 서비스(MDS)에서 캐시 사용량을 |
보안 등급 | 높음 |
진단
MDS는 캐시에서 사용되지 않는 메타데이터를 트리밍하고 클라이언트 캐시의 캐시된 항목을 회수하여 mds_cache_memory_limit
예약을 유지하려고 합니다. 여러 클라이언트가 파일을 늘리기 때문에 MDS가 클라이언트에서 느린 회수로 인해 이 제한을 초과할 수 있습니다.
완화 방법
MDS 캐시에 대해 충분한 메모리가 프로비저닝되었는지 확인합니다. mds_cache_memory_limit
를 늘리려면 MDS Pod의 메모리 리소스를 ocs-storageCluster
에서 업데이트해야 합니다. 다음 명령을 실행하여 MDS Pod의 메모리를 설정합니다(예: 16GB).
$ oc patch -n openshift-storage storagecluster ocs-storagecluster \ --type merge \ --patch '{"spec": {"resources": {"mds": {"limits": {"memory": "16Gi"},"requests": {"memory": "16Gi"}}}}}'
OpenShift Data Foundation은 mds_cache_memory_limit
를 MDS Pod 메모리 제한의 절반으로 자동으로 설정합니다. 이전 명령을 사용하여 메모리를 8GB로 설정하면 Operator에서 MDS 캐시 메모리 제한을 4GB로 설정합니다.
6.3.8. CephMdsCpuUsageHigh
의미 | 스토리지 메타데이터 서비스(MDS)는 파일 시스템 메타데이터를 제공합니다. MDS는 모든 파일 생성, 이름 변경, 삭제 및 업데이트 작업에 중요합니다. MDS에는 기본적으로 두 개 또는 세 개의 CPU가 할당됩니다. 메타데이터 작업이 너무 많지 않은 한 문제가 발생하지 않습니다. 메타데이터 작업 부하가 이 경고를 트리거할 수 있을 만큼 증가하면 기본 CPU 할당이 로드에 대처할 수 없음을 의미합니다. CPU 할당을 늘려야 합니다. |
보안 등급 | 높음 |
진단
워크로드 → 포드 를 클릭합니다. 해당 MDS Pod를 선택하고 지표 탭을 클릭합니다. 그러면 할당되고 사용된 CPU가 표시됩니다. 기본적으로 사용된 CPU가 6시간 동안 할당된 CPU의 67%인 경우 경고가 실행됩니다. 이 경우 완화 섹션의 단계를 수행합니다.
완화 방법
할당된 CPU를 늘려야 합니다.
다음 명령을 사용하여 MDS에 할당된 CPU 수를 설정합니다(예: 8)
.
$ oc patch -n openshift-storage storagecluster ocs-storagecluster \ --type merge \ --patch '{"spec": {"resources": {"mds": {"limits": {"cpu": "8"}, "requests": {"cpu": "8"}}}}}'
6.3.9. CephMdsMissingReplicas
의미 | 스토리지 메타데이터 서비스(MDS)에 필요한 최소 복제본을 사용할 수 없습니다. MDS는 메타데이터를 제출해야 합니다. MDS 서비스의 저하는 스토리지 클러스터가 작동하는 방식에 영향을 미칠 수 있으며( CephFS 스토리지 클래스와 관련된) 가능한 한 빨리 수정해야 합니다. |
보안 등급 | 높음 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep rook-ceph-mds
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.10. CephMgrIsAbsent
의미 | Ceph 관리자가 클러스터 모니터링을 실행하지 않습니다. PVC(영구 볼륨 클레임) 생성 및 삭제 요청은 가능한 한 빨리 해결되어야 합니다. |
보안 등급 | 높음 |
진단
rook-ceph-mgr
Pod가 실패했는지 확인하고 필요한 경우 다시 시작합니다. Ceph mgr pod 재시작에 실패하면 일반 Pod 문제 해결을 수행하여 문제를 해결합니다.Ceph mgr Pod가 실패했는지 확인합니다.
$ oc get pods | grep mgr
자세한 내용은 Ceph mgr Pod를 설명합니다.
$ oc describe pods/<pod_name>
<pod_name>
-
이전 단계의
rook-ceph-mgr
Pod 이름을 지정합니다.
리소스 문제와 관련된 오류를 분석합니다.
Pod를 삭제하고 Pod가 다시 시작될 때까지 기다립니다.
$ oc get pods | grep mgr
일반적인 Pod 문제 해결을 위해 다음 단계를 따르십시오.
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep rook-ceph-mgr
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.11. CephMgrIsMissingReplicas
의미 | 이 경고를 해결하려면 Ceph 관리자의 사라지는 원인을 확인하고 필요한 경우 다시 시작해야 합니다. |
보안 등급 | 높음 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep rook-ceph-mgr
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.12. CephMonHighNumberOfLeaderChanges
의미 | Ceph 클러스터에는 스토리지 클러스터에 대한 중요한 정보를 저장하는 중복 모니터 Pod 세트가 있습니다. 스토리지 클러스터에 대한 정보를 얻으려면 Pod를 주기적으로 동기화합니다. 가장 업데이트된 정보를 가져오는 첫 번째 모니터 Pod는 리더가 되고 다른 모니터 Pod는 리더에게 요청한 후 동기화 프로세스를 시작합니다. 하나 이상의 모니터 Pod의 네트워크 연결 또는 다른 종류의 문제의 문제로 리더의 비정상적인 변경이 발생합니다. 이 상황은 스토리지 클러스터 성능에 부정적인 영향을 미칠 수 있습니다. |
보안 등급 | 중간 |
모든 네트워크 문제를 확인합니다. 네트워크 문제가 있는 경우 다음 문제 해결 단계를 진행하기 전에 OpenShift Data Foundation 팀으로 에스컬레이션해야 합니다.
진단
영향을 받는 모니터 Pod의 로그를 출력하여 문제에 대한 자세한 정보를 수집합니다.
$ oc logs <rook-ceph-mon-X-yyyy> -n openshift-storage
<rook-ceph-mon-X-yyyy>
- 영향을 받는 모니터 Pod의 이름을 지정합니다.
- 또는 Openshift 웹 콘솔을 사용하여 영향을 받는 모니터 포드의 로그를 엽니다. 가능한 원인에 대한 자세한 내용은 로그에 반영됩니다.
일반 Pod 문제 해결 단계를 수행합니다.
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep {ceph-component}
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
- 준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
- 애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.13. CephMonQuorumAtRisk
의미 | 중복을 제공하기 위해 여러 MON이 함께 작동합니다. 각 MON은 메타데이터 사본을 보관합니다. 클러스터는 3 MONs로 배포되며 쿼럼 및 스토리지 작업을 실행하기 위해 2개 이상의 MON이 실행 중이어야 합니다. 쿼럼이 손실되면 데이터에 대한 액세스가 위험할 수 있습니다. |
보안 등급 | 높음 |
진단
Ceph MON Quorum을 복원합니다. 자세한 내용은 문제 해결 가이드 의 OpenShift Data Foundation의 ceph-monitor 쿼럼 복원을 참조하십시오. Ceph MON Quorum 복원에 실패하면 일반 포드 문제 해결을 수행하여 문제를 해결합니다.
일반 Pod 문제 해결을 위해 다음을 수행합니다.
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep rook-ceph-mon
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
- 준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
- 애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.14. CephMonQuorumLost
의미 | Ceph 클러스터에는 스토리지 클러스터에 대한 중요한 정보를 저장하는 중복 모니터 Pod 세트가 있습니다. 스토리지 클러스터에 대한 정보를 얻으려면 Pod를 주기적으로 동기화합니다. 가장 업데이트된 정보를 가져오는 첫 번째 모니터 Pod는 리더가 되고 다른 모니터 Pod는 리더에게 요청한 후 동기화 프로세스를 시작합니다. 하나 이상의 모니터 Pod의 네트워크 연결 또는 다른 종류의 문제의 문제로 리더의 비정상적인 변경이 발생합니다. 이 상황은 스토리지 클러스터 성능에 부정적인 영향을 미칠 수 있습니다. |
보안 등급 | 높음 |
모든 네트워크 문제를 확인합니다. 네트워크 문제가 있는 경우 다음 문제 해결 단계를 진행하기 전에 OpenShift Data Foundation 팀으로 에스컬레이션해야 합니다.
진단
Ceph MON Quorum을 복원합니다. 자세한 내용은 문제 해결 가이드 의 OpenShift Data Foundation의 ceph-monitor 쿼럼 복원을 참조하십시오. Ceph MON Quorum 복원에 실패하면 일반 포드 문제 해결을 수행하여 문제를 해결합니다.
또는 일반적인 Pod 문제 해결을 수행합니다.
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
oc get pod | grep {ceph-component}
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a {ceph-component} that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
- 준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
- 애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요노드가 할당된 경우 노드에서 kubelet을 확인합니다.
완화 방법
- 로그 정보 디버깅
- 이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.15. CephMonVersionMismatch
의미 | 일반적으로 이 경고는 오랜 시간이 걸리는 업그레이드 중에 트리거됩니다. |
보안 등급 | 중간 |
진단
ocs-operator
서브스크립션 상태 및 Operator Pod 상태를 확인하여 Operator 업그레이드가 진행 중인지 확인합니다.
ocs-operator
서브스크립션 상태를 확인합니다.$ oc get sub $(oc get pods -n openshift-storage | grep -v ocs-operator) -n openshift-storage -o json | jq .status.conditions
상태 조건 유형은
CatalogSourcesUnhealthy
,InstallPlanMissing
,InstallPlanPending
,InstallPlanFailed
입니다. 각 유형의 상태는False
여야 합니다.출력 예:
[ { "lastTransitionTime": "2021-01-26T19:21:37Z", "message": "all available catalogsources are healthy", "reason": "AllCatalogSourcesHealthy", "status": "False", "type": "CatalogSourcesUnhealthy" } ]
예제 출력에는
CatalogSourcesUnHealthly
유형의False
상태가 표시됩니다. 즉, 카탈로그 소스가 정상입니다.OCS Operator Pod 상태를 확인하여 진행 중인 OCS Operator 업그레이드가 있는지 확인합니다.
$ oc get pod -n openshift-storage | grep ocs-operator OCSOP=$(oc get pod -n openshift-storage -o custom-columns=POD:.metadata.name --no-headers | grep ocs-operator) echo $OCSOP oc get pod/${OCSOP} -n openshift-storage oc describe pod/${OCSOP} -n openshift-storage
'ocs-operator'가 진행 중이라고 판단되면 5분 정도 기다린 후 이 경고가 자체적으로 해결되어야 합니다. 대기하거나 다른 오류 상태 조건이 표시되면 문제 해결을 계속합니다.
완화 방법
- 로그 정보 디버깅
이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.16. CephNodeDown
의미 | Ceph pod를 실행하는 노드가 다운되었습니다. Ceph는 노드 오류를 처리하도록 설계된 경우에도 스토리지 작업이 계속 작동하지만 스토리지 기능에 영향을 미치는 다른 노드의 위험을 최소화하려면 문제를 해결하는 것이 좋습니다. |
보안 등급 | 중간 |
진단
실행 중이고 실패한 모든 Pod를 나열합니다.
oc -n openshift-storage get pods
중요OSD(Object Storage Device) Pod가 새 노드에 예약되도록 OpenShift Data Foundation 리소스 요구 사항을 충족하는지 확인합니다. Ceph 클러스터에서 오류가 발생하지만 OSD를 복구하는 데 몇 분이 걸릴 수 있습니다. 이 복구 작업을 수행하려면 OSD Pod가 새 작업자 노드에 올바르게 배치되었는지 확인합니다.
이전에 실패한 OSD Pod가 실행 중인지 확인합니다.
oc -n openshift-storage get pods
이전에 실패한 OSD Pod가 예약되지 않은 경우
describe
명령을 사용하여 Pod가 다시 예약되지 않은 이유에 대한 이벤트를 확인합니다.실패한 OSD 포드에 대한 이벤트를 설명합니다.
oc -n openshift-storage get pods | grep osd
실패한 OSD Pod를 하나 이상 찾습니다.
oc -n openshift-storage describe pods/<osd_podname_ from_the_ previous step>
이벤트 섹션에서 리소스와 같은 실패 이유를 찾습니다.
또한
rook-ceph-toolbox
를 사용하여 복구를 볼 수 있습니다. 이 단계는 선택 사항이지만 대규모 Ceph 클러스터에 유용합니다. toolbox에 액세스하려면 다음 명령을 실행합니다.TOOLS_POD=$(oc get pods -n openshift-storage -l app=rook-ceph-tools -o name) oc rsh -n openshift-storage $TOOLS_POD
rsh 명령 프롬프트에서 다음을 실행하고 io 섹션에서 "recovery"를 확인합니다.
ceph status
실패한 노드가 있는지 확인합니다.
작업자 노드 목록을 가져오고 노드 상태를 확인합니다.
oc get nodes --selector='node-role.kubernetes.io/worker','!node-role.kubernetes.io/infra'
실패에 대한 자세한 정보를 얻기 위해
NotReady
상태인 노드를 설명합니다.oc describe node <node_name>
완화 방법
- 로그 정보 디버깅
이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.17. CephOSDCriticallyFull
의미 | OSD(오브젝트 스토리지 장치) 중 하나가 매우 가득 차 있습니다. 즉시 클러스터를 확장합니다. |
보안 등급 | 높음 |
진단
- 스토리지 공간을 확보하기 위해 데이터 삭제
- 데이터를 삭제할 수 있으며 클러스터는 자체 복구 프로세스를 통해 경고를 해결합니다.
이는 읽기 전용 모드가 아닌 가까운 또는 가득 차 있는 OpenShift Data Foundation 클러스터에만 적용됩니다. 읽기 전용 모드에서는 데이터 삭제, 즉 PVC(영구 볼륨 클레임), PV(영구 볼륨) 또는 둘 다 삭제가 포함된 변경 사항을 방지합니다.
- 스토리지 용량 확장
- 현재 스토리지 크기는 1TB 미만
먼저 확장할 수 있는 능력을 평가해야 합니다. 1TB의 스토리지가 추가될 때마다 클러스터에 최소 2개의 vCPU 및 8GiB 메모리가 있는 노드가 3개 있어야 합니다.
애드온을 통해 스토리지 용량을 4TB로 늘릴 수 있으며 클러스터는 자체 복구 프로세스를 통해 경고를 해결합니다. 최소 vCPU 및 메모리 리소스 요구 사항이 충족되지 않으면 클러스터에 3개의 작업자 노드를 추가해야 합니다.
완화 방법
- 현재 스토리지 크기가 4TB인 경우 Red Hat 지원에 문의하십시오.
선택 사항: 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.18. CephOSDDiskNotResponding
의미 | 디스크 장치가 응답하지 않습니다. 모든 OSD(오브젝트 스토리지 장치)가 실행 중인지 확인합니다. |
보안 등급 | 중간 |
진단
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
$ oc get pod | grep rook-ceph
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a rook-ceph that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요- 노드가 할당된 경우 노드에서 kubelet을 확인합니다.
- 실행 중인 Pod의 기본 상태, 노드에서 노드 유사성 및 리소스 가용성이 확인되면 Ceph 툴을 실행하여 스토리지 구성 요소의 상태를 가져옵니다.
완화 방법
- 로그 정보 디버깅
이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.20. CephOSDFlapping
의미 | 스토리지 데몬은 지난 5분 동안 5회 다시 시작되었습니다. Pod 이벤트 또는 Ceph 상태를 확인하여 원인을 확인합니다. |
보안 등급 | 높음 |
진단
Red Hat Ceph Storage 문제 해결 가이드의 OSD Flapping OSD 섹션의 단계를 따르십시오.
또는 일반적인 Pod 문제 해결 단계를 따르십시오.
- Pod 상태: 보류 중
리소스 문제, PVC(영구 볼륨 클레임), 노드 할당 및 kubelet 문제가 있는지 확인합니다.
$ oc project openshift-storage
$ oc get pod | grep rook-ceph
MYPOD
를 문제 Pod로 식별되는 Pod의 변수로 설정합니다.# Examine the output for a rook-ceph that is in the pending state, not running or not ready MYPOD=<pod_name>
<pod_name>
- 문제 Pod로 식별되는 Pod의 이름을 지정합니다.
리소스 제한 사항 또는 보류 중인 PVC를 찾습니다. 그렇지 않으면 노드 할당을 확인합니다.
$ oc get pod/${MYPOD} -o wide
- Pod 상태: 보류 중, 실행 중이 아니지만 준비되지 않음
준비 상태 프로브를 확인합니다.
$ oc describe pod/${MYPOD}
- Pod 상태: 보류 중이 아니지만 실행 중이 아닙니다.
애플리케이션 또는 이미지 문제를 확인합니다.
$ oc logs pod/${MYPOD}
중요- 노드가 할당된 경우 노드에서 kubelet을 확인합니다.
- 실행 중인 Pod의 기본 상태, 노드에서 노드 유사성 및 리소스 가용성이 확인되면 Ceph 툴을 실행하여 스토리지 구성 요소의 상태를 가져옵니다.
완화 방법
- 로그 정보 디버깅
이 단계는 선택 사항입니다. 다음 명령을 실행하여 Ceph 클러스터에 대한 디버깅 정보를 수집합니다.
$ oc adm must-gather --image=registry.redhat.io/odf4/odf-must-gather-rhel9:v4.15
6.3.21. CephOSDNearFull
의미 | 백엔드 스토리지 장치 OSD(Object Storage Device)의 사용률은 호스트에서 75%를 초과했습니다. |
보안 등급 | 높음 |
완화 방법
클러스터의 일부 공간을 확보하거나 스토리지 클러스터를 확장하거나 Red Hat 지원에 문의하십시오. 스토리지 확장에 대한 자세한 내용은 스토리지 확장 가이드를 참조하십시오.
6.3.22. CephOSDSlowOps
의미 |
느린 요청이 있는 OSD(Object Storage Device)는 |
보안 등급 | 중간 |
진단
느린 요청에 대한 자세한 내용은 Openshift 콘솔을 사용하여 확인할 수 있습니다.
OSD pod 터미널에 액세스하고 다음 명령을 실행합니다.
$ ceph daemon osd.<id> ops
$ ceph daemon osd.<id> dump_historic_ops
참고포드 이름에 OSD 수가 표시됩니다. 예를 들어
rook-ceph-osd-0-5d86d4d8d4-zlqkx
에서 <0&
gt;은 OSD입니다.
완화 방법
OSD에서 요청이 느려지는 주요 원인은 다음과 같습니다.
- 디스크 드라이브, 호스트, 랙 또는 네트워크 스위치와 같은 기본 하드웨어 또는 인프라와 관련된 문제입니다. Openshift 모니터링 콘솔을 사용하여 클러스터 리소스에 대한 경고 또는 오류를 찾습니다. 이를 통해 OSD에서 느린 작업의 근본 원인을 파악할 수 있습니다.
- 네트워크에 문제가 있습니다. 이러한 문제는 일반적으로 플레이닝 OSD와 관련이 있습니다. Red Hat Ceph Storage 문제 해결 가이드의 OSD Flapping OSD 섹션을 참조하십시오.
- 네트워크 문제인 경우 OpenShift Data Foundation 팀으로 에스컬레이션합니다.
- 시스템 로드. Openshift 콘솔을 사용하여 OSD 포드의 지표와 OSD를 실행 중인 노드를 검토합니다. 더 많은 리소스를 추가하거나 할당하는 것이 가능한 해결책이 될 수 있습니다.
6.3.23. CephOSDVersionMismatch
의미 | 일반적으로 이 경고는 오랜 시간이 걸리는 업그레이드 중에 트리거됩니다. |
보안 등급 | 중간 |
진단
ocs-operator
서브스크립션 상태 및 Operator Pod 상태를 확인하여 Operator 업그레이드가 진행 중인지 확인합니다.
ocs-operator
서브스크립션 상태를 확인합니다.$ oc get sub $(oc get pods -n openshift-storage | grep -v ocs-operator) -n openshift-storage -o json | jq .status.conditions
상태 조건 유형은
CatalogSourcesUnhealthy
,InstallPlanMissing
,InstallPlanPending
,InstallPlanFailed
입니다. 각 유형의 상태는False
여야 합니다.출력 예:
[ { "lastTransitionTime": "2021-01-26T19:21:37Z", "message": "all available catalogsources are healthy", "reason": "AllCatalogSourcesHealthy", "status": "False", "type": "CatalogSourcesUnhealthy" } ]
예제 출력에는
CatalogSourcesUnHealthly
유형의False
상태가 표시됩니다. 즉, 카탈로그 소스가 정상입니다.OCS Operator Pod 상태를 확인하여 진행 중인 OCS Operator 업그레이드가 있는지 확인합니다.
$ oc get pod -n openshift-storage | grep ocs-operator OCSOP=$(oc get pod -n openshift-storage -o custom-columns=POD:.metadata.name --no-headers | grep ocs-operator) echo $OCSOP oc get pod/${OCSOP} -n openshift-storage oc describe pod/${OCSOP} -n openshift-storage
'ocs-operator'가 진행 중이라고 판단되면 5분 정도 기다린 후 이 경고가 자체적으로 해결되어야 합니다. 대기하거나 다른 오류 상태 조건이 표시되면 문제 해결을 계속합니다.
6.3.24. CephPGRepairTakingTooLong
의미 | 자동 복구 작업에는 시간이 너무 오래 걸립니다. |
보안 등급 | 높음 |
진단
일치하지 않는 배치 그룹(PG)을 확인하고 복구하십시오. 자세한 내용은 Ceph의 Red Hat 지식베이스 솔루션 Handle Inconsistent placement groups in Ceph에서 참조하십시오.
6.3.25. CephPoolQuotaBytesCriticallyExhausted
의미 |
하나 이상의 풀에 도달했거나 할당량에 매우 근접합니다. 이 오류 조건을 트리거하는 임계값은 |
보안 등급 | 높음 |
완화 방법
풀 할당량을 조정합니다. 다음 명령을 실행하여 풀 할당량을 완전히 제거하거나 축소합니다.
ceph osd pool set-quota <pool> max_bytes <bytes>
ceph osd pool set-quota <pool> max_objects <objects>
할당량 값을 0
으로 설정하면 할당량이 비활성화됩니다.
6.3.26. CephPoolQuotaBytesNearExhaustion
의미 |
하나 이상의 풀은 구성된 완전성 임계값에 도달하는 것입니다. 이 경고 조건을 트리거할 수 있는 임계값 중 하나는 |
보안 등급 | 높음 |
완화 방법
풀 할당량을 조정합니다. 다음 명령을 실행하여 풀 할당량을 완전히 제거하거나 축소합니다.
ceph osd pool set-quota <pool> max_bytes <bytes>
ceph osd pool set-quota <pool> max_objects <objects>
할당량 값을 0
으로 설정하면 할당량이 비활성화됩니다.
6.3.27. OSDCPULoadHigh
의미 | OSD는 데이터 배치 및 복구를 관리하는 Ceph 스토리지의 중요한 구성 요소입니다. OSD 컨테이너의 CPU 사용량이 높으면 처리 요구 사항이 증가하여 스토리지 성능이 저하될 수 있습니다. |
보안 등급 | 높음 |
진단
- Kubernetes 대시보드 또는 해당 대시보드로 이동합니다.
- Workloads 섹션에 액세스하여 OSD 경고와 관련된 관련 Pod를 선택합니다.
- 지표 탭을 클릭하여 OSD 컨테이너의 CPU 지표를 확인합니다.
- 경고 구성에 지정된 대로 CPU 사용량이 상당한 기간 동안 80%를 초과하는지 확인합니다.
완화 방법
OSD CPU 사용량이 일관되게 높은 경우 다음 단계를 수행하는 것이 좋습니다.
- 전체 스토리지 클러스터 성능을 평가하고 CPU 사용량에 기여하는 OSD를 식별합니다.
- 기존 노드에 새 스토리지 장치를 추가하거나 새 스토리지 장치가 있는 새 노드를 추가하여 클러스터의 OSD 수를 늘립니다. 부하를 배포하고 전체 시스템 성능을 개선하는 데 도움이 되는 지침은 스토리지 확장 가이드를 검토하십시오.
6.3.28. PersistentVolumeUsageCritical
의미 | PVC(영구 볼륨 클레임)는 전체 용량에 도달하고 있으며 적시에 참여하지 않은 경우 데이터 손실이 발생할 수 있습니다. |
보안 등급 | 높음 |
완화 방법
PVC 크기를 확장하여 용량을 늘립니다.
- OpenShift 웹 콘솔에 로그인합니다.
- 스토리지 → PersistentVolumeClaim 을 클릭합니다.
-
프로젝트 드롭다운 목록에서
openshift-storage
를 선택합니다. - 확장하려는 PVC에서 작업 메뉴( Cryostat) → Expand PVC 를 클릭합니다.
- 총 크기를 원하는 크기로 업데이트합니다.
- 확장 을 클릭합니다.
또는 공간을 차지할 수 있는 불필요한 데이터를 삭제할 수도 있습니다.
6.3.29. PersistentVolumeUsageNearFull
의미 | PVC(영구 볼륨 클레임)는 전체 용량에 도달하고 있으며 적시에 참여하지 않은 경우 데이터 손실이 발생할 수 있습니다. |
보안 등급 | 높음 |
완화 방법
PVC 크기를 확장하여 용량을 늘립니다.
- OpenShift 웹 콘솔에 로그인합니다.
- 스토리지 → PersistentVolumeClaim 을 클릭합니다.
-
프로젝트 드롭다운 목록에서
openshift-storage
를 선택합니다. - 확장하려는 PVC에서 작업 메뉴( Cryostat) → Expand PVC 를 클릭합니다.
- 총 크기를 원하는 크기로 업데이트합니다.
- 확장 을 클릭합니다.
또는 공간을 차지할 수 있는 불필요한 데이터를 삭제할 수도 있습니다.
6.4. 비정상 버킷의 오류 코드 검색
프로세스
- OpenShift 웹 콘솔에서 스토리지 → 오브젝트 스토리지를 클릭합니다.
- Object Bucket Claims 탭을 클릭합니다.
-
Bound
상태가 아닌 오브젝트 버킷 클레임(OBC)을 찾아 클릭합니다. 이벤트 탭을 클릭하고 다음 중 하나를 수행합니다.
- 버킷의 현재 상태에 대해 힌트를 줄 수 있는 이벤트를 찾습니다.
- YAML 탭을 클릭하고 YAML의 status 및 mode 섹션에 대한 관련 오류를 찾습니다.
OBC가
Pending
상태인 경우 제품 로그에 오류가 표시될 수 있습니다. 그러나 이 경우 제공된 모든 변수가 올바른지 확인하는 것이 좋습니다.
6.5. 비정상 네임스페이스 저장소 리소스의 오류 코드 검색
프로세스
- OpenShift 웹 콘솔에서 스토리지 → 오브젝트 스토리지를 클릭합니다.
- 네임스페이스 저장소 탭을 클릭합니다.
-
Bound
상태가 아닌 네임스페이스 저장소 리소스를 찾아 클릭합니다. 이벤트 탭을 클릭하고 다음 중 하나를 수행합니다.
- 리소스의 현재 상태에 대해 힌트를 줄 수 있는 이벤트를 찾습니다.
- YAML 탭을 클릭하고 YAML의 status 및 mode 섹션에 대한 관련 오류를 찾습니다.
6.6. Pod 복구
첫 번째 노드( NODE1
)가 일부 문제로 인해 NotReady 상태로 전환하면 RWO(ReadWriteOnce) 액세스 모드에서 PVC를 사용하는 호스팅된 Pod가 두 번째 노드(say NODE2
)로 이동하려고 하지만 다중 연결 오류로 인해 고정됩니다. 이러한 경우 다음 단계를 사용하여 MON, OSD 및 애플리케이션 Pod를 복구할 수 있습니다.
프로세스
-
NODE1
의 전원을 끄고 (AWS 또는 vSphere 측)NODE1
이 완전히 다운되었는지 확인합니다. 다음 명령을 사용하여
NODE1
에서 Pod를 강제로 삭제합니다.$ oc delete pod <pod-name> --grace-period=0 --force
6.7. EBS 볼륨 분리에서 복구
OSD 디스크가 작업자 Amazon EC2 인스턴스에서 분리된 OSD 또는 MON 탄력적 블록 스토리지(EBS) 볼륨인 경우 볼륨은 1분 또는 2분 내에 자동으로 다시 연결됩니다. 그러나 OSD 포드는 CrashLoopBackOff
상태가 됩니다. Pod를 복구하고 Running
상태로 되돌리려면 EC2 인스턴스를 다시 시작해야 합니다.
6.8. rook-ceph-operator의 디버그 로그 활성화 및 비활성화
rook-ceph-operator의 디버그 로그를 활성화하여 문제 해결에 도움이 되는 실패에 대한 정보를 가져옵니다.
프로세스
- 디버그 로그 활성화
rook-ceph-operator의 configmap을 편집합니다.
$ oc edit configmap rook-ceph-operator-config
rook-ceph-operator-config
yaml 파일에ROOK_LOG_LEVEL: DEBUG
매개변수를 추가하여 rook-ceph-operator의 디버그 로그를 활성화합니다.… data: # The logging level for the operator: INFO | DEBUG ROOK_LOG_LEVEL: DEBUG
이제 rook-ceph-operator 로그가 디버그 정보로 구성됩니다.
- 디버그 로그 비활성화
rook-ceph-operator의 configmap을 편집합니다.
$ oc edit configmap rook-ceph-operator-config
rook-ceph-operator-config
yaml 파일에ROOK_LOG_LEVEL: INFO
매개변수를 추가하여 rook-ceph-operator의 디버그 로그를 비활성화합니다.… data: # The logging level for the operator: INFO | DEBUG ROOK_LOG_LEVEL: INFO
6.9. 낮은 Ceph 모니터 수 경고 해결
CephMonLowNumber 경고는 OpenShift 웹 콘솔의 알림 패널 또는 경고 센터에 내부 모드 배포에 5개 이상의 노드, 랙 또는 실이 5개 이상의 장애 도메인이 있는 경우 Ceph 모니터 수를 낮게 표시합니다. Ceph 모니터 수를 늘리면 클러스터 가용성을 개선할 수 있습니다.
프로세스
- OpenShift 웹 콘솔의 알림 패널 또는 경고 센터의 CephMonLowNumber 경고에서 Configure 를 클릭합니다.
Configure Ceph Monitor 팝업에서 Update count를 클릭합니다.
팝업 창에서 실패 영역 수에 따라 권장 모니터 개수가 표시됩니다.
- Configure CephMon 팝업에서 권장 값을 기반으로 monitor count 값을 업데이트하고 Save changes 를 클릭합니다.
6.10. 비정상 차단 노드 문제 해결
6.10.1. ODFRBDClientBlocked
의미 |
이 경고는 쿠버네티스 클러스터 내의 특정 노드에서 RADOS Block Device(RBD) 클라이언트가 Ceph에 의해 차단될 수 있음을 나타냅니다. blocklisting은 |
보안 등급 | 높음 |
진단
RBD 클라이언트의 차단 목록은 네트워크 또는 클러스터 속도 저하와 같은 여러 요인으로 인해 발생할 수 있습니다. 경우에 따라 3개의 연속 클라이언트(워크로드, 미러 데몬, manager/scheduler) 간의 독점 잠금 경합이 블록 목록으로 이어질 수 있습니다.
완화 방법
- 블록 목록에 있는 노드 테인트: Kubernetes에서 Pod 제거를 다른 노드로 트리거하기 위해 차단 목록에 있는 노드를 테인트하는 것이 좋습니다. 이 접근 방식은 마운트 해제 / 매핑되지 않은 프로세스가 정상적으로 진행된다는 가정에 따라 달라집니다. Pod가 성공적으로 제거되면 blocklisted 노드를tainted 상태로 설정하여 블록 목록을 삭제할 수 있습니다. 그런 다음 Pod를 오염되지 않은 노드로 이동할 수 있습니다.
- 블록 목록에 있는 노드 재부팅: 노드에 테인트하고 Pod를 제거해도 차단 목록에 있는 노드가 해결되지 않으면 차단된 노드를 재부팅할 수 있습니다. 이 단계는 블록 목록을 유발하는 모든 근본적인 문제를 완화하고 정상적인 기능을 복원하는 데 도움이 될 수 있습니다.
블록 목록 문제를 신속하게 조사하고 해결하는 것은 스토리지 클러스터에 대한 추가 영향을 방지하기 위해 필요합니다.
7장. Local Storage Operator 배포 확인
Local Storage Operator가 있는 Red Hat OpenShift Data Foundation 클러스터는 로컬 스토리지 장치를 사용하여 배포됩니다. OpenShift Data Foundation이 있는 기존 클러스터가 로컬 스토리지 장치를 사용하여 배포되었는지 확인하려면 다음 절차를 사용하십시오.
사전 요구 사항
-
OpenShift Data Foundation은
openshift-storage
네임스페이스에 설치되어 실행 중입니다.
프로세스
OpenShift Data Foundation 클러스터의 PVC(영구 볼륨 클레임)와 연결된 스토리지 클래스를 확인하여 로컬 스토리지 장치를 사용하여 클러스터가 배포되었는지 확인할 수 있습니다.
다음 명령을 사용하여 OpenShift Data Foundation 클러스터 PVC와 연결된 스토리지 클래스를 확인합니다.
$ oc get pvc -n openshift-storage
출력을 확인합니다. Local Storage Operator가 있는 클러스터의 경우
ocs-deviceset
과 연결된 PVC는 스토리지 클래스localblock
을 사용합니다. 출력은 다음과 유사합니다.NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE db-noobaa-db-0 Bound pvc-d96c747b-2ab5-47e2-b07e-1079623748d8 50Gi RWO ocs-storagecluster-ceph-rbd 114s ocs-deviceset-0-0-lzfrd Bound local-pv-7e70c77c 1769Gi RWO localblock 2m10s ocs-deviceset-1-0-7rggl Bound local-pv-b19b3d48 1769Gi RWO localblock 2m10s ocs-deviceset-2-0-znhk8 Bound local-pv-e9f22cdc 1769Gi RWO localblock 2m10s
8장. 실패한 Ceph Object Storage 장치 제거
실패하거나 원하지 않는 Ceph OSD(Object Storage Devices)는 스토리지 인프라의 성능에 영향을 미칩니다. 따라서 스토리지 클러스터의 안정성과 복원력을 개선하려면 실패하거나 원하지 않는 Ceph OSD를 제거해야 합니다.
Ceph OSD가 실패하거나 원하지 않는 경우 다음을 제거합니다.
Ceph 상태를 확인합니다.
자세한 내용은 Ceph 클러스터의 정상 확인에서 참조하십시오.
OSD의 프로비저닝에 따라 실패하거나 원하지 않는 Ceph OSD를 제거합니다.
다음 내용을 참조하십시오.
로컬 디스크를 사용하는 경우 이전 OSD를 제거한 후 이러한 디스크를 재사용할 수 있습니다.
8.1. Ceph 클러스터 상태 확인
스토리지 상태는 블록 및 파일 및 오브젝트 대시보드에 표시됩니다.
프로세스
- OpenShift 웹 콘솔에서 스토리지 → 데이터 Foundation 을 클릭합니다.
- 개요 탭의 상태 카드에서 스토리지 시스템을 클릭한 다음 해당 팝업에서 스토리지 시스템 링크를 클릭합니다.
- 블록 및 파일 탭의 상태 카드에서 스토리지 클러스터에 녹색 눈금 이 있는지 확인합니다.
- 세부 정보 카드에서 클러스터 정보가 표시되는지 확인합니다.
8.2. 동적으로 프로비저닝된 Red Hat OpenShift Data Foundation에서 실패 또는 원하지 않는 Ceph OSD 제거
프로세스의 단계에 따라 동적으로 프로비저닝된 Red Hat OpenShift Data Foundation에서 실패하거나 원하지 않는 Ceph Object Storage Devices(OSD)를 제거합니다.
클러스터 축소는 Red Hat 지원 팀을 통해서만 지원됩니다.
- Ceph 구성 요소가 정상 상태가 아닌 경우 OSD를 제거하면 데이터가 손실될 수 있습니다.
- 두 개 이상의 OSD를 동시에 제거하면 데이터가 손실됩니다.
사전 요구 사항
- Ceph가 정상인지 확인합니다. 자세한 내용은 Ceph 클러스터의 정상 확인을 참조하십시오.
- 경고가 실행되지 않거나 다시 빌드 프로세스가 진행 중인지 확인합니다.
프로세스
OSD 배포를 축소합니다.
# oc scale deployment rook-ceph-osd-<osd-id> --replicas=0
Ceph OSD를 제거할
osd-prepare
Pod를 가져옵니다.# oc get deployment rook-ceph-osd-<osd-id> -oyaml | grep ceph.rook.io/pvc
osd-prepare
Pod를 삭제합니다.# oc delete -n openshift-storage pod rook-ceph-osd-prepare-<pvc-from-above-command>-<pod-suffix>
클러스터에서 실패한 OSD를 제거합니다.
# failed_osd_id=<osd-id> # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=$<failed_osd_id> | oc create -f -
여기서
FAILED_OSD_ID
는rook-ceph-osd
접두사 직후 포드 이름의 정수입니다.로그를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
# oc logs -n openshift-storage ocs-osd-removal-$<failed_osd_id>-<pod-suffix>
-
선택 사항: OpenShift Container Platform의 ocs-
osd-removal-job
Pod에서 삭제하는 데 cephosd:osd.0이 좋지 않아 오류가 발생하는 경우cephosd:osd.0 오류 문제 해결을 참조하십시오. 실패하거나 원하지 않는 Ceph OSD를
제거하는 동안 제거되지 않음을 참조하십시오. OSD 배포를 삭제합니다.
# oc delete deployment rook-ceph-osd-<osd-id>
검증 단계
OSD가 성공적으로 삭제되었는지 확인하려면 다음을 실행합니다.
# oc get pod -n openshift-storage ocs-osd-removal-$<failed_osd_id>-<pod-suffix>
이 명령은 상태를 Completed 로 반환해야 합니다.
8.3. 로컬 스토리지 장치를 사용하여 프로비저닝된 Ceph OSD 또는 실패한 Ceph OSD 제거
절차의 단계에 따라 로컬 스토리지 장치를 사용하여 실패하거나 원하지 않는 Ceph 프로비저닝 OSD(Object Storage Devices)를 제거할 수 있습니다.
클러스터 축소는 Red Hat 지원 팀을 통해서만 지원됩니다.
- Ceph 구성 요소가 정상 상태가 아닌 경우 OSD를 제거하면 데이터가 손실될 수 있습니다.
- 두 개 이상의 OSD를 동시에 제거하면 데이터가 손실됩니다.
사전 요구 사항
- Ceph가 정상인지 확인합니다. 자세한 내용은 Ceph 클러스터의 정상 확인을 참조하십시오.
- 경고가 실행되지 않거나 다시 빌드 프로세스가 진행 중인지 확인합니다.
프로세스
강제로 OSD 배포의 복제본을 0으로 확장하여 OSD를 축소합니다. 실패로 OSD가 이미 다운된 경우 이 단계를 건너뛸 수 있습니다.
# oc scale deployment rook-ceph-osd-<osd-id> --replicas=0
클러스터에서 실패한 OSD를 제거합니다.
# failed_osd_id=<osd_id> # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=$<failed_osd_id> | oc create -f -
여기서
FAILED_OSD_ID
는rook-ceph-osd
접두사 직후 포드 이름의 정수입니다.로그를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
# oc logs -n openshift-storage ocs-osd-removal-$<failed_osd_id>-<pod-suffix>
-
선택 사항: OpenShift Container Platform의 ocs-
osd-removal-job
Pod에서 삭제하는 데 cephosd:osd.0이 좋지 않아 오류가 발생하는 경우cephosd:osd.0 오류 문제 해결을 참조하십시오. 실패하거나 원하지 않는 Ceph OSD를
제거하는 동안 제거되지 않음을 참조하십시오. 실패한 OSD와 관련된 PVC(영구 볼륨 클레임) 리소스를 삭제합니다.
실패한 OSD와 연결된
PVC
를 가져옵니다.# oc get -n openshift-storage -o yaml deployment rook-ceph-osd-<osd-id> | grep ceph.rook.io/pvc
PVC와 연결된 PV(
영구 볼륨
)를 가져옵니다.# oc get -n openshift-storage pvc <pvc-name>
실패한 장치 이름을 가져옵니다.
# oc get pv <pv-name-from-above-command> -oyaml | grep path
실패한 OSD와
관련된 준비 Pod
를 가져옵니다.# oc describe -n openshift-storage pvc ocs-deviceset-0-0-nvs68 | grep Mounted
연결된 PVC를 제거하기 전에
osd-prepare Pod
를 삭제합니다.# oc delete -n openshift-storage pod <osd-prepare-pod-from-above-command>
실패한 OSD와 연결된
PVC
를 삭제합니다.# oc delete -n openshift-storage pvc <pvc-name-from-step-a>
LocalVolume 사용자 정의 리소스
(CR)에서 실패한 장치 항목을 제거합니다.실패한 장치를 사용하여 노드에 로그인합니다.
# oc debug node/<node_with_failed_osd>
실패한 장치 이름에 대해 /dev/disk/by-id/<id>를 기록합니다.
# ls -alh /mnt/local-storage/localblock/
선택 사항: Local Storage Operator가 OSD 프로비저닝에 사용되는 경우 {osd-id}로 머신에 로그인하고 장치 심볼릭 링크를 제거합니다.
# oc debug node/<node_with_failed_osd>
실패한 장치 이름에 대한 OSD 심볼릭 링크를 가져옵니다.
# ls -alh /mnt/local-storage/localblock
심볼릭 링크를 제거합니다.
# rm /mnt/local-storage/localblock/<failed-device-name>
- OSD와 연결된 PV를 삭제합니다.
# oc delete pv <pv-name>
검증 단계
OSD가 성공적으로 삭제되었는지 확인하려면 다음을 실행합니다.
#oc get pod -n openshift-storage ocs-osd-removal-$<failed_osd_id>-<pod-suffix>
이 명령은 상태를 Completed 로 반환해야 합니다.
8.4. 실패하거나 원하지 않는 Ceph OSD를 제거하는 동안 cephosd:osd.0
오류 문제 해결
OpenShift Container Platform의 ocs- osd-removal-job
Pod에서 제거하기 위해 cephosd:osd.0이 좋지 않아 오류가 발생하면 FORCE_OSD_REMOVAL 옵션을 사용하여 OSD를 삭제한 상태로 이동합니다.
# oc process -n openshift-storage ocs-osd-removal -p FORCE_OSD_REMOVAL=true -p FAILED_OSD_IDS=$<failed_osd_id> | oc create -f -
FORCE_OSD_REMOVAL 옵션을 모든 PG가 활성 상태인 경우에만 사용해야 합니다. 그렇지 않은 경우 PG는 백 채우기를 완료하거나 활성 상태인지 확인해야 합니다.
9장. 설치 제거 중 나머지 리소스 문제 해결 및 삭제
경우에 따라 Operator가 관리하는 일부 사용자 지정 리소스는 필요한 모든 정리 작업을 수행했지만 종료자에서 대기 중인 "종료" 상태로 남아 있을 수 있습니다. 이러한 경우 이러한 리소스를 강제로 제거해야 합니다. 이렇게 하지 않으면 모든 제거 단계를 수행한 후에도 리소스가 Terminating
상태로 유지됩니다.
삭제 시 openshift-storage 네임스페이스가
Terminating
상태로 설정되어 있는지 확인합니다.$ oc get project -n <namespace>
출력:
NAME DISPLAY NAME STATUS openshift-storage Terminating
명령 출력의
STATUS
섹션에서NamespaceFinalizersRemaining
및NamespaceContentRemaining
메시지를 확인하고 나열된 각 리소스에 대해 다음 단계를 수행합니다.$ oc get project openshift-storage -o yaml
출력 예:
status: conditions: - lastTransitionTime: "2020-07-26T12:32:56Z" message: All resources successfully discovered reason: ResourcesDiscovered status: "False" type: NamespaceDeletionDiscoveryFailure - lastTransitionTime: "2020-07-26T12:32:56Z" message: All legacy kube types successfully parsed reason: ParsedGroupVersions status: "False" type: NamespaceDeletionGroupVersionParsingFailure - lastTransitionTime: "2020-07-26T12:32:56Z" message: All content successfully deleted, may be waiting on finalization reason: ContentDeleted status: "False" type: NamespaceDeletionContentFailure - lastTransitionTime: "2020-07-26T12:32:56Z" message: 'Some resources are remaining: cephobjectstoreusers.ceph.rook.io has 1 resource instances' reason: SomeResourcesRemain status: "True" type: NamespaceContentRemaining - lastTransitionTime: "2020-07-26T12:32:56Z" message: 'Some content in the namespace has finalizers remaining: cephobjectstoreuser.ceph.rook.io in 1 resource instances' reason: SomeFinalizersRemain status: "True" type: NamespaceFinalizersRemaining
이전 단계에서 나열된 나머지 리소스를 모두 삭제합니다.
삭제할 각 리소스에 대해 다음을 수행합니다.
제거해야 하는 리소스의 오브젝트 종류를 가져옵니다. 위 출력에서 메시지를 참조하십시오.
예:
메시지: 네임스페이스의 일부 콘텐츠에는 종료자가 남아 있습니다: cephobjectstoreuser.ceph.rook.io
여기서 cephobjectstoreuser.ceph.rook.io 는 오브젝트 유형입니다.
오브젝트 유형에 해당하는 오브젝트 이름을 가져옵니다.
$ oc get <Object-kind> -n <project-name>
예:
$ oc get cephobjectstoreusers.ceph.rook.io -n openshift-storage
출력 예:
NAME AGE noobaa-ceph-objectstore-user 26h
리소스를 패치합니다.
$ oc patch -n <project-name> <object-kind>/<object-name> --type=merge -p '{"metadata": {"finalizers":null}}'
예제:
$ oc patch -n openshift-storage cephobjectstoreusers.ceph.rook.io/noobaa-ceph-objectstore-user \ --type=merge -p '{"metadata": {"finalizers":null}}'
출력:
cephobjectstoreuser.ceph.rook.io/noobaa-ceph-objectstore-user patched
openshift-storage 프로젝트가 삭제되었는지 확인합니다.
$ oc get project openshift-storage
출력:
Error from server (NotFound): namespaces "openshift-storage" not found
문제가 지속되면 Red Hat 지원에 문의하십시오.
10장. 외부 모드에서 CephFS PVC 생성 문제 해결
Red Hat Ceph Storage 클러스터를 4.1.1 미만의 버전에서 최신 릴리스로 업데이트했으며 새로 배포된 클러스터가 아닌 경우 외부 모드에서 CephFS 영구 볼륨 클레임(PVC) 생성을 활성화하려면 Red Hat Ceph Storage 클러스터에서 CephFS 풀에 대한 애플리케이션 유형을 수동으로 설정해야 합니다.
CephFS pvc가
Pending
상태로 설정되어 있는지 확인합니다.# oc get pvc -n <namespace>
출력 예:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE ngx-fs-pxknkcix20-pod Pending ocs-external-storagecluster-cephfs 28h [...]
oc describe
명령의 출력을 확인하여 해당 pvc에 대한 이벤트를 확인합니다.예상되는 오류 메시지는
cephfs_metadata/csi.volumes.default/csi.volume.pvc-xxxx-xxxx-xxxx-xxxx-xxxx: (1) Operation not permitted
입니다.# oc describe pvc ngx-fs-pxknkcix20-pod -n nginx-file
출력 예:
Name: ngx-fs-pxknkcix20-pod Namespace: nginx-file StorageClass: ocs-external-storagecluster-cephfs Status: Pending Volume: Labels: <none> Annotations: volume.beta.kubernetes.io/storage-provisioner: openshift-storage.cephfs.csi.ceph.com Finalizers: [kubernetes.io/pvc-protection] Capacity: Access Modes: VolumeMode: Filesystem Mounted By: ngx-fs-oyoe047v2bn2ka42jfgg-pod-hqhzf Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning ProvisioningFailed 107m (x245 over 22h) openshift-storage.cephfs.csi.ceph.com_csi-cephfsplugin-provisioner-5f8b66cc96-hvcqp_6b7044af-c904-4795-9ce5-bf0cf63cc4a4 (combined from similar events): failed to provision volume with StorageClass "ocs-external-storagecluster-cephfs": rpc error: code = Internal desc = error (an error (exit status 1) occurred while running rados args: [-m 192.168.13.212:6789,192.168.13.211:6789,192.168.13.213:6789 --id csi-cephfs-provisioner --keyfile=stripped -c /etc/ceph/ceph.conf -p cephfs_metadata getomapval csi.volumes.default csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47 /tmp/omap-get-186436239 --namespace=csi]) occurred, command output streams is ( error getting omap value cephfs_metadata/csi.volumes.default/csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47: (1) Operation not permitted)
<
cephfs 메타데이터 풀 name>(여기
) 및 <cephfs_metadata
cephfs 데이터 풀 name
>(여기cephfs_data
)의 설정을 확인합니다. 명령을 실행하려면 Red Hat Ceph Storage 클라이언트 노드에jq
가 사전 설치되어 있어야 합니다.# ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data" { "cephfs": {} } "cephfs_metadata" { "cephfs": {} }
CephFS 풀의 애플리케이션 유형을 설정합니다.
Red Hat Ceph Storage 클라이언트 노드에서 다음 명령을 실행합니다.
# ceph osd pool application set <cephfs metadata pool name> cephfs metadata cephfs
# ceph osd pool application set <cephfs data pool name> cephfs data cephfs
설정이 적용되었는지 확인합니다.
# ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data" { "cephfs": { "data": "cephfs" } } "cephfs_metadata" { "cephfs": { "metadata": "cephfs" } }
CephFS PVC 상태를 다시 확인합니다. 이제 PVC가
Bound
상태여야 합니다.# oc get pvc -n <namespace>
출력 예:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE ngx-fs-pxknkcix20-pod Bound pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47 1Mi RWO ocs-external-storagecluster-cephfs 29h [...]
11장. OpenShift Data Foundation에서 모니터 Pod 복원
3개의 모든 포드가 중단되고 OpenShift Data Foundation이 모니터 Pod를 자동으로 복구할 수 없는 경우 모니터 포드를 복원합니다.
이는 재해 복구 절차이며 Red Hat 지원 팀의 지침에 따라 수행해야 합니다. Red Hat 지원 팀에 문의하십시오. https://access.redhat.com/support
프로세스
rook-ceph-operator
및ocs operator
배포를 축소합니다.# oc scale deployment rook-ceph-operator --replicas=0 -n openshift-storage
# oc scale deployment ocs-operator --replicas=0 -n openshift-storage
openshift-storage
네임스페이스에 모든 배포의 백업을 생성합니다.# mkdir backup
# cd backup
# oc project openshift-storage
# for d in $(oc get deployment|awk -F' ' '{print $1}'|grep -v NAME); do echo $d;oc get deployment $d -o yaml > oc_get_deployment.${d}.yaml; done
OSD(오브젝트 스토리지 장치) 배포를 패치하여
livenessProbe
매개변수를 제거하고 command 매개변수를sleep
으로 사용하여 실행합니다.# for i in $(oc get deployment -l app=rook-ceph-osd -oname);do oc patch ${i} -n openshift-storage --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]' ; oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "osd", "command": ["sleep", "infinity"], "args": []}]}}}}' ; done
모든 OSD에서
monstore
클러스터 맵을 검색합니다.recover_mon.sh
스크립트를 생성합니다.#!/bin/bash ms=/tmp/monstore rm -rf $ms mkdir $ms for osd_pod in $(oc get po -l app=rook-ceph-osd -oname -n openshift-storage); do echo "Starting with pod: $osd_pod" podname=$(echo $osd_pod|sed 's/pod\///g') oc exec $osd_pod -- rm -rf $ms oc cp $ms $podname:$ms rm -rf $ms mkdir $ms echo "pod in loop: $osd_pod ; done deleting local dirs" oc exec $osd_pod -- ceph-objectstore-tool --type bluestore --data-path /var/lib/ceph/osd/ceph-$(oc get $osd_pod -ojsonpath='{ .metadata.labels.ceph_daemon_id }') --op update-mon-db --no-mon-config --mon-store-path $ms echo "Done with COT on pod: $osd_pod" oc cp $podname:$ms $ms echo "Finished pulling COT data from pod: $osd_pod" done
recover_mon.sh
스크립트를 실행합니다.# chmod +x recover_mon.sh
# ./recover_mon.sh
MON 배포를 패치하고 command 매개변수를
sleep
으로 사용하여 실행합니다.MON 배포를 편집합니다.
# for i in $(oc get deployment -l app=rook-ceph-mon -oname);do oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'; done
MON 배포를 패치하여
initialDelaySeconds
를 늘립니다.# oc get deployment rook-ceph-mon-a -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -
# oc get deployment rook-ceph-mon-b -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -
# oc get deployment rook-ceph-mon-c -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -
이전에 검색한
monstore
를 mon-a Pod에 복사합니다.# oc cp /tmp/monstore/ $(oc get po -l app=rook-ceph-mon,mon=a -oname |sed 's/pod\///g'):/tmp/
MON 포드로 이동하여 검색된
monstore
의 소유권을 변경합니다.# oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)
# chown -R ceph:ceph /tmp/monstore
mon db
를 다시 빌드하기 전에 인증 템플릿 파일을 복사합니다.# oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)
# cp /etc/ceph/keyring-store/keyring /tmp/keyring
# cat /tmp/keyring [mon.] key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA== caps mon = "allow *" [client.admin] key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ== auid = 0 caps mds = "allow *" caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *”
해당 보안에서 기타 모든 Ceph 데몬(MGR, MDS, RGW, Crash, CSI 및 CSI 프로비저너)의 인증 키를 확인합니다.
# oc get secret rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-keyring -ojson | jq .data.keyring | xargs echo | base64 -d [mds.ocs-storagecluster-cephfilesystem-a] key = AQB3r8VgAtr6OhAAVhhXpNKqRTuEVdRoxG4uRA== caps mon = "allow profile mds" caps osd = "allow *" caps mds = "allow"
인증 키 링 파일 예
/etc/ceph/ceph.client.admin.keyring
:[mon.] key = AQDxTF1hNgLTNxAAi51cCojs01b4I5E6v2H8Uw== caps mon = "allow " [client.admin] key = AQDxTF1hpzguOxAA0sS8nN4udoO35OEbt3bqMQ== caps mds = "allow " caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-a] key = AQCKTV1horgjARAA8aF/BDh/4+eG4RCNBCl+aw== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-b] key = AQCKTV1hN4gKLBAA5emIVq3ncV7AMEM1c1RmGA== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [client.rgw.ocs.storagecluster.cephobjectstore.a] key = AQCOkdBixmpiAxAA4X7zjn6SGTI9c1MBflszYA== caps mon = "allow rw" caps osd = "allow rwx" [mgr.a] key = AQBOTV1hGYOEORAA87471+eIZLZtptfkcHvTRg== caps mds = "allow *" caps mon = "allow profile mgr" caps osd = "allow *" [client.crash] key = AQBOTV1htO1aGRAAe2MPYcGdiAT+Oo4CNPSF1g== caps mgr = "allow rw" caps mon = "allow profile crash" [client.csi-cephfs-node] key = AQBOTV1hiAtuBBAAaPPBVgh1AqZJlDeHWdoFLw== caps mds = "allow rw" caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs *=" [client.csi-cephfs-provisioner] key = AQBNTV1hHu6wMBAAzNXZv36aZJuE1iz7S7GfeQ== caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs metadata=" [client.csi-rbd-node] key = AQBNTV1h+LnkIRAAWnpIN9bUAmSHOvJ0EJXHRw== caps mgr = "allow rw" caps mon = "profile rbd" caps osd = "profile rbd" [client.csi-rbd-provisioner] key = AQBNTV1hMNcsExAAvA3gHB2qaY33LOdWCvHG/A== caps mgr = "allow rw" caps mon = "profile rbd" caps osd = "profile rbd"
중요-
client.csi
관련 인증 키링의 경우 이전 키링 파일 출력을 참조하고 해당 OpenShift Data Foundation 시크릿에서 키를 가져온 후 기본caps
를 추가합니다. - OSD 인증 키는 자동으로 복구 후 추가됩니다.
-
mon-a 포드로 이동하여
monstore
에monmap
이 있는지 확인합니다.mon-a 포드로 이동합니다.
# oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)
monstore
에monmap
이 있는지 확인합니다.# ceph-monstore-tool /tmp/monstore get monmap -- --out /tmp/monmap
# monmaptool /tmp/monmap --print
선택 사항:
monmap
이 없는 경우 새monmap
을 만듭니다.# monmaptool --create --add <mon-a-id> <mon-a-ip> --add <mon-b-id> <mon-b-ip> --add <mon-c-id> <mon-c-ip> --enable-all-features --clobber /root/monmap --fsid <fsid>
<mon-a-id>
- mon-a Pod의 ID입니다.
<mon-a-ip>
- mon-a pod의 IP 주소입니다.
<mon-b-id>
- mon-b Pod의 ID입니다.
<mon-b-ip>
- mon-b pod의 IP 주소입니다.
<mon-c-id>
- mon-c Pod의 ID입니다.
<mon-c-ip>
- mon-c Pod의 IP 주소입니다.
<fsid>
- 파일 시스템 ID입니다.
monmap
을 확인합니다.# monmaptool /root/monmap --print
monmap
을 가져옵니다.중요이전에 생성한 키 링 파일을 사용합니다.
# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /tmp/keyring --monmap /root/monmap
# chown -R ceph:ceph /tmp/monstore
이전
store.db
파일의 백업을 만듭니다.# mv /var/lib/ceph/mon/ceph-a/store.db /var/lib/ceph/mon/ceph-a/store.db.corrupted
# mv /var/lib/ceph/mon/ceph-b/store.db /var/lib/ceph/mon/ceph-b/store.db.corrupted
# mv /var/lib/ceph/mon/ceph-c/store.db /var/lib/ceph/mon/ceph-c/store.db.corrupted
다시 빌드된
store.db
파일을monstore
디렉터리에 복사합니다.# mv /tmp/monstore/store.db /var/lib/ceph/mon/ceph-a/store.db
# chown -R ceph:ceph /var/lib/ceph/mon/ceph-a/store.db
monstore
디렉터리를 다시 빌드한 후store.db
파일을 로컬에서 MON pod로 복사합니다.# oc cp $(oc get po -l app=rook-ceph-mon,mon=a -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-a/store.db /tmp/store.db
# oc cp /tmp/store.db $(oc get po -l app=rook-ceph-mon,mon=<id> -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-<id>
<id>
- MON Pod의 ID입니다.
나머지 MON 포드로 이동하여 복사한
monstore
의 소유권을 변경합니다.# oc rsh $(oc get po -l app=rook-ceph-mon,mon=<id> -oname)
# chown -R ceph:ceph /var/lib/ceph/mon/ceph-<id>/store.db
<id>
- MON Pod의 ID입니다.
패치된 변경 사항을 되돌립니다.
MON 배포의 경우:
# oc replace --force -f <mon-deployment.yaml>
<mon-deployment.yaml>
- MON 배포 yaml 파일
OSD 배포의 경우:
# oc replace --force -f <osd-deployment.yaml>
<osd-deployment.yaml>
- OSD 배포 yaml 파일
MGR 배포의 경우:
# oc replace --force -f <mgr-deployment.yaml>
<mgr-deployment.yaml>
MGR 배포 yaml 파일입니까?
중요MON, MGR 및 OSD Pod가 실행 중인지 확인합니다.
rook-ceph-operator
및ocs-operator
배포를 확장합니다.# oc -n openshift-storage scale deployment ocs-operator --replicas=1
검증 단계
Ceph 상태를 확인하여 CephFS가 실행 중인지 확인합니다.
# ceph -s
출력 예:
cluster: id: f111402f-84d1-4e06-9fdb-c27607676e55 health: HEALTH_ERR 1 filesystem is offline 1 filesystem is online with fewer MDS than max_mds 3 daemons have recently crashed services: mon: 3 daemons, quorum b,c,a (age 15m) mgr: a(active, since 14m) mds: ocs-storagecluster-cephfilesystem:0 osd: 3 osds: 3 up (since 15m), 3 in (since 2h) data: pools: 3 pools, 96 pgs objects: 500 objects, 1.1 GiB usage: 5.5 GiB used, 295 GiB / 300 GiB avail pgs: 96 active+clean
MCG(Multicloud Object Gateway) 상태를 확인합니다. 활성화되어 있어야 하며 백업 저장소 및 버킷 클래스는
Ready
상태에 있어야 합니다.noobaa status -n openshift-storage
중요MCG가 활성 상태가 아니고 백업 저장소 및 버킷 클래스가
Ready
상태가 아닌 경우 모든 MCG 관련 Pod를 다시 시작해야 합니다. 자세한 내용은 11.1절. “Multicloud Object Gateway 복원”의 내용을 참조하십시오.
11.1. Multicloud Object Gateway 복원
MCG(Multicloud Object Gateway)가 활성 상태가 아니며 백업 저장소 및 버킷 클래스가 Ready
상태가 아닌 경우 모든 MCG 관련 Pod를 재시작하고 MCG 상태를 확인하여 MCG가 백업되고 실행 중인지 확인해야 합니다.
프로세스
MCG와 관련된 모든 Pod를 다시 시작합니다.
# oc delete pods <noobaa-operator> -n openshift-storage
# oc delete pods <noobaa-core> -n openshift-storage
# oc delete pods <noobaa-endpoint> -n openshift-storage
# oc delete pods <noobaa-db> -n openshift-storage
<noobaa-operator>
- MCG Operator의 이름입니다.
<noobaa-core>
- MCG 코어 Pod의 이름입니다.
<noobaa-endpoint>
- MCG 끝점의 이름입니다.
<noobaa-db>
- MCG db Pod의 이름입니다.
RADOS Object Gateway(RGW)가 구성된 경우 포드를 다시 시작합니다.
# oc delete pods <rgw-pod> -n openshift-storage
<rgw-pod>
- RGW Pod의 이름입니다.
OpenShift Container Platform 4.11에서 복구 후 RBD PVC가 애플리케이션 Pod에 마운트되지 않습니다. 따라서 애플리케이션 pod를 호스팅하는 노드를 다시 시작해야 합니다. 애플리케이션 pod를 호스팅하는 노드 이름을 가져오려면 다음 명령을 실행합니다.
# oc get pods <application-pod> -n <namespace> -o yaml | grep nodeName nodeName: node_name
12장. OpenShift Data Foundation에서 ceph-monitor 쿼럼 복원
경우에 따라 ceph-mons
가 쿼럼이 손실될 수 있습니다. mons
가 다시 쿼럼을 형성할 수 없는 경우 쿼럼을 다시 진행하는 수동 프로시저가 있습니다. 유일한 요구 사항은 적어도 하나의 수도원이 건강해야
한다는 것입니다. 다음 단계에서는 쿼럼에서 비정상적인 mons
를 제거하고 단일 mon
을 사용하여 쿼럼을 다시 만든 다음 쿼럼을 원래 크기로 다시 가져올 수 있습니다.
예를 들어, 3개의
가 있고 쿼럼을 손실한 경우 쿼럼에서 두 개의 잘못된 mon을 제거하고, 쿼럼의 유일한 mons
임을 알리고, 좋은 mon
mon
을 다시 시작해야 합니다.
프로세스
monmap
을 수정할 때mons
가 실패하지 않도록rook-ceph-operator
를 중지합니다.# oc -n openshift-storage scale deployment rook-ceph-operator --replicas=0
새
monmap
을 삽입합니다.주의monmap
을 매우 신중하게 삽입해야합니다. 잘못 실행하면 클러스터가 영구적으로 삭제될 수 있습니다. Cephmonmap
은mon
쿼럼을 추적합니다.monmap
은 정상 mon만 포함하도록 업데이트됩니다. 이 예에서 healthy mon은rook-ceph-mon-b
이지만 비정상적인mons
는rook-ceph-mon-a
및rook-ceph-mon-c
입니다.현재
rook-ceph-mon-b
Deployment의 백업을 가져옵니다.# oc -n openshift-storage get deployment rook-ceph-mon-b -o yaml > rook-ceph-mon-b-deployment.yaml
YAML 파일을 열고
mon
컨테이너에서 명령 및 인수 를 복사합니다(다음 예제의 컨테이너 목록 참조). 이는monmap
의 변경에 필요합니다.[...] containers: - args: - --fsid=41a537f2-f282-428e-989f-a9e07be32e47 - --keyring=/etc/ceph/keyring-store/keyring - --log-to-stderr=true - --err-to-stderr=true - --mon-cluster-log-to-stderr=true - '--log-stderr-prefix=debug ' - --default-log-to-file=false - --default-mon-cluster-log-to-file=false - --mon-host=$(ROOK_CEPH_MON_HOST) - --mon-initial-members=$(ROOK_CEPH_MON_INITIAL_MEMBERS) - --id=b - --setuser=ceph - --setgroup=ceph - --foreground - --public-addr=10.100.13.242 - --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db - --public-bind-addr=$(ROOK_POD_IP) command: - ceph-mon [...]
복사한
명령
과args
필드를 정리하여 다음과 같이 붙여넣을 수 있는 명령을 형성합니다.# ceph-mon \ --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \ --keyring=/etc/ceph/keyring-store/keyring \ --log-to-stderr=true \ --err-to-stderr=true \ --mon-cluster-log-to-stderr=true \ --log-stderr-prefix=debug \ --default-log-to-file=false \ --default-mon-cluster-log-to-file=false \ --mon-host=$ROOK_CEPH_MON_HOST \ --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \ --id=b \ --setuser=ceph \ --setgroup=ceph \ --foreground \ --public-addr=10.100.13.242 \ --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \ --public-bind-addr=$ROOK_POD_IP
참고ROOK_CEPH_MON_HOST
, ROOK_CEPH_INITIAL_MEMBERS 및 ROOK_POD_IP 에서는ROOK_CEPH_MON_INITIAL_MEMBERS
및ROOK_POD_IP
변수를 중심으로 작은따옴표를 제거해야 합니다.rook-ceph-
배포를 패치하여 mon Pod를 삭제하지 않고 이mon
-bmon
의 작업을 중지합니다.# oc -n openshift-storage patch deployment rook-ceph-mon-b --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]' # oc -n openshift-storage patch deployment rook-ceph-mon-b -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'
mon-b
Pod에서 다음 단계를 수행합니다.정상
mon
의 포드에 연결하고 다음 명령을 실행합니다.# oc -n openshift-storage exec -it <mon-pod> bash
변수를 설정합니다.
# monmap_path=/tmp/monmap
좋은
mon
배포에서 ceph mon 명령을 붙여넣고--extract-
을 파일에 추출합니다.monmap
=${mon
map_path} 플래그를 추가하여 monmap# ceph-mon \ --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \ --keyring=/etc/ceph/keyring-store/keyring \ --log-to-stderr=true \ --err-to-stderr=true \ --mon-cluster-log-to-stderr=true \ --log-stderr-prefix=debug \ --default-log-to-file=false \ --default-mon-cluster-log-to-file=false \ --mon-host=$ROOK_CEPH_MON_HOST \ --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \ --id=b \ --setuser=ceph \ --setgroup=ceph \ --foreground \ --public-addr=10.100.13.242 \ --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \ --public-bind-addr=$ROOK_POD_IP \ --extract-monmap=${monmap_path}
monmap
의 내용을 검토합니다.# monmaptool --print /tmp/monmap
mon
map# monmaptool ${monmap_path} --rm <bad_mon>
이 예제에서는
mon0
및mon2
를 제거합니다.# monmaptool ${monmap_path} --rm a # monmaptool ${monmap_path} --rm c
ceph
mon
명령을 붙여넣고--inject-
을 좋은 mon에 삽입합니다.monmap
=$mon
map_path} 플래그를 다음과 같이 추가하여 수정된 mon 맵# ceph-mon \ --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \ --keyring=/etc/ceph/keyring-store/keyring \ --log-to-stderr=true \ --err-to-stderr=true \ --mon-cluster-log-to-stderr=true \ --log-stderr-prefix=debug \ --default-log-to-file=false \ --default-mon-cluster-log-to-file=false \ --mon-host=$ROOK_CEPH_MON_HOST \ --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \ --id=b \ --setuser=ceph \ --setgroup=ceph \ --foreground \ --public-addr=10.100.13.242 \ --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \ --public-bind-addr=$ROOK_POD_IP \ --inject-monmap=${monmap_path}
- 계속하려면 쉘을 종료합니다.
Rook
configmaps
를 편집합니다.Operator가
mons
를 추적하는 데 사용하는configmap
을 편집합니다.# oc -n openshift-storage edit configmap rook-ceph-mon-endpoints
데이터 요소에서 다음과 같은 세 개의
mons
(또는moncount
에 따라 더 많은)이 표시되는지 확인합니다.data: a=10.100.35.200:6789;b=10.100.13.242:6789;c=10.100.35.12:6789
목록에서 잘못된 수도를 삭제하여 하나의 좋은
mon
으로 끝납니다.예를 들면 다음과 같습니다.
data: b=10.100.13.242:6789
- 파일을 저장하고 종료합니다.
이제
mons
및 기타 구성 요소에 사용되는시크릿
을 조정해야 합니다.good_mon_id
변수의 값을 설정합니다.예를 들면 다음과 같습니다.
# good_mon_id=b
oc patch
명령을 사용하여rook-ceph-config
시크릿을 패치하고 두 개의 키/값 쌍mon_host
와mon_initial_members
를 업데이트할 수 있습니다.# mon_host=$(oc -n openshift-storage get svc rook-ceph-mon-b -o jsonpath='{.spec.clusterIP}') # oc -n openshift-storage patch secret rook-ceph-config -p '{"stringData": {"mon_host": "[v2:'"${mon_host}"':3300,v1:'"${mon_host}"':6789]", "mon_initial_members": "'"${good_mon_id}"'"}}'
참고hostNetwork: true
를 사용하는 경우mon_host
var을mon
이 고정된 노드 IP로 교체해야 합니다(nodeSelector
). 이는 해당 "mode"에서 생성된rook-ceph-mon-*
서비스가 없기 때문입니다.
mon
을 다시 시작합니다.변경 사항을 선택하려면 원래
ceph-
명령을 사용하여 좋은 mon pod를 다시 시작해야 합니다.mon
mon
배포 YAML 파일의 백업에oc replace
명령을 사용합니다.# oc replace --force -f rook-ceph-mon-b-deployment.yaml
참고option
--force
는 배포를 삭제하고 새 배포를 생성합니다.클러스터 상태를 확인합니다.
쿼럼에 하나의
mon
이 표시되어야 합니다. 상태가 정상으로 표시되면 클러스터가 다시 정상이어야 합니다.
쿼럼에 더 이상 예상되지 않는 두 개의 mon 배포를 삭제합니다.
예를 들면 다음과 같습니다.
# oc delete deploy <rook-ceph-mon-1> # oc delete deploy <rook-ceph-mon-2>
이 예에서 삭제할 배포는
rook-ceph-mon-a
및rook-ceph-mon-c
입니다.Operator를 다시 시작합니다.
rook Operator를 다시 시작하여 클러스터 상태 모니터링을 다시 시작합니다.
참고여러 리소스가 이미 존재하는 오류는 무시해도 됩니다.
# oc -n openshift-storage scale deployment rook-ceph-operator --replicas=1
Operator는
mon
수에 따라 쿼럼 크기를 다시 늘리기 위해 자동으로mons
를 추가합니다.
13장. Red Hat OpenShift Data Foundation 콘솔 플러그인 활성화
Data Foundation 콘솔 플러그인은 기본적으로 활성화되어 있습니다. 이 옵션이 OpenShift Data Foundation Operator 설치 중에 선택 해제된 경우 다음 지침을 사용하여 그래픽 사용자 인터페이스(GUI) 또는 명령줄 인터페이스에서 콘솔 플러그인을 활성화하십시오.
사전 요구 사항
- OpenShift 웹 콘솔에 대한 관리자 액세스 권한이 있습니다.
-
OpenShift Data Foundation Operator는
openshift-storage
네임스페이스에 설치되어 실행됩니다.
프로세스
- 사용자 인터페이스에서
- OpenShift 웹 콘솔에서 Operator → 설치된 Operator를 클릭하여 설치된 모든 Operator를 확인합니다.
-
선택한 프로젝트가
openshift-storage
인지 확인합니다. - OpenShift Data Foundation Operator를 클릭합니다.
콘솔 플러그인 옵션을 활성화합니다.
- 세부 정보 탭의 콘솔 플러그인 에서 연필 아이콘을 클릭합니다.
- Enable 을 선택하고 Save 를 클릭합니다.
- 명령줄 인터페이스
다음 명령을 실행하여 콘솔 플러그인 옵션을 활성화합니다.
$ oc patch console.operator cluster -n openshift-storage --type json -p '[{"op": "add", "path": "/spec/plugins", "value": ["odf-console"]}]'
검증 단계
콘솔 플러그인 옵션이 활성화되면 메시지가 포함된 팝업
이 GUI에 웹 콘솔 업데이트를 사용할 수 있습니다
. 콘솔 변경 사항을 반영하려면 이 팝업 창에서 웹 콘솔 새로 고침을 클릭합니다.- 웹 콘솔에서 스토리지로 이동하여 Data Foundation 을 사용할 수 있는지 확인합니다.
14장. OpenShift Data Foundation 구성 요소의 리소스 변경
OpenShift Data Foundation을 설치하면 OpenShift Data Foundation Pod에서 사용할 수 있는 사전 정의된 리소스가 제공됩니다. I/O 로드가 높은 일부 상황에서는 이러한 제한을 늘려야 할 수 있습니다.
- rook-ceph Pod에서 CPU 및 메모리 리소스를 변경하려면 14.1절. “rook-ceph Pod에서 CPU 및 메모리 리소스 변경” 을 참조하십시오.
- MCG(Multicloud Object Gateway)의 리소스를 튜닝하려면 14.2절. “MCG의 리소스 튜닝” 을 참조하십시오.
14.1. rook-ceph Pod에서 CPU 및 메모리 리소스 변경
OpenShift Data Foundation을 설치할 때 rook-ceph Pod의 사전 정의된 CPU 및 메모리 리소스와 함께 제공됩니다. 요구 사항에 따라 이러한 값을 수동으로 늘릴 수 있습니다.
다음 Pod에서 CPU 및 메모리 리소스를 변경할 수 있습니다.
-
mgr
-
mds
-
rgw
다음 예제에서는 rook-ceph Pod에서 CPU 및 메모리 리소스를 변경하는 방법을 보여줍니다. 이 예에서는 cpu
및 memory
의 기존 MDS Pod 값이 각각 1
및 4Gi
에서 2
로, 8Gi
로 증가합니다.
스토리지 클러스터를 편집합니다.
# oc edit storagecluster -n openshift-storage <storagecluster_name>
<storagecluster_name>
스토리지 클러스터의 이름을 지정합니다.
예를 들면 다음과 같습니다.
# oc edit storagecluster -n openshift-storage ocs-storagecluster
스토리지 클러스터 CR(사용자 정의 리소스)에 다음 행을 추가합니다.
spec: resources: mds: limits: cpu: 2 memory: 8Gi requests: cpu: 2 memory: 8Gi
- 변경 사항을 저장하고 편집기를 종료합니다.
또는
oc patch
명령을 실행하여mds
포드의 CPU 및 메모리 값을 변경합니다.# oc patch -n openshift-storage storagecluster <storagecluster_name> --type merge \ --patch '{"spec": {"resources": {"mds": {"limits": {"cpu": "2","memory": "8Gi"},"requests": {"cpu": "2","memory": "8Gi"}}}}}'
<storagecluster_name>
스토리지 클러스터의 이름을 지정합니다.
예를 들면 다음과 같습니다.
# oc patch -n openshift-storage storagecluster ocs-storagecluster \ --type merge \ --patch '{"spec": {"resources": {"mds": {"limits": {"cpu": "2","memory": "8Gi"},"requests": {"cpu": "2","memory": "8Gi"}}}}}'
14.2. MCG의 리소스 튜닝
MCG(Multicloud Object Gateway)의 기본 구성은 낮은 리소스 소비에 최적화되어 성능이 아닙니다. MCG의 리소스를 조정하는 방법에 대한 자세한 내용은 Multicloud Object Gateway(NooBaa)에 대한 Red Hat 지식베이스 솔루션 성능 튜닝 가이드를 참조하십시오.
15장. OpenShift Data Foundation 배포 후 Multicloud Object Gateway 외부 서비스 비활성화
OpenShift Data Foundation을 배포하면 OpenShift가 프라이빗 클러스터로 설치된 경우에도 공용 IP가 생성됩니다. 그러나 storagecluster CRD에서 disableLoadBalancerService
변수를 사용하여 MCG(Multicloud Object Gateway) 로드 밸런서 사용을 비활성화할 수 있습니다. 이렇게 하면 MCG가 프라이빗 클러스터에 대한 공용 리소스를 생성하지 못하도록 제한되며 NooBaa 서비스 EXTERNAL-IP
를 비활성화하는 데 도움이 됩니다.
프로세스
다음 명령을 실행하고 storagecluster YAML에서
disableLoadBalancerService
변수를 추가하여 서비스를 ClusterIP로 설정합니다.$ oc edit storagecluster -n openshift-storage <storagecluster_name> [...] spec: arbiter: {} encryption: kms: {} externalStorage: {} managedResources: cephBlockPools: {} cephCluster: {} cephConfig: {} cephDashboard: {} cephFilesystems: {} cephNonResilientPools: {} cephObjectStoreUsers: {} cephObjectStores: {} cephRBDMirror: {} cephToolbox: {} mirroring: {} multiCloudGateway: disableLoadBalancerService: true <--------------- Add this endpoints: [...]
참고변경 사항을 취소하고 서비스를 LoadBalancer로 설정하려면
disableLoadBalancerService
변수를false
로 설정하거나 해당 행을 완전히 제거합니다.
16장. 글로벌 Pod 네트워킹을 수동으로 활성화하여 ovs-multitenant
플러그인을 사용하여 odf-console
에 액세스
OpenShift Container Platform에서 ovs-multitenant
플러그인을 소프트웨어 정의 네트워킹(SDN)에 사용하는 경우 다른 프로젝트의 Pod는 다른 프로젝트의 포드 및 서비스에서 패킷을 보내거나 받을 수 없습니다. 프로젝트의 Pod 네트워킹이 글로벌 상태가 아니므로 기본적으로 Pod는 네임스페이스 또는 프로젝트 간에 통신할 수 없습니다.
odf-console에 액세스하려면 openshift-console
네임스페이스의 OpenShift 콘솔 포드가 openshift-storage
네임스페이스의 OpenShift Data Foundation odf-console에 연결되어 있어야 합니다. 이는 글로벌 Pod 네트워킹을 수동으로 활성화할 때만 가능합니다.
문제
OpenShift Container Platform에서'ovs-multitenant' 플러그인이 사용되는 경우 다음 메시지와 함께 odf-console 플러그인이 실패합니다.
GET request for "odf-console" plugin failed: Get "https://odf-console-service.openshift-storage.svc.cluster.local:9001/locales/en/plugin__odf-console.json": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
해결
OpenShift Data Foundation 프로젝트의 포드 네트워킹을 글로벌로 설정합니다.
$ oc adm pod-network make-projects-global openshift-storage
17장. 암호화된 RBD 스토리지 클래스에 주석 처리
OpenShift Data Foundation 4.14부터는 OpenShift 콘솔에서 암호화가 활성화된 RADOS 블록 장치(RBD) 스토리지 클래스를 생성하면 주석이 자동으로 설정됩니다. 그러나 OpenShift Data Foundation 버전 4.14로 업데이트하기 전에 이전에 생성된 암호화된 RBD 스토리지 클래스에 대해 주석 cdi.kubevirt.io/clone-strategy=copy
를 추가해야 합니다. 이를 통해 고객 데이터 통합(CDI)이 기본 스마트 복제 대신 호스트 지원 복제를 사용할 수 있습니다.
암호화된 볼륨에 액세스하는 데 사용되는 키는 볼륨이 생성된 네임스페이스와 연결됩니다. 새 OpenShift Virtualization 가상 머신 프로비저닝과 같이 암호화된 볼륨을 새 네임스페이스에 복제하는 경우 새 볼륨을 생성해야 하며 소스 볼륨의 콘텐츠를 새 볼륨으로 복사해야 합니다. 스토리지 클래스에 올바르게 주석이 있으면 이 동작이 자동으로 트리거됩니다.