부록 B. Ceph 클러스터의 상태 메시지

DAEMON_OLD_VERSION

이전 버전의 Ceph가 모든 데몬에서 실행 중인 경우 warn입니다. 여러 버전이 감지되면 상태 오류가 생성됩니다.

MON_DOWN

현재 하나 이상의 Ceph Monitor 데몬이 다운되어 있습니다.

MON_CLOCK_SKEW

ceph-mon 데몬을 실행하는 노드의 클럭이 충분히 잘 동기화되지 않습니다. ntpd 또는 chrony 를 사용하여 시계를 동기화하여 해결하십시오.

MON_MSGR2_NOT_ENABLED

ms_bind_msgr2 옵션이 활성화되어 있지만 하나 이상의 Ceph Monitor가 클러스터의 monmap의 v2 포트에 바인딩하도록 구성되지 않았습니다. ceph mon enable-msgr2 명령을 실행하여 이 문제를 해결합니다.

MON_DISK_LOW

하나 이상의 Ceph 모니터가 디스크 공간에서 부족합니다.

MON_DISK_CRIT

하나 이상의 Ceph 모니터는 디스크 공간에서 매우 낮습니다.

MON_DISK_BIG

하나 이상의 Ceph 모니터의 데이터베이스 크기는 매우 큽니다.

AUTH_INSECURE_GLOBAL_ID_RECLAIM

하나 이상의 클라이언트 또는 데몬이 Ceph 모니터에 다시 연결할 때 global_id 를 안전하게 회수하지 않는 스토리지 클러스터에 연결됩니다.

AUTH_INSECURE_GLOBAL_ID_RECLAIM_ALLOWED

auth_allow_insecure_ global_id _reclaim 설정이 true 로 설정되어 있기 때문에 현재 Ceph는 비보안 프로세스를 사용하여 모니터에 다시 연결할 수 있도록 구성되어 있습니다.

MGR_DOWN

모든 Ceph Manager 데몬이 현재 다운되어 있습니다.

MGR_MODULE_DEPENDENCY

활성화된 Ceph Manager 모듈이 종속성 확인에 실패했습니다.

MGR_MODULE_ERROR

Ceph Manager 모듈에 예기치 않은 오류가 발생했습니다. 일반적으로 처리되지 않은 예외가 모듈의 serve 함수에서 발생했음을 의미합니다.

OSD_DOWN

하나 이상의 OSD가 down으로 표시됩니다.

OSD_CRUSH_TYPE_DOWN

특정 CRUSH 하위 트리 내의 모든 OSD는 (예: 호스트의 모든 OSD)로 표시됩니다. 예를 들어 OSD_HOST_DOWN 및 OSD_ROOT_DOWN

OSD_ORPHAN

OSD는 CRUSH 맵 계층에서 참조되지만 존재하지 않습니다. ceph osd crush rm osd._OSD_ID 명령을 실행하여 OSD를 제거합니다.

OSD_OUT_OF_ORDER_FULL

nearfull,backfillfull, full 또는 failsafefull 에 대한 사용률 임계값은 오름차순이 아닙니다. ceph osd set-nearfull-ratio RATIO, ceph osd set-backfillfull-ratio RATIO, ceph osd set-full-ratio RATIO를 실행하여 임계값을 조정합니다.

OSD_FULL

하나 이상의 OSD가 전체 임계값을 초과하여 스토리지 클러스터가 쓰기를 서비스하지 못하도록 합니다. 작은 마진 ceph osd set-full-ratio RATIO 로 전체 임계값을 늘려 쓰기 가용성을 복원합니다.

OSD_BACKFILLFULL

하나 이상의 OSD가 backfillfull 임계값을 초과하여 데이터가 이 장치에 재조정되지 않도록 합니다.

OSD_NEARFULL

하나 이상의 OSD가 거의 전체 임계값을 초과했습니다.

OSDMAP_FLAGS

하나 이상의 스토리지 클러스터 플래그가 설정되어 있습니다. 이러한 플래그에는 full,pauserd,pausewr,noup,nodown,no out,nobackfill,norecover,norebalance,noscrub,nodeep_scrub, notieragent 가 포함됩니다. 전체 플래그를 제외하고 ceph osd set FLAG및 ceph osd unset FLAG 명령을 사용하여 플래그를 지울 수 있습니다.

OSD_FLAGS

하나 이상의 OSD 또는 CRUSH에는 관심 있는 플래그가 설정되어 있습니다. 이 플래그에는 noup,nodown, noout 이 포함됩니다.

OLD_CRUSH_TUNABLES

CRUSH 맵은 매우 오래된 설정을 사용하므로 업데이트해야 합니다.

OLD_CRUSH_STRAW_CALC_VERSION

CRUSH 맵은 스트리트 버킷에 대한 중간 가중치 값을 계산하기 위한 최적화되지 않은 이전 방법을 사용하고 있습니다.

CACHE_POOL_NO_HIT_SET

하나 이상의 캐시 풀은 사용률을 추적하기 위해 적중으로 구성되지 않아 계층화 에이전트가 콜드 개체를 식별하지 못하고 캐시에서 제거되지 않습니다. ceph osd pool set_POOL_NAME_ hit_set_type TYPE, ceph osd pool set POOL_NAME hit_set_set_SECONDS PERIOD_IN_SECONDS, ceph osd pool set POOL_NAME hit_count NUMBER_OF_HIT_SETS, ceph osd pool은 POOL_NAME hit_set_fpp TARGET_FALSE_POSITIVE_RATE 명령을 설정합니다.

OSD_NO_SORTBITWISE

sortbitwise 플래그가 설정되지 않았습니다. ceph osd set sortbitwise 명령을 사용하여 플래그를 설정합니다.

POOL_FULL

하나 이상의 풀이 할당량에 도달했으며 더 이상 쓰기를 허용하지 않습니다. ceph osd pool set-quota POOL_NAME max_objects NUMBER_OF_OBJECTS 및 ceph osd pool set-quota POOL_NAME max_bytes BYTES 로 풀 할당량을 늘리거나 사용률을 줄이기 위해 기존 데이터를 삭제합니다.

BLUEFS_SPILLOVER

BlueStore 백엔드를 사용하는 하나 이상의 OSD는 db 파티션이 할당되지만 해당 공간은 채워지기 때문에 메타데이터가 일반적인 느린 장치에 "회전"됩니다. ceph config set osd bluestore_warn_on_bluefs_spillover false 명령으로 이 설정을 비활성화합니다.

BLUEFS_AVAILABLE_SPACE

이 출력은 BDEV_DB free,BDEV_SLOW free 및 available_from_bluestore 의 세 가지 값을 제공합니다.

BLUEFS_LOW_SPACE

BlueFS(BlueStore File System)가 사용 가능한 여유 공간에 낮은 상태로 실행되고 있고 available_from_bluestore 가 거의 없는 경우 BlueFS 할당 단위 크기를 줄일 수 있습니다.

BLUESTORE_FRAGMENTATION

BlueStore가 작동하므로 기본 스토리지의 여유 공간이 조각화됩니다. 이는 정상적이고 피할 수 없지만 과도한 조각화는 느려집니다.

BLUESTORE_LEGACY_STATFS

BlueStore는 풀별로 내부 사용량 통계를 추적하고 하나 이상의 OSD에는 BlueStore 볼륨이 있습니다. ceph config set global bluestore_warn_on_legacy_statfs false 명령을 사용하여 경고를 비활성화합니다.

BLUESTORE_NO_PER_POOL_OMAP

BlueStore는 풀별로 omap 공간 사용률을 추적합니다. ceph config set global bluestore_warn_on_no_per_pool_omap false 명령을 사용하여 경고를 비활성화합니다.

BLUESTORE_NO_PER_PG_OMAP

BlueStore는 PG별 omap 공간 사용률을 추적합니다. ceph config set global bluestore_warn_on_no_per_pg_omap false 명령을 사용하여 경고를 비활성화합니다.

BLUESTORE_DISK_SIZE_MISMATCH

BlueStore를 사용하는 하나 이상의 OSD는 물리적 장치의 크기와 크기를 추적하는 메타데이터 간의 내부 불일치를 갖습니다.

BLUESTORE_NO_COMPRESSION `

하나 이상의 OSD가 BlueStore 압축 플러그인을 로드할 수 없습니다. 이는 손상된 설치로 인해 ceph-osd 바이너리가 압축 플러그인과 일치하지 않거나 ceph-osd 데몬을 다시 시작하지 않은 최근 업그레이드로 인해 발생할 수 있습니다.

BLUESTORE_SPURIOUS_READ_ERRORS

BlueStore를 사용하는 하나 이상의 OSD는 기본 장치에서 잘못된 읽기 오류를 감지합니다. BlueStore는 디스크 읽기를 재시도하여 이러한 오류에서 복구되었습니다.

DEVICE_HEALTH

경고 임계값이 mgr/devicehealth/warn_threshold 구성 옵션에 의해 제어되는 하나 이상의 장치가 곧 실패할 것으로 예상됩니다. 장치를 표시하여 데이터를 마이그레이션하고 하드웨어를 교체합니다.

DEVICE_HEALTH_IN_USE

하나 이상의 장치가 곧 실패할 것으로 예상되며 mgr/devicehealth/mark_out_threshold 를 기반으로 스토리지 클러스터의 "out"으로 표시되지만 여전히 하나 이상의 PG에 참여하고 있습니다.

DEVICE_HEALTH_TOOMANY

너무 많은 장치가 곧 실패할 것으로 예상되고 mgr/devicehealth/self_heal 동작이 활성화되어 있기 때문에 모든 일링 장치가 클러스터 mon_osd_min_in_ratio 비율을 초과하여 너무 많은 OSD가 자동으로 표시되지 않도록 합니다.

PG_AVAILABILITY

데이터 가용성이 감소되므로 스토리지 클러스터가 클러스터의 일부 데이터에 대한 잠재적인 읽기 또는 쓰기 요청을 서비스할 수 없습니다.

PG_DEGRADED

일부 데이터에 대해 데이터 중복성이 감소합니다. 즉, 스토리지 클러스터에 복제 풀 또는 코드 조각 삭제에 필요한 복제본 수가 없습니다.

PG_RECOVERY_FULL

특히 하나 이상의 PG가 recovery_too full 플래그가 설정되어 있어 하나 이상의 OSD가 전체 임계값을 초과하여 데이터를 마이그레이션하거나 복구할 수 없기 때문에 데이터 중복성이 감소되거나 일부 데이터에 대한 위험이 감소될 수 있습니다.

PG_BACKFILL_FULL

특히 하나 이상의 PG에 backfill_toofull 플래그가 설정되어 있어 하나 이상의 OSD가 backfillfull 임계값을 초과하여 데이터를 마이그레이션하거나 복구할 수 없기 때문에 데이터 중복성이 감소되거나 일부 데이터의 위험이 감소될 수 있습니다.

PG_DAMAGED

데이터 스크러블링은 스토리지 클러스터의 데이터 일관성에 대한 일부 문제를 발견했으며, 특히 하나 이상의 PG가 일관되지 않거나 snaptrim_error 플래그가 설정되어 있음을 표시하여 문제를 발견했거나 복구 플래그가 설정되어 있음을 나타냅니다. 즉 이러한 불일치에 대한 복구가 현재 진행 중입니다.

OSD_SCRUB_ERRORS

최근 OSD 스크러브는 불일치를 발견했습니다.

OSD_TOO_MANY_REPAIRS

읽기 오류가 발생하고 다른 복제본을 사용할 수 있으면 클라이언트가 개체 데이터를 가져올 수 있도록 오류를 즉시 복구하는 데 사용됩니다.

LARGE_OMAP_OBJECTS

하나 이상의 풀에는 osd_deep_scrub_large_omap_object_key_threshold 또는 osd_deep_scrub_large_omap_object_value_sum_threshold 또는 둘 다에 의해 결정된 큰 omap 오브젝트가 포함됩니다. ceph config set osd osd_deep_scrub_large_omap_object_key_threshold KEYS 및 ceph config set osd osd_deep_scrub_large_omap_value_sum_threshold BYTES 명령을 사용하여 임계값을 조정합니다.

CACHE_POOL_NEAR_FULL

캐시 계층 풀은 거의 가득 차 있습니다. ceph osd pool으로 캐시 풀의 대상 크기를 조정하여 CACHE_POOL_NAME target_NAME target_max_bytes BYTES 명령을 설정하고 ceph osd pool set CACHE_POOL_NAME target_max_bytes BYTES 명령을 설정합니다.

TOO_FEW_PGS

스토리지 클러스터에서 사용 중인 PG 수는 OSD 당 mon_pg_warn_min_osd PGs의 구성 가능한 임계값 미만입니다.

POOL_PG_NUM_NOT_POWER_OF_TWO

하나 이상의 풀은 pg_num 값이 있으며, 이 값은 2의 power가 아닙니다. ceph config set global mon_warn_on_pool_pg_num_not_power_of_two false 명령을 사용하여 경고를 비활성화합니다.

POOL_TOO_FEW_PGS

하나 이상의 풀에는 현재 풀에 저장된 데이터 양에 따라 PG가 더 있어야 합니다. ceph osd pool set POOL_NAME pg_autoscale_mode off 명령을 사용하여 PG의 자동 스케일링을 비활성화하고 ceph osd pool이 POOL_ NAME pg_autoscale_mode를 설정하여 PG 수를 자동으로 조정하거나 ceph osd pool이 POOL_ NAME pg_num _NEW_num _NEWPG_NUMBER 명령을 설정한 PG 수를 수동으로 설정할 수 있습니다.

TOO_MANY_PGS

스토리지 클러스터에서 사용 중인 PG 수는 OSD당 mon_max_pg_per_osd PGs의 구성 가능한 임계값 이상입니다. 하드웨어를 추가하여 클러스터의 OSD 수를 늘립니다.

POOL_TOO_MANY_PGS

하나 이상의 풀에는 현재 풀에 저장된 데이터 양에 따라 PG가 더 있어야 합니다. ceph osd pool set POOL_NAME pg_autoscale_mode off 명령을 사용하여 PG의 자동 스케일링을 비활성화하고 ceph osd pool이 POOL_ NAME pg_autoscale_mode를 설정하여 PG 수를 자동으로 조정하거나 ceph osd pool이 POOL_ NAME pg_num _NEW_num _NEWPG_NUMBER 명령을 설정한 PG 수를 수동으로 설정할 수 있습니다.

POOL_TARGET_SIZE_BYTES_OVERCOMMITTED

하나 이상의 풀에는 예상되는 풀 크기를 추정하도록 target_size_bytes 속성이 설정되어 있지만 값은 총 사용 가능한 스토리지를 초과합니다. ceph osd pool이 POOL_NAME target_size_bytes 0 명령을 설정하여 풀 값을 0 으로 설정합니다.

POOL_HAS_TARGET_SIZE_BYTES_AND_RATIO

하나 이상의 풀에는 예상되는 풀 크기를 추정하도록 target_size_bytes 및 target_size_ratio 가 모두 설정됩니다. ceph osd pool이 POOL_NAME target_size_bytes 0 명령을 설정하여 풀 값을 0 으로 설정합니다.

TOO_FEW_OSDS

스토리지 클러스터의 OSD 수는 o'sd_pool_default_size 의 구성 가능한 임계값 미만입니다.

SMALLER_PGP_NUM

하나 이상의 풀은 pg_num 값보다 작은 pgp_num 값을 갖습니다. 이는 일반적으로 배치 동작을 늘리지 않고 PG 수가 증가했음을 나타냅니다. ceph osd pool을 사용하여 pg_num 과 일치하도록 pgp_num 을 설정하여 이 문제를 해결합니다. POOL_NAME pgp_num PG_NUM_VALUE명령을 설정합니다.

MANY_OBJECTS_PER_PG

하나 이상의 풀은 전체 스토리지 클러스터 평균보다 훨씬 높은 PG당 평균 오브젝트 수를 갖습니다. 특정 임계값은 mon_pg_warn_max_object_skew 구성 값에 의해 제어됩니다.

POOL_APP_NOT_ENABLED

하나 이상의 오브젝트가 포함되어 있지만 특정 애플리케이션에서 사용할 수 있도록 태그가 지정되지 않은 풀이 있습니다. rbd pool init POOL_NAME명령을 사용하여 애플리케이션에서 사용할 풀에 레이블을 지정하여 이 경고를 해결합니다.

POOL_FULL

하나 이상의 풀이 할당량에 도달했습니다. 이 오류 조건을 트리거하는 임계값은 mon_pool_quota_crit_threshold 구성 옵션으로 제어됩니다.

POOL_NEAR_FULL

하나 이상의 풀은 구성된 완전성 임계값에 도달하는 것입니다. ceph osd pool set-quota POOL_NAME max_objects NUMBER_OF_OBJECTS 및 ceph osd pool set-quota POOL_NAME max_bytes BYTES 명령을 사용하여 풀 할당량을 조정합니다.

OBJECT_MISPLACED

스토리지 클러스터에 있는 하나 이상의 오브젝트가 스토리지 클러스터가 저장하려는 노드에 저장되지 않습니다. 이는 최근 스토리지 클러스터 변경 사항이 아직 완료되지 않았기 때문에 데이터 마이그레이션이 완료되었음을 나타냅니다.

OBJECT_UNFOUND

스토리지 클러스터에서 하나 이상의 오브젝트를 찾을 수 없습니다. 특히 OSD는 개체의 새 복사본 또는 업데이트된 복사본이 있어야 한다는 것을 알지만 해당 오브젝트 버전의 사본은 현재 온라인 상태인 OSD에서 발견되지 않았습니다.

SLOW_OPS

하나 이상의 OSD 또는 모니터 요청을 처리하는 데 시간이 오래 걸립니다. 이는 극단적인 로드, 느린 스토리지 장치 또는 소프트웨어 버그의 표시일 수 있습니다.

PG_NOT_SCRUBBED

최근에 하나 이상의 PG가 제거되지 않았습니다. PGS는 일반적으로 osd_scrub_max_interval 전역에서 지정하는 모든 설정 간격 내에서 스크럽됩니다. ceph pg scrub PG_ID 명령을 사용하여 scrub를 시작합니다.

PG_NOT_DEEP_SCRUBBED

최근에 하나 이상의 PG가 스크럽되지 않았습니다. ceph pg deep-scrub PG_ID 명령을 사용하여 scrub를 시작합니다. PGS는 일반적으로 모든 osd_deep_scrub_interval 초를 스크럽하고, 이 경고 트리거는 mon_warn_pg_not_deep_scrubbed_scrubbed_ratio 비율 의 간격이 스크럽 없이 경과했을 때 발생합니다.

PG_SLOW_SNAP_TRIMMING

하나 이상의 PG에 대한 스냅샷 트리트 큐가 구성된 경고 임계값을 초과했습니다. 이는 최근에 매우 많은 수의 스냅샷이 삭제되었거나 새 스냅샷 삭제 속도를 따라잡을 수 있을 만큼 스냅샷을 빠르게 트리밍할 수 없음을 나타냅니다.

RECENT_CRASH

최근에 하나 이상의 Ceph 데몬이 충돌했으며 관리자가 아직 충돌하지 않았습니다.

TELEMETRY_CHANGED

Telemetry가 활성화되어 있지만 원격 분석 보고서의 내용은 그 이후 변경되어 Telemetry 보고서가 전송되지 않습니다.

AUTH_BAD_CAPS

하나 이상의 인증 사용자에게는 모니터에서 구문 분석할 수 없는 기능이 있습니다. ceph auth ENTITY_NAME DAEMON_TYPE CAPS 명령을 사용하여 사용자의 기능을 업데이트합니다.

OSD_NO_DOWN_OUT_INTERVAL

mon_osd_down_out_interval 옵션은 0으로 설정되어 OSD가 실패한 후 시스템이 자동으로 복구 또는 복구 작업을 수행하지 않습니다. ceph config global mon_warn_on_osd_down_out_interval_zero false 명령으로 간격을 음소거합니다.

DASHBOARD_DEBUG

대시보드 디버그 모드가 활성화되어 있습니다. 즉, REST API 요청을 처리하는 동안 오류가 발생하면 HTTP 오류 응답에 Python 역추적이 포함됩니다. ceph dashboard debug disable 명령을 사용하여 디버그 모드를 비활성화합니다.