7.5. 재해 복구 경고

기록 규칙

• record: ramen_sync_duration_seconds

  expression

  sum by (obj_name, obj_namespace, obj_type, job, policyname)(time() - (ramen_last_sync_timestamp_seconds > 0))

  목적

  볼륨 그룹의 마지막 동기화 시간과 이제 시간(초) 사이의 시간 간격입니다.

• Record: ramen_rpo_difference

  expression

  ramen_sync_duration_seconds{job="ramen-hub-operator-metrics-service"} / on(policyname, job) group_left() (ramen_policy_schedule_interval_seconds{job="ramen-hub-operator-metrics-service"})

  목적

  볼륨 복제 그룹에서 가져온 예상 동기화 지연과 실제 동기화 지연의 차이점입니다.

• Record: count_persistentvolumeclaim_total

  expression

  count(kube_persistentvolumeclaim_info)

  목적

  관리 클러스터에서 모든 PVC의 합계입니다.

경고

• 경고: VolumeSynchronizationDelay

  영향

  심각

  목적

  볼륨 복제 그룹에서 수행한 실제 동기화 지연은 예상되는 동기화 지연을 방지합니다.

  YAML

  alert: VolumeSynchronizationDelay
  expr: ramen_rpo_difference >= 3
  for: 5s
  labels:
    severity: critical
  annotations:
    description: "The syncing of volumes is exceeding three times the scheduled snapshot interval, or the volumes have been recently protected. (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})"
    alert_type: "DisasterRecovery"

• 경고: VolumeSynchronizationDelay

  영향

  경고

  목적

  볼륨 복제 그룹에서 수행한 실제 동기화 지연은 예상 동기화 지연의 두 배입니다.

  YAML

  alert: VolumeSynchronizationDelay
  expr: ramen_rpo_difference > 2 and ramen_rpo_difference < 3
  for: 5s
  labels:
    severity: warning
  annotations:
    description: "The syncing of volumes is exceeding two times the scheduled snapshot interval, or the volumes have been recently protected. (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})"
    alert_type: "DisasterRecovery"

• 경고: WorkloadUnprotected

  영향

  경고

  목적

  애플리케이션 보호 상태가 10분 이상 성능이 저하됨

  YAML

  alert: WorkloadUnprotected
  expr: ramen_workload_protection_status == 0
  for: 10m
  labels:
    severity: warning
  annotations:
    description: "Workload is not protected for disaster recovery (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})."
    alert_type: "DisasterRecovery"