6.5. 障害復旧アラート

記録ルール

• レコード: ramen_sync_duration_seconds

  式

  sum by (obj_name, obj_namespace, obj_type, job, policyname)(time() - (ramen_last_sync_timestamp_seconds > 0))

  目的

  ボリュームグループの最後の同期時刻と現在の時刻の間の時間間隔 (秒単位)。

• レコード: ramen_rpo_difference

  式

  ramen_sync_duration_seconds{job="ramen-hub-operator-metrics-service"} / on(policyname, job) group_left() (ramen_policy_schedule_interval_seconds{job="ramen-hub-operator-metrics-service"})

  目的

  予想される同期遅延と、ボリュームレプリケーショングループによって発生する実際の同期遅延との差。

• レコード: count_persistentvolumeclaim_total

  式

  count(kube_persistentvolumeclaim_info)

  目的

  マネージドクラスターからのすべての PVC の合計。

アラート

• アラート: VolumeSynchronizationDelay

  影響

  Critical

  目的

  ボリュームレプリケーショングループによる実際の同期遅延は、予想される同期遅延の 3 倍になります。

  YAML

  alert: VolumeSynchronizationDelay
  expr: ramen_rpo_difference >= 3
  for: 5s
  labels:
    severity: critical
  annotations:
    description: "The syncing of volumes is exceeding three times the scheduled snapshot interval, or the volumes have been recently protected. (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})"
    alert_type: "DisasterRecovery"

• アラート: VolumeSynchronizationDelay

  影響

  Warning

  目的

  ボリュームレプリケーショングループによる実際の同期遅延は、予想される同期遅延の 2 倍になります。

  YAML

  alert: VolumeSynchronizationDelay
  expr: ramen_rpo_difference > 2 and ramen_rpo_difference < 3
  for: 5s
  labels:
    severity: warning
  annotations:
    description: "The syncing of volumes is exceeding two times the scheduled snapshot interval, or the volumes have been recently protected. (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})"
    alert_type: "DisasterRecovery"

• アラート: WorkloadUnprotected

  影響

  Warning

  目的

  アプリケーション保護ステータスが 10 分以上デグレード状態にあります。

  YAML

  alert: WorkloadUnprotected
  expr: ramen_workload_protection_status == 0
  for: 10m
  labels:
    severity: warning
  annotations:
    description: "Workload is not protected for disaster recovery (DRPC: {{ $labels.obj_name }}, Namespace: {{ $labels.obj_namespace }})."
    alert_type: "DisasterRecovery"