1.33. Thanos compactor의 블록 오류 문제 해결
Thanos compactor의 블록이 손상되었음을 나타내는 블록 오류 메시지가 표시될 수 있습니다.
1.33.1. 증상: Thanos compactor의 블록 오류 링크 복사링크가 클립보드에 복사되었습니다!
Kubernetes용 Red Hat Advanced Cluster Management를 업그레이드한 후 oc logs observability-thanos-compact-0 명령을 사용하여 Thanos compactor의 로그를 확인한 후 로그에 다음 오류 메시지가 표시됩니다.
ts=2024-01-24T15:34:51.948653839Z caller=compact.go:491 level=error msg="critical error detected; halting" err="compaction: group 0@15699422364132557315: compact blocks [/var/thanos/compact/compact/0@15699422364132557315/01HKZGQGJCKQWF3XMA8EXAMPLE /var/thanos/compact/compact/0@15699422364132557315/01HKZQK7TD06J2XWGR5EXAMPLE /var/thanos/compact/compact/0@15699422364132557315/01HKZYEZ2DVDQXF1STVEXAMPLE /var/thanos/compact/compact/0@15699422364132557315/01HM05APAHXBQSNC0N5EXAMPLE]: populate block: chunk iter: cannot populate chunk 8 from block 01HKZYEZ2DVDQXF1STVEXAMPLE: segment index 0 out of range"
1.33.2. 문제 해결: thanos bucket verify 명령 추가 링크 복사링크가 클립보드에 복사되었습니다!
오브젝트 스토리지 구성에 thanos bucket verify 명령을 추가합니다. 다음 단계를 완료합니다.
오브젝트 스토리지 구성에
thanos bucket verify명령을 추가하여 블록 오류를 해결합니다. 다음 명령을 사용하여observability-thanos-compactPod에서 구성을 설정합니다.oc rsh observability-thanos-compact-0 [..] thanos tools bucket verify -r --objstore.config="$OBJSTORE_CONFIG" --objstore-backup.config="$OBJSTORE_CONFIG" --id=01HKZYEZ2DVDQXF1STVEXAMPLE이전 명령이 작동하지 않으면 차단이 손상될 수 있으므로 삭제 블록을 표시해야 합니다. 다음 명령을 실행합니다.
thanos tools bucket mark --id "01HKZYEZ2DVDQXF1STVEXAMPLE" --objstore.config="$OBJSTORE_CONFIG" --marker=deletion-mark.json --details=DELETE삭제를 차단한 경우 다음 명령을 실행하여 표시된 블록을 정리합니다.
thanos tools bucket cleanup --objstore.config="$OBJSTORE_CONFIG"