36.2. VDO 유지 관리

VDO는 다음과 같은 방법으로 물리적, 사용 가능한 물리적 크기 및 논리 크기를 활용합니다.

그림 36.5. VDO 디스크 조직

이 그림에서 VDO 중복된 스토리지 대상은 블록 장치의 상단에 완전히 배치되므로 VDO 볼륨의 물리적 크기는 기본 블록 장치와 같습니다.

VDO는 씬 프로비저닝된 블록 스토리지 대상입니다. VDO 볼륨에서 사용하는 물리 공간의 양은 스토리지 사용자에게 제공되는 볼륨의 크기와 다를 수 있습니다. 이러한 차이를 사용하여 스토리지 비용을 절감할 수 있습니다.

논리 블록(가상 스토리지)의 수가 물리적 블록 수를 초과할 때마다 파일 시스템 및 애플리케이션이 예기치 않게 공간이 부족해질 수 있습니다. 이러한 이유로 VDO를 사용하는 스토리지 시스템은 VDO 볼륨에서 사용 가능한 풀의 크기를 모니터링하는 방법을 제공해야 합니다.

EgressIP stats 유틸리티를 사용하여 이 사용 가능한 풀의 크기를 확인할 수 있습니다. 이 유틸리티의 기본 출력에는 Linux df 유틸리티와 유사한 형식으로 실행 중인 모든 VDO 볼륨에 대한 정보가 나열됩니다. 예를 들면 다음과 같습니다.

Device                1K-blocks   Used        Available   Use%
/dev/mapper/vdo-name  211812352   105906176   105906176   50%

VDO 볼륨의 물리적 스토리지 용량이 거의 가득 차면 VDO는 다음과 같이 시스템 로그에 경고를 보고합니다.

Oct  2 17:13:39 system lvm[13863]: Monitoring VDO pool vdo-name.
Oct  2 17:27:39 system lvm[13863]: WARNING: VDO pool vdo-name is now 80.69% full.
Oct  2 17:28:19 system lvm[13863]: WARNING: VDO pool vdo-name is now 85.25% full.
Oct  2 17:29:39 system lvm[13863]: WARNING: VDO pool vdo-name is now 90.64% full.
Oct  2 17:30:29 system lvm[13863]: WARNING: VDO pool vdo-name is now 96.07% full.

TRIM 또는 DISCARD 명령을 보내는 몇 가지 방법을 사용할 수 있습니다.

사용하지 않는 블록에서 TRIM 또는 DISCARD 를 사용할 필요는 VDO에 고유하지 않습니다. 씬 프로비저닝된 스토리지 시스템은 모두 동일한 문제가 있습니다.

이 절차에서는 VDO 볼륨에서 사용 및 효율성 정보를 얻는 방법을 설명합니다.

이 절차에서는 파일 시스템을 호스팅하는 VDO 볼륨에서 스토리지 공간을 회수합니다.

VDO는 파일 시스템이 DISCARD,TRIM 또는 UNMAP 명령을 사용하여 블록을 자유롭게 통신하는 경우 공간을 회수할 수 없습니다.

이 절차에서는 파일 시스템 없이 블록 스토리지 대상으로 사용되는 VDO 볼륨에서 스토리지 공간을 회수합니다.

이 절차에서는 LIO 또는 SCST와 같은 SCSI 대상 프레임워크를 사용하여 파이버 채널 스토리지 패브릭에서 호스트에 프로비저닝된 VDO 볼륨(또는 볼륨의 일부)의 스토리지 공간을 회수합니다.

시스템 부팅 중에 EgressIP systemd 장치는 활성화된 대로 구성된 모든 VDO 장치를 자동으로 시작합니다.

Egress IP systemd 장치가 설치될 때 기본적으로 설치 및 활성화됩니다. 이 유닛은 시스템 시작 시 EgressIP start --all 명령을 자동으로 실행하여 활성화된 모든 VDO 볼륨을 가져옵니다.

또한 EgressIP create 명령에 --activate=disabled 옵션을 추가하여 자동으로 시작하지 않는 VDO 볼륨을 생성할 수도 있습니다.

이 절차에서는 지정된 VDO 볼륨 또는 시스템의 모든 VDO 볼륨을 시작합니다.

이 절차에서는 시스템의 지정된 VDO 볼륨 또는 모든 VDO 볼륨을 중지합니다.

시스템 부팅 중에 EgressIP systemd 장치는 활성화된 대로 구성된 모든 VDO 장치를 자동으로 시작합니다.

Egress IP systemd 장치가 설치될 때 기본적으로 설치 및 활성화됩니다. 이 유닛은 시스템 시작 시 EgressIP start --all 명령을 자동으로 실행하여 활성화된 모든 VDO 볼륨을 가져옵니다.

또한 EgressIP create 명령에 --activate=disabled 옵션을 추가하여 자동으로 시작하지 않는 VDO 볼륨을 생성할 수도 있습니다.

이 절차에서는 VDO 볼륨을 활성화하여 자동으로 시작할 수 있습니다.

이 절차에서는 VDO 볼륨이 자동으로 시작되지 않도록 비활성화합니다.

VDO는 다음과 같은 쓰기 모드를 지원합니다.

VDO의 쓰기 모드는 동기화 및 async 입니다. 다음 정보는 이러한 모드의 작업에 대해 설명합니다.

kvdo 모듈이 동기 (동시 )모드로작동하는 경우:

kvdo 가 비동기(async) 모드로 작동하는 경우:

이 절차에서는 선택한 VDO 볼륨의 활성 쓰기 모드를 나열합니다.

이 절차에서는 블록 장치에 휘발성 캐시가 있는지 여부를 결정합니다. 정보를 사용하여 동기화 및 async VDO 쓰기 모드 중에서 선택할 수 있습니다.

이 절차에서는 VDO 볼륨에 대한 쓰기 모드를 기존 볼륨 또는 새 볼륨을 만들 때 설정합니다.

VDO는 다음과 같은 쓰기 모드를 지원합니다.

불명확한 종료 후 VDO 볼륨이 다시 시작되면 VDO는 다음 작업을 수행합니다.

다시 빌드는 자동이며 사용자 개입이 필요하지 않습니다.Rebuilds are automatic and do not require user intervention.

VDO는 활성 쓰기 모드에 따라 다른 쓰기를 다시 빌드할 수 있습니다.

두 가지 모드에서는 인식할 수 없거나 플러시 뒤에 포함되지 않은 쓰기를 다시 빌드할 수도 있습니다.

자동 및 수동 복구

VDO 볼륨이 복구 운영 모드로 전환되면 VDO는 다시 온라인 상태가 된 후 unclean VDO 볼륨을 자동으로 다시 작성합니다. 이를 온라인 복구 라고 합니다.

VDO가 VDO 볼륨을 성공적으로 복구할 수 없는 경우 볼륨을 볼륨을 재시작해도 지속되는 읽기 전용 운영 모드로 배치합니다. 다시 빌드를 강제 적용하여 문제를 수동으로 수정해야 합니다.

이 섹션에서는 VDO 볼륨이 정상적으로 작동하는지 또는 오류를 복구하고 있는지 여부를 나타내는 모드를 설명합니다.

EgressIP stats --verbose device 명령을 사용하여 VDO 볼륨의 현재 작동 모드를 표시할 수 있습니다. 출력의 운영 모드 특성을 참조하십시오.

이 절차에서는 불명확한 종료 후 메타데이터를 복구하기 위해 VDO 볼륨에서 온라인 복구를 수행합니다.

이 절차에서는 불명확한 종료 후 복구할 VDO 볼륨 메타데이터의 강제 오프라인 재빌드를 수행합니다.

이 절차에서는 intermediate 상태에서 VDO 볼륨을 정리합니다. 볼륨을 생성할 때 오류가 발생하면 볼륨이 중간 상태에 남아 있습니다. 예를 들면 다음과 같은 상황이 발생할 수 있습니다.

VDO는 블록 장치를 백업 저장소로 사용합니다. 여기에는 하나 이상의 디스크, 파티션 또는 플랫 파일로 구성된 물리적 스토리지 집계가 포함될 수 있습니다. 스토리지 관리 도구가 VDO 볼륨을 생성할 때 VDO는 UDS 인덱스 및 VDO 볼륨을 위한 볼륨 공간을 예약합니다. UDS 인덱스 및 VDO 볼륨은 서로 상호 작용하여 중복된 블록 스토리지를 제공합니다.

그림 36.6. VDO 디스크 조직

VDO 솔루션은 다음 구성 요소로 구성됩니다.

VDO는 UDS라는 고성능 중복 제거 인덱스를 사용하여 데이터의 중복 블록을 감지합니다.

UDS 인덱스는 VDO 제품의 기초를 제공합니다. 데이터가 새로 저장된 각 부분에 대해 이 조각이 이전에 저장된 데이터와 같은지 빠르게 확인합니다. 인덱스가 일치함을 발견하면 스토리지 시스템이 기존 항목을 내부적으로 참조하여 동일한 정보를 두 번 이상 저장하지 않도록 할 수 있습니다.

UDS 인덱스는 uds 커널 모듈로 커널 내부에서 실행됩니다.

중복 제거 창 은 인덱스에서 기억하는 이전에 작성된 블록 수입니다. 중복 제거 창의 크기를 구성할 수 있습니다. 지정된 창 크기의 경우 인덱스에는 특정 양의 RAM과 특정 양의 디스크 공간이 필요합니다.For a given window size, the index requires a specific amount of RAM and a specific amount of disk space. 일반적으로 창 크기는 --indexMem=size 옵션을 사용하여 인덱스 메모리 크기를 지정하여 결정됩니다. 그런 다음 VDO는 자동으로 사용할 디스크 공간의 양을 결정합니다.

UDS 인덱스는 다음 두 부분으로 구성되어 있습니다.

UDS는 캐시를 포함하여 메모리의 항목당 평균 4바이트를 사용합니다.

on-disk 구성 요소는 UDS에 전달된 바인딩된 데이터 기록을 유지 관리합니다. UDS는 이 중복 제거 창에 가장 최근에 확인된 블록의 이름이 포함된 데이터에 대한 중복 제거 조언을 제공합니다. 중복 제거 창을 사용하면 UDS가 대규모 데이터 리포지토리를 인덱싱하는 데 필요한 메모리 양을 제한하면서 데이터를 가능한 한 효율적으로 인덱싱할 수 있습니다. 중복 제거 창의 경계 특성에도 불구하고, 중복 제거가 높은 수준의 중복 제거도 있는 대부분의 데이터 세트는 높은 수준의 일시적인 지역성을 나타냅니다. 즉, 거의 동시에 작성된 블록 세트 중에서 대부분의 중복 제거가 발생합니다. 또한 일반적으로 기록되는 데이터는 오래 전에 작성된 데이터보다 최근에 기록된 데이터를 복제할 가능성이 높습니다. 따라서 특정 시간 간격에 대한 지정된 워크로드의 경우 UDS가 가장 최근 데이터 또는 모든 데이터만 인덱싱하는지의 중복 제거 속도는 종종 동일합니다.

중복된 데이터는 일시적인 지역성을 나타내는 경향이 있기 때문에 스토리지 시스템의 모든 블록을 인덱싱할 필요가 거의 없습니다. 이로 인해 인덱스 메모리 비용이 중복 제거로 인한 스토리지 비용을 절감할 수 없었습니다. 인덱스 크기 요구 사항은 데이터 수집 비율과 더 밀접하게 관련이 있습니다. 예를 들어 전체 용량이 100TB이지만 주당 1TB의 수집 속도를 사용하는 스토리지 시스템을 고려해 보십시오. 4TB의 중복 제거 기간을 통해 UDS는 지난 한 달 이내에 작성된 데이터 중에서 가장 중복되는 중복을 감지할 수 있습니다.

이 섹션에서는 의도한 사용 사례에 따라 UDS 인덱스와 함께 사용할 권장 옵션에 대해 설명합니다.

일반적으로 Red Hat은 모든 프로덕션 사용 사례에 스파스 UDS 인덱스를 사용할 것을 권장합니다. 이는 매우 효율적인 인덱싱 데이터 구조로, 중복 제거 창에서 블록당 바이트의 바이트 단위가 약 1회씩 필요합니다. 디스크에서 블록당 약 72바이트의 디스크 공간이 필요합니다. 이 인덱스의 최소 구성에서는 256MB의 RAM과 디스크에서 약 25GB의 공간을 사용합니다.

이 구성을 사용하려면 troubleshooting create 명령에 --sparseIndex=enabled --indexMem=0.25 옵션을 지정합니다. 이 설정으로 인해 2.5TB의 중복 제거 창이 생성됩니다(즉, 2.5TB의 이력을 기억함). 대부분의 사용 사례에서 2.5TB의 중복 제거 창은 최대 10TB의 스토리지 풀에 적합합니다.

그러나 인덱스의 기본 구성은 dense 인덱스를 사용하는 것입니다. 이 인덱스는 RAM에서 10배가 훨씬 덜 효율적이지만 필요한 최소 디스크 공간보다 훨씬 낮기 때문에 제한된 환경에서의 평가에 더 편리합니다.

일반적으로 VDO 볼륨의 물리 크기의 분기에 해당하는 중복 제거 창은 권장되는 구성입니다. 그러나 이는 실제적인 요구 사항이 아닙니다. 작은 중복 제거 창 (물리 저장 용량과 분리)도 많은 사용 사례에서 상당한 양의 중복 데이터를 찾을 수 있습니다. 더 큰 창을 사용할 수도 있지만 대부분의 경우 추가 이점이 거의 없습니다.

중복 제거는 중복 블록의 여러 복사본을 제거하여 스토리지 리소스 사용을 줄이는 기술입니다.

동일한 데이터를 두 번 이상 작성하는 대신 VDO는 각 중복 블록을 감지하고 이를 원래 블록에 대한 참조로 기록합니다. VDO는 VDO 위의 스토리지 계층에서 물리적 블록 주소로 사용하는 논리 블록 주소에서 VDO의 스토리지 계층에서 사용하는 매핑을 유지합니다.

중복 제거 후 여러 개의 논리 블록 주소를 동일한 물리적 블록 주소에 매핑할 수 있습니다. 이를 공유 블록이라고 합니다. 블록 공유는 스토리지 사용자에게 보이지 않으므로 VDO가 존재하지 않는 것처럼 블록을 읽고 씁니다.

공유 블록을 덮어쓰는 경우 VDO는 새 블록 데이터를 저장하기 위해 새 물리적 블록을 할당하여 공유 물리적 블록에 매핑된 다른 논리 블록 주소가 수정되지 않도록 합니다.

이 절차에서는 연결된 UDS 인덱스를 다시 시작하고 중복 제거가 다시 활성화되었음을 VDO 볼륨에 알립니다.

이 절차에서는 연결된 UDS 인덱스를 중지하고 중복 제거가 더 이상 활성화되지 않았음을 VDO 볼륨에 알립니다.

VDO는 블록 수준 중복 제거 외에도 HIOPS Compression™ 기술을 사용하여 인라인 블록 수준 압축을 제공합니다.

VDO 볼륨 압축은 기본적으로 켜져 있습니다.

중복 제거는 가상 머신 환경과 백업 애플리케이션에 적합한 솔루션이지만 압축은 일반적으로 로그 파일 및 데이터베이스와 같은 블록 수준 중복성을 표시하지 않는 체계적이고 구조화되지 않은 파일 형식으로 매우 잘 작동합니다.

압축은 중복으로 확인되지 않은 블록에서 작동합니다. VDO가 처음으로 고유 데이터를 볼 때 데이터를 압축합니다. 이미 저장된 데이터의 후속 사본은 추가 압축 단계없이 중복됩니다.

압축 기능은 여러 압축 작업을 한 번에 처리할 수 있는 병렬화된 패키징 알고리즘을 기반으로 합니다. 블록을 처음 저장하고 요청자에게 응답을 보낸 후, 최상의 패킹 알고리즘은 압축 시 단일 물리적 블록에 적합할 수 있는 여러 블록을 찾습니다. 특정 물리 블록이 추가 압축 블록을 보유할 가능성이 없다고 판단되면 스토리지에 기록되고 압축되지 않은 블록이 해제되어 재사용됩니다.

압축 및 패키징 작업을 요청자에게 이미 응답한 후 압축 및 패키징 작업을 수행하면 압축을 사용하면 대기 시간이 최소화됩니다.

이 절차를 통해 VDO 볼륨에서 압축을 사용하면 공간 절약을 높일 수 있습니다.

이 절차에서는 VDO 볼륨에서 압축을 중지하여 성능을 극대화하거나 압축하지 않은 데이터 처리 속도를 향상시킵니다.

VDO는 다음과 같은 방법으로 물리적, 사용 가능한 물리적 크기 및 논리 크기를 활용합니다.

그림 36.7. VDO 디스크 조직

이 그림에서 VDO 중복된 스토리지 대상은 블록 장치의 상단에 완전히 배치되므로 VDO 볼륨의 물리적 크기는 기본 블록 장치와 같습니다.

VDO는 씬 프로비저닝된 블록 스토리지 대상입니다. VDO 볼륨에서 사용하는 물리 공간의 양은 스토리지 사용자에게 제공되는 볼륨의 크기와 다를 수 있습니다. 이러한 차이를 사용하여 스토리지 비용을 절감할 수 있습니다.

논리 블록(가상 스토리지)의 수가 물리적 블록 수를 초과할 때마다 파일 시스템 및 애플리케이션이 예기치 않게 공간이 부족해질 수 있습니다. 이러한 이유로 VDO를 사용하는 스토리지 시스템은 VDO 볼륨에서 사용 가능한 풀의 크기를 모니터링하는 방법을 제공해야 합니다.

EgressIP stats 유틸리티를 사용하여 이 사용 가능한 풀의 크기를 확인할 수 있습니다. 이 유틸리티의 기본 출력에는 Linux df 유틸리티와 유사한 형식으로 실행 중인 모든 VDO 볼륨에 대한 정보가 나열됩니다. 예를 들면 다음과 같습니다.

Device                1K-blocks   Used        Available   Use%
/dev/mapper/vdo-name  211812352   105906176   105906176   50%

VDO 볼륨의 물리적 스토리지 용량이 거의 가득 차면 VDO는 다음과 같이 시스템 로그에 경고를 보고합니다.

Oct  2 17:13:39 system lvm[13863]: Monitoring VDO pool vdo-name.
Oct  2 17:27:39 system lvm[13863]: WARNING: VDO pool vdo-name is now 80.69% full.
Oct  2 17:28:19 system lvm[13863]: WARNING: VDO pool vdo-name is now 85.25% full.
Oct  2 17:29:39 system lvm[13863]: WARNING: VDO pool vdo-name is now 90.64% full.
Oct  2 17:30:29 system lvm[13863]: WARNING: VDO pool vdo-name is now 96.07% full.

TRIM 또는 DISCARD 명령을 전송하는 몇 가지 방법을 사용할 수 있습니다.

사용되지 않는 블록에서 TRIM 또는 DISCARD 를 사용할 필요가 없습니다. VDO에는 고유하지 않습니다. 씬 프로비저닝된 스토리지 시스템은 동일한 문제를 안고 있습니다.

이 절차에서는 지정된 VDO 볼륨의 논리 크기를 늘립니다. 이는 처음에 공간 부족에서 안전하게 실행할 수 있을 만큼 작은 논리 크기를 가진 VDO 볼륨을 만들 수 있습니다. 일정 기간 후에 데이터 감소의 실제 속도를 평가할 수 있으며 충분한 경우 VDO 볼륨의 논리 크기를 늘릴 수 있으므로 공간 절약을 활용할 수 있습니다.

VDO 볼륨의 논리 크기를 줄일 수 없습니다.

이 절차에서는 VDO 볼륨에서 사용할 수 있는 물리 스토리지 양을 늘립니다.

이러한 방식으로 VDO 볼륨을 축소할 수 없습니다.

이 절차에서는 VDO 볼륨과 관련 UDS 인덱스를 제거합니다.

이 절차에서는 intermediate 상태에서 VDO 볼륨을 정리합니다. 볼륨을 생성할 때 오류가 발생하면 볼륨이 중간 상태에 남아 있습니다. 예를 들면 다음과 같은 상황이 발생할 수 있습니다.