스토리지 중복 제거 및 압축

1. VDO 볼륨을 생성하려는 블록 장치의 영구 이름을 찾습니다. 영구 이름에 대한 자세한 내용은 6장. 영구 이름 지정 속성 개요 을 참조하십시오.

   비영구적인 장치 이름을 사용하는 경우 향후 장치 이름이 변경되면 VDO가 제대로 시작되지 않을 수 있습니다.

2. VDO 볼륨을 생성합니다.

   # vdo create \
         --name=vdo-name \
         --device=block-device \
         --vdoLogicalSize=logical-size

   • VDO 볼륨을 생성하려는 블록 장치의 영구적인 이름으로 block -device 를 바꿉니다. 예를 들면 /dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f 입니다.

   • logical-size 를 VDO 볼륨이 있어야 하는 논리 스토리지 양으로 교체합니다.

     • 활성 VM 또는 컨테이너 스토리지의 경우 블록 장치의 물리적 크기 10 배에 해당하는 논리적 크기를 사용합니다. 예를 들어 블록 장치의 크기가 1TB이면 여기에서 10T 를 사용합니다.
     • 오브젝트 스토리지의 경우 블록 장치의 물리적 크기 세 배인 논리 크기를 사용합니다. 예를 들어 블록 장치의 크기가 1TB인 경우 여기에서 3T 를 사용합니다.

   • 물리 블록 장치가 16TiB를 초과하는 경우 --vdoSlabSize=32G 옵션을 추가하여 볼륨의 slab 크기를 32GiB로 늘립니다.

     16TiB보다 큰 블록 장치에 2GiB의 기본 슬랩 크기를 사용하면 vdo create 명령이 다음 오류와 함께 실패합니다.

     vdo: ERROR - vdoformat: formatVDO failed on '/dev/device': VDO Status: Exceeds maximum number of slabs supported

   예 1.1. 컨테이너 스토리지를 위한 VDO 생성

   예를 들어 1TB 블록 장치에 컨테이너 스토리지를 위한 VDO 볼륨을 생성하려면 다음을 사용할 수 있습니다.

   # vdo create \
         --name=vdo1 \
         --device=/dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f \
         --vdoLogicalSize=10T

   중요

   VDO 볼륨을 생성할 때 오류가 발생하면 볼륨을 제거하여 정리합니다. 자세한 내용은 2.10.2절. “성공적으로 생성되지 않은 VDO 볼륨 제거” 을 참조하십시오.

3. VDO 볼륨 상단에 파일 시스템을 생성합니다.

   • XFS 파일 시스템의 경우:

     # mkfs.xfs -K /dev/mapper/vdo-name

   • ext4 파일 시스템의 경우:

     # mkfs.ext4 -E nodiscard /dev/mapper/vdo-name

     참고

     새로 생성된 VDO 볼륨에서 -K 및 -E nodiscard 옵션의 용도는 할당되지 않은 블록에 영향을 미치지 않으므로 요청을 보내는 데 시간을 소비하지 않는 것입니다. 새로운 VDO 볼륨은 할당되지 않은 100%를 시작합니다.

4. 다음 명령을 사용하여 시스템이 새 장치 노드를 등록할 때까지 기다립니다.

   # udevadm settle

다음 단계

1. 파일 시스템을 마운트합니다. 자세한 내용은 1.9절. “VDO 볼륨 마운트” 을 참조하십시오.
2. VDO 장치에서 파일 시스템의 삭제 기능을 활성화합니다. 자세한 내용은 1.10절. “주기적인 블록 삭제 활성화” 을 참조하십시오.

절차

1. VDO 볼륨을 생성합니다.

   # vdo create --name=vdo-test \
                --device=/dev/sdb \
                --vdoLogicalSize=1T \
                --writePolicy=policy \
                --verbose

   • /dev/sdb 를 블록 장치의 경로로 바꿉니다.
   • 비동기 스토리지에서 VDO 비동기 모드를 테스트하려면 --writePolicy=async 옵션을 사용하여 비동기 볼륨을 생성합니다.
   • 동기 스토리지에서 VDO 동기화 모드를 테스트하려면 --writePolicy=sync 옵션을 사용하여 동기 볼륨을 생성합니다.

2. XFS 또는 ext4 파일 시스템으로 새 볼륨을 포맷합니다.

   • XFS의 경우:

     # mkfs.xfs -K /dev/mapper/vdo-test

   • ext4의 경우:

     # mkfs.ext4 -E nodiscard /dev/mapper/vdo-test

3. 포맷된 볼륨을 마운트합니다.

   # mkdir /mnt/vdo-test
   
   # mount /dev/mapper/vdo-test /mnt/vdo-test && \
     chmod a+rwx /mnt/vdo-test

절차

1. 32GiB 임의 데이터를 VDO 볼륨에 작성합니다.

   $ dd if=/dev/urandom of=/mnt/vdo-test/testfile bs=4096 count=8388608

2. VDO 볼륨에서 데이터를 읽고 다른 볼륨에 씁니다.

   $ dd if=/mnt/vdo-test/testfile of=another-location/testfile bs=4096

   • another-location 을 VDO 테스트 볼륨에 없는 쓰기 액세스 권한이 있는 디렉터리로 바꿉니다. 예를 들어 홈 디렉터리를 사용할 수 있습니다.

3. 두 파일을 비교하십시오.

   $ diff --report-identical-files /mnt/vdo-test/testfile another-location/testfile

   명령은 파일이 동일함을 보고해야 합니다.

4. 파일을 VDO 볼륨의 새 위치로 다시 복사합니다.

   $ dd if=another-location/testfile of=/mnt/vdo-test/testfile2 bs=4096

5. 세 번째 파일을 두 번째 파일과 비교합니다.

   $ diff --report-identical-files /mnt/vdo-test/testfile2 another-location/testfile

   명령은 파일이 동일함을 보고해야 합니다.

절차

1. VDO 볼륨에서 생성된 파일 시스템을 마운트 해제합니다.

   # umount /mnt/vdo-test

2. 시스템에서 VDO 테스트 볼륨을 제거합니다.

   # vdo remove --name=vdo-test

절차

1. 테스트 결과를 기록할 수 있는 테이블을 준비합니다.

   통계	베어 파일 시스템	시드 후	10개 복사본 후
   파일 시스템 사용 크기
   VDO 데이터 사용
   VDO 논리 사용

2. VDO 볼륨에 10개의 디렉터리를 생성하여 테스트 데이터 세트의 복사본 10개를 보유합니다.

   $ mkdir /mnt/vdo-test/vdo{01..10}

3. 파일 시스템에서 보고한 디스크 사용량을 검사합니다.

   $ df --human-readable /mnt/vdo-test

   예 3.1. 디스크 사용량

   Filesystem            Size  Used Avail Use% Mounted on
   /dev/mapper/vdo-test  1.5T  198M  1.4T   1% /mnt/vdo-test

4. 다음 값을 기록합니다.

   # vdostats --verbose | grep "blocks used"

   예 3.2. 사용된 블록

   data blocks used                : 1090
   overhead blocks used            : 538846
   logical blocks used             : 6059434

   • 사용된 값은 VDO에서 실행되는 물리적 장치에서 최적화한 후 사용자 데이터가 사용하는 블록 수입니다.
   • 논리 블록 사용된 값은 최적화 전에 사용된 블록 수입니다. 측정의 시작점으로 사용됩니다.

5. VDO 볼륨에 데이터 소스 파일을 생성합니다.

   $ dd if=/dev/urandom of=/mnt/vdo-test/sourcefile bs=4096 count=1048576
   
   4294967296 bytes (4.3 GB) copied, 540.538 s, 7.9 MB/s

6. 사용된 물리적 디스크 공간을 다시 검사합니다.

   $ df --human-readable /mnt/vdo-test

   예 3.3. 데이터 소스 파일을 사용한 디스크 사용량

   Filesystem            Size  Used Avail Use% Mounted on
   /dev/mapper/vdo-test  1.5T  4.2G  1.4T   1% /mnt/vdo-test

   # vdostats --verbose | grep "blocks used"

   예 3.4. 데이터 소스 파일과 함께 사용된 블록

   data blocks used                : 1050093  # Increased by 4GiB
   overhead blocks used            : 538846   # Did not significantly change
   logical blocks used             : 7108036  # Increased by 4GiB

   이 명령은 작성된 파일의 크기에 해당하는 사용된 블록 수의 증가를 표시해야 합니다.

7. 파일을 10개의 각 하위 디렉토리에 복사합니다.

   $ for i in {01..10}; do
     cp /mnt/vdo-test/sourcefile /mnt/vdo-test/vdo$i
     done

8. 사용된 물리적 디스크 공간을 다시 검사합니다.

   $ df -h /mnt/vdo-test

   예 3.5. 파일을 복사한 후 디스크 사용량

   Filesystem            Size  Used Avail Use% Mounted on
   /dev/mapper/vdo-test  1.5T   45G  1.3T   4% /mnt/vdo-test

   # vdostats --verbose | grep "blocks used"

   예 3.6. 파일을 복사한 후 사용된 블록

   data blocks used                : 1050836   # Increased by 3 MiB
   overhead blocks used            : 538846
   logical blocks used             : 17594127  # Increased by 41 GiB

   사용된 데이터 블록은 이전 목록의 결과와 유사해야 하며 파일 시스템 저널링 및 메타데이터로 인해 약간만 증가합니다.

9. 테스트 데이터를 쓰기 전에 찾은 값에서 파일 시스템에서 사용하는 공간의 새 값을 풉니다. 파일 시스템의 관점에서 이 테스트에서 사용하는 공간입니다.

10. 기록된 통계에서 공간 절약을 관찰합니다.

    예 3.7. 기록된 값

    통계	베어 파일 시스템	시드 후	10개 복사본 후
    파일 시스템 사용 크기	198MiB	4.2GiB	45GiB
    VDO 데이터 사용	4MiB	4.1GiB	4.1GiB
    VDO 논리 사용	23.6GiB ( 1.6 TiB 형식의 드라이브의 파일 시스템 오버헤드)	27.8GiB	GiB.7GiB

    참고

    표에서 값이 MiB 또는 GiB로 변환되었습니다. vdostats 출력의 블록 크기는 4,096 B입니다.

절차

1. VDO 테스트 볼륨에서 중복 제거를 비활성화하고 압축을 활성화합니다.

   # vdo disableDeduplication --name=vdo-test
   # vdo enableCompression --name=vdo-test

2. VDO 볼륨을 동기화하여 완료되지 않은 압축을 완료합니다.

   # sync && dmsetup message vdo-test 0 sync-dedupe

3. 전송 전에 VDO 통계를 검사합니다.

   # vdostats --verbose | grep "blocks used"

   사용된 데이터 블록과 사용된 값을 기록해 두십시오.

4. VDO는 파일 시스템 오버헤드와 실제 사용자 데이터를 최적화합니다. 사용된 빼기 데이터 블록을 사용하는 논리적 블록으로 빈 파일 시스템의 압축으로 저장된 4 KiB 블록 수를 계산합니다.

5. /lib 디렉토리의 내용을 VDO 볼륨에 복사합니다.

   # cp --verbose --recursive /lib /mnt/vdo-test
   
   ...
   sent 152508960 bytes  received 60448 bytes  61027763.20 bytes/sec
   total size is 152293104  speedup is 1.00

   복사된 데이터의 총 크기를 기록합니다.

6. Linux 캐시 및 VDO 볼륨을 동기화합니다.

   # sync && dmsetup message vdo-test 0 sync-dedupe

7. VDO 통계를 다시 검사합니다.

   # vdostats --verbose | grep "blocks used"

   사용된 논리 블록과 사용된 값을 관찰합니다.

8. 다음 공식을 사용하여 압축을 통해 저장된 바이트 크기를 계산합니다.

   saved_bytes = (logical_blocks_used - data_blocks_used) * 4096

절차

1. 3.4절. “VDO 테스트 볼륨 생성” 에 설명된 대로 VDO 볼륨을 생성하고 마운트합니다.
2. VDO 중복 제거 및 VDO 압축을 제거하지 않고 동일한 볼륨에서 VDO 압축 측정에 설명된 테스트를 수행합니다. vdostats 출력에서 공간 절약에 대한 변경 사항을 관찰합니다.
3. 자체 데이터 세트를 사용해 보십시오.

절차

1. 테스트 결과를 기록할 수 있는 테이블을 준비합니다.

   Step	사용된 파일 공간 (MB)	사용된 데이터 블록	사용된 논리 블록
   초기
   1GiB 파일 추가
   fstrim실행
   1GiB 파일 삭제
   fstrim실행

2. 불필요한 블록을 제거하기 위해 파일 시스템을 줄입니다.

   # fstrim /mnt/vdo-test

   이 명령은 시간이 오래 걸릴 수 있습니다.

3. 파일 시스템에 초기 공간 사용량을 기록합니다.

   $ df -m /mnt/vdo-test

4. VDO 볼륨에서 사용하는 물리 및 논리적 데이터 블록 수를 확인하십시오.

   # vdostats --verbose | grep "blocks used"

5. VDO 볼륨에서 중복되지 않은 데이터를 사용하여 1GiB 파일을 생성합니다.

   $ dd if=/dev/urandom of=/mnt/vdo-test/file bs=1M count=1K

6. 공간 사용량을 다시 기록합니다.

   $ df -m /mnt/vdo-test
   
   # vdostats --verbose | grep "blocks used"

   파일 시스템은 추가 1GiB를 사용해야 합니다. 사용된 데이터 블록과 사용된 값의 논리 블록 도 마찬가지로 증가해야 합니다.

7. 파일 시스템을 다시 줄입니다.

   # fstrim /mnt/vdo-test

8. 공간 사용량을 다시 검사하여 트림이 물리 볼륨 사용량에 영향을 미치지 않았는지 확인합니다.

   $ df -m /mnt/vdo-test
   
   # vdostats --verbose | grep "blocks used"

9. 1GiB 파일을 삭제합니다.

   $ rm /mnt/vdo-test/file

10. 공간 사용량을 다시 확인하고 기록합니다.

    $ df -m /mnt/vdo-test
    
    # vdostats --verbose | grep "blocks used"

    파일 시스템은 파일이 삭제되었음을 인식하지만, 파일 삭제가 기본 스토리지에 전송되지 않았기 때문에 실제 또는 논리 블록의 수는 변경되지 않습니다.

11. 파일 시스템을 다시 줄입니다.

    # fstrim /mnt/vdo-test

12. 공간 사용량을 다시 확인하고 기록합니다.

    $ df -m /mnt/vdo-test
    
    # vdostats --verbose | grep "blocks used"

    fstrim 유틸리티는 파일 시스템에서 사용 가능한 블록을 찾고, TRIM 명령을 사용하지 않은 주소에 대해 VDO 볼륨으로 보냅니다. 이 명령은 관련 논리 블록을 해제합니다. VDO는 TRIM 명령을 처리하여 기본 물리 블록을 해제합니다.

절차

1. 새 VDO 볼륨을 만듭니다.

   자세한 내용은 4.2절. “성능 테스트를 위한 VDO 볼륨 생성” 의 내용을 참조하십시오.

2. 테스트 볼륨에서 쓰기 fio 작업을 수행하여 테스트에서 액세스할 수 있는 모든 영역을 미리 채웁니다.

   # fio --rw=write \
         --bs=8M \
         --name=vdo \
         --filename=/dev/mapper/vdo-test \
         --ioengine=libaio \
         --thread \
         --direct=1 \
         --scramble_buffers=1

3. 읽기 및 쓰기 입력 stimuls에 대해 보고된 처리량 및 대기 시간을 기록합니다.

   # for readmix in 0 10 20 30 40 50 60 70 80 90 100; do
       for iosize in 4 8 16 32 64 128 256 512 1024; do
         fio --rw=rw \
             --rwmixread=$readmix \
             --bs=${iosize}k \
             --name=vdo \
             --filename=/dev/mapper/vdo-test \
             --ioengine=libaio \
             --numjobs=1 \
             --thread \
             --norandommap \
             --runtime=300 \
             --direct=0 \
             --iodepth=optimal-depth \
             --scramble_buffers=1 \
             --offset=0 \
             --size=100g
       done
     done

4. VDO 테스트 볼륨을 제거합니다.

   자세한 내용은 4.3절. “VDO 성능 테스트 볼륨 정리” 의 내용을 참조하십시오.

5. 테스트 결과를 그래프로 표시합니다.

   예 4.3. 혼합 I/O 로드 분석

   다음 이미지는 VDO가 혼합 I/O 로드에 응답하는 방법의 예를 보여줍니다.

   그림 4.4. 다양한 읽기 및 쓰기 혼합에 따라 성능이 일관되게 유지됩니다.

   

   집계 성능 및 집계 대기 시간은 읽기 및 쓰기 범위를 혼합하는 범위 전체에 비교적 일관적이며, 낮은 최대 쓰기 처리량에서 더 높은 최대 읽기 처리량으로의 추세입니다.

   이 동작은 스토리지마다 다를 수 있지만 중요한 관찰은 성능이 상이한 부하에서 일관되게 유지되었거나 특정 읽기 및 쓰기 혼합을 보여주는 애플리케이션의 성능을 이해할 수 있다는 것입니다.

   참고

   시스템에 비슷한 응답 일관성이 표시되지 않으면 하위 최적화 구성의 신호일 수 있습니다. 이러한 경우 Red Hat 영업 엔지니어에게 문의하십시오.

절차

1. 새 VDO 볼륨을 만듭니다.

   자세한 내용은 4.2절. “성능 테스트를 위한 VDO 볼륨 생성” 의 내용을 참조하십시오.

2. 테스트 볼륨에서 쓰기 fio 작업을 수행하여 테스트에서 액세스할 수 있는 모든 영역을 미리 채웁니다.

   # fio --rw=write \
         --bs=8M \
         --name=vdo \
         --filename=/dev/mapper/vdo-test \
         --ioengine=libaio \
         --thread \
         --direct=1 \
         --scramble_buffers=1

3. 읽기 및 쓰기 입력 stimuls에 대해 보고된 처리량 및 대기 시간을 기록합니다.

   # for readmix in 20 50 80; do
       for iosize in 4 8 16 32 64 128 256 512 1024; do
         fio --rw=rw \
             --rwmixread=$readmix \
             --bsrange=4k-256k \
             --name=vdo \
             --filename=/dev/mapper/vdo-name \
             --ioengine=libaio \
             --numjobs=1 \
             --thread \
             --norandommap \
             --runtime=300 \
             --direct=0 \
             --iodepth=$iosize \
             --scramble_buffers=1 \
             --offset=0 \
             --size=100g
       done
     done

4. VDO 테스트 볼륨을 제거합니다.

   자세한 내용은 4.3절. “VDO 성능 테스트 볼륨 정리” 의 내용을 참조하십시오.

5. 테스트 결과를 그래프로 표시합니다.

   예 4.4. 애플리케이션 환경 분석

   다음 이미지는 VDO가 혼합 I/O 로드에 응답하는 방법의 예를 보여줍니다.

   그림 4.5. 혼합 환경 성능

   

절차

1. RHEL 8 웹 콘솔에 로그인합니다.

   자세한 내용은 웹 콘솔에 로그인을 참조하십시오.

2. Storage(스토리지)를 클릭합니다.

3. VDO 볼륨을 생성할 LVM2 그룹 옆에 있는 Cryostat 메뉴 버튼을 클릭합니다.

   

4. Purpose 필드 옆에 있는 드롭다운 메뉴에서 VDO 파일 시스템 볼륨 을 선택합니다.
5. 이름 필드에 공백 없이 VDO 볼륨의 이름을 입력합니다.

6. Logical Size 표시줄에서 VDO 볼륨의 크기를 설정합니다. 10회 이상 확장할 수 있지만 VDO 볼륨을 생성할 용도를 고려하십시오.

   • 활성 VM 또는 컨테이너 스토리지의 경우 볼륨의 물리적 크기 10배인 논리 크기를 사용합니다.
   • 오브젝트 스토리지의 경우 볼륨의 물리적 크기 세 배인 논리 크기를 사용합니다.

   자세한 내용은 VDO 배포를 참조하십시오.

7. Compression (압축) 옵션을 선택합니다. 이 옵션은 다양한 파일 형식을 효율적으로 줄일 수 있습니다.

   자세한 내용은 LVM-VDO 볼륨에서 압축 설정 변경을 참조하십시오.

8. Deduplication (삭제) 옵션을 선택합니다.

   이 옵션을 사용하면 중복 블록 복사본을 여러 개 제거하여 스토리지 리소스의 소비를 줄입니다. 자세한 내용은 LVM-VDO 볼륨에서 중복 제거 설정 변경을 참조하십시오.

   

절차

1. RHEL 8 웹 콘솔에 로그인합니다. 자세한 내용은 웹 콘솔에 로그인을 참조하십시오.
2. Storage(스토리지)를 클릭합니다.
3. 포맷할 VDO 볼륨이 포함된 LVM2 볼륨 그룹을 클릭합니다.
4. 포맷할 VDO 볼륨이 포함된 줄 끝에 있는 메뉴 버튼 Cryostat를 클릭합니다.

5. Format(형식 )을 클릭합니다.

   

6. Name (이름) 필드에 논리 볼륨 이름을 입력합니다.
7. Mount Point(마운트 지점 ) 필드에 마운트 경로를 추가합니다.
8. 기본적으로 웹 콘솔은 이 대화 상자를 완료한 후 디스크 헤더만 다시 작성합니다. 이 옵션의 장점은 포맷 속도입니다. 0으로 기존 데이터를 덮어쓰 는 경우 웹 콘솔은 0으로 전체 디스크를 다시 작성합니다. 프로그램이 전체 디스크를 통과해야 하므로 이 옵션이 더 느립니다. 디스크에 중요한 데이터가 포함되어 있고 다시 작성하려는 경우 이 옵션을 사용합니다.

9. 유형 드롭다운 메뉴에서 파일 시스템을 선택합니다.

   • 기본 옵션인 XFS 파일 시스템은 대규모 논리 볼륨을 지원하며, 중단 없이 물리적 드라이브를 온라인 상태로 전환하며 증가합니다.

     XFS는 볼륨 축소를 지원하지 않습니다. 따라서 XFS로 포맷된 볼륨의 크기를 줄일 수 없습니다.

   • ext4 파일 시스템은 시스템 중단, 증가 및 축소 없이 물리적 드라이브를 온라인으로 전환하는 논리 볼륨을 지원합니다.

   LUKS(Linux Unified Key Setup) 암호화로 버전을 선택할 수도 있으며, 이를 통해 암호를 사용하여 볼륨을 암호화할 수도 있습니다.

10. 부팅 시 드롭다운 메뉴에서 볼륨을 마운트할 시기를 선택합니다.

11. 형식 및 마운트 또는 형식만 클릭합니다.

    포맷은 사용된 포맷 옵션 및 볼륨 크기에 따라 몇 분이 걸릴 수 있습니다.

    

절차

1. RHEL 8 웹 콘솔에 로그인합니다.

   자세한 내용은 웹 콘솔에 로그인을 참조하십시오.

2. Storage(스토리지)를 클릭합니다.
3. VDO 장치 상자에서 VDO 볼륨을 클릭합니다.
4. VDO 볼륨 세부 정보에서 Grow 버튼을 클릭합니다.
5. VDO 대화 상자의 논리 크기에서 VDO 볼륨의 논리 크기를 확장합니다.

1. Grow(검색)를 클릭합니다.