블록 장치 가이드
Red Hat Ceph Storage 블록 장치 관리, 생성, 구성 및 사용
초록
1장. Ceph 블록 장치 소개
블록은 시퀀스의 바이트 세트 길이입니다(예: 512바이트 데이터 블록). 여러 블록을 단일 파일로 결합하면 읽고 쓸 수 있는 저장 장치로 사용할 수 있습니다. 블록 기반 스토리지 인터페이스는 다음과 같은 회전 미디어로 데이터를 저장하는 가장 일반적인 방법입니다.
- 하드 드라이브
- CD/DVD 디스크
- Flppy 디스크
- 기존 9-트로트 (Traink)
블록 장치 인터페이스가 유비쿼리티를 통해 가상 블록 장치는 Red Hat Ceph Storage와 같은 일반 데이터 스토리지 시스템과 상호 작용할 수 있는 이상적인 후보입니다.
Ceph 블록 장치는 Ceph 스토리지 클러스터의 씬 프로비저닝, 크기 조정 및 여러 OSD(Object Storage Device)를 통해 수집된 데이터를 저장합니다. Ceph 블록 장치는 RBD(Reliable Autonomic Distributed Object Store) 블록 장치(RBD)라고도 합니다. Ceph 블록 장치는 다음과 같은 RADOS 기능을 활용합니다.
- 스냅샷
- 복제
- 데이터 일관성
Ceph 블록 장치는 librbd
라이브러리를 사용하여 OSD와 상호 작용합니다.
Ceph 블록 장치는 libvirt
및 QEMU 유틸리티를 사용하여 Ceph 블록 장치와 통합하는 OpenStack과 같은 빠른 에뮬레이터(KVM)와 같은 KVM(커널 가상 머신)에 무한한 확장성을 갖춘 고성능을 제공합니다. 동일한 스토리지 클러스터를 사용하여 Ceph Object Gateway 및 Ceph 블록 장치를 동시에 작동할 수 있습니다.
Ceph 블록 장치를 사용하려면 실행 중인 Ceph 스토리지 클러스터에 액세스해야 합니다. Red Hat Ceph Storage 클러스터 설치에 대한 자세한 내용은 Red Hat Ceph Storage 설치 가이드를 참조하십시오.
2장. Ceph 블록 장치
스토리지 관리자는 Ceph의 블록 장치 명령에 익숙해지면 Red Hat Ceph Storage 클러스터를 효과적으로 관리할 수 있습니다. Ceph 블록 장치의 다양한 기능을 활성화 및 비활성화하여 블록 장치 풀 및 이미지를 생성하고 관리할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
2.1. 명령 도움말 표시
명령줄 인터페이스의 명령 및 하위 명령 온라인 도움말을 표시합니다.
-h
옵션은 사용 가능한 모든 명령에 대한 도움말을 계속 표시합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
특정
rbd
명령 및 해당 하위 명령에 대한 도움말을 표시하려면rbd help
명령을 사용합니다.구문
rbd help COMMAND SUBCOMMAND
snap list
명령에 대한 도움말을 표시하려면 다음을 수행합니다.[root@rbd-client ~]# rbd help snap list
2.2. 블록 장치 풀 생성
블록 장치 클라이언트를 사용하기 전에 rbd
의 풀이 활성화되어 초기화되었는지 확인합니다.
먼저 풀을 생성한 후 소스로 지정할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
rbd
풀을 생성하려면 다음을 실행합니다.구문
ceph osd pool create POOL_NAME PG_NUM ceph osd pool application enable POOL_NAME rbd rbd pool init -p POOL_NAME
예제
[root@rbd-client ~]# ceph osd pool create pool1 [root@rbd-client ~]# ceph osd pool application enable pool1 rbd [root@rbd-client ~]# rbd pool init -p pool1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Storage 전략 가이드 의 풀 장을 참조하십시오.
2.3. 블록 장치 이미지 생성
블록 장치를 노드에 추가하기 전에 Ceph 스토리지 클러스터에 대한 이미지를 생성합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
블록 장치 이미지를 생성하려면 다음 명령을 실행합니다.
구문
rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME
예제
[root@rbd-client ~]# rbd create image1 --size 1024 --pool pool1
이 예제에서는
pool1
이라는 풀에 정보를 저장하는image1
이라는 1GB 이미지를 생성합니다.참고이미지를 생성하기 전에 풀이 있는지 확인합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 블록 장치풀 생성 섹션을 참조하십시오.
2.4. 블록 장치 이미지 나열
블록 장치 이미지를 나열합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
rbd
풀의 블록 장치를 나열하려면 다음 명령을 실행합니다.참고RBD
는 기본 풀 이름입니다.예제
[root@rbd-client ~]# rbd ls
특정 풀의 블록 장치를 나열하려면 다음을 수행합니다.
구문
rbd ls POOL_NAME
예제
[root@rbd-client ~]# rbd ls pool1
2.5. 블록 장치 이미지 정보 검색
블록 장치 이미지에 대한 정보를 검색합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
기본
rbd
풀의 특정 이미지에서 정보를 검색하려면 다음 명령을 실행합니다.구문
rbd --image IMAGE_NAME info
예제
[root@rbd-client ~]# rbd --image image1 info
풀 내의 이미지에서 정보를 검색하려면 다음을 수행합니다.
구문
rbd --image IMAGE_NAME -p POOL_NAME info
예제
[root@rbd-client ~]# rbd --image image1 -p pool1 info
2.6. 블록 장치 이미지 크기 조정
Ceph 블록 장치 이미지는 씬 프로비저닝됩니다. 실제로 데이터 저장을 시작할 때까지 물리적 스토리지를 사용하지 않습니다. 그러나 이러한 용량은 --size
옵션으로 설정한 최대 용량이 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
기본
rbd
풀의 Ceph 블록 장치 이미지의 최대 크기를 늘리려면 다음을 수행합니다.구문
rbd resize --image IMAGE_NAME --size SIZE
예제
[root@rbd-client ~]# rbd resize --image image1 --size 1024
기본
rbd
풀의 Ceph 블록 장치 이미지의 최대 크기를 줄이려면 다음을 수행합니다.구문
rbd resize --image IMAGE_NAME --size SIZE --allow-shrink
예제
[root@rbd-client ~]# rbd resize --image image1 --size 1024 --allow-shrink
특정 풀의 Ceph 블록 장치 이미지의 최대 크기를 늘리려면 다음을 수행합니다.
구문
rbd resize --image POOL_NAME/IMAGE_NAME --size SIZE
예제
[root@rbd-client ~]# rbd resize --image pool1/image1 --size 1024
특정 풀의 Ceph 블록 장치 이미지의 최대 크기를 줄이려면 다음을 수행합니다.
구문
rbd resize --image POOL_NAME/IMAGE_NAME --size SIZE --allow-shrink
예제
[root@rbd-client ~]# rbd resize --image pool1/image1 --size 1024 --allow-shrink
2.7. 블록 장치 이미지 제거
블록 장치 이미지를 제거합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
기본
rbd
풀에서 블록 장치를 제거하려면 다음을 수행합니다.구문
rbd rm IMAGE_NAME
예제
[root@rbd-client ~]# rbd rm image1
특정 풀에서 블록 장치를 제거하려면 다음을 수행합니다.
구문
rbd rm IMAGE_NAME -p POOL_NAME
예제
[root@rbd-client ~]# rbd rm image1 -p pool1
2.8. 블록 장치 이미지로 이동
RADOS 블록 장치(RBD) 이미지는 rbd
오브젝트 명령을 사용하여 소란으로 이동할 수 있습니다. 이 명령은 rbd rm
명령보다 많은 옵션을 제공합니다.
이미지가 오름차순으로 이동되면 나중에 소란에서 제거할 수 있습니다. 이는 실수로 삭제를 방지하는 데 도움이 됩니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
이미지를 오름차순으로 이동하려면 다음을 실행합니다.
구문
rbd trash mv [POOL_NAME/] IMAGE_NAME
예제
[root@rbd-client ~]# rbd trash mv pool1/image1
이미지가 오름차순에 있으면 고유한 이미지 ID가 할당됩니다.
참고나중에 이미지를 지정하려면 이 이미지 ID가 필요합니다. 옵션 중 하나를 사용해야 합니다.
-
rbd 오브젝트 목록 POOL_NAME
을 실행하여 이미지 ID 목록을 출력합니다. 이 명령은 또한 이미지의 사전 취소 이름도 반환합니다. 또한rbd info
및rbd snap
명령과 함께 사용할 수 있는 선택적--image-id
인수가 있습니다.rbd info
명령과 함께--image-id
를 사용하여 비독점 이미지의 속성을 확인하고rbd 스냅
과 함께 사용하여 이미지의 스냅샷을 제거합니다. 오하위에서 이미지를 제거하려면 다음을 실행합니다.
구문
rbd trash rm [POOL_NAME/] IMAGE_ID
예제
[root@rbd-client ~]# rbd trash rm pool1/d35ed01706a0
중요- 이미지가 제거되면 복원할 수 없습니다.
- 미러링이 활성화된 이미지가 휴지통으로 이동되면 보조 사이트 이미지도 삭제됩니다. 기본 사이트에서 이미지를 복원할 때 미러링을 다시 활성화해야 하며 보조 사이트에서 이미지를 다시 가져옵니다.
rbdgrind restore
명령을 실행하여 이미지를 복원합니다.구문
rbd trash restore [POOL_NAME/] IMAGE_ID
예제
[root@rbd-client ~]# rbd trash restore pool1/d35ed01706a0
만료된 이미지를 모두 제거하려면 다음을 수행합니다.
구문
rbd trash purge POOL_NAME
예제
[root@rbd-client ~]# rbd trash purge pool1 Removing images: 100% complete...done.
2.9. 자동 소란 제거 일정 정의
풀에서 주기적인 소독 제거 작업을 예약할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
기능 제거 일정을 추가하려면 다음을 실행합니다.
구문
rbd trash purge schedule add --pool POOL_NAME INTERVAL
예제
[ceph: root@host01 /]# rbd trash purge schedule add --pool pool1 10m
소독 제거 일정을 나열하려면 다음을 실행합니다.
구문
rbd trash purge schedule ls --pool POOL_NAME
예제
[ceph: root@host01 /]# rbd trash purge schedule ls --pool pool1 every 10m
기능 제거 일정의 상태를 확인하려면 다음을 실행합니다.
예제
[ceph: root@host01 /]# rbd trash purge schedule status POOL NAMESPACE SCHEDULE TIME pool1 2021-08-02 11:50:00
소독 제거 일정을 제거하려면 다음을 실행합니다.
구문
rbd trash purge schedule remove --pool POOL_NAME INTERVAL
예제
[ceph: root@host01 /]# rbd trash purge schedule remove --pool pool1 10m
2.10. 이미지 기능 활성화 및 비활성화
fast-diff
,exclusive-lock
,object-map
또는 deep-flatten
과 같은 블록 장치 이미지는 기본적으로 활성화됩니다. 기존 이미지에서 이러한 이미지 기능을 활성화하거나 비활성화할 수 있습니다.
딥 병합
기능은 기존 이미지에서만 비활성화할 수 있지만 활성화되지는 않습니다. 딥 flatten
을 사용하려면 이미지를 생성할 때 활성화합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
풀의 특정 이미지에서 정보를 검색합니다.
구문
rbd --image POOL_NAME/IMAGE_NAME info
예제
[ceph: root@host01 /]# rbd --image pool1/image1 info
기능을 활성화합니다.
구문
rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME
pool1
풀의image1
이미지에서전용 잠금
기능을 활성화하려면 다음을 수행합니다.예제
[ceph: root@host01 /]# rbd feature enable pool1/image1 exclusive-lock
중요fast-diff
및object-map
기능을 활성화하면 오브젝트 맵을 다시 빌드합니다.+ .Syntax
rbd object-map rebuild POOL_NAME/IMAGE_NAME
기능을 비활성화합니다.
구문
rbd feature disable POOL_NAME/IMAGE_NAME FEATURE_NAME
pool1
풀의image1
이미지에서fast-diff
기능을 비활성화하려면 다음을 수행합니다.예제
[ceph: root@host01 /]# rbd feature disable pool1/image1 fast-diff
2.11. 이미지 메타데이터로 작업
Ceph에서는 사용자 지정 이미지 메타데이터를 키-값 쌍으로 추가할 수 있습니다. 쌍에는 엄격한 형식이 없습니다.
또한 메타데이터를 사용하면 특정 이미지에 대해 RADOS 블록 장치(RBD) 구성 매개변수를 설정할 수 있습니다.
rbd 이미지-meta
명령을 사용하여 메타데이터로 작업합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
새 메타데이터 키-값 쌍을 설정하려면 다음을 수행합니다.
구문
rbd image-meta set POOL_NAME/IMAGE_NAME KEY VALUE
예제
[ceph: root@host01 /]# rbd image-meta set pool1/image1 last_update 2021-06-06
이 예에서는
last_update
키를pool1
풀의image1
이미지에서2021-06-06
값으로 설정합니다.키 값을 보려면 다음을 수행합니다.
구문
rbd image-meta get POOL_NAME/IMAGE_NAME KEY
예제
[ceph: root@host01 /]# rbd image-meta get pool1/image1 last_update
이 예제에서는
last_update
키의 값을 봅니다.이미지의 모든 메타데이터를 표시하려면 다음을 수행합니다.
구문
rbd image-meta list POOL_NAME/IMAGE_NAME
예제
[ceph: root@host01 /]# rbd image-meta list pool1/image1
이 예에서는
pool1
풀에 있는image1
이미지에 대한 메타데이터 세트를 나열합니다.메타데이터 키-값 쌍을 제거하려면 다음을 수행합니다.
구문
rbd image-meta remove POOL_NAME/IMAGE_NAME KEY
예제
[ceph: root@host01 /]# rbd image-meta remove pool1/image1 last_update
이 예제에서는
pool1
풀의image1
이미지에서last_update
키-값 쌍을 제거합니다.특정 이미지에 대해 Ceph 구성 파일에 설정된 RBD 이미지 구성 설정을 재정의하려면 다음을 수행합니다.
구문
rbd config image set POOL_NAME/IMAGE_NAME PARAMETER VALUE
예제
[ceph: root@host01 /]# rbd config image set pool1/image1 rbd_cache false
이 예제에서는
pool1
풀에서image1
이미지의 RBD 캐시를 비활성화합니다.
추가 리소스
- 가능한 구성 옵션 목록은 Red Hat Ceph Storage 블록 장치 가이드의 블록 장치 일반 옵션 섹션을 참조하십시오.
2.12. 풀 간 이미지 이동
동일한 클러스터 내의 다른 풀 간에 RADOS 블록 장치(RBD) 이미지를 이동할 수 있습니다.
이 프로세스 중에 소스 이미지가 모든 스냅샷 내역이 있는 대상 이미지에 복사되고 선택적으로 스파스성을 유지하기 위해 소스 이미지의 상위에 대한 링크를 사용합니다. 소스 이미지는 읽기 전용이며 대상 이미지에 쓸 수 있습니다. 대상 이미지는 마이그레이션이 진행 중인 동안 소스 이미지에 연결됩니다.
새 대상 이미지를 사용하는 동안 이 프로세스를 백그라운드에서 안전하게 실행할 수 있습니다. 그러나 이미지를 사용하는 클라이언트가 새 대상 이미지를 가리키도록 업데이트되도록 준비 단계 전에 대상 이미지를 사용하는 모든 클라이언트를 중지합니다.
현재 활성화되어
있는 커널 모듈은 실시간 마이그레이션을 지원하지 않습니다.
사전 요구 사항
- 소스 이미지를 사용하는 모든 클라이언트를 중지합니다.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
소스 및 대상 이미지를 교차 연결하는 새 대상 이미지를 생성하여 마이그레이션을 준비합니다.
구문
rbd migration prepare SOURCE_IMAGE TARGET_IMAGE
교체:
- 이동할 이미지 이름이 포함된 SOURCE_IMAGE POOL/IMAGE_NAME 형식을 사용합니다.
- TARGET_IMAGE 및 새 이미지 이름입니다. POOL/IMAGE_NAME 형식을 사용합니다.
예제
[root@rbd-client ~]# rbd migration prepare pool1/image1 pool2/image2
준비
되어야 하는 새 대상 이미지의 상태를 확인합니다.구문
rbd status TARGET_IMAGE
예제
[root@rbd-client ~]# rbd status pool2/image2 Watchers: none Migration: source: pool1/image1 (5e2cba2f62e) destination: pool2/image2 (5e2ed95ed806) state: prepared
- 선택적으로 새 대상 이미지 이름을 사용하여 클라이언트를 다시 시작합니다.
소스 이미지를 대상 이미지에 복사합니다.
구문
rbd migration execute TARGET_IMAGE
예제
[root@rbd-client ~]# rbd migration execute pool2/image2
마이그레이션이 완료되었는지 확인합니다.
예제
[root@rbd-client ~]# rbd status pool2/image2 Watchers: watcher=1.2.3.4:0/3695551461 client.123 cookie=123 Migration: source: pool1/image1 (5e2cba2f62e) destination: pool2/image2 (5e2ed95ed806) state: executed
소스 이미지와 대상 이미지 간 교차 링크를 제거하여 마이그레이션을 커밋하고 소스 이미지도 제거합니다.
구문
rbd migration commit TARGET_IMAGE
예제
[root@rbd-client ~]# rbd migration commit pool2/image2
소스 이미지가 하나 이상의 복제본의 상위인 경우 복제 이미지가 사용되지 않도록 한 후
--force
옵션을 사용합니다.예제
[root@rbd-client ~]# rbd migration commit pool2/image2 --force
- 준비 단계 후에 클라이언트를 재시작하지 않은 경우 새 대상 이미지 이름을 사용하여 클라이언트를 다시 시작합니다.
2.13. 풀 마이그레이션
RADOS Block Device(RBD) 이미지를 마이그레이션하거나 복사할 수 있습니다.
이 프로세스 중에 소스 이미지를 내보낸 다음 가져옵니다.
워크로드에 RBD 이미지 만 포함된 경우 이 마이그레이션 프로세스를 사용합니다. 워크로드에 rados cppool
이미지가 존재하지 않습니다. 워크로드에 rados cppool
이미지가 있는 경우 스토리지 전략 가이드에서 풀 마이그레이션 을 참조하십시오.
내보내기 및 가져오기 명령을 실행하는 동안 관련 RBD 이미지에 활성 I/O가 없는지 확인합니다. 이 풀 마이그레이션 시간 동안 프로덕션을 중단하는 것이 좋습니다.
사전 요구 사항
- 내보내기 및 가져올 RBD 이미지의 모든 활성 I/O를 중지합니다.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
볼륨을 마이그레이션합니다.
구문
rbd export volumes/VOLUME_NAME - | rbd import --image-format 2 - volumes_new/VOLUME_NAME
예제
[root@rbd-client ~]# rbd export volumes/volume-3c4c63e3-3208-436f-9585-fee4e2a3de16 - | rbd import --image-format 2 - volumes_new/volume-3c4c63e3-3208-436f-9585-fee4e2a3de16
가져오기 또는 내보내기에 로컬 드라이브를 사용하는 경우 먼저 로컬 드라이브로 내보낸 다음 파일을 새 풀로 가져올 수 있습니다.
구문
rbd export volume/VOLUME_NAME FILE_PATH rbd import --image-format 2 FILE_PATH volumes_new/VOLUME_NAME
예제
[root@rbd-client ~]# rbd export volumes/volume-3c4c63e3-3208-436f-9585-fee4e2a3de16 <path of export file> [root@rbd-client ~]# rbd import --image-format 2 <path> volumes_new/volume-3c4c63e3-3208-436f-9585-fee4e2a3de16
2.14. rbdmap
서비스
systemd
장치 파일 rbdmap.service
는 ceph-common
패키지에 포함되어 있습니다. rbdmap.service
장치는 rbdmap
쉘 스크립트를 실행합니다.
이 스크립트는 하나 이상의 RBD 이미지에 대한 RADOS 블록 장치(RBD)의 매핑 및 매핑 해제를 자동화합니다. 언제든지 스크립트를 수동으로 실행할 수 있지만 일반적인 사용 사례는 부팅 시 RBD 이미지를 자동으로 마운트하고 종료 시 마운트 해제하는 것입니다. 이 스크립트는 RBD 이미지를 마운트 해제하기 위해 매핑
하거나 매핑 해제할
수 있는 단일 인수를 사용합니다. 이 스크립트는 구성 파일을 구문 분석합니다. 기본값은 /etc/ceph/rbdmap
이지만 RBDMAPFILE
이라는 환경 변수를 사용하여 덮어쓸 수 있습니다. 구성 파일의 각 행은 RBD 이미지에 해당합니다.
구성 파일 형식은 다음과 같습니다.
IMAGE_SPEC RBD_OPTS
여기서 IMAGE_SPEC 은 POOL_NAME / IMAGE_NAME 을 지정하거나 IMAGE_NAME 만 지정합니다. 이 경우 POOL_NAME 의 기본값이 rbd
입니다. RBD_OPTS 는 기본 rbd map
명령에 전달할 선택적 옵션 목록입니다. 이러한 매개변수와 해당 값은 쉼표로 구분된 문자열로 지정해야 합니다.
OPT1=VAL1,OPT2=VAL2,…,OPT_N=VAL_N
이렇게 하면 스크립트가 rbd map
명령을 다음과 같이 발행합니다.
구문
rbd map POOLNAME/IMAGE_NAME --OPT1 VAL1 --OPT2 VAL2
쉼표 또는 같음 기호가 포함된 옵션 및 값의 경우 간단한 apostrophe를 사용하여 교체하지 않도록 할 수 있습니다.
rbd 맵
작업이 성공하면 해당 이미지를 /dev/rbdX
장치에 매핑합니다. 여기서 udev
규칙이 트리거되어 장치 이름 심볼릭 링크가 트리거됩니다(예: /dev/rbd/POOL_NAME/IMAGE_NAME
). 마운트하거나 마운트 해제하려면 친숙한 장치 이름에 /etc/fstab
파일에 해당 항목이 있어야 합니다. RBD 이미지에 대한 /etc/fstab
항목을 작성할 때 noauto
또는 nofail
마운트 옵션을 지정하는 것이 좋습니다. 이렇게 하면 장치가 존재하기 전에 init 시스템이 장치를 너무 빨리 마운트하려고 시도하지 않습니다.
추가 리소스
-
가능한 옵션의 전체 목록은
rbd
manpage를 참조하십시오.
2.15. rbdmap
서비스 구성
부팅시 RADOS 블록 장치(RBD) 또는 종료 시 자동으로 매핑 또는 마운트 해제를 위해 다음을 수행합니다.
사전 요구 사항
- 마운트를 수행하는 노드에 대한 루트 수준 액세스.
-
ceph-common
패키지 설치
절차
-
/etc/ceph/rbdmap
구성 파일을 편집하려면 엽니다. RBD 이미지 또는 이미지를 구성 파일에 추가합니다.
예제
foo/bar1 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring foo/bar2 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring,options='lock_on_read,queue_depth=1024'
- 구성 파일에 대한 변경 사항을 저장합니다.
RBD 매핑 서비스를 활성화합니다.
예제
[root@client ~]# systemctl enable rbdmap.service
추가 리소스
-
RBD 시스템 서비스에 대한 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의
rbdmap
서비스 섹션을 참조하십시오.
2.16. 영구 쓰기 로그 캐시
Red Hat Ceph Storage 클러스터에서 PWL(영구 쓰기 로그) 캐시는 librbd 기반 RBD 클라이언트에 대해 내결함성(Write-back) 캐시를 제공합니다.
PWL 캐시는 로그 순서가 지정된 쓰기 쓰기를 내부적으로 유지 관리하여 클러스터에 플러시되는 쓰기가 항상 일관되게 충돌하도록 합니다. 클라이언트 캐시가 완전히 손실되면 디스크 이미지가 계속 일치하지만 데이터가 오래되었습니다. PMEM(영구 메모리) 또는 SSD(솔리드 스테이트 디스크)와 함께 PWL 캐시를 캐시 장치로 사용할 수 있습니다.
PMEM의 경우 캐시 모드는 복제 쓰기 로그(RWL)이며 SSD의 경우 캐시 모드는 (SSD)입니다. 현재 PWL 캐시는 RWL 및 SSD 모드를 지원하며 기본적으로 비활성화되어 있습니다.
PWL 캐시의 주요 이점은 다음과 같습니다.
- PWL 캐시는 캐시가 가득 차지 않을 때 고성능을 제공할 수 있습니다. 캐시가 클수록 고성능의 기간이 길어집니다.
- PWL 캐시는 지속성을 제공하며 RBD 캐시보다 느리지 않습니다. RBD 캐시는 더 빠르지만 volatile이며 데이터 주문 및 지속성을 보장할 수 없습니다.
- 캐시가 가득 찬 상태에서는 I/O 수에 따라 성능이 영향을 받습니다. 예를 들어, PWL은 낮은 io_depth에서 더 높은 성능을 제공할 수 있지만 I/O 수가 32보다 큰 경우와 같이 높은 io_depth에서 캐시 없는 경우보다 성능이 저하되는 경우가 많습니다.
PMEM 캐싱의 사용 사례는 다음과 같습니다.
- RBD 캐시와 달리 PWL 캐시는 비volatile 특성을 가지며 데이터 손실을 원하지 않고 성능이 필요한 시나리오에서 사용됩니다.
- RWL 모드는 짧은 대기 시간을 제공합니다. 버스트 I/O에 대해 안정적인 짧은 대기 시간을 보유하고 있으며 안정적인 낮은 대기 시간을 위한 높은 요구 사항이 있는 시나리오에 적합합니다.
- RWL 모드는 또한 낮은 I/O 깊이 또는 너무 많은 inflight I/O가 아닌 시나리오에서 높은 연속 및 안정적인 성능 향상을 제공합니다.
SSD 캐싱의 사용 사례는 다음과 같습니다.
- SSD 모드의 장점은 RWL 모드와 비슷합니다. SSD 하드웨어는 상대적으로 저렴합니다. 그러나 성능은 PMEM보다 약간 낮습니다.
2.17. 영구 쓰기 로그 캐시 제한 사항
PWL(영구 쓰기 로그) 캐시를 사용하는 경우 고려해야 할 몇 가지 제한 사항이 있습니다.
- PMEM(영구 메모리) 및 솔리드 스테이트 디스크(SSD)의 기본 구현은 다르며 PMEM은 성능이 향상됩니다. 현재 PMEM은 "쓰기 지원"을 제공할 수 있으며 SSD는 "플러쉬 또는 체크포인트를 기반으로 합니다". 향후 릴리스에서는 이 두 가지 모드를 구성할 수 있습니다.
-
사용자가 자주 열고 이미지를 반복적으로 전환하면 Ceph에서 성능이 저하됩니다. PWL 캐시가 활성화된 경우 성능이 저하됩니다. Resticible I/O(fio) 테스트에서
num_jobs
를 설정하지 않고 여러 작업을 설정하여 다른 이미지를 작성하는 것이 좋습니다.
2.18. 영구 쓰기 로그 캐시 활성화
Ceph RADOS 블록 장치(RBD) rbd_persistent_cache_mode
및 rbd_plugins
옵션을 설정하여 Red Hat Ceph Storage 클러스터에서 PDL(영구 쓰기 로그 캐시)을 활성화할 수 있습니다.
영구 쓰기 로그 캐시를 활성화하려면 전용 잠금 기능을 활성화해야 합니다. 이 캐시는 배타적 잠금을 획득한 후에만 로드할 수 있습니다. exclusive-locks는 rbd_default_features
구성 옵션 또는 rbd create
명령의 --image-feature
플래그로 재정의하지 않는 한 기본적으로 새로 생성된 이미지에서 활성화됩니다. 전용 잠금
기능에 대한 자세한 내용은 이미지 기능 활성화 및 비활성화 섹션을 참조하십시오.
ceph config set
명령을 사용하여 호스트 수준에서 영구 쓰기 로그 캐시 옵션을 설정합니다. rbd config pool set
또는 rbd config image set
명령을 사용하여 풀 또는 이미지 수준에서 영구 쓰기 로그 캐시 옵션을 설정합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모니터 노드에 대한 루트 수준 액세스.
- 전용 잠금 기능이 활성화되어 있습니다.
- 클라이언트 측 디스크는 PMEM(영구 메모리) 또는 SSD(솔리드 스테이트 디스크)입니다.
- RBD 캐시가 비활성화되어 있습니다.
절차
PWL 캐시를 활성화합니다.
호스트 수준에서
ceph config set
명령을 사용합니다.구문
ceph config set client rbd_persistent_cache_mode CACHE_MODE ceph config set client rbd_plugins pwl_cache
CACHE_MODE 를
rwl
또는ssd
로 바꿉니다.예제
[ceph: root@host01 /]# ceph config set client rbd_persistent_cache_mode ssd [ceph: root@host01 /]# ceph config set client rbd_plugins pwl_cache
풀 수준에서
rbd config pool set
명령을 사용합니다.구문
rbd config pool set POOL_NAME rbd_persistent_cache_mode CACHE_MODE rbd config pool set POOL_NAME rbd_plugins pwl_cache
CACHE_MODE 를
rwl
또는ssd
로 바꿉니다.예제
[ceph: root@host01 /]# rbd config pool set pool1 rbd_persistent_cache_mode ssd [ceph: root@host01 /]# rbd config pool set pool1 rbd_plugins pwl_cache
이미지 수준에서
rbd config image set
명령을 사용합니다.구문
rbd config image set POOL_NAME/IMAGE_NAME rbd_persistent_cache_mode CACHE_MODE rbd config image set POOL_NAME/IMAGE_NAME rbd_plugins pwl_cache
CACHE_MODE 를
rwl
또는ssd
로 바꿉니다.예제
[ceph: root@host01 /]# rbd config image set pool1/image1 rbd_persistent_cache_mode ssd [ceph: root@host01 /]# rbd config image set pool1/image1 rbd_plugins pwl_cache
선택 사항: 호스트, 풀 또는 이미지 수준에서 추가 RBD 옵션을 설정합니다.
구문
rbd_persistent_cache_mode CACHE_MODE rbd_plugins pwl_cache rbd_persistent_cache_path /PATH_TO_CACHE_DIRECTORY 1 rbd_persistent_cache_size PERSISTENT_CACHE_SIZE 2
- 1
rbd_persistent_cache_path
- 성능 저하를 방지하기 위해rwl
모드를 사용할 때 직접 액세스(DAX)를 활성화해야 하는 데이터를 캐시하는 파일 폴더입니다.- 2
rbd_persistent_cache_size
- 최소 캐시 크기가 1GB인 이미지당 캐시 크기입니다. 캐시 크기가 클수록 성능이 향상됩니다.rwl
모드에 대한 추가 RBD 옵션 설정:예제
rbd_cache false rbd_persistent_cache_mode rwl rbd_plugins pwl_cache rbd_persistent_cache_path /mnt/pmem/cache/ rbd_persistent_cache_size 1073741824
ssd
모드에 대한 추가 RBD 옵션 설정:예제
rbd_cache false rbd_persistent_cache_mode ssd rbd_plugins pwl_cache rbd_persistent_cache_path /mnt/nvme/cache rbd_persistent_cache_size 1073741824
추가 리소스
- DAX 사용에 대한 자세한 내용은 kernel.org 의 직접 액세스 for files 문서를 참조하십시오.
2.19. 영구 쓰기 로그 캐시 상태 확인
PWL(영구 쓰기 로그) 캐시의 상태를 확인할 수 있습니다. 이 캐시는 전용 잠금을 가져올 때 사용되며 전용 잠금이 해제되면 영구 쓰기 로그 캐시가 닫힙니다. 캐시 상태는 캐시 크기, 위치, 유형 및 기타 캐시 관련 정보에 대한 정보를 표시합니다. 캐시 상태 업데이트는 캐시를 열고 닫을 때 수행됩니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모니터 노드에 대한 루트 수준 액세스.
- PWL 캐시가 활성화된 실행 중인 프로세스.
절차
PWL 캐시 상태를 확인합니다.
구문
rbd status POOL_NAME/IMAGE_NAME
예제
[ceph: root@host01 /]# rbd status pool1/image1 Watchers: watcher=10.10.0.102:0/1061883624 client.25496 cookie=140338056493088 Persistent cache state: host: host02 path: /mnt/nvme0/rbd-pwl.rbd.101e5824ad9a.pool size: 1 GiB mode: ssd stats_timestamp: Mon Apr 18 13:26:32 2022 present: true empty: false clean: false allocated: 509 MiB cached: 501 MiB dirty: 338 MiB free: 515 MiB hits_full: 1450 / 61% hits_partial: 0 / 0% misses: 924 hit_bytes: 192 MiB / 66% miss_bytes: 97 MiB
2.20. 영구 쓰기 로그 캐시 플러시
PWL(영구 쓰기 로그) 캐시를 삭제하기 전에 persistent-cache flush
, 풀 이름 및 이미지 이름을 지정하여 rbd
명령으로 캐시 파일을 플러시할 수 있습니다. flush
명령은 캐시 파일을 OSD에 명시적으로 다시 쓸 수 있습니다. 캐시 중단 또는 애플리케이션이 예기치 않게 종료되면 캐시의 모든 항목이 OSD로 플러시되므로 데이터를 수동으로 플러시한 다음 캐시를 무효화
할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모니터 노드에 대한 루트 수준 액세스.
- PWL 캐시가 활성화되어 있습니다.
절차
PWL 캐시를 플러시합니다.
구문
rbd persistent-cache flush POOL_NAME/IMAGE_NAME
예제
[ceph: root@host01 /]# rbd persistent-cache flush pool1/image1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Block Device Guide 의 Discarding 영구 쓰기 로그 캐시 섹션을 참조하십시오.
2.21. 영구 쓰기 로그 캐시 삭제
캐시의 데이터가 만료된 경우와 같이 PWL(영구 쓰기 로그) 캐시를 수동으로 삭제해야 할 수 있습니다. rbd persistent-cache invalidate
명령을 사용하여 이미지의 캐시 파일을 삭제할 수 있습니다. 이 명령은 지정된 이미지의 캐시 메타데이터를 제거하고 캐시 기능을 비활성화한 다음 로컬 캐시 파일이 있는 경우 삭제합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모니터 노드에 대한 루트 수준 액세스.
- PWL 캐시가 활성화되어 있습니다.
절차
PWL 캐시 삭제:
구문
rbd persistent-cache invalidate POOL_NAME/IMAGE_NAME
예제
[ceph: root@host01 /]# rbd persistent-cache invalidate pool1/image1
2.22. 명령줄 인터페이스를 사용하여 Ceph 블록 장치의 성능 모니터링
Red Hat Ceph Storage 4.1부터는 Ceph OSD 및 Manager 구성 요소에 성능 지표 수집 프레임워크가 통합되어 있습니다. 이 프레임워크는 다른 Ceph Block Device 성능 모니터링 솔루션이 구축된 기본 제공 방법을 제공합니다.
새로운 Ceph Manager 모듈인rbd_support
는 활성화된 경우 성능 지표를 집계합니다. rbd
명령에는 iotop
및 iostat
의 두 가지 새 작업이 있습니다.
이러한 작업의 초기 사용은 데이터 필드를 채우는 데 약 30초가 걸릴 수 있습니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 사용자 수준 액세스.
절차
rbd_support
Ceph Manager 모듈이 활성화되었는지 확인합니다.예제
[ceph: root@host01 /]# ceph mgr module ls { "always_on_modules": [ "balancer", "crash", "devicehealth", "orchestrator", "pg_autoscaler", "progress", "rbd_support", <-- "status", "telemetry", "volumes" }
"iotop" 형식의 이미지를 표시하려면 다음을 수행합니다.
예제
[user@mon ~]$ rbd perf image iotop
참고쓰기 operations, read-ops, write-bytes, write-bytes, write-latency, read-latency 열은 오른쪽 및 왼쪽 화살표 키를 사용하여 동적으로 정렬할 수 있습니다.
"iostat" 형식의 이미지를 표시하려면 다음을 수행합니다.
예제
[user@mon ~]$ rbd perf image iostat
참고이 명령의 출력은 JSON 또는 XML 형식일 수 있으며 다른 명령줄 툴을 사용하여 정렬할 수 있습니다.
2.23. Ceph 사용자 및 인증 키
cephx
가 활성화되면 사용자 이름 또는 ID와 사용자의 해당 키가 포함된 인증 키의 경로를 지정해야 합니다.
cephx
는 기본적으로 활성화되어 있습니다.
다음 매개변수를 다시 입력하지 않도록 CEPH_ARGS
환경 변수를 추가할 수도 있습니다.
구문
rbd --id USER_ID --keyring=/path/to/secret [commands] rbd --name USERNAME --keyring=/path/to/secret [commands]
예제
[root@rbd-client ~]# rbd --id admin --keyring=/etc/ceph/ceph.keyring [commands] [root@rbd-client ~]# rbd --name client.admin --keyring=/etc/ceph/ceph.keyring [commands]
CEPH_ARGS
환경 변수에 사용자 및 시크릿을 추가하여 매번 입력할 필요가 없습니다.
3장. 이미지 실시간 마이그레이션
스토리지 관리자는 다른 풀 간에 또는 동일한 스토리지 클러스터 내에서도 RBD 이미지를 실시간으로 마이그레이션할 수 있습니다. 다른 이미지 형식과 레이아웃과 외부 데이터 소스에서도 마이그레이션할 수 있습니다. 실시간 마이그레이션이 시작되면 소스 이미지가 대상 이미지에 복사되어 가능한 경우 스파스 데이터 할당을 유지하면서 모든 스냅샷 기록을 가져옵니다.
현재, d
커널 모듈은 실시간 마이그레이션을 지원하지 않습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
3.1. 실시간 마이그레이션 프로세스
기본적으로 스토리지 클러스터가 동일한 RBD 이미지를 실시간 마이그레이션하는 동안 소스 이미지는 읽기 전용으로 표시됩니다. 모든 클라이언트는 Input/Output(I/O)을 새 대상 이미지로 리디렉션합니다. 또한 이 모드는 소스 이미지 상위에 대한 링크를 유지하여 스파스성을 유지하거나 마이그레이션 중에 이미지를 병합하여 소스 이미지의 상위에 대한 종속성을 제거할 수 있습니다. 소스 이미지가 수정되지 않은 상태로 유지되는 가져오기 전용 모드에서 실시간 마이그레이션 프로세스를 사용할 수 있습니다. 대상 이미지를 백업 파일, HTTP(s) 파일 또는 S3 오브젝트와 같은 외부 데이터 소스에 연결할 수 있습니다. 실시간 마이그레이션 복사 프로세스는 새 대상 이미지를 사용하는 동안 백그라운드에서 안전하게 실행할 수 있습니다.
실시간 마이그레이션 프로세스는 다음 세 단계로 구성됩니다.
Preparing Migration: 첫 번째 단계는 새 대상 이미지를 생성하고 대상 이미지를 소스 이미지에 연결하는 것입니다. 가져오기 전용 모드가 구성되지 않은 경우 소스 이미지도 대상 이미지에 연결되고 읽기 전용으로 표시됩니다. 대상 이미지 내에서 초기화되지 않은 데이터 Extent를 읽으려고 하면 내부적으로 읽기를 소스 이미지로 리디렉션하고 대상 이미지 내의 초기화되지 않은 Extent에 씁니다.
마이그레이션 실행: 소스 이미지에서 대상으로 초기화된 모든 블록을 포함하는 백그라운드 작업입니다. 클라이언트가 새 대상 이미지를 적극적으로 사용하는 경우 이 단계를 실행할 수 있습니다.
마이그레이션 완료: 백그라운드 마이그레이션 프로세스가 완료되면 마이그레이션을 커밋하거나 중단할 수 있습니다. 마이그레이션을 커밋하면 소스 이미지와 대상 이미지 간 교차 링크가 제거되고 가져오기 전용 모드에서 구성되지 않은 경우 소스 이미지가 제거됩니다. 마이그레이션을 중단하면 교차 링크가 제거되고 대상 이미지가 제거됩니다.
3.2. 형식
네이티브
형식을 사용하여 Red Hat Ceph Storage 클러스터의 기본 RBD 이미지를 소스 이미지로 설명할 수 있습니다. source-spec
JSON 문서는 다음과 같이 인코딩됩니다.
구문
{ "type": "native", "pool_name": "POOL_NAME", ["pool_id": "POOL_ID",] (optional, alternative to "POOL_NAME" key) ["pool_namespace": "POOL_NAMESPACE",] (optional) "image_name": "IMAGE_NAME>", ["image_id": "IMAGE_ID",] (optional, useful if image is in trash) "snap_name": "SNAP_NAME", ["snap_id": "SNAP_ID",] (optional, alternative to "SNAP_NAME" key) }
기본 형식에는 기본
Ceph 작업을 사용하므로 stream 오브젝트가 포함되지 않습니다. 예를 들어 rbd/ns1/image1@snap1
이미지에서 가져오려면 source-spec
을 다음과 같이 인코딩할 수 있습니다.
예제
{ "type": "native", "pool_name": "rbd", "pool_namespace": "ns1", "image_name": "image1", "snap_name": "snap1" }
qcow
형식을 사용하여 QEMU COW(Copy-On-Write) 블록 장치를 설명할 수 있습니다. QCOW v1 및 v2 형식은 모두 압축, 암호화, 백업 파일, 외부 데이터 파일과 같은 고급 기능을 제외하고 현재 지원됩니다. qcow
형식 데이터를 지원되는 모든 스트림 소스에 연결할 수 있습니다.
예제
{ "type": "qcow", "stream": { "type": "file", "file_path": "/mnt/image.qcow" } }
raw
형식을 사용하여 rbd 내보내기 -export-format 1 SNAP_SPEC라는 비독 프로비저닝 원시 블록 장치 내보내기
를 설명할 수 있습니다. 지원되는 모든 스트림 소스에 원시
형식 데이터를 연결할 수 있습니다.
예제
{ "type": "raw", "stream": { "type": "file", "file_path": "/mnt/image-head.raw" }, "snapshots": [ { "type": "raw", "name": "snap1", "stream": { "type": "file", "file_path": "/mnt/image-snap1.raw" } }, ] (optional oldest to newest ordering of snapshots) }
스냅샷
배열의 포함은 선택 사항이며 현재는 유해한 프로비저닝된 원시 스냅샷 내보내기만 지원합니다.
3.3. stream
파일 스트림
파일
스트림을 사용하여 로컬 액세스 가능한 POSIX 파일 소스에서 가져올 수 있습니다.
구문
{
<format unique parameters>
"stream": {
"type": "file",
"file_path": "FILE_PATH"
}
}
예를 들어 /mnt/image.raw
에 있는 파일에서 원시 형식 이미지를 가져오려면 source-spec
JSON 파일은 다음과 같습니다.
예제
{ "type": "raw", "stream": { "type": "file", "file_path": "/mnt/image.raw" } }
HTTP 스트림
HTTP
스트림을 사용하여 원격 HTTP 또는 HTTPS 웹 서버에서 가져올 수 있습니다.
구문
{
<format unique parameters>
"stream": {
"type": "http",
"url": "URL_PATH"
}
}
예를 들어 http://download.ceph.com/image.raw
에 있는 파일에서 원시 형식 이미지를 가져오려면 source-spec
JSON 파일은 다음과 같습니다.
예제
{ "type": "raw", "stream": { "type": "http", "url": "http://download.ceph.com/image.raw" } }
S3 스트림
s3
스트림을 사용하여 원격 S3 버킷에서 가져올 수 있습니다.
구문
{ <format unique parameters> "stream": { "type": "s3", "url": "URL_PATH", "access_key": "ACCESS_KEY", "secret_key": "SECRET_KEY" } }
예를 들어 http://s3.ceph.com/bucket/image.raw
에 있는 파일에서 원시 형식 이미지를 가져오려면 해당 source-spec JSON은 다음과 같이 인코딩됩니다.
예제
{ "type": "raw", "stream": { "type": "s3", "url": "http://s3.ceph.com/bucket/image.raw", "access_key": "NX5QOQKC6BH2IDN8HC7A", "secret_key": "LnEsqNNqZIpkzauboDcLXLcYaWwLQ3Kop0zAnKIn" } }
3.4. 실시간 마이그레이션 프로세스 준비
동일한 Red Hat Ceph Storage 클러스터 내에서 RBD 이미지에 대한 기본 실시간 마이그레이션 프로세스를 준비할 수 있습니다. rbd migration prepare
명령은 rbd create
명령과 동일한 레이아웃 옵션을 모두 허용합니다. rbd create
명령을 사용하면 변경 불가능한 이미지의 디스크상 레이아웃을 변경할 수 있습니다. 디스크상의 레이아웃만 변경하고 원래 이미지 이름을 유지하려면 migration_target
인수를 건너뜁니다. 실시간 마이그레이션을 준비하기 전에 소스 이미지를 사용하는 모든 클라이언트를 중지해야 합니다. 읽기/쓰기 모드에서 이미지가 열려 있는 실행 중인 클라이언트를 발견하면 준비
단계가 실패합니다. 준비
단계가 완료되면 새 대상 이미지를 사용하여 클라이언트를 다시 시작할 수 있습니다.
소스 이미지를 사용하여 클라이언트를 다시 시작할 수 없으므로 실패합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 블록 장치 풀 두 개
- 블록 장치 이미지 1개
절차
스토리지 클러스터 내에서 실시간 마이그레이션을 준비합니다.
구문
rbd migration prepare SOURCE_POOL_NAME/SOURCE_IMAGE_NAME TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd migration prepare sourcepool1/sourceimage1 targetpool1/sourceimage1
또는
소스 이미지 이름을 바꾸려면 다음을 수행합니다.
구문
rbd migration prepare SOURCE_POOL_NAME/SOURCE_IMAGE_NAME TARGET_POOL_NAME/NEW_SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd migration prepare sourcepool1/sourceimage1 targetpool1/newsourceimage1
이 예제에서
newsourceimage1
은 이름이 변경된 소스 이미지입니다.다음 명령을 사용하여 실시간 마이그레이션 프로세스의 현재 상태를 확인할 수 있습니다.
구문
rbd status TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd status targetpool1/sourceimage1 Watchers: none Migration: source: sourcepool1/sourceimage1 (adb429cb769a) destination: targetpool2/testimage1 (add299966c63) state: prepared
중요마이그레이션 프로세스 중에 소스 이미지가 RBD로 이동되어 잘못된 사용을 방지합니다.
예제
[ceph: root@rbd-client /]# rbd info sourceimage1 rbd: error opening image sourceimage1: (2) No such file or directory
예제
[ceph: root@rbd-client /]# rbd trash ls --all sourcepool1 adb429cb769a sourceimage1
3.5. 가져오기 전용 마이그레이션 준비
rbd migration prepare
명령을 -- import-spec 또는 --source-spec 또는
실시간 마이그레이션 프로세스를 시작하여 명령줄에서 또는 파일에서 직접 소스 이미지 데이터에 액세스하는 방법을 설명하는 JSON 문서를 전달할 수 있습니다.
--source-
옵션으로 실행하여 가져오기 전용spec
-path
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 버킷과 S3 오브젝트가 생성됩니다.
절차
JSON 파일을 생성합니다.
예제
[ceph: root@rbd-client /]# cat testspec.json { "type": "raw", "stream": { "type": "s3", "url": "http:10.74.253.18:80/testbucket1/image.raw", "access_key": "RLJOCP6345BGB38YQXI5", "secret_key": "oahWRB2ote2rnLy4dojYjDrsvaBADriDDgtSfk6o" }
가져오기 전용 실시간
마이그레이션 프로세스를 준비합니다.구문
rbd migration prepare --import-only --source-spec-path "JSON_FILE" TARGET_POOL_NAME
예제
[ceph: root@rbd-client /]# rbd migration prepare --import-only --source-spec-path "testspec.json" targetpool1
참고rbd migration prepare
명령은rbd create
명령과 동일한 이미지 옵션을 모두 허용합니다.가져오기 전용 실시간
마이그레이션 상태를 확인할 수 있습니다.예제
[ceph: root@rbd-client /]# rbd status targetpool1/sourceimage1 Watchers: none Migration: source: {"stream":{"access_key":"RLJOCP6345BGB38YQXI5","secret_key":"oahWRB2ote2rnLy4dojYjDrsvaBADriDDgtSfk6o","type":"s3","url":"http://10.74.253.18:80/testbucket1/image.raw"},"type":"raw"} destination: targetpool1/sourceimage1 (b13865345e66) state: prepared
3.6. 실시간 마이그레이션 프로세스 실행
실시간 마이그레이션을 준비한 후 소스 이미지에서 대상 이미지로 이미지 블록을 복사해야 합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 블록 장치 풀 두 개
- 블록 장치 이미지 1개
절차
실시간 마이그레이션을 실행합니다.
구문
rbd migration execute TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd migration execute targetpool1/sourceimage1 Image migration: 100% complete...done.
마이그레이션 블록 딥 복사 프로세스의 진행 상황에 대한 피드백을 확인할 수 있습니다.
구문
rbd status TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd status targetpool1/sourceimage1 Watchers: none Migration: source: sourcepool1/testimage1 (adb429cb769a) destination: targetpool1/testimage1 (add299966c63) state: executed
3.7. 실시간 마이그레이션 프로세스 커밋
실시간 마이그레이션이 완료되면 소스 이미지에서 대상 이미지로 모든 데이터 블록을 딥 복사하면 마이그레이션을 커밋할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 블록 장치 풀 두 개
- 블록 장치 이미지 1개
절차
깊은 복사가 완료되면 마이그레이션을 커밋합니다.
구문
rbd migration commit TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd migration commit targetpool1/sourceimage1 Commit image migration: 100% complete...done.
검증
실시간 마이그레이션을 커밋하면 소스 이미지와 대상 이미지 간 교차 링크가 제거되고 소스 풀에서 소스 이미지도 제거됩니다.
예제
[ceph: root@rbd-client /]# rbd trash list --all sourcepool1
3.8. 실시간 마이그레이션 프로세스 중단
실시간 마이그레이션 프로세스를 되돌릴 수 있습니다. 실시간 마이그레이션을 중지하면 준비 단계와 실행 단계가 되돌립니다.
실시간 마이그레이션을 커밋하지 않은 경우에만 중단할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 블록 장치 풀 두 개
- 블록 장치 이미지 1개
절차
실시간 마이그레이션 프로세스를 중지합니다.
구문
rbd migration abort TARGET_POOL_NAME/SOURCE_IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd migration abort targetpool1/sourceimage1 Abort image migration: 100% complete...done.
검증
실시간 마이그레이션 프로세스가 중단되면 대상 이미지가 삭제되고 원래 소스 이미지에 대한 액세스가 복원됩니다.
예제
[ceph: root@rbd-client /]# rbd ls sourcepool1 sourceimage1
4장. 이미지 암호화
스토리지 관리자는 특정 RBD 이미지를 암호화하는 데 사용되는 시크릿 키를 설정할 수 있습니다. 이미지 수준 암호화는 RBD 클라이언트가 내부적으로 처리합니다.
Rest icd
모듈에서는 이미지 수준 암호화를 지원하지 않습니다.
dm-crypt
또는 QEMU
와 같은 외부 툴을 사용하여 RBD 이미지를 암호화할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 6 클러스터.
-
루트
수준 권한.
4.1. 암호화 형식
RBD 이미지는 기본적으로 암호화되지 않습니다. 지원되는 암호화 형식 중 하나로 포맷하여 RBD 이미지를 암호화할 수 있습니다. 형식 작업은 RBD 이미지에 암호화 메타데이터를 유지합니다. 암호화 메타데이터에는 암호화 형식 및 버전, 암호화 알고리즘 및 모드 사양과 같은 정보와 암호화 키를 보호하는 데 사용되는 정보가 포함됩니다.
암호화 키는 RBD 이미지에 영구 데이터로 저장되지 않는 암호인 시크릿을 유지하여 보호됩니다. 암호화 형식 작업을 수행하려면 암호화 형식, 암호화 알고리즘 및 모드 사양과 암호를 지정해야 합니다. 암호화 메타데이터는 RBD 이미지에 저장되며 현재 원시 이미지 시작 시 작성된 암호화 헤더로 저장됩니다. 즉, 암호화된 이미지의 효과적인 이미지 크기가 원시 이미지 크기보다 낮을 수 있습니다.
명시적으로 (re-) 포맷되지 않는 한 암호화된 이미지의 복제본은 본질적으로 동일한 형식과 시크릿을 사용하여 암호화됩니다.
포맷하기 전에 RBD 이미지에 기록된 모든 데이터는 스토리지 리소스를 계속 차지할 수 있음에도 불구하고 읽을 수 없게 될 수 있습니다. 저널 기능이 활성화된 RBD 이미지는 암호화할 수 없습니다.
4.2. 암호화 로드
기본적으로 모든 RBD API는 암호화되지 않은 RBD 이미지와 동일한 방식으로 암호화된 RBD 이미지를 처리합니다. 이미지 어디에서나 원시 데이터를 읽거나 쓸 수 있습니다. 이미지에 원시 데이터를 작성하면 암호화 형식의 무결성이 발생할 수 있습니다. 예를 들어 원시 데이터는 이미지 시작 부분에 있는 암호화 메타데이터를 재정의할 수 있습니다. 암호화된 RBD 이미지에서 암호화된 입력/출력(I/O) 또는 유지 관리 작업을 안전하게 수행하려면 이미지를 연 직후 추가 암호화 로드 작업을 적용해야 합니다.
암호화 로드 작업을 수행하려면 이미지 자체와 명시적으로 포맷된 각 이미지의 암호화 키 잠금을 위한 암호화 형식과 암호를 지정해야 합니다. 열린 RBD 이미지의 모든 I/O는 복제된 RBD 이미지에 대해 암호화되거나 암호 해독되며, 여기에는 상위 이미지에 대한 IO가 포함됩니다. 암호화 키는 RBD 클라이언트가 이미지가 닫힐 때까지 메모리에 저장됩니다.
RBD 이미지에 암호화가 로드되면 다른 암호화 로드 또는 형식 작업을 적용할 수 없습니다. 또한 RBD 이미지 크기를 검색하는 API 호출과 열린 이미지 컨텍스트를 사용하여 상위 중복을 수행하면 유효한 이미지 크기 및 효과적인 상위 중복이 각각 반환됩니다. RBD 이미지를 rbd-nbd
를 통해 블록 장치로 매핑하면 암호화가 자동으로 로드됩니다.
이미지 크기를 검색하고 열린 이미지 컨텍스트를 사용하여 상위 중복을 검색하기 위한 API 호출은 유효 이미지 크기와 유효 상위 중복을 반환합니다.
암호화된 이미지의 복제가 명시적으로 포맷되고, 복제된 이미지를 병합하거나 축소하는 경우 상위 스냅샷에서 복사한 이미지 형식에 따라 상위 데이터를 다시 암호화해야 하므로 투명해야 합니다. flatten 작업이 발행되기 전에 암호화가 로드되지 않으면 복제된 이미지에서 이전에 액세스할 수 있는 모든 상위 데이터가 읽을 수 없게 될 수 있습니다.
암호화된 이미지의 복제가 명시적으로 포맷된 경우 복제된 이미지를 축소하는 작업은 투명해집니다. 이는 스냅샷이 포함된 복제 이미지 또는 복제된 이미지가 오브젝트 크기에 일치하지 않는 크기로 축소되는 복제 이미지와 같은 시나리오에서 병합과 유사하게 상위 스냅샷에서 일부 데이터를 복사하는 작업이 관련되기 때문입니다. 축소 작업 전에 암호화를 로드하지 않으면 복제된 이미지에서 이전에 액세스할 수 있는 모든 상위 데이터를 읽을 수 없게 될 수 있습니다.
4.3. 지원되는 형식
Linux 통합 키 설정(LUKS) 1 및 2가 모두 지원됩니다. 데이터 레이아웃은 LUKS 사양을 완전히 준수합니다. dm-crypt
또는 QEMU
와 같은 외부 LUKS 호환 툴은 암호화된 RBD 이미지에서 암호화된 입력/출력(I/O)을 안전하게 수행할 수 있습니다. 또한 원시 LUKS 데이터를 RBD 이미지로 복사하여 외부 툴로 생성한 기존 LUKS 이미지를 가져올 수도 있습니다.
현재는 Advanced Encryption Standards (AES) 128 및 256 암호화 알고리즘만 지원됩니다. xts-plain64는 현재 유일하게 지원되는 암호화 모드입니다.
LUKS 형식을 사용하려면 다음 명령을 사용하여 RBD 이미지의 포맷을 지정합니다.
password .txt라는 파일을 생성하고 암호 를 입력해야 합니다. 선택적으로 NULL 문자가 포함될 수 있는 암호를 임의로 생성할 수 있습니다. 암호가 줄 바꿈 문자로 종료되면 제거됩니다.
구문
rbd encryption format POOL_NAME/LUKS_IMAGE luks1|luks2 PASSPHRASE_FILE
예제
[ceph: root@host01 /]# rbd encryption format pool1/luksimage1 luks1 passphrase.bin
luks1
또는 luks
암호화 형식을 선택할 수 있습니다.
암호화 형식 작업은 LUKS 헤더를 생성하고 RBD 이미지 시작 시 씁니다. 헤더에 단일 키 슬롯이 추가됩니다. keyslot에는 임의로 생성된 암호화 키가 있으며 암호 파일에서 읽은 암호로 보호됩니다. 기본적으로 xts-plain64 모드에서 AES-256은 현재 권장 모드이며 기타 LUKS 툴의 기본값이 사용됩니다. 추가 암호 추가 또는 제거는 현재 기본적으로 지원되지 않지만 cryptsetup
과 같은 LUKS 도구를 사용하여 수행할 수 있습니다. LUKS 헤더 크기는 LUKS에서 최대 136MiB까지 다를 수 있지만 설치된 libcryptsetup
버전에 따라 일반적으로 최대 16MiB입니다. 최적의 성능을 위해 암호화 형식은 데이터 오프셋을 이미지 오브젝트 크기와 일치하도록 설정합니다. 예를 들어 8MiB 오브젝트 크기로 구성된 이미지를 사용하는 경우 최소 오버헤드 8MiB를 예상합니다.
LUKS1에서 최소 암호화 단위인 섹터는 512바이트로 고정되어 있습니다. LUKS2는 더 큰 섹터를 지원하며 성능을 향상시키기 위해 기본 섹터 크기가 최대 4KiB로 설정됩니다. 섹터보다 작거나 섹터 시작에 정렬되지 않은 쓰기는 클라이언트의 보호된 읽기-수정-쓰기
체인을 트리거하여 상당한 대기 시간이 부과됩니다. 이러한 정렬되지 않은 쓰기의 배치로 인해 성능이 더 저하되는 I/O 경쟁이 발생할 수 있습니다. 들어오는 쓰기를 LUKS 섹터에 정렬할 수 없는 경우 RBD 암호화를 사용하지 않는 것이 좋습니다.
LUKS 암호화된 이미지를 매핑하려면 다음 명령을 실행합니다.
구문
rbd device map -t nbd -o encryption-format=luks1|luks2,encryption-passphrase-file=passphrase.txt POOL_NAME/LUKS_IMAGE
예제
[ceph: root@host01 /]# rbd device map -t nbd -o encryption-format=luks1,encryption-passphrase-file=passphrase.txt pool1/luksimage1
luks1
또는 luks2
암호화 형식을 선택할 수 있습니다.
보안상의 이유로 암호화 형식과 암호화 로드 작업 모두 CPU 집약적이며 완료하는 데 몇 초가 걸릴 수 있습니다. 암호화된 I/O의 경우 AES-NI가 활성화되었다고 가정하면 상대적으로 작은 마이크로초 대기 시간이 추가될 수 있으며 CPU 사용률이 작아질 수 있습니다.
4.4. 이미지 및 복제본에 암호화 형식 추가
계층화된 클라이언트 측 암호화가 지원됩니다. 복제된 이미지는 자체 형식과 암호로 암호화할 수 있으며, 이는 상위 이미지의 위치와 다를 수 있습니다.
rbd 암호화 형식 명령을 사용하여 이미지 및 복제에 암호화 형식을
추가합니다. LUKS2 형식의 이미지가 지정되면 LUKS2 형식 복제와 LUKS1- 형식 복제를 모두 생성할 수 있습니다.
사전 요구 사항
- 블록 장치(RBD)가 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
LUKS2 형식의 이미지를 생성합니다.
구문
rbd create --size SIZE POOL_NAME/LUKS_IMAGE rbd encryption format POOL_NAME/LUKS_IMAGE luks1|luks2 PASSPHRASE_FILE rbd resize --size 50G --encryption-passphrase-file PASSPHRASE_FILE POOL_NAME/LUKS_IMAGE
예제
[ceph: root@host01 /]# rbd create --size 50G mypool/myimage [ceph: root@host01 /]# rbd encryption format mypool/myimage luks2 passphrase.txt [ceph: root@host01 /]# rbd resize --size 50G --encryption-passphrase-file passphrase.txt mypool/myimage
rbd resize
명령은 LUKS2 헤더와 관련된 오버헤드를 위해 이미지를 늘립니다.LUKS2 형식 이미지를 사용하여 동일한 유효 크기로 LUKS2 포맷된 복제를 생성합니다.
구문
rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME rbd snap protect POOL_NAME/IMAGE_NAME@SNAP_NAME rbd clone POOL_NAME/IMAGE_NAME@SNAP_NAME POOL_NAME/CLONE_NAME rbd encryption format POOL_NAME/CLONE_NAME luks1 CLONE_PASSPHRASE_FILE
예제
[ceph: root@host01 /]# rbd snap create mypool/myimage@snap [ceph: root@host01 /]# rbd snap protect mypool/myimage@snap [ceph: root@host01 /]# rbd clone mypool/myimage@snap mypool/myclone [ceph: root@host01 /]# rbd encryption format mypool/myclone luks1 clone-passphrase.bin
LUKS2 형식 이미지를 사용하여 동일한 유효 크기로 LUKS1- 포맷된 복제본을 생성합니다.
구문
rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME rbd snap protect POOL_NAME/IMAGE_NAME@SNAP_NAME rbd clone POOL_NAME/IMAGE_NAME@SNAP_NAME POOL_NAME/CLONE_NAME rbd encryption format POOL_NAME/CLONE_NAME luks1 CLONE_PASSPHRASE_FILE rbd resize --size SIZE --allow-shrink --encryption-passphrase-file CLONE_PASSPHRASE_FILE --encryption-passphrase-file PASSPHRASE_FILE POOL_NAME/CLONE_NAME
예제
[ceph: root@host01 /]# rbd snap create mypool/myimage@snap [ceph: root@host01 /]# rbd snap protect mypool/myimage@snap [ceph: root@host01 /]# rbd clone mypool/myimage@snap mypool/myclone [ceph: root@host01 /]# rbd encryption format mypool/myclone luks1 clone-passphrase.bin [ceph: root@host01 /]# rbd resize --size 50G --allow-shrink --encryption-passphrase-file clone-passphrase.bin --encryption-passphrase-file passphrase.bin mypool/myclone
LUKS1 헤더는 일반적으로 LUKS2 헤더보다 작기 때문에 end의
rbd resize
명령은 복제된 이미지를 축소하여 원하는 공간 허용 범위를 제거합니다.LUKS-1 형식 이미지를 사용하여 동일한 유효 크기로 LUKS2 포맷된 복제본을 생성합니다.
구문
rbd resize --size SIZE POOL_NAME/LUKS_IMAGE rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME rbd snap protect POOL_NAME/IMAGE_NAME@SNAP_NAME rbd clone POOL_NAME/IMAGE_NAME@SNAP_NAME POOL_NAME/CLONE_NAME rbd encryption format POOL_NAME/CLONE_NAME luks2 CLONE_PASSPHRASE_FILE rbd resize --size SIZE --allow-shrink --encryption-passphrase-file PASSPHRASE_FILE POOL_NAME/LUKS_IMAGE rbd resize --size SIZE --allow-shrink --encryption-passphrase-file CLONE_PASSPHRASE_FILE --encryption-passphrase-file PASSPHRASE_FILE POOL_NAME_/CLONE_NAME
예제
[ceph: root@host01 /]# rbd resize --size 51G mypool/myimage [ceph: root@host01 /]# rbd snap create mypool/myimage@snap [ceph: root@host01 /]# rbd snap protect mypool/myimage@snap [ceph: root@host01 /]# rbd clone mypool/my-image@snap mypool/myclone [ceph: root@host01 /]# rbd encryption format mypool/myclone luks2 clone-passphrase.bin [ceph: root@host01 /]# rbd resize --size 50G --allow-shrink --encryption-passphrase-file passphrase.bin mypool/myimage [ceph: root@host01 /]# rbd resize --size 50G --allow-shrink --encryption-passphrase-file clone-passphrase.bin --encryption-passphrase-file passphrase.bin mypool/myclone
LUKS2 헤더는 일반적으로 LUKS1 헤더보다 크기 때문에 시작 시
rbd resize
명령이 상위 이미지를 임시로 확장하여 상위 스냅샷에 일부 추가 공간을 예약하고 결과적으로 복제된 이미지를 예약합니다. 이는 복제된 이미지에서 모든 상위 데이터에 액세스할 수 있도록 하는 데 필요합니다. end의rbd resize
명령은 상위 이미지를 원래 크기로 다시 축소하고 상위 스냅샷과 복제된 이미지에 영향을 미치지 않으므로 사용되지 않는 예약된 공간을 확보합니다.포맷되지 않은 이미지에는 헤더가 전혀 없기 때문에 형식화되지 않은 이미지의 포맷된 복제를 생성하는 경우에도 마찬가지입니다.
추가 리소스
-
cephadm-ansible
인벤토리에 클라이언트를 추가하는 방법에 대한 자세한 내용은 Red Hat Ceph Storage 설치 가이드 의 Ansible 인벤토리 위치 구성 섹션을 참조하십시오.
5장. 스냅샷 관리
스토리지 관리자는 Ceph의 스냅샷 기능에 익숙해지면 Red Hat Ceph Storage 클러스터에 저장된 이미지의 스냅샷과 복제를 관리할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
5.1. Ceph 블록 장치 스냅샷
스냅샷은 특정 시점에서 이미지 상태에 대한 읽기 전용 사본입니다. Ceph 블록 장치의 고급 기능 중 하나는 이미지 스냅샷을 생성하여 이미지 상태 기록을 유지할 수 있다는 것입니다. Ceph에서는 스냅샷 계층 지정도 지원하므로 이미지를 빠르고 쉽게 복제할 수 있습니다(예: 가상 머신 이미지). Ceph는 rbd
명령과 QEMU
,libvirt
, OpenStack 및 CloudStack을 포함한 많은 고급 인터페이스를 사용하여 블록 장치 스냅샷을 지원합니다.
I/O
가 발생하는 동안 스냅샷을 만든 경우 스냅샷에 이미지의 정확한 또는 최신 데이터를 가져오지 못할 수 있으며, 마운트할 수 있도록 스냅샷을 새 이미지에 복제해야 할 수 있습니다. 이미지의 스냅샷을 생성하기 전에 I/O
를 중지하는 것이 좋습니다. 이미지에 파일 시스템이 포함된 경우 스냅샷을 생성하기 전에 파일 시스템이 일관된 상태여야 합니다. I/O
를 중지하려면 fsfreeze
명령을 사용할 수 있습니다. 가상 머신의 경우 qemu-guest-agent
를 사용하여 스냅샷을 생성할 때 파일 시스템을 자동으로 정지할 수 있습니다.
그림 5.1. Ceph 블록 장치 스냅샷

추가 리소스
-
자세한 내용은
fsfreeze(8)
매뉴얼 페이지를 참조하십시오.
5.2. 블록 장치 스냅샷 생성
Ceph 블록 장치의 스냅샷을 생성합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
snap create
옵션, 풀 이름 및 이미지 이름을 지정합니다.방법 1:
구문
rbd --pool POOL_NAME snap create --snap SNAP_NAME IMAGE_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap create --snap snap1 image1
방법 2:
구문
rbd snap create POOL_NAME/IMAGE_NAME@SNAP_NAME
예제
[root@rbd-client ~]# rbd snap create pool1/image1@snap1
5.3. 블록 장치 스냅샷 나열
블록 장치 스냅샷을 나열합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀 이름과 이미지 이름을 지정합니다.
구문
rbd --pool POOL_NAME --image IMAGE_NAME snap ls rbd snap ls POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 --image image1 snap ls [root@rbd-client ~]# rbd snap ls pool1/image1
5.4. 블록 장치 스냅샷 롤백
블록 장치 스냅샷을 롤백합니다.
이미지를 스냅샷으로 롤백하면 현재 버전의 이미지를 스냅샷의 데이터로 덮어쓸 수 있습니다. 롤백을 실행하는 데 걸리는 시간은 이미지 크기에 따라 증가합니다. 이미지를 스냅샷으로 롤백하는 것보다 스냅샷에서 복제하는 것이 더 빠르고 기존 상태로 돌아가는 것이 좋습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
snap rollback
옵션, 풀 이름, 이미지 이름 및 스냅 이름을 지정합니다.구문
rbd --pool POOL_NAME snap rollback --snap SNAP_NAME IMAGE_NAME rbd snap rollback POOL_NAME/IMAGE_NAME@SNAP_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap rollback --snap snap1 image1 [root@rbd-client ~]# rbd snap rollback pool1/image1@snap1
5.5. 블록 장치 스냅샷 삭제
Ceph 블록 장치의 스냅샷을 삭제합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
블록 장치 스냅샷을 삭제하려면
snap rm
옵션, 풀 이름, 이미지 이름 및 스냅샷 이름을 지정합니다.구문
rbd --pool POOL_NAME snap rm --snap SNAP_NAME IMAGE_NAME rbd snap rm POOL_NAME-/IMAGE_NAME@SNAP_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap rm --snap snap2 image1 [root@rbd-client ~]# rbd snap rm pool1/image1@snap1
이미지에 복제본이 있는 경우 복제된 이미지에는 상위 이미지 스냅샷에 대한 참조가 유지됩니다. 상위 이미지 스냅샷을 삭제하려면 먼저 하위 이미지를 평면화해야 합니다.
Ceph OSD 데몬은 데이터를 비동기적으로 삭제하므로 스냅샷을 삭제하면 즉시 디스크 공간을 확보하지 않습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Block Device Guide 에서 복제된 이미지를 참조하십시오.
5.6. 블록 장치 스냅샷 삭제
블록 장치 스냅샷을 제거합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
snap purge
옵션 및 특정 풀에 이미지 이름을 지정합니다.구문
rbd --pool POOL_NAME snap purge IMAGE_NAME rbd snap purge POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap purge image1 [root@rbd-client ~]# rbd snap purge pool1/image1
5.7. 블록 장치 스냅샷 변경
블록 장치 스냅샷의 이름을 변경합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
스냅샷의 이름을 바꾸려면 다음을 수행합니다.
구문
rbd snap rename POOL_NAME/IMAGE_NAME@ORIGINAL_SNAPSHOT_NAME POOL_NAME/IMAGE_NAME@NEW_SNAPSHOT_NAME
예제
[root@rbd-client ~]# rbd snap rename data/dataset@snap1 data/dataset@snap2
이렇게 하면
데이터
풀의 Toolset 이미지의snap1
스냅샷의 snap1 스냅샷을snap2
로 변경합니다.-
rbd help snap rename
명령을 실행하여 스냅샷 이름 변경에 대한 추가 세부 정보를 표시합니다.
5.8. Ceph 블록 장치 계층 지정
Ceph는 블록 장치 스냅샷의 여러 COW(Copy-On-Write) 또는 COR(Copy-on-read) 복제본을 생성하는 기능을 지원합니다. 스냅샷 계층 지정을 사용하면 Ceph 블록 장치 클라이언트가 이미지를 매우 빠르게 생성할 수 있습니다. 예를 들어 Linux VM이 작성된 블록 장치 이미지를 생성할 수 있습니다. 그런 다음 이미지를 스냅샷하고 스냅샷을 보호한 후 원하는 만큼 복제본을 생성합니다. 스냅샷은 읽기 전용이므로 스냅샷 복제를 통해 의미 체계를 단순화하여 복제를 빠르게 생성할 수 있습니다.
그림 5.2. Ceph Block 장치 계층 지정

상위 용어와 하위
용어는 Ceph 블록 장치 스냅샷, 상위 및 스냅샷 하위에서 복제된 해당 이미지를 의미합니다. 이러한 용어는 아래의 명령줄 사용에 중요합니다.
각 복제된 이미지인 하위에서는 상위 이미지에 대한 참조를 저장하므로 복제된 이미지에서 상위 스냅샷을 열고 읽을 수 있습니다. 이 참조는 스냅샷의 정보가 복제에 완전히 복사될 때 복제를 병합
할 때 제거됩니다.
스냅샷 복제는 다른 Ceph 블록 장치 이미지와 동일하게 작동합니다. 복제된 이미지를 읽고, 쓰고, 복제하고, 크기를 조정할 수 있습니다. 복제된 이미지에는 특별한 제한 사항이 없습니다. 그러나 스냅샷 복제는 스냅샷을 참조하므로 복제하기 전에 스냅샷을 보호합니다.
스냅샷 복제본은 COW(Copy-On-Write) 또는 COR(Copy-On-read) 복제일 수 있습니다. COW(Copy-On-Write)는 복제본에 대해 항상 활성화되어 있으며 COR(Copy-on-read)을 명시적으로 활성화해야 합니다. COW(Copy-On-Write)는 복제본 내의 할당되지 않은 오브젝트에 쓸 때 부모의 데이터를 복제본에 복사합니다. COR(Copy-On-Read)은 복제본 내의 할당되지 않은 오브젝트에서 읽을 때 부모의 데이터를 복제로 복사합니다. 복제에서 데이터를 읽는 경우 오브젝트가 복제본에 아직 존재하지 않는 경우에만 부모의 데이터를 읽습니다. RADOS 블록 장치는 대규모 이미지를 여러 오브젝트로 나눕니다. 기본값은 4MB로 설정되고 모든 COW(Copy-On-Write) 및 COR(Copy-on-read) 작업이 전체 개체에서 발생하며 복제본에 1바이트를 쓰는 경우 복제에 1바이트를 쓰고 대상 개체가 이전 COW/COR 작업의 복제본에 아직 존재하지 않는 경우 복제에 기록됩니다.
COR(Copy-On-read)을 사용할 수 있는지 여부에 관계없이 복제에서 기본 개체를 읽고 충족할 수 없는 모든 읽기가 부모로 다시 라우팅됩니다. 부모의 수에 제한이 없기 때문에 복제를 복제 할 수 있습니다.이 reroute는 개체를 발견하거나 기본 상위 이미지에 도달할 때까지 계속됩니다. COR(Copy-On-read)이 활성화된 경우 복제에서 직접 충족하지 못하는 읽기를 통해 상위에서 전체 오브젝트를 읽고 복제에 해당 데이터를 복제하여 상위에서 읽을 필요 없이 복제 자체에서 동일한 범위를 읽을 수 있습니다.
이는 기본적으로 필요에 따라 개체별 개체 flatten 작업입니다. 이 기능은 복제본이 다른 지리적 위치에 있는 다른 풀의 부모인 상위 연결보다 대기 시간이 긴 연결에 있는 경우에 특히 유용합니다. COR(Copy-On-Read)은 읽기의 모호한 대기 시간을 줄입니다. 처음 몇 개의 읽기는 상위에서 추가 데이터를 읽을 수 있으므로 대기 시간이 길지만 복제에서 1바이트를 읽을 수 있지만 이제 4MB를 부모에서 읽고 복제에 쓸 수 있지만 향후 모든 읽기는 복제 자체에서 제공됩니다.
스냅샷에서 COR(Copy-on-read) 복제를 생성하려면 ceph.conf
파일의 rbd_clone_copy_on_read = true
를 추가하여 이 기능을 명시적으로 활성화해야 합니다.
추가 리소스
-
flattening
에 대한 자세한 내용은 Red Hat Ceph Storage Block Device Gudie 의 복제된 이미지 섹션을 참조하십시오.
5.9. 블록 장치 스냅샷 보호
복제는 상위 스냅샷에 액세스합니다. 사용자가 실수로 상위 스냅샷을 삭제하면 모든 복제본이 손상됩니다.
set-require-min-compat-client
매개변수를 Ceph의 모방 버전보다 크거나 같은 값으로 설정할 수 있습니다.
예제
ceph osd set-require-min-compat-client mimic
기본적으로 복제본 v2가 생성됩니다. 그러나 mimic보다 오래된 클라이언트는 블록 장치 이미지에 액세스할 수 없습니다.
복제본 v2에서는 스냅샷을 보호할 필요가 없습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
다음 명령에서
POOL_NAME
,IMAGE_NAME
,SNAP_SHOT_NAME
을 지정합니다.구문
rbd --pool POOL_NAME snap protect --image IMAGE_NAME --snap SNAPSHOT_NAME rbd snap protect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap protect --image image1 --snap snap1 [root@rbd-client ~]# rbd snap protect pool1/image1@snap1
참고보호된 스냅샷은 삭제할 수 없습니다.
5.10. 블록 장치 스냅샷 복제
블록 장치 스냅샷을 복제하여 동일한 풀 또는 다른 풀에서 스냅샷의 읽기 또는 쓰기 하위 이미지를 생성합니다. 한 가지 사용 사례는 읽기 전용 이미지와 스냅샷을 하나의 풀에서 템플릿으로 유지하고 다른 풀에서 쓰기 가능한 클론을 유지하는 것입니다.
복제본 v2에서는 스냅샷을 보호할 필요가 없습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
스냅샷을 복제하려면 상위 풀, 스냅샷, 하위 풀 및 이미지 이름을 지정해야 합니다.
구문
rbd snap --pool POOL_NAME --image PARENT_IMAGE --snap SNAP_NAME --dest-pool POOL_NAME --dest CHILD_IMAGE_NAME rbd clone POOL_NAME/PARENT_IMAGE@SNAP_NAME POOL_NAME/CHILD_IMAGE_NAME
예제
[root@rbd-client ~]# rbd clone --pool pool1 --image image1 --snap snap2 --dest-pool pool2 --dest childimage1 [root@rbd-client ~]# rbd clone pool1/image1@snap1 pool1/childimage1
5.11. 블록 장치 스냅샷 보호 해제
스냅샷을 삭제하기 전에 먼저 보호를 해제해야 합니다. 또한 복제본에서 참조가 있는 스냅샷을 삭제할 수 없습니다. 스냅샷을 삭제하기 전에 스냅샷의 각 복제본을 평면화해야 합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
다음 명령을 실행합니다.
구문
rbd --pool POOL_NAME snap unprotect --image IMAGE_NAME --snap SNAPSHOT_NAME rbd snap unprotect POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 snap unprotect --image image1 --snap snap1 [root@rbd-client ~]# rbd snap unprotect pool1/image1@snap1
5.12. 스냅샷의 하위 항목 나열
스냅샷의 하위 항목을 나열합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
스냅샷의 하위 항목을 나열하려면 다음을 실행합니다.
구문
rbd --pool POOL_NAME children --image IMAGE_NAME --snap SNAP_NAME rbd children POOL_NAME/IMAGE_NAME@SNAPSHOT_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 children --image image1 --snap snap1 [root@rbd-client ~]# rbd children pool1/image1@snap1
5.13. 복제된 이미지 병합
복제된 이미지에는 상위 스냅샷에 대한 참조가 유지됩니다. 하위 복제본에서 상위 스냅샷에 대한 참조를 제거하면 스냅샷의 정보를 복제본에 복사하여 이미지를 "플래그"합니다. 복제를 병합하는 데 걸리는 시간은 스냅샷 크기와 함께 증가합니다. 병합된 이미지에는 스냅샷의 모든 정보가 포함되어 있으므로 병합된 이미지는 계층화된 복제본보다 더 많은 스토리지 공간을 사용합니다.
이미지에서 딥 flatten
기능을 활성화하면 기본적으로 이미지 복제가 부모와 분리됩니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
하위 이미지와 연결된 상위 이미지 스냅샷을 삭제하려면 먼저 하위 이미지를 평면화해야 합니다.
구문
rbd --pool POOL_NAME flatten --image IMAGE_NAME rbd flatten POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd --pool pool1 flatten --image childimage1 [root@rbd-client ~]# rbd flatten pool1/childimage1
6장. Ceph 블록 장치 미러링
스토리지 관리자는 Red Hat Ceph Storage 클러스터 간에 데이터 이미지를 미러링하여 Ceph 블록 장치에 다른 중복 계층을 추가할 수 있습니다. Ceph 블록 장치 미러링을 이해하고 사용하면 사이트 오류와 같은 데이터 손실을 방지할 수 있습니다. Ceph 블록 장치, 단방향 미러링 또는 양방향 미러링을 위한 두 가지 구성이 있으며 풀과 개별 이미지에서 미러링을 구성할 수 있습니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- 두 스토리지 클러스터 간 네트워크 연결.
- 각 Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 액세스합니다.
- 관리자 수준 기능이 있는 CephX 사용자.
6.1. Ceph 블록 장치 미러링
RADOS 블록 장치(RBD) 미러링은 두 개 이상의 Ceph 스토리지 클러스터 간의 Ceph 블록 장치 이미지의 비동기 복제 프로세스입니다. RBD 미러링은 다른 지리적 위치에서 Ceph 스토리지 클러스터를 찾아 사이트 재해에서 복구하는 데 도움이 될 수 있습니다. FlexVolume 기반 Ceph 블록 장치 미러링은 읽기 및 쓰기, 블록 장치 크기 조정, 스냅샷, 복제 및 병합 등 이미지의 모든 변경 사항에 대한 시점의 일관성을 유지합니다.
RBD 미러링은 전용 잠금과 저널링 기능을 사용하여 이미지의 모든 수정 사항이 발생하는 순서대로 기록합니다. 이렇게 하면 충돌 일관성 있는 이미지의 미러를 사용할 수 있습니다.
블록 장치 이미지를 미러링하는 기본 및 보조 풀을 지원하는 hierarchies는 동일한 용량 및 성능 특성을 보유해야 하며, 과도한 대기 시간 없이 미러링을 보장하기 위해 적절한 대역폭이 있어야 합니다. 예를 들어 기본 스토리지 클러스터의 이미지에 대한 XMB/s 평균 쓰기 처리량이 있는 경우 네트워크는 보조 사이트에 대한 네트워크 연결에서 N * X 처리량과 Y%의 안전 요소가 N 이미지를 미러링해야 합니다.
rbd-mirror
데몬은 원격 기본 이미지에서 변경 사항을 가져와서 초기이 아닌 로컬 이미지에 변경 사항을 작성하여 Ceph 스토리지 클러스터에서 다른 Ceph 스토리지 클러스터로 이미지를 동기화합니다. rbd-mirror
데몬은 단방향 미러링을 위해 단일 Ceph 스토리지 클러스터에서 또는 미러링 관계에 참여하는 양방향 미러링을 위해 두 개의 Ceph 스토리지 클러스터에서 실행할 수 있습니다.
단방향 또는 양방향 복제를 사용하여 RBD 미러링이 작동하려면 다음과 같은 몇 가지 가정이 수행됩니다.
- 두 스토리지 클러스터에 동일한 이름의 풀이 있습니다.
- 풀에는 미러링할 저널 지원 이미지가 포함되어 있습니다.
단방향 또는 양방향 복제에서 rbd-mirror
의 각 인스턴스는 다른 Ceph 스토리지 클러스터에 동시에 연결할 수 있어야 합니다. 또한 미러링을 처리하기 위해 두 데이터 센터 사이트 간에 네트워크에 충분한 대역폭이 있어야 합니다.
단방향 복제
단방향 미러링은 하나의 스토리지 클러스터의 기본 이미지 또는 이미지 풀이 보조 스토리지 클러스터에 복제됨을 의미합니다. 단방향 미러링은 또한 여러 보조 스토리지 클러스터로의 복제를 지원합니다.
보조 스토리지 클러스터에서 이미지는 기본 복제이므로 Ceph 클라이언트가 이미지에 쓸 수 없습니다. 기본 스토리지 클러스터에서 보조 스토리지 클러스터로 데이터를 미러링하면 rbd-mirror
는 보조 스토리지 클러스터에서만 실행됩니다.
단방향 미러링이 작동하려면 다음과 같은 몇 가지 가정이 수행됩니다.
- 두 개의 Ceph 스토리지 클러스터가 있으며 기본 스토리지 클러스터에서 보조 스토리지 클러스터로 이미지를 복제하려고 합니다.
-
보조 스토리지 클러스터에는
rbd-mirror
데몬을 실행하는 Ceph 클라이언트 노드가 연결되어 있습니다.rbd-mirror
데몬은 기본 스토리지 클러스터에 연결하여 이미지를 보조 스토리지 클러스터에 동기화합니다.
그림 6.1. 단방향 미러링

양방향 복제
양방향 복제는 기본 클러스터에 rbd-mirror
데몬을 추가하여 이미지를 시연하고 보조 클러스터에서 승격할 수 있습니다. 그런 다음 보조 클러스터의 이미지를 변경할 수 있으며 보조 클러스터에서 기본으로 역방향 방향으로 복제됩니다. 두 클러스터에 모두 두 클러스터에서 이미지를 승격하고 시연할 수 있도록 rbd-mirror
가 실행 중이어야 합니다. 현재 양방향 복제는 두 사이트 간에만 지원됩니다.
양방향 미러링이 작동하려면 다음과 같은 두 가지 가정이 수행됩니다.
- 두 개의 스토리지 클러스터가 있으며, 두 가지 방향으로 이미지를 복제할 수 있습니다.
-
두 스토리지 클러스터에는 모두
rbd-mirror
데몬을 실행하는 클라이언트 노드가 연결되어 있습니다. 보조 스토리지 클러스터에서 실행되는rbd-mirror
데몬은 기본 스토리지 클러스터에 연결하여 이미지를 보조에 동기화하고 기본 스토리지 클러스터에서 실행되는rbd-mirror
데몬이 보조 스토리지 클러스터에 연결하여 이미지를 primary에 동기화합니다.
그림 6.2. 양방향 미러링

미러링 모드
미러링은 미러 피어링 스토리지 클러스터를 사용하여 풀별로 구성됩니다. Ceph는 풀의 이미지 유형에 따라 두 개의 미러링 모드를 지원합니다.
- 풀 모드
- 저널링 기능이 활성화된 풀의 이미지가 미러링됩니다.
- 이미지 모드
- 풀 내의 특정 이미지 하위 집합만 미러링됩니다. 각 이미지에 대해 별도로 미러링을 활성화해야 합니다.
이미지 상태
이미지를 수정할 수 있는지의 여부는 해당 상태에 따라 다릅니다.
- 기본 상태의 이미지를 수정할 수 있습니다.
- 비기본 상태의 이미지는 수정할 수 없습니다.
이미지에서 미러링이 처음 활성화되면 이미지가 자동으로 기본으로 승격됩니다. 승격은 발생할 수 있습니다.
- 풀 모드에서 미러링을 활성화하여 암시적으로 설정합니다.
- 특정 이미지의 미러링을 활성화하여 명시적으로 설정합니다.
기본 이미지를 시연하고 비기본 이미지를 승격할 수 있습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의 풀에서 미러링 활성화 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의 이미지 미러링 활성화 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의 이미지 승격 및 데모 섹션을 참조하십시오.
6.1.1. 저널 기반 및 스냅샷 기반 미러링 개요
RADOS 블록 장치(RBD) 이미지는 다음 두 가지 모드를 통해 두 개의 Red Hat Ceph Storage 클러스터 간에 비동기식으로 미러링할 수 있습니다.
FlexVolume 기반 미러링
이 모드에서는 RBD 저널링 이미지 기능을 사용하여 시점을 유지하고 두 Red Hat Ceph Storage 클러스터 간의 일관된 복제를 보장합니다. RBD 이미지에 대한 모든 쓰기가 먼저 관련 저널에 기록될 때까지 실제 이미지는 수정되지 않습니다. 원격 클러스터는 이 저널에서 읽고 이미지의 로컬 사본에 대한 업데이트를 재생합니다. RBD 이미지에 쓸 때마다 Ceph 클러스터에 대한 쓰기가 두 개이므로 RBD 저널링 이미지 기능을 사용하여 쓰기 대기 시간을 거의 두 배로 늘립니다.
스냅샷 기반 미러링
이 모드는 예약 또는 수동으로 생성된 RBD 이미지 미러 스냅샷을 사용하여 두 개의 Red Hat Ceph Storage 클러스터 간에 충돌 일관된 RBD 이미지를 복제합니다. 원격 클러스터는 두 미러 스냅샷 간의 데이터 또는 메타데이터 업데이트를 결정하고 해당 이미지를 이미지의 로컬 사본에 복사합니다. RBD fast-diff
이미지 기능을 사용하면 전체 RBD 이미지를 검사하지 않고도 업데이트된 데이터 블록을 빠르게 확인할 수 있습니다. 장애 조치(failover) 시나리오에서 사용하기 전에 두 스냅샷 간의 전체 snapshot을 동기화해야 합니다. 부분적으로 적용된 모든 8.3은 장애 조치(failover) 시 롤백됩니다.
6.2. 명령줄 인터페이스를 사용하여 단방향 미러링 구성
이 절차에서는 기본 스토리지 클러스터에서 보조 스토리지 클러스터로 풀의 일회성 복제를 구성합니다.
단방향 복제를 사용하는 경우 여러 보조 스토리지 클러스터에 미러링할 수 있습니다.
이 섹션의 예제에서는 기본 이미지가 site-a
인 기본 스토리지 클러스터와 이미지를 복제하는 보조 스토리지 클러스터를 site-b
로 참조하여 두 스토리지 클러스터를 구분합니다. 이러한 예제에서 사용되는 풀 이름은 data
라고 합니다.
사전 요구 사항
- 최소 2개의 정상 및 Red Hat Ceph Storage 클러스터를 실행합니다.
- 각 스토리지 클러스터에 대한 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
절차
두 사이트 모두에서
cephadm
쉘에 로그인합니다.예제
[root@site-a ~]# cephadm shell [root@site-b ~]# cephadm shell
site-b
에서 보조 클러스터에서 미러 데몬 배포를 예약합니다.구문
ceph orch apply rbd-mirror --placement=NODENAME
예제
[ceph: root@site-b /]# ceph orch apply rbd-mirror --placement=host04
참고nodename
은 보조 클러스터에서 미러링을 구성할 호스트입니다.site-a
의 이미지에서 저널링 기능을 활성화합니다.새 이미지 의 경우
--image-feature
옵션을 사용합니다.구문
rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE FEATURE
예제
[ceph: root@site-a /]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
참고exclusive-lock
이 이미 활성화된 경우journaling
을 유일한 인수로 사용합니다. 그러지 않으면 다음 오류가 반환됩니다.one or more requested features are already enabled (22) Invalid argument
기존 이미지 의 경우
rbd 기능 enable
명령을 사용합니다.구문
rbd feature enable POOL_NAME/IMAGE_NAME FEATURE, FEATURE
예제
[ceph: root@site-a /]# rbd feature enable data/image1 exclusive-lock, journaling
기본적으로 모든 새 이미지에서 저널링을 활성화하려면
ceph config set
명령을 사용하여 configuration 매개변수를 설정합니다.예제
[ceph: root@site-a /]# ceph config set global rbd_default_features 125 [ceph: root@site-a /]# ceph config show mon.host01 rbd_default_features
두 스토리지 클러스터에서 모두 미러링 모드(풀 또는 이미지 모드)를 선택합니다.
풀 모드 활성화 :
구문
rbd mirror pool enable POOL_NAME MODE
예제
[ceph: root@site-a /]# rbd mirror pool enable data pool [ceph: root@site-b /]# rbd mirror pool enable data pool
이 예제에서는
data
라는 전체 풀을 미러링할 수 있습니다.이미지 모드 활성화:
구문
rbd mirror pool enable POOL_NAME MODE
예제
[ceph: root@site-a /]# rbd mirror pool enable data image [ceph: root@site-b /]# rbd mirror pool enable data image
이 예제에서는
data
라는 풀에서 이미지 모드 미러링을 활성화합니다.참고풀의 특정 이미지에서 미러링을 활성화하려면 자세한 내용은 Red Hat Ceph Storage Block Device Guide 의 이미지 미러링 활성화 섹션을 참조하십시오.
두 사이트에서 미러링이 성공적으로 활성화되었는지 확인합니다.
구문
rbd mirror pool info POOL_NAME
예제
[ceph: root@site-a /]# rbd mirror pool info data Mode: pool Site Name: c13d8065-b33d-4cb5-b35f-127a02768e7f Peer Sites: none [ceph: root@site-b /]# rbd mirror pool info data Mode: pool Site Name: a4c667e2-b635-47ad-b462-6faeeee78df7 Peer Sites: none
Ceph 클라이언트 노드에서 스토리지 클러스터 피어를 부트스트랩합니다.
Ceph 사용자 계정을 생성하고 스토리지 클러스터 피어를 풀에 등록합니다.
구문
rbd mirror pool peer bootstrap create --site-name PRIMARY_LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-a /]# rbd mirror pool peer bootstrap create --site-name site-a data > /root/bootstrap_token_site-a
참고이 예제 bootstrap 명령은
client.rbd-mirror.site-a
및client.rbd-mirror-peer
Ceph 사용자를 생성합니다.-
부트스트랩 토큰 파일을
site-b
스토리지 클러스터에 복사합니다. site-b
스토리지 클러스터에서 부트스트랩 토큰을 가져옵니다.구문
rbd mirror pool peer bootstrap import --site-name SECONDARY_LOCAL_SITE_NAME --direction rx-only POOL_NAME PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-b /]# rbd mirror pool peer bootstrap import --site-name site-b --direction rx-only data /root/bootstrap_token_site-a
참고단방향 RBD 미러링의 경우 피어 부트스트랩 시 양방향 미러링이 기본값이므로
--direction rx-only
인수를 사용해야 합니다.
미러링 상태를 확인하려면 기본 및 보조 사이트의 Ceph Monitor 노드에서 다음 명령을 실행합니다.
구문
rbd mirror image status POOL_NAME/IMAGE_NAME
예제
[ceph: root@mon-site-a /]# rbd mirror image status data/image1 image1: global_id: c13d8065-b33d-4cb5-b35f-127a02768e7f state: up+stopped description: remote image is non-primary service: host03.yuoosv on host03 last_update: 2021-10-06 09:13:58
여기서
up
은rbd-mirror
데몬이 실행 중임을 나타내며중지됨
은 이 이미지가 다른 스토리지 클러스터의 복제 대상이 아님을 의미합니다. 이 스토리지 클러스터에서 이미지가 기본이기 때문입니다.예제
[ceph: root@mon-site-b /]# rbd mirror image status data/image1 image1: global_id: c13d8065-b33d-4cb5-b35f-127a02768e7f
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
- Ceph 사용자에 대한 자세한 내용은 Red Hat Ceph Storage 관리 가이드 의 사용자 관리 섹션을 참조하십시오. https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/6/html-single/administration_guide/#ceph-user-management
6.3. 명령줄 인터페이스를 사용하여 양방향 미러링 구성
이 절차에서는 기본 스토리지 클러스터와 보조 스토리지 클러스터 간에 풀의 양방향 복제를 구성합니다.
양방향 복제를 사용하는 경우 두 스토리지 클러스터 간에만 미러링할 수 있습니다.
이 섹션의 예제에서는 기본 이미지가 site-a
인 기본 스토리지 클러스터와 이미지를 복제하는 보조 스토리지 클러스터를 site-b
로 참조하여 두 스토리지 클러스터를 구분합니다. 이러한 예제에서 사용되는 풀 이름은 data
라고 합니다.
사전 요구 사항
- 최소 2개의 정상 및 Red Hat Ceph Storage 클러스터를 실행합니다.
- 각 스토리지 클러스터에 대한 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
절차
두 사이트 모두에서
cephadm
쉘에 로그인합니다.예제
[root@site-a ~]# cephadm shell [root@site-b ~]# cephadm shell
기본 클러스터에서 다음 명령을 실행합니다.
예제
[ceph: root@site-a /]# ceph orch apply rbd-mirror --placement=host01
참고nodename
은 미러링을 구성할 호스트입니다.site-b
에서 보조 클러스터에서 미러 데몬 배포를 예약합니다.구문
ceph orch apply rbd-mirror --placement=NODENAME
예제
[ceph: root@site-b /]# ceph orch apply rbd-mirror --placement=host04
참고nodename
은 보조 클러스터에서 미러링을 구성할 호스트입니다.site-a
의 이미지에서 저널링 기능을 활성화합니다.새 이미지 의 경우
--image-feature
옵션을 사용합니다.구문
rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE FEATURE
예제
[ceph: root@site-a /]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling
참고exclusive-lock
이 이미 활성화된 경우journaling
을 유일한 인수로 사용합니다. 그러지 않으면 다음 오류가 반환됩니다.one or more requested features are already enabled (22) Invalid argument
기존 이미지 의 경우
rbd 기능 enable
명령을 사용합니다.구문
rbd feature enable POOL_NAME/IMAGE_NAME FEATURE, FEATURE
예제
[ceph: root@site-a /]# rbd feature enable data/image1 exclusive-lock, journaling
기본적으로 모든 새 이미지에서 저널링을 활성화하려면
ceph config set
명령을 사용하여 configuration 매개변수를 설정합니다.예제
[ceph: root@site-a /]# ceph config set global rbd_default_features 125 [ceph: root@site-a /]# ceph config show mon.host01 rbd_default_features
두 스토리지 클러스터에서 모두 미러링 모드(풀 또는 이미지 모드)를 선택합니다.
풀 모드 활성화 :
구문
rbd mirror pool enable POOL_NAME MODE
예제
[ceph: root@site-a /]# rbd mirror pool enable data pool [ceph: root@site-b /]# rbd mirror pool enable data pool
이 예제에서는
data
라는 전체 풀을 미러링할 수 있습니다.이미지 모드 활성화:
구문
rbd mirror pool enable POOL_NAME MODE
예제
[ceph: root@site-a /]# rbd mirror pool enable data image [ceph: root@site-b /]# rbd mirror pool enable data image
이 예제에서는
data
라는 풀에서 이미지 모드 미러링을 활성화합니다.참고풀의 특정 이미지에서 미러링을 활성화하려면 자세한 내용은 Red Hat Ceph Storage Block Device Guide 의 이미지 미러링 활성화 섹션을 참조하십시오.
두 사이트에서 미러링이 성공적으로 활성화되었는지 확인합니다.
구문
rbd mirror pool info POOL_NAME
예제
[ceph: root@site-a /]# rbd mirror pool info data Mode: pool Site Name: c13d8065-b33d-4cb5-b35f-127a02768e7f Peer Sites: none [ceph: root@site-b /]# rbd mirror pool info data Mode: pool Site Name: a4c667e2-b635-47ad-b462-6faeeee78df7 Peer Sites: none
Ceph 클라이언트 노드에서 스토리지 클러스터 피어를 부트스트랩합니다.
Ceph 사용자 계정을 생성하고 스토리지 클러스터 피어를 풀에 등록합니다.
구문
rbd mirror pool peer bootstrap create --site-name PRIMARY_LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-a /]# rbd mirror pool peer bootstrap create --site-name site-a data > /root/bootstrap_token_site-a
참고이 예제 bootstrap 명령은
client.rbd-mirror.site-a
및client.rbd-mirror-peer
Ceph 사용자를 생성합니다.-
부트스트랩 토큰 파일을
site-b
스토리지 클러스터에 복사합니다. site-b
스토리지 클러스터에서 부트스트랩 토큰을 가져옵니다.구문
rbd mirror pool peer bootstrap import --site-name SECONDARY_LOCAL_SITE_NAME --direction rx-tx POOL_NAME PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-b /]# rbd mirror pool peer bootstrap import --site-name site-b --direction rx-tx data /root/bootstrap_token_site-a
참고--direction
인수는 선택 사항이며 양방향 미러링은 피어를 부트 스트랩할 때 기본값입니다.
미러링 상태를 확인하려면 기본 및 보조 사이트의 Ceph Monitor 노드에서 다음 명령을 실행합니다.
구문
rbd mirror image status POOL_NAME/IMAGE_NAME
예제
[ceph: root@mon-site-a /]# rbd mirror image status data/image1 image1: global_id: a4c667e2-b635-47ad-b462-6faeeee78df7 state: up+stopped description: local image is primary service: host03.glsdbv on host03.ceph.redhat.com last_update: 2021-09-16 10:55:58 peer_sites: name: a state: up+stopped description: replaying, {"bytes_per_second":0.0,"entries_behind_primary":0,"entries_per_second":0.0,"non_primary_position":{"entry_tid":3,"object_number":3,"tag_tid":1},"primary_position":{"entry_tid":3,"object_number":3,"tag_tid":1}} last_update: 2021-09-16 10:55:50
여기서
up
은rbd-mirror
데몬이 실행 중임을 나타내며중지됨
은 이 이미지가 다른 스토리지 클러스터의 복제 대상이 아님을 의미합니다. 이 스토리지 클러스터에서 이미지가 기본이기 때문입니다.예제
[ceph: root@mon-site-b /]# rbd mirror image status data/image1 image1: global_id: a4c667e2-b635-47ad-b462-6faeeee78df7 state: up+replaying description: replaying, {"bytes_per_second":0.0,"entries_behind_primary":0,"entries_per_second":0.0,"non_primary_position":{"entry_tid":3,"object_number":3,"tag_tid":1},"primary_position":{"entry_tid":3,"object_number":3,"tag_tid":1}} service: host05.dtisty on host05 last_update: 2021-09-16 10:57:20 peer_sites: name: b state: up+stopped description: local image is primary last_update: 2021-09-16 10:57:28
이미지가
up+replaying
상태에 있는 경우 미러링이 제대로 작동합니다. 여기서up
은rbd-mirror
데몬이 실행 중임을 나타내며재생
은 이 이미지가 다른 스토리지 클러스터의 복제 대상임을 의미합니다.참고사이트 간 연결에 따라 미러링은 이미지를 동기화하는 데 시간이 오래 걸릴 수 있습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
- Ceph 사용자에 대한 자세한 내용은 Red Hat Ceph Storage 관리 가이드 의 사용자 관리 섹션을 참조하십시오. https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/6/html-single/administration_guide/#ceph-user-management
6.4. Ceph 블록 장치 미러링을 위한 관리
스토리지 관리자는 Ceph 블록 장치 미러링 환경을 관리하는 데 도움이 되는 다양한 작업을 수행할 수 있습니다. 다음 작업을 수행할 수 있습니다.
- 스토리지 클러스터 피어에 대한 정보 보기
- 스토리지 클러스터 피어를 추가하거나 제거합니다.
- 풀 또는 이미지의 미러링 상태 가져오기
- 풀 또는 이미지에서 미러링 활성화.
- 풀 또는 이미지에서 미러링을 비활성화합니다.
- 블록 장치 복제 지연.
- 이미지 승격 및 시연.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 단방향 또는 양방향 Ceph 블록 장치 미러링 관계입니다.
- 관리자 수준 기능이 있는 CephX 사용자.
6.4.1. 피어에 대한 정보 보기
스토리지 클러스터 피어에 대한 정보를 봅니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
피어에 대한 정보를 보려면 다음을 수행합니다.
구문
rbd mirror pool info POOL_NAME
예제
[root@rbd-client ~]# rbd mirror pool info data Mode: pool Site Name: a Peer Sites: UUID: 950ddadf-f995-47b7-9416-b9bb233f66e3 Name: b Mirror UUID: 4696cd9d-1466-4f98-a97a-3748b6b722b3 Direction: rx-tx Client: client.rbd-mirror-peer
6.4.2. 풀에서 미러링 활성화
두 피어 클러스터에서 다음 명령을 실행하여 풀에서 미러링을 활성화합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀에서 미러링을 활성화하려면 다음을 수행합니다.
구문
rbd mirror pool enable POOL_NAME MODE
예제
[root@rbd-client ~]# rbd mirror pool enable data pool
이 예제에서는
data
라는 전체 풀을 미러링할 수 있습니다.예제
[root@rbd-client ~]# rbd mirror pool enable data image
이 예제에서는
data
라는 풀에서 이미지 모드 미러링을 활성화합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.4.3. 풀에서 미러링 비활성화
미러링을 비활성화하기 전에 피어 클러스터를 제거합니다.
풀에서 미러링을 비활성화하면 미러링이 이미지 모드에서 별도로 활성화된 풀 내의 모든 이미지에서도 이를 비활성화합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀에서 미러링을 비활성화하려면 다음을 수행합니다.
구문
rbd mirror pool disable POOL_NAME
예제
[root@rbd-client ~]# rbd mirror pool disable data
이 예제에서는
data
라는 풀의 미러링을 비활성화합니다.
6.4.4. 이미지 미러링 활성화
두 피어 스토리지 클러스터에서 모두 이미지 모드의 전체 풀에서 미러링을 활성화합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀 내에서 특정 이미지에 대해 미러링을 활성화합니다.
구문
rbd mirror image enable POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image enable data/image2
이 예제에서는
data
풀에서image2
이미지에 대해 미러링을 활성화합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의 풀에서 미러링 활성화 섹션을 참조하십시오.
6.4.5. 이미지 미러링 비활성화
이미지에서 Ceph Block 장치 미러링을 비활성화할 수 있습니다.
사전 요구 사항
- 스냅샷 기반 미러링이 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
특정 이미지에 대한 미러링을 비활성화하려면 다음을 수행합니다.
구문
rbd mirror image disable POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image disable data/image2
이 예제에서는
데이터
풀에서image2
이미지 미러링을 비활성화합니다.
추가 리소스
-
cephadm-ansible
인벤토리에 클라이언트를 추가하는 방법에 대한 자세한 내용은 Red Hat Ceph Storage 설치 가이드 의 Ansible 인벤토리 위치 구성 섹션을 참조하십시오.
6.4.6. 이미지 승격 및 데모
풀에서 이미지를 승격하거나 시연할 수 있습니다.
승격 후 이미지가 유효하지 않기 때문에 초기 이외의 이미지를 강제로 승격하지 마십시오.
사전 요구 사항
- 스냅샷 기반 미러링이 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
비기본 이미지로 이미지를 시연하려면 다음을 수행합니다.
구문
rbd mirror image demote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image demote data/image2
이 예제에서는
data
풀에서image2
이미지를 보여줍니다.이미지를 primary로 승격하려면 다음을 수행합니다.
구문
rbd mirror image promote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image promote data/image2
이 예제에서는
데이터
풀에서image2
를 승격합니다.사용 중인 미러링 유형에 따라 단방향 미러링을 사용하여 재해 복구 또는 양방향 미러링 이 있는 재해에서 복구를 참조하십시오.
구문
rbd mirror image promote --force POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image promote --force data/image2
데모를 피어 Ceph 스토리지 클러스터로 전파할 수 없는 경우 강제 승격을 사용합니다. 예를 들어 클러스터 오류 또는 통신 중단으로 인해 발생합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드 의 순서가 지정되지 않은 종료 섹션을 참조하십시오.
6.4.7. 이미지 재동기화
이미지를 다시 동기화하여 일관된 상태를 복원할 수 있습니다. 피어 클러스터 간에 일관성 없는 상태가 있는 경우 rbd-mirror
데몬은 이미지를 미러링하지 않습니다.
재동기화는 클러스터에서 기본 이미지의 전체 사본을 사용하여 이미지를 다시 생성합니다.
재동기화는 이미지에 대한 기존 미러-snapshot 스케줄을 제거합니다.
사전 요구 사항
- 스냅샷 기반 미러링이 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
기본 이미지에 다시 동기화를 요청하려면 다음을 수행합니다.
구문
rbd mirror image resync POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image resync data/image2
이 예제에서는
데이터
풀에서image2
의 재동기화를 요청합니다.
추가 리소스
- 재해로 인해 일관성 없는 상태에서 복구하려면 단방향 미러링을 사용하여 재해 복구 또는 양방향 미러링 이 있는 재해에서 복구를 참조하십시오.
6.4.8. 스토리지 클러스터 피어 추가
rbd-mirror
데몬의 스토리지 클러스터 피어를 추가하여 피어 스토리지 클러스터를 검색합니다. 예를 들어 site-a
스토리지 클러스터를 site-b
스토리지 클러스터에 피어로 추가하려면 site-b
스토리지 클러스터의 클라이언트 노드에서 다음 절차를 따릅니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀에 피어를 등록합니다.
구문
rbd --cluster CLUSTER_NAME mirror pool peer add POOL_NAME PEER_CLIENT_NAME@PEER_CLUSTER_NAME -n CLIENT_NAME
예제
[root@rbd-client ~]# rbd --cluster site-b mirror pool peer add data client.site-a@site-a -n client.site-b
6.4.9. 스토리지 클러스터 피어 제거
피어 UUID를 지정하여 스토리지 클러스터 피어를 제거합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
풀 이름과 UUID(Peer Universally Unique Identifier)를 지정합니다.
구문
rbd mirror pool peer remove POOL_NAME PEER_UUID
예제
[root@rbd-client ~]# rbd mirror pool peer remove data 7e90b4ce-e36d-4f07-8cbc-42050896825d
작은 정보피어 UUID를 보려면
rbd 미러 풀 info
명령을 사용합니다.
6.4.10. 풀의 미러링 상태 가져오기
스토리지 클러스터에서 풀의 미러 상태를 가져올 수 있습니다.
사전 요구 사항
- 스냅샷 기반 미러링이 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
미러링 풀 요약을 가져오려면 다음을 수행합니다.
구문
rbd mirror pool status POOL_NAME
예제
[root@site-a ~]# rbd mirror pool status data health: OK daemon health: OK image health: OK images: 1 total 1 replaying
작은 정보풀의 모든 미러링 이미지에 대한 상태 세부 정보를 출력하려면
--verbose
옵션을 사용합니다.
6.4.11. 단일 이미지의 미러링 상태 가져오기
미러 이미지 status 명령을 실행하여 이미지의 미러 상태를
가져올 수 있습니다.
사전 요구 사항
- 스냅샷 기반 미러링이 구성된 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
미러링된 이미지의 상태를 가져오려면 다음을 수행합니다.
구문
rbd mirror image status POOL_NAME/IMAGE_NAME
예제
[root@site-a ~]# rbd mirror image status data/image2 image2: global_id: 1e3422a2-433e-4316-9e43-1827f8dbe0ef state: up+unknown description: remote image is non-primary service: pluto008.yuoosv on pluto008 last_update: 2021-10-06 09:37:58
이 예에서는
데이터
풀에서image2
이미지의 상태를 가져옵니다.
6.4.12. 블록 장치 복제 지연
단방향 또는 양방향 복제를 사용하든 RADOS 블록 장치(RBD) 미러링 이미지 간 복제를 지연할 수 있습니다. 보조 이미지로 복제되기 전에 기본 이미지를 복원해야 하는 경우 쿠션 시간 창을 원하는 경우 지연된 복제를 구현할 수 있습니다.
블록 장치 복제 지연은 저널 기반 미러링에만 적용됩니다.
지연된 복제를 구현하려면 대상 스토리지 클러스터 내의 rbd-mirror
데몬에서 rbd_mirroring_replay_delay = MINIMUM_DELAY_IN_SECONDS
구성 옵션을 설정해야 합니다. 이 설정은 rbd-mirror
데몬이 사용하거나 개별 이미지별로 사용하는 ceph.conf
파일 내에서 전역적으로 적용할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
특정 이미지에 대해 지연된 복제를 사용하려면 기본 이미지에서 다음
rbd
CLI 명령을 실행합니다.구문
rbd image-meta set POOL_NAME/IMAGE_NAME conf_rbd_mirroring_replay_delay MINIMUM_DELAY_IN_SECONDS
예제
[root@rbd-client ~]# rbd image-meta set vms/vm-1 conf_rbd_mirroring_replay_delay 600
이 예에서는
vms
풀의 이미지vm-1
에 최소 복제 지연을 10분으로 설정합니다.
6.4.13. 저널 기반 미러링을 스냅샷 기반 미러링으로 변환
미러링을 비활성화하고 스냅샷을 활성화하여 저널 기반 미러링을 스냅샷 기반 미러링으로 변환할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
Cephadm 쉘에 로그인합니다.
예제
[root@rbd-client ~]# cephadm shell
풀 내에서 특정 이미지에 대한 미러링을 비활성화합니다.
구문
rbd mirror image disable POOL_NAME/IMAGE_NAME
예제
[ceph: root@rbd-client /]# rbd mirror image disable mirror_pool/mirror_image Mirroring disabled
이미지에 대해 스냅샷 기반 미러링을 활성화합니다.
구문
rbd mirror image enable POOL_NAME/IMAGE_NAME snapshot
예제
[ceph: root@rbd-client /]# rbd mirror image enable mirror_pool/mirror_image snapshot Mirroring enabled
이 예제에서는
mirror_pool
풀의mirror_image
이미지에 대해 스냅샷 기반 미러링을 활성화합니다.
6.4.14. 이미지 mirror-snapshot 생성
스냅샷 기반 미러링을 사용할 때 RBD 이미지의 변경된 내용을 미러링해야 하는 경우 이미지 mirror-snapshot을 만듭니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
- 스냅샷 미러가 생성될 Red Hat Ceph Storage 클러스터에 액세스할 수 있습니다.
기본적으로 최대 5개의 이미지 mirror-snapshots가 유지됩니다. 제한에 도달하면 최신 이미지 mirror-snapshot이 자동으로 제거됩니다. 필요한 경우 rbd_mirroring_max_mirroring_snapshots
구성을 통해 제한을 덮어쓸 수 있습니다. 이미지 미러-snapshot은 이미지가 제거되거나 미러링이 비활성화되면 자동으로 삭제됩니다.
절차
image-mirror 스냅샷을 생성하려면 다음을 수행합니다.
구문
rbd --cluster CLUSTER_NAME mirror image snapshot POOL_NAME/IMAGE_NAME
예제
[root@site-a ~]# rbd mirror image snapshot data/image1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.4.15. mirror-snapshots 예약
mirror-snapshot 일정이 정의되면 mirror-snapshots가 자동으로 생성될 수 있습니다. mirror-snapshot은 전역, per-pool 또는 이미지별로 예약할 수 있습니다. 여러 미러-snapshot 일정을 어느 수준에서 정의할 수 있지만 개별 미러링된 이미지와 일치하는 가장 구체적인 스냅샷 일정만 실행할 수 있습니다.
6.4.15.1. 미러-snapshot 일정 생성
snapshot schedule
명령을 사용하여 미러-snapshot 일정을 생성할 수 있습니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
- 미러 이미지 스냅샷을 예약해야 하는 Red Hat Ceph Storage 클러스터에 액세스할 수 있습니다.
절차
미러-snapshot 일정을 생성하려면 다음을 수행합니다.
구문
rbd --cluster CLUSTER_NAME mirror snapshot schedule add --pool POOL_NAME --image IMAGE_NAME INTERVAL [START_TIME]
CLUSTER_NAME 은 클러스터 이름이 기본 이름
ceph
와 다른 경우에만 사용해야 합니다. 간격은 각각 d, h 또는 m 접미사를 사용하여 일, 시간 또는 분 단위로 지정할 수 있습니다. ISO 8601 시간 형식을 사용하여 선택 사항_TIME을 지정할 수 있습니다.예제
[root@site-a ~]# rbd mirror snapshot schedule add --pool data --image image1 6h
예제
[root@site-a ~]# rbd mirror snapshot schedule add --pool data --image image1 24h 14:00:00-05:00
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.4.15.2. 모든 스냅샷 일정을 특정 수준에서 나열
특정 수준에서 모든 스냅샷 일정을 나열할 수 있습니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
- 미러 이미지 스냅샷을 예약해야 하는 Red Hat Ceph Storage 클러스터에 액세스할 수 있습니다.
절차
풀 또는 이미지 이름을 사용하여 특정 글로벌, 풀 또는 이미지 수준에 대한 모든 스냅샷 일정을 나열하려면 다음을 수행합니다.
구문
rbd --cluster site-a mirror snapshot schedule ls --pool POOL_NAME --recursive
또한 다음과 같이 지정된 수준에서 모든 일정을 나열하도록
--recursive
옵션을 지정할 수 있습니다.예제
[root@rbd-client ~]# rbd mirror snapshot schedule ls --pool data --recursive POOL NAMESPACE IMAGE SCHEDULE data - - every 1d starting at 14:00:00-05:00 data - image1 every 6h
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.4.15.3. 미러-snapshot 일정 제거
스냅샷 schedule remove 명령을 사용하여 미러- snapshot 일정을 제거할
수 있습니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
- 미러 이미지 스냅샷을 예약해야 하는 Red Hat Ceph Storage 클러스터에 액세스할 수 있습니다.
절차
미러-snapshot 일정을 제거하려면 다음을 수행합니다.
구문
rbd --cluster CLUSTER_NAME mirror snapshot schedule remove --pool POOL_NAME --image IMAGE_NAME INTERVAL START_TIME
간격은 각각 d, h, m 접미사를 사용하여 일, 시간 또는 분 단위로 지정할 수 있습니다. ISO 8601 시간 형식을 사용하여 선택 사항_TIME을 지정할 수 있습니다.
예제
[root@site-a ~]# rbd mirror snapshot schedule remove --pool data --image image1 6h
예제
[root@site-a ~]# rbd mirror snapshot schedule remove --pool data --image image1 24h 14:00:00-05:00
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.4.15.4. 생성할 다음 스냅샷의 상태 보기
스냅샷 기반 미러링 RBD 이미지에 대해 생성할 다음 스냅샷의 상태를 볼 수 있습니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 2개의 정상 실행.
- Red Hat Ceph Storage 클러스터의 Ceph 클라이언트 노드에 대한 루트 수준 액세스.
- 관리자 수준 기능이 있는 CephX 사용자.
- 미러 이미지 스냅샷을 예약해야 하는 Red Hat Ceph Storage 클러스터에 액세스할 수 있습니다.
절차
생성할 다음 스냅샷의 상태를 보려면 다음을 수행합니다.
구문
rbd --cluster site-a mirror snapshot schedule status [--pool POOL_NAME] [--image IMAGE_NAME]
예제
[root@rbd-client ~]# rbd mirror snapshot schedule status SCHEDULE TIME IMAGE 2021-09-21 18:00:00 data/image1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 섹션을 참조하십시오.
6.5. 재해에서 복구
스토리지 관리자는 미러링이 구성된 다른 스토리지 클러스터에서 데이터를 복구하는 방법을 확인하여 최종 하드웨어 장애에 대비할 수 있습니다.
이 예에서 기본 스토리지 클러스터는 site-a
라고 하며 보조 스토리지 클러스터는 site-b
라고 합니다. 또한 스토리지 클러스터에는 두 개의 이미지 image1
및 image2
가 있는 데이터
풀이 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 단방향 또는 양방향 미러링이 구성되었습니다.
6.5.1. 재해 복구
두 개 이상의 Red Hat Ceph Storage 클러스터 간 블록 데이터를 비동기식으로 복제하면 다운타임을 줄이고 데이터 센터 장애 발생 시 데이터 손실을 방지합니다. 이러한 실패는 큰 blast (blast )으로도 광범위하게 영향을 미치며, 정전기 및 자연 재해에 미치는 영향으로 인해 발생할 수 있습니다.
이러한 경우 고객 데이터를 보호해야합니다. 볼륨은 일관성과 효율성을 통해 복제되어야 하며RPO(Ranky Point Objective) 및RTO(Generation Time Objective) 대상 내에서도 복제해야 합니다. 이 솔루션을WAN-DR(Wide Area Network- Disdeployment)이라고 합니다.
이러한 시나리오에서는 기본 시스템과 데이터 센터를 복원하기가 어렵습니다. 복구할 수 있는 가장 빠른 방법은 애플리케이션을 대체 Red Hat Ceph Storage 클러스터(또는 복구 사이트)로 장애 조치하고 최신 데이터 사본으로 클러스터를 작동시키는 것입니다. 이러한 오류 시나리오에서 복구하는 데 사용되는 솔루션은 애플리케이션에 의해 안내됩니다.
- recovery Point Objective (RPO): 데이터 손실의 양, 애플리케이션이 최악한 경우 허용
- 복구 시간 목표 (RTO): 사용 가능한 데이터의 최신 사본과 함께 애플리케이션을 다시 가져 오는 데 걸린 시간입니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 Ceph 블록 장치미러링 을 참조하십시오.
- Red Hat Ceph Storage Data Security 및 Hardening Guide 의 전송 중 암호화 섹션을 참조하여 암호화된 상태에서의 데이터 전송에 대한 자세한 내용을 확인하십시오.
6.5.2. 단방향 미러링으로 재해 복구
단방향 미러링을 사용할 때 재해에서 복구하려면 다음 절차를 사용합니다. 기본 클러스터가 종료된 후 보조 클러스터로 장애 조치하는 방법과 실패한 방법을 보여줍니다. 종료는 순서대로 또는 순서가 지정되지 않을 수 있습니다.
단방향 미러링은 여러 보조 사이트를 지원합니다. 추가 보조 클러스터를 사용하는 경우 장애 조치할 보조 클러스터 중 하나를 선택합니다. 실패 중에 동일한 클러스터에서 동기화합니다.
6.5.3. 양방향 미러링으로 재해 복구
양방향 미러링을 사용할 때 재해에서 복구하려면 다음 절차를 사용합니다. 기본 클러스터가 종료된 후 보조 클러스터에서 미러링된 데이터로 장애 조치하는 방법과 장애 조치(failback) 방법을 보여줍니다. 종료는 순서대로 또는 순서가 지정되지 않을 수 있습니다.
6.5.4. 주문 종료 후 장애 조치(failover)
주문 종료 후 보조 스토리지 클러스터에 대한 장애 조치(failover)입니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 두 개
- 노드에 대한 루트 수준 액세스.
- 단방향 미러링으로 구성된 풀 미러링 또는 이미지 미러링.
절차
- 기본 이미지를 사용하는 모든 클라이언트를 중지합니다. 이 단계는 이미지를 사용하는 클라이언트에 따라 다릅니다. 예를 들어 이미지를 사용하는 OpenStack 인스턴스에서 볼륨을 분리합니다.
site-a
클러스터의 모니터 노드에서 다음 명령을 실행하여site-a
클러스터에 있는 기본 이미지를 시연합니다.구문
rbd mirror image demote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image demote data/image1 [root@rbd-client ~]# rbd mirror image demote data/image2
site-b
클러스터의 모니터 노드에서 다음 명령을 실행하여site-b
클러스터에 있는 비기본 이미지를 승격합니다.구문
rbd mirror image promote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image promote data/image1 [root@rbd-client ~]# rbd mirror image promote data/image2
잠시 후
site-b
클러스터의 모니터 노드에서 이미지 상태를 확인합니다.up+stopped
상태로 표시되고 primary로 나열되어야 합니다.[root@rbd-client ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped description: local image is primary last_update: 2019-04-17 16:04:37 [root@rbd-client ~]# rbd mirror image status data/image2 image2: global_id: 596f41bc-874b-4cd4-aefe-4929578cc834 state: up+stopped description: local image is primary last_update: 2019-04-17 16:04:37
- 이미지에 대한 액세스를 다시 시작합니다. 이 단계는 이미지를 사용하는 클라이언트에 따라 다릅니다.
추가 리소스
- Red Hat OpenStack Platform 스토리지 가이드에서 블록 스토리지 및 볼륨 장을 참조하십시오.
6.5.5. 순서가 없는 종료 후 장애 조치(failover) after a non-orderly shutdown
순서가 지정되지 않은 후 보조 스토리지 클러스터로 장애 조치(failover)됩니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 두 개
- 노드에 대한 루트 수준 액세스.
- 단방향 미러링으로 구성된 풀 미러링 또는 이미지 미러링.
절차
- 기본 스토리지 클러스터가 다운되었는지 확인합니다.
- 기본 이미지를 사용하는 모든 클라이언트를 중지합니다. 이 단계는 이미지를 사용하는 클라이언트에 따라 다릅니다. 예를 들어 이미지를 사용하는 OpenStack 인스턴스에서 볼륨을 분리합니다.
site-b
스토리지 클러스터의 Ceph Monitor 노드에서 기본 이외의 이미지를 승격합니다. 데모를site-a
스토리지 클러스터로 전달할 수 없기 때문에--force
옵션을 사용합니다.구문
rbd mirror image promote --force POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image promote --force data/image1 [root@rbd-client ~]# rbd mirror image promote --force data/image2
site-b
스토리지 클러스터의 Ceph Monitor 노드에서 이미지 상태를 확인합니다.up+stopping_replay
상태가 표시되어야 합니다. 설명은강제 승격
해야 합니다. 즉, 간헐적인 상태에 있습니다. 상태가up+stopped
가 될 때까지 기다린 후 사이트를 검증합니다.예제
[root@rbd-client ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopping_replay description: force promoted last_update: 2023-04-17 13:25:06 [root@rbd-client ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped description: force promoted last_update: 2023-04-17 13:25:06
추가 리소스
- Red Hat OpenStack Platform 스토리지 가이드에서 블록 스토리지 및 볼륨 장을 참조하십시오.
6.5.6. 장애 발생 준비
두 스토리지 클러스터가 원래 단방향 미러링에만 구성된 경우 이미지를 반대 방향으로 복제하도록 미러링을 위해 기본 스토리지 클러스터를 구성합니다.
실패 시나리오 중에 기존 피어를 기존 클러스터에 추가하기 전에 액세스할 수 없는 기존 피어를 제거해야 합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 클라이언트 노드에 대한 루트 수준 액세스.
절차
Cephadm 쉘에 로그인합니다.
예제
[root@rbd-client ~]# cephadm shell
site-a
스토리지 클러스터에서 다음 명령을 실행합니다.예제
[ceph: root@rbd-client /]# ceph orch apply rbd-mirror --placement=host01
액세스할 수 없는 피어를 제거합니다.
중요이 단계는 가동 및 실행 중인 피어 사이트에서 실행해야 합니다.
참고여러 피어는 한 가지 방법 미러링에만 지원됩니다.
풀 UUID를 가져옵니다.
구문
rbd mirror pool info POOL_NAME
예제
[ceph: root@host01 /]# rbd mirror pool info pool_failback
액세스할 수 없는 피어를 제거합니다.
구문
rbd mirror pool peer remove POOL_NAME PEER_UUID
예제
[ceph: root@host01 /]# rbd mirror pool peer remove pool_failback f055bb88-6253-4041-923d-08c4ecbe799a
피어 미러 풀과 동일한 이름으로 블록 장치 풀을 만듭니다.
rbd 풀을 만들려면 다음을 실행합니다.
구문
ceph osd pool create POOL_NAME PG_NUM ceph osd pool application enable POOL_NAME rbd rbd pool init -p POOL_NAME
예제
[root@rbd-client ~]# ceph osd pool create pool1 [root@rbd-client ~]# ceph osd pool application enable pool1 rbd [root@rbd-client ~]# rbd pool init -p pool1
Ceph 클라이언트 노드에서 스토리지 클러스터 피어를 부트스트랩합니다.
Ceph 사용자 계정을 생성하고 스토리지 클러스터 피어를 풀에 등록합니다.
구문
rbd mirror pool peer bootstrap create --site-name LOCAL_SITE_NAME POOL_NAME > PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-a /]# rbd mirror pool peer bootstrap create --site-name site-a data > /root/bootstrap_token_site-a
참고이 예제 bootstrap 명령은
client.rbd-mirror.site-a
및client.rbd-mirror-peer
Ceph 사용자를 생성합니다.-
부트스트랩 토큰 파일을
site-b
스토리지 클러스터에 복사합니다. site-b
스토리지 클러스터에서 부트스트랩 토큰을 가져옵니다.구문
rbd mirror pool peer bootstrap import --site-name LOCAL_SITE_NAME --direction rx-only POOL_NAME PATH_TO_BOOTSTRAP_TOKEN
예제
[ceph: root@rbd-client-site-b /]# rbd mirror pool peer bootstrap import --site-name site-b --direction rx-only data /root/bootstrap_token_site-a
참고단방향 RBD 미러링의 경우 피어 부트스트랩 시 양방향 미러링이 기본값이므로
--direction rx-only
인수를 사용해야 합니다.
사이트-a
스토리지 클러스터의 모니터 노드에서site-b
스토리지 클러스터가 피어로 성공적으로 추가되었는지 확인합니다.예제
[ceph: root@rbd-client /]# rbd mirror pool info -p data Mode: image Peers: UUID NAME CLIENT d2ae0594-a43b-4c67-a167-a36c646e8643 site-b client.site-b
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 사용자 관리 장을 참조하십시오.
6.5.6.1. 기본 스토리지 클러스터로 장애 조치 (fail back to the primary storage cluster)
이전의 기본 스토리지 클러스터가 복구되면 기본 스토리지 클러스터로 다시 실패합니다.
이미지 수준에 예약된 스냅샷이 있는 경우 이미지 재동기화 작업이 RBD 이미지 ID를 변경하고 이전 일정이 더 이상 사용되지 않을 때 일정을 다시 추가해야 합니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터를 실행하는 최소 두 개
- 노드에 대한 루트 수준 액세스.
- 단방향 미러링으로 구성된 풀 미러링 또는 이미지 미러링.
절차
site-b
클러스터의 모니터 노드에서 이미지 상태를 다시 확인합니다.중지
됨 상태를 표시해야 하며 설명은로컬 이미지가 primary입니다
.예제
[root@rbd-client ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped description: local image is primary last_update: 2019-04-22 17:37:48 [root@rbd-client ~]# rbd mirror image status data/image2 image2: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped description: local image is primary last_update: 2019-04-22 17:38:18
site-a
스토리지 클러스터의 Ceph Monitor 노드에서 이미지가 여전히 기본인지 확인합니다.구문
rbd mirror pool info POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd info data/image1 [root@rbd-client ~]# rbd info data/image2
명령의 출력에서
primary: true 또는
, 상태를 확인합니다.mirroring primary
: falsesite-a
스토리지 클러스터의 Ceph Monitor 노드에서 다음과 같이 명령을 실행하여 기본으로 나열된 이미지를 시연합니다.구문
rbd mirror image demote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image demote data/image1
순서가 지정되지 않은 종료가 있는 경우 이미지를 다시 동기화합니다.
클러스터의 다른 노드와 일치하지 않는 이미지는 클러스터의 기본 이미지 전체 사본을 사용하여 다시 생성됩니다.
사이트-a 스토리지 클러스터의 모니터 노드에서 다음 명령을 실행하여
site-b
에서site-a
구문
rbd mirror image resync POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image resync data/image1 Flagged image for resync from primary [root@rbd-client ~]# rbd mirror image resync data/image2 Flagged image for resync from primary
잠시 후 이미지 재동기화가
up+replaying
상태에 있는지 확인하여 이미지 재동기화가 완료되었는지 확인합니다.site-a
스토리지 클러스터의 모니터 노드에서 다음 명령을 실행하여 상태를 확인합니다.구문
rbd mirror image status POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image status data/image1 [root@rbd-client ~]# rbd mirror image status data/image2
site-b
스토리지 클러스터의 Ceph Monitor 노드에서 다음 명령을 실행하여site-b
스토리지 클러스터에서 이미지를 시연합니다.구문
rbd mirror image demote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image demote data/image1 [root@rbd-client ~]# rbd mirror image demote data/image2
참고보조 스토리지 클러스터가 여러 개 있는 경우 승격된 보조 스토리지 클러스터에서만 이 작업을 수행해야 합니다.
site-a
스토리지 클러스터의 Ceph Monitor 노드에서 다음 명령을 실행하여site-a
스토리지 클러스터에 있는 이전의 기본 이미지를 승격합니다.구문
rbd mirror image promote POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image promote data/image1 [root@rbd-client ~]# rbd mirror image promote data/image2
site-a
스토리지 클러스터의 Ceph Monitor 노드에서 이미지 상태를 확인합니다.up+stopped
의 상태를 표시해야 하며 설명은로컬 이미지가 primary입니다
.구문
rbd mirror image status POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped description: local image is primary last_update: 2019-04-22 11:14:51 [root@rbd-client ~]# rbd mirror image status data/image2 image2: global_id: 596f41bc-874b-4cd4-aefe-4929578cc834 state: up+stopped description: local image is primary last_update: 2019-04-22 11:14:51
6.5.7. 양방향 미러링 제거
장애 조치가 완료되면 양방향 미러링을 제거하고 Ceph 블록 장치 미러링 서비스를 비활성화할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
site-a
스토리지 클러스터에서 피어로site-b
스토리지 클러스터를 제거합니다.예제
[root@rbd-client ~]# rbd mirror pool peer remove data client.remote@remote --cluster local [root@rbd-client ~]# rbd --cluster site-a mirror pool peer remove data client.site-b@site-b -n client.site-a
site-a
클라이언트에서rbd-mirror
데몬을 중지하고 비활성화합니다.구문
systemctl stop ceph-rbd-mirror@CLIENT_ID systemctl disable ceph-rbd-mirror@CLIENT_ID systemctl disable ceph-rbd-mirror.target
예제
[root@rbd-client ~]# systemctl stop ceph-rbd-mirror@site-a [root@rbd-client ~]# systemctl disable ceph-rbd-mirror@site-a [root@rbd-client ~]# systemctl disable ceph-rbd-mirror.target
7장. ceph-immutable-object-cache
데몬 관리
스토리지 관리자는 ceph-immutable-object-cache
데몬을 사용하여 로컬 디스크의 상위 이미지 콘텐츠를 캐시합니다. 이 캐시는 로컬 캐싱 디렉터리에 있습니다. 나중에 해당 데이터에 대한 읽기는 로컬 캐시를 사용합니다.
그림 7.1. Ceph 변경 불가능한 캐시 데몬

7.1. ceph-immutable-object-cache
데몬 설명
복제된 블록 장치 이미지는 일반적으로 상위 이미지의 일부만 수정합니다. 예를 들어 VDI(가상 데스크탑 인터페이스)에서 가상 머신은 동일한 기본 이미지에서 복제되며 처음에는 호스트 이름과 IP 주소에 따라 다릅니다. 부팅 중에 상위 이미지의 로컬 캐시를 사용하는 경우 캐싱 호스트에서 읽기 속도가 빨라집니다. 이러한 변경으로 인해 클라이언트가 클러스터 네트워크 트래픽으로 줄어듭니다.
ceph-immutable-object-cache
데몬을 사용해야 하는 이유
ceph-immutable-object-cache
데몬은 Red Hat Ceph Storage의 일부입니다. 확장 가능한 오픈 소스 및 분산 스토리지 시스템입니다. RADOS 프로토콜을 사용하여 ceph.conf
파일을 찾고, 주소 및 인증 정보를 모니터링하며 / etc/ceph/CLUSTER .keyring , /etc/ceph/ CLUSTER .keyring , /
etc/ceph/CLUSTER.keyring .keyring
과 같은 주소 및 인증 정보를 RADOS 프로토콜을 사용하여 로컬 클러스터에 연결합니다 .
여기서 CLUSTER 는 사용자에게 친숙한 클러스터 이름이며 NAME 은 RADOS 사용자로서 client.ceph-immutable-object-cache
입니다.
데몬의 주요 구성 요소
ceph-immutable-object-cache
데몬에는 다음과 같은 부분이 있습니다.
-
도메인 소켓 기반 프로세스 간 통신(IPC): 데몬은 시작 시 로컬 도메인 소켓에서 수신 대기하고
librbd
클라이언트에서 연결을 기다립니다. - 최근 사용된 최소(LRU) 기반 승격 또는 데모 정책: 데몬은 각 캐시 파일에서 cache-hits의 메모리 내 통계를 유지합니다. 용량이 구성된 임계값에 도달하면 콜드 캐시를 제거합니다.
- 파일 기반 캐싱 저장소: 데몬은 간단한 파일 기반 캐시 저장소를 유지 관리합니다. 승격 시 RADOS 오브젝트는 RADOS 클러스터에서 가져와 로컬 캐싱 디렉터리에 저장됩니다.
복제된 각 RBD 이미지를 열 때 librbd
는 Unix 도메인 소켓을 통해 캐시 데몬에 연결을 시도합니다. 성공적으로 연결되면 librbd
가 후속 읽기 데몬과 함께 조정합니다. 캐시되지 않은 읽기가 있는 경우 데몬은 RADOS 오브젝트를 로컬 캐싱 디렉터리로 승격하므로 해당 오브젝트에 대한 다음 읽기가 캐시에서 서비스됩니다. 또한 데몬은 간단한 LRU 통계를 유지 관리하므로 용량 부족 상태에서 필요에 따라 콜드 캐시 파일을 제거합니다.
성능 향상을 위해 SSD를 기본 스토리지로 사용하십시오.
7.2. ceph-immutable-object-cache
데몬 구성
ceph-immutable-object-cache
는 Ceph 클러스터 간에 RADOS 오브젝트의 오브젝트 캐시를 위한 데몬입니다.
ceph-immutable-object-cache
데몬을 사용하려면 RADOS 클러스터를 연결할 수 있어야 합니다.
데몬은 오브젝트를 로컬 디렉터리로 승격합니다. 이러한 캐시 오브젝트 서비스는 나중에 읽을 수 있습니다. ceph-immutable-object-cache
패키지를 설치하여 데몬을 구성할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 캐시용으로 하나 이상의 SSD입니다.
절차
RBD 공유 읽기 전용 상위 이미지 캐시를 활성화합니다.
/etc/ceph/ceph.conf
파일의[client]
아래에 다음 매개변수를 추가합니다.예제
[root@ceph-host01 ~]# vi /etc/ceph/ceph.conf [client] rbd parent cache enabled = true rbd plugins = parent_cache
클러스터를 다시 시작합니다.
ceph-immutable-object-cache
패키지를 설치합니다.예제
[root@ceph-host1 ~]# dnf install ceph-immutable-object-cache
고유한 Ceph 사용자 ID를 생성합니다. 인증 키는 다음과 같습니다.
구문
ceph auth get-or-create client.ceph-immutable-object-cache.USER_NAME mon 'profile rbd' osd 'profile rbd-read-only'
예제
[root@ceph-host1 ~]# ceph auth get-or-create client.ceph-immutable-object-cache.user mon 'profile rbd' osd 'profile rbd-read-only' [client.ceph-immutable-object-cache.user] key = AQCVPH1gFgHRAhAAp8ExRIsoxQK4QSYSRoVJLw==
이 인증 키를 복사합니다.
/etc/ceph
디렉터리에서 파일을 생성하고 인증 키를 붙여 넣습니다.예제
[root@ceph-host1 ]# vi /etc/ceph/ceph.client.ceph-immutable-object-cache.user.keyring [client.ceph-immutable-object-cache.user] key = AQCVPH1gFgHRAhAAp8ExRIsoxQK4QSYSRoVJLw
데몬을 활성화합니다.
구문
systemctl enable ceph-immutable-object-cache@ceph-immutable-object-cache.USER_NAME
USER_NAME 을 데몬 인스턴스로 지정합니다.
예제
[root@ceph-host1 ~]# systemctl enable ceph-immutable-object-cache@ceph-immutable-object-cache.user Created symlink /etc/systemd/system/ceph-immutable-object-cache.target.wants/ceph-immutable-object-cache@ceph-immutable-object-cache.user.service → /usr/lib/systemd/system/ceph-immutable-object-cache@.service.
ceph-immutable-object-cache
데몬을 시작합니다.구문
systemctl start ceph-immutable-object-cache@ceph-immutable-object-cache.USER_NAME
예제
[root@ceph-host1 ~]# systemctl start ceph-immutable-object-cache@ceph-immutable-object-cache.user
검증
구성 상태를 확인합니다.
구문
systemctl status ceph-immutable-object-cache@ceph-immutable-object-cache.USER_NAME
예제
[root@ceph-host1 ~]# systemctl status ceph-immutable-object-cache@ceph-immutable-object-cache.user ● ceph-immutable-object-cache@ceph-immutable-object-cache.user> Loaded: loaded (/usr/lib/systemd/system/ceph-immutable-objec> Active: active (running) since Mon 2021-04-19 13:49:06 IST; > Main PID: 85020 (ceph-immutable-) Tasks: 15 (limit: 49451) Memory: 8.3M CGroup: /system.slice/system-ceph\x2dimmutable\x2dobject\x2d> └─85020 /usr/bin/ceph-immutable-object-cache -f --cl>
7.3. ceph-immutable-object-cache
데몬의 일반 설정
ceph-immutable-object-cache
데몬의 몇 가지 중요한 일반 설정이 나열됩니다.
immutable_object_cache_sock
- 설명
- librbd 클라이언트와 ceph-immutable-object-cache 데몬 간의 통신에 사용되는 도메인 소켓의 경로입니다.
- 유형
- 문자열
- Default
-
/var/run/ceph/immutable_object_cache_sock
immutable_object_cache_path
- 설명
- 변경할 수 없는 오브젝트 캐시 데이터 디렉터리입니다.
- 유형
- 문자열
- Default
-
/tmp/ceph_immutable_object_cache
immutable_object_cache_max_size
- 설명
- 변경할 수 없는 캐시의 최대 크기입니다.
- 유형
- 크기
- Default
-
1G
immutable_object_cache_watermark
- 설명
- 캐시의 높은 기능 표시입니다. 값은 0과 1 사이의 값입니다. 캐시 크기가 이 임계값에 도달하면 데몬은 LRU 통계를 기반으로 콜드 캐시를 삭제하기 시작합니다.
- 유형
- 플로트
- Default
-
0.9
7.4. ceph-immutable-object-cache
데몬의 QOS 설정
ceph-immutable-object-cache
데몬은 설명된 설정을 지원하는 쓰로틀링을 지원합니다.
immutable_object_cache_qos_schedule_tick_min
- 설명
- 변경할 수 없는 오브젝트 캐시의 최소 일정 눈금입니다.
- 유형
- 밀리초
- Default
-
50
immutable_object_cache_qos_iops_limit
- 설명
- 사용자 정의 변경할 수 없는 개체 캐시 초당 IO 작업 제한입니다.
- 유형
- 정수
- Default
-
0
immutable_object_cache_qos_iops_burst
- 설명
- 변경할 수 없는 개체 캐시 IO 작업의 사용자 정의 버스트 제한입니다.
- 유형
- 정수
- Default
-
0
immutable_object_cache_qos_iops_burst_seconds
- 설명
- 변경 불가능한 개체 캐시 IO 작업의 사용자 정의 버스트 기간(초)입니다.
- 유형
- 초
- Default
-
1
immutable_object_cache_qos_bps_limit
- 설명
- 사용자 정의 변경할 수 없는 개체 캐시 초당 IO 바이트 제한입니다.
- 유형
- 정수
- Default
-
0
immutable_object_cache_qos_bps_burst
- 설명
- 변경할 수 없는 개체 캐시 IO 바이트의 사용자 정의 버스트 제한입니다.
- 유형
- 정수
- Default
-
0
immutable_object_cache_qos_bps_burst_seconds
- 설명
- 원하는 읽기 작업 제한입니다.
- 유형
- 초
- Default
-
1
8장. rbd
커널 모듈
스토리지 관리자는 rbd
커널 모듈을 통해 Ceph 블록 장치에 액세스할 수 있습니다. 블록 장치를 매핑 및 매핑 해제하고 이러한 매핑을 표시할 수 있습니다. 또한 rbd
커널 모듈을 통해 이미지 목록을 가져올 수 있습니다.
RHEL(Red Hat Enterprise Linux) 이외의 Linux 배포판의 커널 클라이언트는 허용되지만 지원되지 않습니다. 이러한 커널 클라이언트를 사용할 때 스토리지 클러스터에서 문제가 발견되면 Red Hat은 이를 해결하지만 근본 원인이 커널 클라이언트 측에 있는 경우 소프트웨어 공급 업체가 문제를 해결해야 합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
8.1. Ceph Block Device를 생성하고 Linux 커널 모듈 클라이언트에서 사용합니다.
스토리지 관리자는 Red Hat Ceph Storage Dashboard에서 Linux 커널 모듈 클라이언트용 Ceph Block Device를 생성할 수 있습니다. 시스템 관리자는 명령줄을 사용하여 해당 블록 장치를 Linux 클라이언트에 매핑하고 파티션, 포맷 및 마운트할 수 있습니다. 그런 다음 파일을 읽고 쓸 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Red Hat Enterprise Linux 클라이언트.
8.1.1. 대시보드를 사용하여 Linux 커널 모듈 클라이언트용 Ceph 블록 장치 생성
지원하는 기능만 활성화하여 대시보드 웹 인터페이스를 사용하여 Linux 커널 모듈 클라이언트에 대해 Ceph 블록 장치를 만들 수 있습니다.
커널 모듈 클라이언트는 Deep flatten, Layering, Exclusive lock, Object map 및 Fast diff와 같은 기능을 지원합니다.
오브젝트 맵, Fast diff 및 Deep flatten 기능에는 Red Hat Enterprise Linux 8.2 이상이 필요합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 생성 및 활성화된 복제 RBD 풀입니다.
절차
- 블록 드롭다운 메뉴에서 이미지를 선택합니다.
- 생성을 클릭합니다.
RBD 생성 창에서 이미지 이름을 입력하고 RBD가 활성화된 풀을 선택하고 지원되는 기능을 선택합니다.
- RBD 생성을 클릭합니다.
검증
- 이미지가 성공적으로 생성되었음을 알리는 알림이 표시됩니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 블록 장치 가이드의 명령줄을 사용하여 Linux에 Ceph 블록 장치 맵 및 마운트 를 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage Dashboard Guide 를 참조하십시오.
8.1.2. 명령줄을 사용하여 Linux에 Ceph Block Device 매핑 및 마운트
Linux rbd
커널 모듈을 사용하여 Red Hat Enterprise Linux 클라이언트에서 Ceph 블록 장치를 매핑할 수 있습니다. 매핑한 후 파일을 파티션, 포맷 및 마운트하여 파일을 쓸 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 대시보드를 사용하는 Linux 커널 모듈 클라이언트용 Ceph 블록 장치가 생성됩니다.
- Red Hat Enterprise Linux 클라이언트.
절차
Red Hat Enterprise Linux 클라이언트 노드에서 Red Hat Ceph Storage 6 Tools 리포지토리를 활성화합니다.
[root@rbd-client ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms
ceph-common
RPM 패키지를 설치합니다.[root@rbd-client ~]# dnf install ceph-common
모니터 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.
구문
scp root@MONITOR_NODE:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
예제
[root@rbd-client ~]# scp root@cluster1-node2:/etc/ceph/ceph.conf /etc/ceph/ceph.conf root@192.168.0.32's password: ceph.conf 100% 497 724.9KB/s 00:00 [root@client1 ~]#
모니터 노드에서 클라이언트 노드로 키 파일을 복사합니다.
구문
scp root@MONITOR_NODE:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring
예제
[root@rbd-client ~]# scp root@cluster1-node2:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring root@192.168.0.32's password: ceph.client.admin.keyring 100% 151 265.0KB/s 00:00 [root@client1 ~]#
이미지를 매핑합니다.
구문
rbd map --pool POOL_NAME IMAGE_NAME --id admin
예제
[root@rbd-client ~]# rbd map --pool block-device-pool image1 --id admin /dev/rbd0 [root@client1 ~]#
블록 장치에 파티션 테이블을 만듭니다.
구문
parted /dev/MAPPED_BLOCK_DEVICE mklabel msdos
예제
[root@rbd-client ~]# parted /dev/rbd0 mklabel msdos Information: You may need to update /etc/fstab.
XFS 파일 시스템의 파티션을 생성합니다.
구문
parted /dev/MAPPED_BLOCK_DEVICE mkpart primary xfs 0% 100%
예제
[root@rbd-client ~]# parted /dev/rbd0 mkpart primary xfs 0% 100% Information: You may need to update /etc/fstab.
파티션을 포맷합니다.
구문
mkfs.xfs /dev/MAPPED_BLOCK_DEVICE_WITH_PARTITION_NUMBER
예제
[root@rbd-client ~]# mkfs.xfs /dev/rbd0p1 meta-data=/dev/rbd0p1 isize=512 agcount=16, agsize=163824 blks = sectsz=512 attr=2, projid32bit=1 = crc=1 finobt=1, sparse=1, rmapbt=0 = reflink=1 data = bsize=4096 blocks=2621184, imaxpct=25 = sunit=16 swidth=16 blks naming =version 2 bsize=4096 ascii-ci=0, ftype=1 log =internal log bsize=4096 blocks=2560, version=2 = sectsz=512 sunit=16 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0
새 파일 시스템을 마운트할 디렉터리를 만듭니다.
구문
mkdir PATH_TO_DIRECTORY
예제
[root@rbd-client ~]# mkdir /mnt/ceph
파일 시스템을 마운트합니다.
구문
mount /dev/MAPPED_BLOCK_DEVICE_WITH_PARTITION_NUMBER PATH_TO_DIRECTORY
예제
[root@rbd-client ~]# mount /dev/rbd0p1 /mnt/ceph/
파일 시스템이 마운트되고 올바른 크기가 표시되는지 확인합니다.
구문
df -h PATH_TO_DIRECTORY
예제
[root@rbd-client ~]# df -h /mnt/ceph/ Filesystem Size Used Avail Use% Mounted on /dev/rbd0p1 10G 105M 9.9G 2% /mnt/ceph
추가 리소스
- 자세한 내용은 대시보드를 사용하여 Linux 커널 모듈 클라이언트용 Ceph 블록 장치 생성 을 참조하십시오.
- 자세한 내용은 Managing file systems for Red Hat Enterprise Linux 8에서 참조하십시오.
- 자세한 내용은 Red Hat Enterprise Linux 7 스토리지 관리 가이드를 참조하십시오.
8.2. 블록 장치 매핑
rbd
를 사용하여 이미지 이름을 커널 모듈에 매핑합니다. 이미지 이름, 풀 이름 및 사용자 이름을 지정해야 합니다. RBD
가 아직 로드되지 않은 경우 RBD 커널 모듈이 로드됩니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
이미지 목록을 반환합니다.
예제
[root@rbd-client ~]# rbd list
이미지를 매핑하는 두 가지 옵션은 다음과 같습니다.
이미지 이름을 커널 모듈에 매핑합니다.
구문
rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME
예제
[root@rbd-client ~]# rbd device map rbd/myimage --id admin
인증 키 또는 보안이 포함된 파일을 통해
cephx
인증을 사용하는 경우 보안을 지정합니다.구문
[root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyring PATH_TO_KEYRING
또는
[root@rbd-client ~]# rbd device map POOL_NAME/IMAGE_NAME --id USER_NAME --keyfile PATH_TO_FILE
8.3. 매핑된 블록 장치 표시
rbd
명령을 사용하여 커널 모듈에 매핑되는 블록 장치 이미지를 표시할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
매핑된 블록 장치를 표시합니다.
[root@rbd-client ~]# rbd device list
8.4. 블록 장치 매핑 해제
unmap
옵션을 사용하고 장치 이름을 제공하여 rbd
명령으로 블록 장치 이미지를 매핑할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
- 매핑된 이미지입니다.
절차
장치의 사양을 가져옵니다.
예제
[root@rbd-client ~]# rbd device list
블록 장치 이미지의 매핑을 해제합니다.
구문
rbd device unmap /dev/rbd/POOL_NAME/IMAGE_NAME
예제
[root@rbd-client ~]# rbd device unmap /dev/rbd/pool1/image1
8.5. 동일한 풀 내의 격리된 네임스페이스 내에서 이미지 분리
OpenStack 또는 OpenShift Container Storage와 같은 상위 수준의 시스템 없이 Ceph 블록 장치를 직접 사용하는 경우 특정 블록 장치 이미지에 대한 사용자 액세스를 제한할 수 없었습니다. CephX 기능과 결합하면 사용자를 특정 풀 네임스페이스로 제한하여 이미지에 대한 액세스를 제한할 수 있습니다.
새로운 수준의 ID인 RADOS 네임스페이스를 사용하여 오브젝트를 식별하여 풀 내의 rados 클라이언트를 격리할 수 있습니다. 예를 들어 클라이언트는 특정 네임스페이스에 대한 전체 권한만 가질 수 있습니다. 이렇게 하면 테넌트마다 다른 RADOS 클라이언트를 사용할 수 있습니다. 이는 여러 다른 테넌트가 자체 블록 장치 이미지에 액세스하는 블록 장치에 특히 유용합니다.
동일한 풀 내의 격리된 네임스페이스 내에서 블록 장치 이미지를 분리할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모든 커널을 4x로 업그레이드하고 모든 클라이언트의 librbd 및 librados로 업그레이드합니다.
- 모니터 및 클라이언트 노드에 대한 루트 수준 액세스.
절차
rbd
풀을 생성합니다.구문
ceph osd pool create POOL_NAME PG_NUM
예제
[ceph: root@host01 /]# ceph osd pool create mypool 100 pool 'mypool' created
rbd
풀을 RBD 애플리케이션과 연결합니다.구문
ceph osd pool application enable POOL_NAME rbd
예제
[ceph: root@host01 /]# ceph osd pool application enable mypool rbd enabled application 'rbd' on pool 'mypool'
RBD 애플리케이션으로 풀을 초기화합니다.
구문
rbd pool init -p POOL_NAME
예제
[ceph: root@host01 /]# rbd pool init -p mypool
두 개의 네임스페이스를 생성합니다.
구문
rbd namespace create --namespace NAMESPACE
예제
[ceph: root@host01 /]# rbd namespace create --namespace namespace1 [ceph: root@host01 /]# rbd namespace create --namespace namespace2 [ceph: root@host01 /]# rbd namespace ls --format=json [{"name":"namespace2"},{"name":"namespace1"}]
두 사용자의 네임스페이스에 대한 액세스 권한을 제공합니다.
구문
ceph auth get-or-create client.USER_NAME mon 'profile rbd' osd 'profile rbd pool=rbd namespace=NAMESPACE' -o /etc/ceph/client.USER_NAME.keyring
예제
[ceph: root@host01 /]# ceph auth get-or-create client.testuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace1' -o /etc/ceph/client.testuser.keyring [ceph: root@host01 /]# ceph auth get-or-create client.newuser mon 'profile rbd' osd 'profile rbd pool=rbd namespace=namespace2' -o /etc/ceph/client.newuser.keyring
클라이언트의 키를 가져옵니다.
구문
ceph auth get client.USER_NAME
예제
[ceph: root@host01 /]# ceph auth get client.testuser [client.testuser] key = AQDMp61hBf5UKRAAgjQ2In0Z3uwAase7mrlKnQ== caps mon = "profile rbd" caps osd = "profile rbd pool=rbd namespace=namespace1" exported keyring for client.testuser [ceph: root@host01 /]# ceph auth get client.newuser [client.newuser] key = AQDfp61hVfLFHRAA7D80ogmZl80ROY+AUG4A+Q== caps mon = "profile rbd" caps osd = "profile rbd pool=rbd namespace=namespace2" exported keyring for client.newuser
블록 장치 이미지를 생성하고 풀 내에서 사전 정의된 네임스페이스를 사용합니다.
구문
rbd create --namespace NAMESPACE IMAGE_NAME --size SIZE_IN_GB
예제
[ceph: root@host01 /]# rbd create --namespace namespace1 image01 --size 1G [ceph: root@host01 /]# rbd create --namespace namespace2 image02 --size 1G
선택 사항: 네임스페이스 및 관련 이미지의 세부 정보를 가져옵니다.
구문
rbd --namespace NAMESPACE ls --long
예제
[ceph: root@host01 /]# rbd --namespace namespace1 ls --long NAME SIZE PARENT FMT PROT LOCK image01 1 GiB 2 [ceph: root@host01 /]# rbd --namespace namespace2 ls --long NAME SIZE PARENT FMT PROT LOCK image02 1 GiB 2
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.
scp /etc/ceph/ceph.conf root@CLIENT_NODE:/etc/ceph/
예제
[ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@host02:/etc/ceph/ root@host02's password: ceph.conf 100% 497 724.9KB/s 00:00
Ceph Monitor 노드에서 클라이언트 노드로 관리자 인증 키를 복사합니다.
구문
scp /etc/ceph/ceph.client.admin.keyring root@CLIENT_NODE:/etc/ceph
예제
[ceph: root@host01 /]# scp /etc/ceph/ceph.client.admin.keyring root@host02:/etc/ceph/ root@host02's password: ceph.client.admin.keyring 100% 151 265.0KB/s 00:00
사용자의 인증 키를 Ceph Monitor 노드에서 클라이언트 노드로 복사합니다.
구문
scp /etc/ceph/ceph.client.USER_NAME.keyring root@CLIENT_NODE:/etc/ceph/
예제
[ceph: root@host01 /]# scp /etc/ceph/client.newuser.keyring root@host02:/etc/ceph/ [ceph: root@host01 /]# scp /etc/ceph/client.testuser.keyring root@host02:/etc/ceph/
블록 장치 이미지를 매핑합니다.
구문
rbd map --name NAMESPACE IMAGE_NAME -n client.USER_NAME --keyring /etc/ceph/client.USER_NAME.keyring
예제
[ceph: root@host01 /]# rbd map --namespace namespace1 image01 -n client.testuser --keyring=/etc/ceph/client.testuser.keyring /dev/rbd0 [ceph: root@host01 /]# rbd map --namespace namespace2 image02 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring /dev/rbd1
동일한 풀에 있는 다른 네임스페이스의 사용자에게 액세스할 수 없습니다.
예제
[ceph: root@host01 /]# rbd map --namespace namespace2 image02 -n client.testuser --keyring=/etc/ceph/client.testuser.keyring rbd: warning: image already mapped as /dev/rbd1 rbd: sysfs write failed rbd: error asserting namespace: (1) Operation not permitted In some cases useful info is found in syslog - try "dmesg | tail". 2021-12-06 02:49:08.106 7f8d4fde2500 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted rbd: map failed: (1) Operation not permitted [ceph: root@host01 /]# rbd map --namespace namespace1 image01 -n client.newuser --keyring=/etc/ceph/client.newuser.keyring rbd: warning: image already mapped as /dev/rbd0 rbd: sysfs write failed rbd: error asserting namespace: (1) Operation not permitted In some cases useful info is found in syslog - try "dmesg | tail". 2021-12-03 12:16:24.011 7fcad776a040 -1 librbd::api::Namespace: exists: error asserting namespace: (1) Operation not permitted rbd: map failed: (1) Operation not permitted
장치를 확인합니다.
예제
[ceph: root@host01 /]# rbd showmapped id pool namespace image snap device 0 rbd namespace1 image01 - /dev/rbd0 1 rbd namespace2 image02 - /dev/rbd1
9장. Ceph 블록 장치 Python 모듈 사용
rbd
python 모듈은 Ceph 블록 장치 이미지에 대한 파일 유사 액세스를 제공합니다. 이 기본 제공 도구를 사용하려면 rbd
및 rados
Python 모듈을 가져옵니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 노드에 대한 루트 수준 액세스.
절차
RADOS에 연결하고 IO 컨텍스트를 엽니다.
cluster = rados.Rados(conffile='my_ceph.conf') cluster.connect() ioctx = cluster.open_ioctx('mypool')
이미지를 생성하는 데 사용하는
:class:rbd.RBD
오브젝트를 인스턴스화합니다.rbd_inst = rbd.RBD() size = 4 * 1024**3 # 4 GiB rbd_inst.create(ioctx, 'myimage', size)
이미지에서 I/O를 수행하려면
:class:rbd.Image
오브젝트를 인스턴스화하십시오.image = rbd.Image(ioctx, 'myimage') data = 'foo' * 200 image.write(data, 0)
이렇게 하면 이미지의 첫 번째 600바이트에 'foo'가 기록됩니다. 데이터는
:type:unicode
-librbd
는:c:type:char
보다 광범위한 문자를 처리하는 방법을 알 수 없습니다.이미지, IO 컨텍스트, RADOS에 대한 연결을 종료합니다.
image.close() ioctx.close() cluster.shutdown()
안전하려면 이러한 각 호출이 별도로
:finally
블록 내에 있어야합니다.import rados import rbd cluster = rados.Rados(conffile='my_ceph_conf') try: ioctx = cluster.open_ioctx('my_pool') try: rbd_inst = rbd.RBD() size = 4 * 1024**3 # 4 GiB rbd_inst.create(ioctx, 'myimage', size) image = rbd.Image(ioctx, 'myimage') try: data = 'foo' * 200 image.write(data, 0) finally: image.close() finally: ioctx.close() finally: cluster.shutdown()
이는 번거롭기 때문에 Rados,Ioctx 및 Image 클래스는 자동으로 종료되거나 종료되는 컨텍스트 관리자로 사용할 수 있습니다. 컨텍스트 관리자로 이를 사용하면 위의 예는 다음과 같습니다.
with rados.Rados(conffile='my_ceph.conf') as cluster: with cluster.open_ioctx('mypool') as ioctx: rbd_inst = rbd.RBD() size = 4 * 1024**3 # 4 GiB rbd_inst.create(ioctx, 'myimage', size) with rbd.Image(ioctx, 'myimage') as image: data = 'foo' * 200 image.write(data, 0)
부록 A. Ceph 블록 장치 구성 참조
스토리지 관리자는 사용 가능한 다양한 옵션을 통해 Ceph 블록 장치의 동작을 미세 조정할 수 있습니다. 이 참조를 사용하여 기본 Ceph 블록 장치 옵션 및 Ceph 블록 장치 캐싱 옵션을 볼 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
A.1. 블록 장치 기본 옵션
이미지를 생성하기 위한 기본 설정을 덮어쓸 수 있습니다. Ceph는 2
형식 및 스트라이핑 없이 이미지를 생성합니다.
- rbd_default_format
- 설명
-
다른 형식이 지정되지 않은 경우 기본 형식(
2
)입니다. 형식1
은 모든 버전의librbd
및 커널 모듈과 호환되지만 복제와 같은 최신 기능은 지원하지 않는 새 이미지의 원본 형식입니다. 형식2
는librbd
및 버전 3.11 이후 커널 모듈에서 지원합니다 (스트립을 제외하고). 형식2
는 복제에 대한 지원을 추가하고 향후 더 많은 기능을 허용하도록 보다 쉽게 확장할 수 있습니다. - 유형
- 정수
- Default
-
2
- rbd_default_order
- 설명
- 다른 순서가 지정되지 않은 경우 기본 순서입니다.
- 유형
- 정수
- Default
-
22
- rbd_default_stripe_count
- 설명
- 다른 스트라이프 수가 지정되지 않은 경우 기본 스트라이프 수입니다. 기본값을 변경하려면 v2 기능을 제거해야 합니다.
- 유형
- 64비트 부호 없는 정수
- Default
-
0
- rbd_default_stripe_unit
- 설명
-
다른 스트라이프 단위가 지정되지 않은 경우 기본 스트라이프 단위입니다. 단위를
0
(즉, 오브젝트 크기)에서 변경하려면 스트립 v2 기능이 필요합니다. - 유형
- 64비트 부호 없는 정수
- Default
-
0
- rbd_default_features
- 설명
블록 장치 이미지를 생성할 때 활성화되는 기본 기능입니다. 이 설정은 형식 2 이미지에만 적용됩니다. 설정은 다음과 같습니다.
1: 계층 지정 지원. 계층 지정을 사용하면 복제를 사용할 수 있습니다.
2: v2 지원 제거. 스트리핑은 여러 오브젝트에 데이터를 분산합니다. 스트라이핑은 순차적 읽기/쓰기 워크로드를 위한 병렬 처리를 지원합니다.
4: 전용 잠금 지원. 활성화하면 쓰기 전에 클라이언트가 개체에 대한 잠금을 가져와야 합니다.
8: 오브젝트 맵 지원. 블록 장치는 thin-provisioned-meaning이며 실제로 존재하는 데이터만 저장합니다. 오브젝트 맵 지원은 실제로 존재하는 오브젝트를 추적하는 데 도움이 됩니다(드라이드에 저장된 데이터). 오브젝트 맵을 사용하면 복제에 대한 I/O 작업을 가속화하거나 스파스로 채워진 이미지를 가져오고 내보낼 수 있습니다.
16: 빠른 지원 fast-diff 지원은 오브젝트 맵 지원 및 전용 잠금 지원에 따라 다릅니다. 또 다른 속성을 오브젝트 맵에 추가하여 이미지의 스냅샷 간에 diff를 훨씬 빠르게 생성하고 스냅샷의 실제 데이터 사용량을 훨씬 빠르게 생성합니다.
32: 깊은 지원. deep-flatten은 이미지 자체 외에도 모든 이미지의 스냅샷에서
rbd flatten
을 사용하도록 합니다. 이미지 스냅샷이 없으면 여전히 상위 스냅샷을 사용하므로 스냅샷이 삭제될 때까지 상위는 삭제할 수 없습니다. Deep-flatten은 스냅샷이 있는 경우에도 상위 복제본을 독립적으로 만듭니다.64: 저널링 지원 저널링은 이미지에 대한 모든 수정 사항을 발생 순서대로 기록합니다. 이렇게 하면 원격 이미지의 충돌 일관된 미러를 로컬에서 사용할 수 있습니다.
활성화된 기능은 숫자 설정의 합계입니다.
- 유형
- 정수
- Default
61
- 계층화, 전용 잠금, 객체 맵, fast-diff 및 deep-flatten이 활성화됨중요현재 기본 설정은 RBD 커널 드라이버 또는 이전 RBD 클라이언트와 호환되지 않습니다.
- rbd_default_map_options
- 설명
-
대부분의 옵션은 디버깅 및 벤치마킹에 주로 유용합니다. 자세한 내용은
맵 옵션
아래man rbd
를 참조하십시오. - 유형
- 문자열
- Default
-
""
A.2. 블록 장치 일반 옵션
- rbd_op_threads
- 설명
- 블록 장치 작업 스레드 수입니다.
- 유형
- 정수
- Default
-
1
기본값 rbd_op_threads
를 1
보다 큰 숫자로 설정하면 데이터 손상이 발생할 수 있으므로 변경하지 마십시오.
- rbd_op_thread_timeout
- 설명
- 블록 장치 작업 스레드의 제한 시간(초)입니다.
- 유형
- 정수
- Default
-
60
- rbd_non_blocking_aio
- 설명
-
true
인 경우 Ceph는 차단을 방지하기 위해 작업자 스레드에서 블록 장치 비동기 I/O 작업을 처리합니다. - 유형
- 부울
- Default
-
true
- rbd_concurrent_management_ops
- 설명
- 최대 동시 관리 작업 수(예: 이미지 삭제 또는 크기 조정)입니다.
- 유형
- 정수
- Default
-
10
- rbd_request_timed_out_seconds
- 설명
- 유지 관리 요청이 시간 초과되기 전의 시간(초)입니다.
- 유형
- 정수
- Default
-
30
- rbd_clone_copy_on_read
- 설명
-
true
로 설정하면 copy-on-read 복제가 활성화됩니다. - 유형
- 부울
- Default
-
false
- rbd_enable_alloc_hint
- 설명
-
true
인 경우 할당 힌트가 활성화되고 블록 장치는 예상 크기 오브젝트를 나타내기 위해 OSD 백엔드에 힌트를 발행합니다. - 유형
- 부울
- Default
-
true
- rbd_skip_partial_discard
- 설명
-
true
인 경우 블록 장치는 개체 내의 범위를 삭제하려고 할 때 범위 0을 건너뜁니다. - 유형
- 부울
- Default
-
true
- rbd_tracing
- 설명
-
이 옵션을
true
로 설정하여 Linux Trace Toolkit Next Generation User Space Tracer(LTTng-UST) 추적 지점을 활성화합니다. 자세한 내용은 RBD Replay 기능을 사용하여 RADOS 블록 장치 (RBD) 워크로드 추적을 참조하십시오. - 유형
- 부울
- Default
-
false
- rbd_validate_pool
- 설명
-
RBD 호환성을 위해 빈 풀의 유효성을 검사하려면 이 옵션을
true
로 설정합니다. - 유형
- 부울
- Default
-
true
- rbd_validate_names
- 설명
-
이미지 사양을 확인하려면 이 옵션을
true
로 설정합니다. - 유형
- 부울
- Default
-
true
A.3. 블록 장치 캐싱 옵션
Ceph 블록 장치(즉, librbd
)의 사용자 공간 구현에서는 Linux 페이지 캐시를 활용할 수 없으므로 RBD
캐싱이라는 자체 메모리 내 캐싱이 포함됩니다. Ceph 블록 장치 캐싱은 제대로 작동하는 하드 디스크 캐싱처럼 작동합니다. 운영 체제가 장벽 또는 플러시 요청을 보내면 모든 더티 데이터가 Ceph OSD에 작성됩니다. 즉, 플러시를 올바르게 전송하는 가상 시스템과 함께 제대로 작동하는 물리적 하드 디스크를 Linux 커널 버전 2.6.32 이상과 함께 사용하는 것만큼 안전한 캐시를 사용할 수 있습니다. 캐시는 최근 사용된 LRU(Least recentlyly Used) 알고리즘을 사용하고, 나중 쓰기 모드에서는 처리량 향상을 위해 연속된 요청을 병합할 수 있습니다.
Ceph 블록 장치는 동시 쓰기 캐싱을 지원합니다. 나중 쓰기 캐싱을 활성화하려면 rbd_cache = true
를 Ceph 구성 파일의 [client]
섹션으로 설정합니다. 기본적으로 librbd
는 캐싱을 수행하지 않습니다. 쓰기 및 읽기는 스토리지 클러스터에 직접 이동하며 쓰기는 데이터가 모든 복제본의 디스크에 있을 때만 반환됩니다. 캐싱이 활성화된 상태에서 rbd_cache_max_dirty
가 플러시되지 않은 바이트가 없으면 쓰기가 즉시 반환됩니다. 이 경우 쓰기는 충분한 바이트가 플러시될 때까지 write-back 및 block을 트리거합니다.
Ceph 블록 장치는 동시 쓰기 캐싱을 지원합니다. 캐시 크기를 설정할 수 있으며 나중 쓰기 캐싱에서 동시 쓰기 캐싱으로 전환할 대상 및 제한을 설정할 수 있습니다. 쓰기 모드를 활성화하려면 rbd_cache_max_dirty
를 0으로 설정합니다. 즉 쓰기는 데이터가 모든 복제본의 디스크에 있을 때만 반환되지만 읽기는 캐시에서 가져올 수 있습니다. 캐시는 클라이언트의 메모리에 있으며 각 Ceph 블록 장치 이미지에는 자체 캐시가 있습니다. 캐시는 클라이언트의 로컬이므로 다른 사용자가 이미지에 액세스하는 경우 일관성이 없습니다. Ceph 블록 장치 상단에서 kubeconfig 또는 OCFS와 같은 다른 파일 시스템을 실행하면 캐싱이 활성화된 경우 작동하지 않습니다.
Ceph 블록 장치에 대한 Ceph 구성 설정은 기본적으로 /etc/ceph/ceph.conf
의 [client]
섹션에 설정해야 합니다.
설정은 다음과 같습니다.
- rbd_cache
- 설명
- RADOS 블록 장치(RBD)의 캐싱을 활성화합니다.
- 유형
- 부울
- 필수 항목
- 없음
- Default
-
true
- rbd_cache_size
- 설명
- RBD 캐시 크기(바이트)입니다.
- 유형
- 64비트 정수
- 필수 항목
- 없음
- Default
-
32MiB
- rbd_cache_max_dirty
- 설명
-
캐시가 쓰기를 트리거하는 바이트 단위 단위입니다.
0
인 경우 동시 쓰기 캐싱을 사용합니다. - 유형
- 64비트 정수
- 필수 항목
- 없음
- 제약 조건
-
rbd 캐시 크기
보다 작아야 합니다. - Default
-
24 MiB
- rbd_cache_target_dirty
- 설명
-
캐시가 데이터 스토리지에 데이터 쓰기를 시작하기 전에
더러워진 대상
입니다. 캐시에 대한 쓰기를 차단하지 않습니다. - 유형
- 64비트 정수
- 필수 항목
- 없음
- 제약 조건
-
rbd 캐시 최대값보다 작아야 합니다
. - Default
-
16 MiB
- rbd_cache_max_dirty_age
- 설명
- 쓰기가 시작되기 전에 데이터가 캐시에 있는 시간(초)입니다.
- 유형
- 플로트
- 필수 항목
- 없음
- Default
-
1.0
- rbd_cache_max_dirty_object
- 설명
-
개체의 더미러한 제한 - auto calculate from
rbd_cache_size
에 대해0
으로 설정됩니다. - 유형
- 정수
- Default
-
0
- rbd_cache_block_writes_upfront
- 설명
-
true
인 경우aio_write
호출이 완료되기 전에 캐시에 대한 쓰기를 차단합니다.false
인 경우aio_completion
이 호출되기 전에 차단됩니다. - 유형
- 부울
- Default
-
false
- rbd_cache_writethrough_until_flush
- 설명
- 동시 쓰기 모드로 시작하고 첫 번째 플러시 요청이 수신된 후 나중 쓰기로 전환합니다. 이 기능을 활성화하면 rbd에서 실행되는 VM이 2.6.32 이전 Linux의 virtio 드라이버와 같이 플러시를 보낼 수 없는 경우 보수적으로 안전한 설정입니다.
- 유형
- 부울
- 필수 항목
- 없음
- Default
-
true
A.4. 블록 장치 상위 및 하위 읽기 옵션
- rbd_balance_snap_reads
- 설명
- Ceph는 일반적으로 기본 OSD에서 오브젝트를 읽습니다. 읽기는 변경할 수 없으므로 이 기능을 사용하여 기본 OSD와 복제본 간에 스냅 읽기의 균형을 조정할 수 있습니다.
- 유형
- 부울
- Default
-
false
- rbd_localize_snap_reads
- 설명
-
rbd_balance_snap_reads
는 스냅샷을 읽기 위해 복제본을 무작위로 설정합니다.rbd_localize_snap_reads
를 활성화하면 블록 장치는 스냅샷을 읽기 위해 가장 가까운 또는 로컬 OSD를 찾기 위해 block 장치를 표시합니다. - 유형
- 부울
- Default
-
false
- rbd_balance_parent_reads
- 설명
- Ceph는 일반적으로 기본 OSD에서 오브젝트를 읽습니다. 읽기는 변경할 수 없으므로 이 기능을 사용하여 기본 OSD와 복제본 간에 상위 읽기의 균형을 조정할 수 있습니다.
- 유형
- 부울
- Default
-
false
- rbd_localize_parent_reads
- 설명
-
rbd_balance_parent_reads
는 부모를 읽기 위해 복제본을 무작위로 설정합니다.rbd_localize_parent_reads
를 활성화하면 블록 장치가 parent를 읽기 위해 가장 가까운 또는 로컬 OSD를 찾을 수 있습니다. - 유형
- 부울
- Default
-
true
A.5. 블록 장치 미리 읽기 옵션
RBD는 읽기-ahead/prefetching을 지원하여 작은 순차 읽기를 최적화합니다. 일반적으로 VM의 경우 게스트 OS에서 처리해야 하지만, 부팅 로더는 효율적으로 읽을 수 없습니다. 캐싱이 비활성화되면 미리 읽기가 자동으로 비활성화됩니다.
- rbd_readahead_trigger_requests
- 설명
- 읽기-ahead를 트리거하는 데 필요한 순차 읽기 요청 수입니다.
- 유형
- 정수
- 필수 항목
- 없음
- Default
-
10
- rbd_readahead_max_bytes
- 설명
- 읽기-ahead 요청의 최대 크기입니다. 0인 경우 미리 읽기가 비활성화되어 있습니다.
- 유형
- 64비트 정수
- 필수 항목
- 없음
- Default
-
512 KiB
- rbd_readahead_disable_after_bytes
- 설명
- RBD 이미지에서 많은 바이트를 읽은 후 해당 이미지를 닫을 때까지 해당 이미지에 대해 읽기가 비활성화됩니다. 이렇게 하면 게스트 OS가 부팅되면 미리 읽기를 수행할 수 있습니다. 0인 경우 읽기-헤드가 활성화되어 있습니다.
- 유형
- 64비트 정수
- 필수 항목
- 없음
- Default
-
50 MiB
A.6. 블록 장치 블록 목록 옵션
- rbd_blocklist_on_break_lock
- 설명
- 잠금이 손상된 클라이언트를 차단할지 여부입니다.
- 유형
- 부울
- Default
-
true
- rbd_blocklist_expire_seconds
- 설명
- OSD 기본값인 blocklist -를 0으로 설정합니다.
- 유형
- 정수
- Default
-
0
A.7. 블록 장치 저널 옵션
- rbd_journal_order
- 설명
-
저널 오브젝트의 최대 크기를 계산하도록 전환할 비트 수입니다. 값은
12
에서64
사이입니다. - 유형
- 32비트 부호 없는 정수
- Default
-
24
- rbd_journal_splay_width
- 설명
- 활성 저널 오브젝트 수입니다.
- 유형
- 32비트 부호 없는 정수
- Default
-
4
- rbd_journal_commit_age
- 설명
- 커밋 시간 간격(초)입니다.
- 유형
- 두 번 정밀한 부동 소수점 수
- Default
-
5
- rbd_journal_object_flush_interval
- 설명
- 저널 오브젝트당 최대 보류 중인 커밋 수입니다.
- 유형
- 정수
- Default
-
0
- rbd_journal_object_flush_bytes
- 설명
- 저널 오브젝트당 최대 보류 중인 바이트 수입니다.
- 유형
- 정수
- Default
-
0
- rbd_journal_object_flush_age
- 설명
- 보류 중인 커밋의 최대 시간 간격(초)입니다.
- 유형
- 두 번 정밀한 부동 소수점 수
- Default
-
0
- rbd_journal_pool
- 설명
- 저널 오브젝트의 풀을 지정합니다.
- 유형
- 문자열
- Default
-
""
A.8. 블록 장치 구성 덮어쓰기 옵션
글로벌 및 풀 수준의 블록 장치 구성 재정의 옵션.
글로벌 수준
사용 가능한 키
rbd_qos_bps_burst
- 설명
- IO 바이트의 버스트 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_bps_limit
- 설명
- 필요한 초당 IO 바이트 수입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_iops_burst
- 설명
- IO 작업의 원하는 버스 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_iops_limit
- 설명
- 원하는 초당 IO 작업 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_read_bps_burst
- 설명
- 필요한 읽기 바이트 제한 burst 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_read_bps_limit
- 설명
- 초당 읽기 바이트 수입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_read_iops_burst
- 설명
- 원하는 읽기 작업 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_read_iops_limit
- 설명
- 필요한 초당 읽기 작업 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_write_bps_burst
- 설명
- 쓰기 바이트의 버스트 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_write_bps_limit
- 설명
- 초당 쓰기 바이트 수입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_write_iops_burst
- 설명
- 쓰기 작업의 원하는 버스 제한입니다.
- 유형
- 정수
- Default
-
0
rbd_qos_write_iops_limit
- 설명
- 초당 쓰기 작업의 원하는 버스 제한입니다.
- 유형
- 정수
- Default
-
0
위의 키는 다음에 사용할 수 있습니다.
RBD 구성 글로벌 설정 CONFIG_ENTITY KEY VALUE
- 설명
- 글로벌 수준 구성 재정의를 설정합니다.
RBD 구성 글로벌 get CONFIG_ENTITY KEY
- 설명
- 글로벌 수준 구성 덮어쓰기를 가져옵니다.
RBD 구성 글로벌 목록 CONFIG_ENTITY
- 설명
- 글로벌 수준 구성 덮어쓰기를 나열합니다.
RBD 구성 글로벌 제거 CONFIG_ENTITY KEY
- 설명
- 글로벌 수준 구성 덮어쓰기를 제거합니다.
풀 수준
RBD 구성 풀 설정 POOL_NAME KEY VALUE
- 설명
- 풀 수준 구성 덮어쓰기를 설정합니다.
RBD 구성 풀 get POOL_NAME KEY
- 설명
- 풀 수준 구성 덮어쓰기를 가져옵니다.
RBD 구성 풀 목록 POOL_NAME
- 설명
- 풀 수준 구성 덮어쓰기를 나열합니다.
RBD 구성 풀은 POOL_NAME KEY제거
- 설명
- 풀 수준 구성 덮어쓰기를 제거합니다.
CONFIG_ENTITY
는 글로벌, 클라이언트 또는 클라이언트 ID입니다. KEY
는 구성 키입니다. VALUE
는 config 값입니다. POOL_NAME
은 풀의 이름입니다.
A.9. 블록 장치 입력 및 출력 옵션
Red Hat Ceph Storage의 일반 입력 및 출력 옵션.
rbd_compression_hint
- 설명
-
쓰기 작업에서 OSD에 보내는 힌트입니다.
compressible
으로 설정하고 OSDbluestore_compression_mode
설정이수동적인
경우 OSD에서 데이터를 압축합니다.압축할 수 없음으로 설정하고 OSD
데이터를 압축하지 않습니다.bluestore_compression_mode
설정이공격적인
경우 OSD에서 - 유형
- ECDHE
- 필수 항목
- 없음
- Default
-
none
- 값
-
none
,compressible
,incompressible
rbd_read_from_replica_policy
- 설명
읽기 작업을 수신하는 OSD를 결정하는 정책입니다. 기본으로 설정하는 경우 각 PG의 기본 OSD는 항상 읽기 작업에 사용됩니다.
balance
로 설정하면 읽기 작업이 복제본 세트 내에서 무작위로 선택된 OSD로 전송됩니다.localize
로 설정하면 read 작업이ECDHE 맵에 의해 결정된 대로 가장 가까운 OSD로 전송되고crush_location
key=value
를 사용하여 표시됩니다.키는
DestinationRule 맵 키와 일치합니다.참고이 기능을 사용하려면 최신 버전의 Red Hat Ceph Storage에서 호환되는 최소 OSD 릴리스로 스토리지 클러스터를 구성해야 합니다.
- 유형
- ECDHE
- 필수 항목
- 없음
- Default
-
default
- 값
-
기본
,balance
,localize