파일 시스템 가이드
Ceph 파일 시스템 구성 및 마운트
초록
1장. Ceph 파일 시스템 소개
스토리지 관리자는 Ceph 파일 시스템(CephFS) 환경을 관리하기 위한 기능, 시스템 구성 요소 및 제한 사항을 이해할 수 있습니다.
1.1. Ceph 파일 시스템 기능 및 개선 사항
Ceph 파일 시스템(CephFS)은 RADOS(Reliable Autonomic Distributed Object Storage)라는 Ceph의 분산 개체 저장소를 기반으로 구축된 POSIX 표준과 호환되는 파일 시스템입니다. CephFS는 Red Hat Ceph Storage 클러스터에 대한 파일 액세스를 제공하며 가능한 경우 POSIX 의미 체계를 사용합니다. 예를 들어, NFS와 같은 다른 많은 일반적인 네트워크 파일 시스템과 달리 CephFS는 클라이언트 간에 강력한 캐시 일관성을 유지합니다. 목표는 파일 시스템을 사용하는 프로세스가 동일한 호스트에 있는 것과 다른 호스트에 있을 때 동일하게 작동하는 것입니다. 그러나 CephFS는 엄격한 POSIX 의미 체계와 다릅니다.
Ceph 파일 시스템에는 다음과 같은 기능과 개선 사항이 있습니다.
- 확장성
- Ceph 파일 시스템은 메타데이터 서버의 수평적 확장과 개별 OSD 노드를 통한 직접 클라이언트 읽기 및 쓰기로 인해 확장성이 높습니다.
- 공유 파일 시스템
- Ceph 파일 시스템은 공유 파일 시스템이므로 여러 클라이언트가 한 번에 동일한 파일 시스템에서 작업할 수 있습니다.
- 여러 파일 시스템
- 하나의 스토리지 클러스터에서 여러 파일 시스템을 활성화할 수 있습니다. 각 CephFS에는 고유한 풀 세트와 자체 메타데이터 서버(MDS) 세트가 있습니다. 여러 파일 시스템을 배포할 때 MDS 데몬이 더 많이 실행되어야 합니다. 이로 인해 메타데이터 처리량이 증가할 수 있지만 운영 비용도 증가할 수 있습니다. 특정 파일 시스템에 대한 클라이언트 액세스를 제한할 수도 있습니다.
- 고가용성
- Ceph 파일 시스템은 Ceph 메타데이터 서버(MDS) 클러스터를 제공합니다. 하나는 활성 상태이고 다른 하나는 대기 모드입니다. 활성 MDS가 예기치 않게 종료되면 대기 MDS 중 하나가 활성화됩니다. 결과적으로 서버 장애를 통해 클라이언트 마운트가 계속 작동합니다. 이 동작은 Ceph 파일 시스템을 고가용성으로 만듭니다. 또한 여러 활성 메타데이터 서버를 구성할 수 있습니다.
- 구성 가능한 파일 및 디렉터리 레이아웃
- Ceph 파일 시스템을 사용하면 파일 및 디렉터리 레이아웃을 구성하여 여러 풀, 풀 네임스페이스 및 파일 스트라이핑 모드를 사용할 수 있습니다.
- POSIX ACL(액세스 제어 목록)
-
Ceph 파일 시스템은 POSIX ACL(액세스 제어 목록)을 지원합니다. ACL은 커널 버전 kernel
-3.10.0-327.18.el7 이상의 커널
클라이언트로 마운트된 Ceph File Systems를 사용하여 기본적으로 활성화됩니다. FUSE 클라이언트로 마운트된 Ceph File Systems와 함께 ACL을 사용하려면 활성화해야 합니다. - 클라이언트 할당량
- Ceph 파일 시스템은 시스템의 모든 디렉터리에서 할당량 설정을 지원합니다. 할당량은 디렉터리 계층 구조의 해당 지점에 저장된 파일 수 또는 바이트 수를 제한할 수 있습니다. CephFS 클라이언트 할당량은 기본적으로 활성화되어 있습니다.
CephFS EC 풀은 아카이브 목적으로만 사용됩니다.
추가 리소스
- Ceph 메타데이터 서버를 설치하려면 운영 가이드 의 Ceph Orchestrator 섹션을 사용하여 MDS 서비스 관리를 참조하십시오.
- Ceph 파일 시스템을 생성하려면 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
1.2. Ceph 파일 시스템 구성 요소
Ceph 파일 시스템에는 두 가지 기본 구성 요소가 있습니다.
- 클라이언트
-
CephFS 클라이언트는 CephFS(예: FUSE 클라이언트용
ceph-fuse
, 커널 클라이언트의 경우kcephfs
)를 사용하여 애플리케이션을 대신하여 I/O 작업을 수행합니다. CephFS 클라이언트는 메타데이터 요청을 활성 메타데이터 서버로 보냅니다. 그 대신 CephFS 클라이언트는 파일 메타데이터를 학습하고 메타데이터와 파일 데이터 모두를 안전하게 캐싱할 수 있습니다. - 메타데이터 서버(MDS)
MDS는 다음을 수행합니다.
- CephFS 클라이언트에 메타데이터를 제공합니다.
- Ceph 파일 시스템에 저장된 파일과 관련된 메타데이터를 관리합니다.
- 공유 Red Hat Ceph Storage 클러스터에 대한 액세스를 조정합니다.
- 백업 메타데이터 풀 저장소에 대한 요청을 줄이기 위해 핫 메타데이터를 캐시합니다.
- 캐시 일관성을 유지하기 위해 CephFS 클라이언트 캐시를 관리합니다.
- 활성 MDS 간에 핫 메타데이터를 복제합니다.
- 메타데이터를 백업 메타데이터 풀에 정기적으로 플러시하여 컴팩트 저널에 병합합니다.
-
CephFS를 실행하려면 하나 이상의 메타데이터 서버 데몬(
ceph-mds
)이 필요합니다.
아래 다이어그램은 Ceph 파일 시스템의 구성 요소 계층을 보여줍니다.

하단 계층은 기본 핵심 스토리지 클러스터 구성 요소를 나타냅니다.
-
Ceph 파일 시스템 데이터 및 메타데이터가 저장되는 Ceph OSD(
ceph-osd
)입니다. -
Ceph 파일 시스템 메타데이터를 관리하는 Ceph 메타데이터 서버(
ceph-mds
). -
클러스터 맵의 마스터 복사본을 관리하는 Ceph 모니터(
ceph-mon
)입니다.
Ceph Storage 프로토콜 계층은 코어 스토리지 클러스터와 상호 작용을 위한 Ceph 기본 librados
라이브러리를 나타냅니다.
CephFS 라이브러리 계층에는 librados
에서 작동하고 Ceph 파일 시스템을 나타내는 CephFS libcephfs
라이브러리가 포함되어 있습니다.
최상위 계층은 Ceph 파일 시스템에 액세스할 수 있는 두 가지 유형의 Ceph 클라이언트를 나타냅니다.
아래 다이어그램은 Ceph 파일 시스템 구성 요소가 서로 상호 작용하는 방법에 대한 자세한 내용을 보여줍니다.

추가 리소스
- Ceph 메타데이터 서버를 설치하려면 파일 시스템 가이드 의 Ceph Orchestrator 섹션을 사용하여 MDS 서비스 관리를 참조하십시오.
- Ceph 파일 시스템을 생성하려면 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템배포 섹션을 참조하십시오.
1.3. Ceph 파일 시스템 및 SELinux
Red Hat Enterprise Linux 8.3 및 Red Hat Ceph Storage 4.2부터 Ceph File Systems(CephFS) 환경에서 SELinux(Security-Enhanced Linux) 사용 지원이 제공됩니다. 이제 개별 파일에 특정 SELinux 유형을 할당하고 CephFS와 함께 모든 SELinux 파일 유형을 설정할 수 있습니다. 이 지원은 Ceph 파일 시스템 메타데이터 서버(MDS), 사용자 공간(FUSE)의 CephFS 파일 시스템, CephFS 커널 클라이언트에 적용됩니다.
추가 리소스
1.4. Ceph 파일 시스템 제한 사항 및 POSIX 표준
Ceph 파일 시스템은 다음과 같은 방식으로 엄격한 POSIX 의미와 다릅니다.
-
클라이언트의 파일 쓰기 시도가 실패하면 쓰기 작업이 반드시 원자적이지 않습니다. 즉, 클라이언트는 8MB 버퍼를 사용하여
O_SYNC
플래그로 열린 파일에서write()
시스템 호출을 호출한 다음 예기치 않게 종료되고 쓰기 작업이 부분적으로만 적용될 수 있습니다. 거의 모든 파일 시스템, 로컬 파일 시스템도 이 동작을 수행합니다. - 쓰기 작업이 동시에 발생하는 경우 오브젝트 경계를 초과하는 쓰기 작업이 반드시 원자적이지 않습니다. 예를 들어 작성자 A 는 "aa|aa" 를 작성하고 작성자 B 는 "bb|bb" 를 동시에 씁니다. 여기서 "|" 는 오브젝트 경계이고 "aa|bb" 는 적절한 "aa|aa" 또는 "bb|bb"가 아니라 작성됩니다.
-
POSIX에는 현재 디렉터리 오프셋을 가져오고 다시 검색할 수 있는
telldir()
및seekdir()
시스템 호출이 포함되어 있습니다. CephFS는 언제든지 디렉터리를 조각화할 수 있으므로 디렉터리에 대한 안정적인 정수 오프셋을 반환하기 어렵습니다. 따라서 제로가 아닌 오프셋에 대한seekdir()
시스템 호출을 호출하는 것은 종종 작동하지만 그렇게 할 수는 없습니다.seekdir()
을 오프셋 0으로 호출하면 항상 작동합니다. 이는rewinddir()
시스템 호출과 동일합니다. -
스파스 파일은
stat()
시스템 호출의st_blocks
필드에 잘못 전파됩니다.st_blocks
필드는 항상 블록 크기로 나눈 파일 크기의 quotient에 의해 채워지기 때문에 CephFS는 할당되거나 작성된 파일의 일부를 명시적으로 추적하지 않습니다. 이 동작으로 인해du
와 같은 유틸리티가 사용된 공간을 과대 평가하게 됩니다. -
mmap()
시스템 호출이 여러 호스트의 메모리에 파일을 매핑하면 쓰기 작업이 다른 호스트의 캐시로 일관되게 전파되지 않습니다. 즉, 페이지가 호스트 A에 캐시된 후 호스트 B에서 업데이트되면 호스트 A 페이지가 일관되게 무효화되지 않습니다. -
CephFS 클라이언트에는 스냅샷에 액세스, 생성, 삭제 및 이름을 지정하는 데 사용되는 숨겨진
.snap
디렉터리가 있습니다. 이 디렉터리는readdir()
시스템 호출에서 제외되지만 이름이 동일한 파일 또는 디렉터리를 생성하려고 하는 모든 프로세스에서 오류를 반환합니다. 이 숨겨진 디렉터리의 이름은 마운트 시-o snapdirname=.<new_name
> 옵션을 사용하거나client_snapdir
구성 옵션을 사용하여 변경할 수 있습니다.
추가 리소스
- Ceph 메타데이터 서버를 설치하려면 파일 시스템 가이드 의 Ceph Orchestrator 섹션을 사용하여 MDS 서비스 관리를 참조하십시오.
- Ceph 파일 시스템을 생성하려면 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템배포 섹션을 참조하십시오.
2장. Ceph 파일 시스템 메타데이터 서버
추가 리소스
스토리지 관리자는 CephFS MDS 순위 메커니즘 구성, MDS 대기 데몬 구성, 캐시 크기 제한에 대한 학습과 함께 Ceph File System(CephFS) 메타데이터 서버(MDS)의 다양한 상태에 대해 알아볼 수 있습니다. 이러한 개념을 알고 있으면 스토리지 환경에 대한 MDS 데몬을 구성할 수 있습니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
-
Ceph Metadata Server 데몬 설치(
ceph-mds
). MDS 데몬 구성에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph Orchestrator 섹션을 사용하여 MDS 서비스 관리를 참조하십시오.
2.1. 메타데이터 서버 데몬 상태
메타데이터 서버(MDS) 데몬은 다음 두 가지 상태로 작동합니다.
- active 인터페이스와 디렉터리의 파일 및 디렉터리의 메타데이터를 Ceph 파일 시스템에 저장합니다.
- standby>-<->-<serves를 백업으로 예약하고 활성 MDS 데몬이 응답하지 않을 때 활성화됩니다.
기본적으로 Ceph 파일 시스템은 활성 MDS 데몬을 하나만 사용합니다. 그러나 많은 클라이언트가 있는 시스템은 여러 활성 MDS 데몬의 이점을 활용할 수 있습니다.
대규모 워크로드에 대해 메타데이터 성능을 확장할 수 있도록 여러 개의 활성 MDS 데몬을 사용하도록 파일 시스템을 구성할 수 있습니다. 메타데이터 로드 패턴이 변경될 때 활성 MDS 데몬은 메타데이터 워크로드를 동적으로 공유합니다. 여러 개의 활성 MDS 데몬이 있는 시스템에는 고가용성 상태를 유지하기 위해 대기 MDS 데몬이 필요합니다.
Active MDS Daemon Fails가 있는 경우
활성 MDS가 응답하지 않는 경우 Ceph Monitor 데몬은 mds_beacon_grace
옵션에 지정된 값과 동일한 시간(초)을 기다립니다. 지정된 기간이 지난 후에도 활성 MDS가 여전히 응답하지 않는 경우 Ceph 모니터는 MDS 데몬을 delaygy 로 표시합니다
. 구성에 따라 대기 데몬 중 하나가 활성화됩니다.
mds_beacon_grace
의 값을 변경하려면 이 옵션을 Ceph 구성 파일에 추가하고 새 값을 지정합니다.
2.2. 메타데이터 서버 순위
각 Ceph 파일 시스템(CephFS)에는 기본적으로 0부터 시작하는 여러 순위가 있습니다.
순위는 여러 메타데이터 서버(MDS) 데몬 간에 메타데이터 워크로드를 공유하는 방법을 정의합니다. 순위 수는 동시에 활성화할 수 있는 MDS 데몬의 최대 수입니다. 각 MDS 데몬은 해당 순위에 할당된 CephFS 메타데이터의 서브 세트를 처리합니다.
각 MDS 데몬은 처음에 순위 없이 시작됩니다. Ceph Monitor는 데몬에 순위를 할당합니다. MDS 데몬은 한 번에 하나의 순위만 보유할 수 있습니다. 데몬이 중지된 경우에만 순위가 손실됩니다.
max_mds
설정은 생성할 순위 수를 제어합니다.
CephFS의 실제 순위 수는 새 순위를 수락하는 예비 데몬을 사용할 수 있는 경우에만 증가합니다.
순위 상태
순위는 다음과 같습니다.
- up - MDS 데몬에 할당된 순위입니다.
- failed - MDS 데몬과 연결되지 않은 순위입니다.
-
손상됨 - 메타데이터가 손상되거나 누락된 순위입니다. 손상된 순위는 Operator가 문제를 해결할 때까지 MDS 데몬에 할당되지 않고 손상된 순위에서
ceph mds
repair 명령을 사용합니다.
2.3. 메타데이터 서버 캐시 크기 제한
다음과 같이 Ceph 파일 시스템(CephFS) 메타데이터 서버(MDS) 캐시의 크기를 제한할 수 있습니다.
메모리 제한:
mds_cache_memory_limit
옵션을 사용합니다. Red Hat은mds_cache_memory_limit
의 경우 8GB에서 64GB 사이의 값을 권장합니다. 더 많은 캐시를 설정하면 복구 문제가 발생할 수 있습니다. 이 제한은 MDS의 최대 메모리 사용량의 약 66%입니다.참고mds_cache_memory_limit
의 기본값은 4GB입니다. 기본값은 권장 범위 외부에 있으므로 Red Hat은 언급된 범위 내에서 값을 설정하는 것이 좋습니다.중요Red Hat은 inode 수 제한 대신 메모리 제한을 사용하는 것이 좋습니다.
-
inode count:
mds_cache_size
옵션을 사용합니다. 기본적으로 MDS 캐시를 inode 수로 제한하는 것은 비활성화되어 있습니다.
또한 MDS 작업에 mds_cache_reservation
옵션을 사용하여 캐시 예약을 지정할 수 있습니다. 캐시 예약은 메모리 또는 inode 제한의 백분율로 제한되며 기본적으로 5%로 설정됩니다. 이 매개변수의 의도는 새 메타데이터 작업이 사용할 수 있도록 MDS에서 해당 캐시에 대한 추가 메모리를 유지 관리하는 것입니다. 결과적으로 MDS는 캐시에서 사용되지 않는 메타데이터를 삭제하도록 클라이언트에서 이전 상태를 회수하므로 일반적으로 메모리 제한 아래로 작동해야 합니다.
MDS 노드가 캐시가 너무 큰 것을 나타내는 상태 경고를 Ceph 모니터에 보내는 경우를 제외하고 mds_cache_reservation
옵션은 모든 상황에서 mds_health_cache_threshold
옵션을 대체합니다. 기본적으로 mds_health_cache_threshold
는 최대 캐시 크기의 150%입니다.
캐시 제한은 하드 제한이 아닙니다. CephFS 클라이언트 또는 MDS 또는 잘못된 애플리케이션의 버그로 인해 MDS가 캐시 크기를 초과할 수 있습니다. mds_health_cache_threshold
옵션은 스토리지 클러스터 상태 경고 메시지를 구성하여 Operator가 MDS에서 캐시를 축소할 수 없는 이유를 조사할 수 있도록 합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage File System Guide 의 Metadata Server 데몬 구성 참조 섹션을 참조하십시오.
2.4. 파일 시스템 선호도
다른 Ceph MDS보다 특정 Ceph Metadata Server(MDS)를 선호하도록 Ceph 파일 시스템(CephFS)을 구성할 수 있습니다. 예를 들어 이전 버전에서 대기 MDS를 실행하는 기본 설정을 우선하여 하드웨어 속도가 느려질 수 있는 최신 하드웨어에서 MDS를 실행할 수 있습니다. 이 파일 시스템 선호도를 적용하는 mds_join_fs
옵션을 설정하여 이 기본 설정을 지정할 수 있습니다. Ceph Monitor는 파일 시스템 이름과 같은 mds_join_fs
를 실패한 순위의 MDS 대기 데몬을 우선시합니다. 다른 대기 데몬을 선택하기 전에 standby-replay 데몬이 선택됩니다. mds_join_fs
옵션과 함께 대기 데몬이 없는 경우 Ceph 모니터는 교체 또는 사용 가능한 다른 대기 시간을 마지막 수단으로 선택합니다. Ceph 모니터는 Ceph 파일 시스템을 정기적으로 검사하여 선호도가 더 낮은 Ceph MDS를 교체하는 데 더 강력한 선호도가 있는 대기 여부를 확인합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일 시스템선호도 구성 섹션을 참조하십시오.
2.5. Ceph Orchestrator를 사용하여 MDS 서비스 관리
스토리지 관리자는 백엔드에서 Ceph Orchestrator를 Cephadm과 함께 사용하여 MDS 서비스를 배포할 수 있습니다. 기본적으로 Ceph 파일 시스템(CephFS)은 활성 MDS 데몬을 하나만 사용합니다. 그러나 많은 클라이언트가 있는 시스템은 여러 활성 MDS 데몬의 이점을 활용할 수 있습니다.
이 섹션에서는 다음 관리 작업에 대해 설명합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모든 노드에 대한 루트 수준 액세스.
- 호스트가 클러스터에 추가됩니다.
- 모든 manager, monitor, OSD 데몬이 배포됩니다.
2.5.1. 명령줄 인터페이스를 사용하여 MDS 서비스 배포
Ceph Orchestrator를 사용하여 명령줄 인터페이스의 배치
사양을 사용하여 Metadata Server(MDS) 서비스를 배포할 수 있습니다. Ceph 파일 시스템(CephFS)에는 하나 이상의 MDS가 필요합니다.
Ceph 파일 시스템(CephFS) 데이터 및 CephFS 메타데이터에 대해 하나 이상의 풀이 있는지 확인합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 호스트가 클러스터에 추가됩니다.
- 모든 manager, monitor, OSD 데몬이 배포됩니다.
프로세스
Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
- 배치 사양을 사용하여 MDS 데몬을 배포하는 방법은 다음 두 가지가 있습니다.
방법 1
ceph fs 볼륨을
사용하여 MDS 데몬을 생성합니다. 이렇게 하면 CephFS와 연결된 CephFS 볼륨 및 풀이 생성되고 호스트에서 MDS 서비스도 시작됩니다.구문
ceph fs volume create FILESYSTEM_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"
참고기본적으로 이 명령에 대해 복제된 풀이 생성됩니다.
예
[ceph: root@host01 /]# ceph fs volume create test --placement="2 host01 host02"
방법 2
pool, CephFS를 생성한 다음 배치 사양을 사용하여 MDS 서비스를 배포합니다.
CephFS의 풀을 생성합니다.
구문
ceph osd pool create DATA_POOL [PG_NUM] ceph osd pool create METADATA_POOL [PG_NUM]
예
[ceph: root@host01 /]# ceph osd pool create cephfs_data 64 [ceph: root@host01 /]# ceph osd pool create cephfs_metadata 64
일반적으로 메타데이터 풀은 일반적으로 데이터 풀보다 오브젝트 수가 훨씬 적기 때문에 보수적인 수의 PG(배치 그룹)로 시작할 수 있습니다. 필요한 경우 PG 수를 늘릴 수 있습니다. 풀 크기는 64개의 PG에서 512 PG 사이입니다. 데이터 풀의 크기는 파일 시스템에서 예상되는 파일의 수 및 크기에 비례합니다.
중요메타데이터 풀의 경우 다음을 사용하십시오.
- 이 풀에 대한 데이터가 손실되어 전체 파일 시스템에 액세스할 수 없기 때문에 복제 수준이 높습니다.
- 클라이언트에서 파일 시스템 작업의 관찰된 대기 시간에 직접적인 영향을 미치기 때문에 SSD(Solid-State Drive) 디스크와 같은 대기 시간이 짧은 스토리지입니다.
데이터 풀 및 메타데이터 풀에 대한 파일 시스템을 생성합니다.
구문
ceph fs new FILESYSTEM_NAME METADATA_POOL DATA_POOL
예
[ceph: root@host01 /]# ceph fs new test cephfs_metadata cephfs_data
ceph orch apply
명령을 사용하여 MDS 서비스를 배포합니다.구문
ceph orch apply mds FILESYSTEM_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"
예제
[ceph: root@host01 /]# ceph orch apply mds test --placement="2 host01 host02"
검증
서비스를 나열합니다.
예
[ceph: root@host01 /]# ceph orch ls
CephFS 상태를 확인합니다.
예
[ceph: root@host01 /]# ceph fs ls [ceph: root@host01 /]# ceph fs status
호스트, 데몬 및 프로세스를 나열합니다.
구문
ceph orch ps --daemon_type=DAEMON_NAME
예제
[ceph: root@host01 /]# ceph orch ps --daemon_type=mds
추가 리소스
- Ceph 파일 시스템(CephFS) 생성에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드를 참조하십시오.
- 풀 값을 설정하는 방법에 대한 자세한 내용은 풀에서 배치 그룹 수 설정을 참조하십시오.
2.5.2. 서비스 사양을 사용하여 MDS 서비스 배포
Ceph Orchestrator를 사용하여 서비스 사양을 사용하여 MDS 서비스를 배포할 수 있습니다.
Ceph 파일 시스템(CephFS) 데이터 및 CephFS 메타데이터에 대해 하나 이상의 풀이 있는지 확인합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 호스트가 클러스터에 추가됩니다.
- 모든 manager, monitor, OSD 데몬이 배포됩니다.
프로세스
mds.yaml
파일을 생성합니다.예
[root@host01 ~]# touch mds.yaml
다음 세부 정보를 포함하도록
mds.yaml
파일을 편집합니다.구문
service_type: mds service_id: FILESYSTEM_NAME placement: hosts: - HOST_NAME_1 - HOST_NAME_2 - HOST_NAME_3
예
service_type: mds service_id: fs_name placement: hosts: - host01 - host02
YAML 파일을 컨테이너의 디렉터리에 마운트합니다.
예
[root@host01 ~]# cephadm shell --mount mds.yaml:/var/lib/ceph/mds/mds.yaml
디렉터리로 이동합니다.
예
[ceph: root@host01 /]# cd /var/lib/ceph/mds/
Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
다음 디렉터리로 이동합니다.
예제
[ceph: root@host01 /]# cd /var/lib/ceph/mds/
서비스 사양을 사용하여 MDS 서비스를 배포합니다.
구문
ceph orch apply -i FILE_NAME.yaml
예
[ceph: root@host01 mds]# ceph orch apply -i mds.yaml
MDS 서비스가 배포 및 작동되면 CephFS를 생성합니다.
구문
ceph fs new CEPHFS_NAME METADATA_POOL DATA_POOL
예제
[ceph: root@host01 /]# ceph fs new test metadata_pool data_pool
검증
서비스를 나열합니다.
예제
[ceph: root@host01 /]# ceph orch ls
호스트, 데몬 및 프로세스를 나열합니다.
구문
ceph orch ps --daemon_type=DAEMON_NAME
예제
[ceph: root@host01 /]# ceph orch ps --daemon_type=mds
2.5.3. Ceph Orchestrator를 사용하여 MDS 서비스 제거
ceph orch rm
명령을 사용하여 서비스를 제거할 수 있습니다. 또는 파일 시스템 및 관련 풀을 제거할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 모든 노드에 대한 루트 수준 액세스.
- 호스트가 클러스터에 추가됩니다.
- 호스트에 배포된 하나 이상의 MDS 데몬.
프로세스
- 클러스터에서 MDS 데몬을 제거하는 방법은 다음 두 가지가 있습니다.
방법 1
CephFS 볼륨, 관련 풀 및 서비스를 제거합니다.
Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
설정 매개변수
mon_allow_pool_delete
를true
로 설정합니다.예
[ceph: root@host01 /]# ceph config set mon mon_allow_pool_delete true
파일 시스템을 제거합니다.
구문
ceph fs volume rm FILESYSTEM_NAME --yes-i-really-mean-it
예
[ceph: root@host01 /]# ceph fs volume rm cephfs-new --yes-i-really-mean-it
이 명령은 파일 시스템, 해당 데이터 및 메타데이터 풀을 제거합니다. 활성화된
ceph-mgr
Orchestrator 모듈을 사용하여 MDS도 제거하려고 합니다.
방법 2
ceph orch rm
명령을 사용하여 전체 클러스터에서 MDS 서비스를 제거합니다.서비스를 나열합니다.
예제
[ceph: root@host01 /]# ceph orch ls
서비스 제거
구문
ceph orch rm SERVICE_NAME
예제
[ceph: root@host01 /]# ceph orch rm mds.test
검증
호스트, 데몬 및 프로세스를 나열합니다.
구문
ceph orch ps
예제
[ceph: root@host01 /]# ceph orch ps
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Operations Guide 의 명령줄 인터페이스를 사용하여 MDS 서비스 배포를 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage Operations Guide 의 서비스 사양을 사용하여 MDS 서비스 배포를 참조하십시오.
2.6. 파일 시스템 선호도 구성
특정 Ceph Metadata Server(MDS)에 대한 Ceph 파일 시스템(CephFS) 선호도를 설정합니다.
사전 요구 사항
- 정상이고 실행 중인 Ceph 파일 시스템.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
Ceph 파일 시스템의 현재 상태를 확인합니다.
예
[root@mon ~]# ceph fs dump dumped fsmap epoch 399 ... Filesystem 'cephfs01' (27) ... e399 max_mds 1 in 0 up {0=20384} failed damaged stopped ... [mds.a{0:20384} state up:active seq 239 addr [v2:127.0.0.1:6854/966242805,v1:127.0.0.1:6855/966242805]] Standby daemons: [mds.b{-1:10420} state up:standby seq 2 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]]
파일 시스템 선호도를 설정합니다.
구문
ceph config set STANDBY_DAEMON mds_join_fs FILE_SYSTEM_NAME
예
[root@mon ~]# ceph config set mds.b mds_join_fs cephfs01
Ceph MDS 페일오버 이벤트 후 파일 시스템은 선호도가 설정된 대기 데몬을 선호합니다.
예
[root@mon ~]# ceph fs dump dumped fsmap epoch 405 e405 ... Filesystem 'cephfs01' (27) ... max_mds 1 in 0 up {0=10420} failed damaged stopped ... [mds.b{0:10420} state up:active seq 274 join_fscid=27 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]] 1 Standby daemons: [mds.a{-1:10720} state up:standby seq 2 addr [v2:127.0.0.1:6854/1340357658,v1:127.0.0.1:6855/1340357658]]
- 1
- 이제
mds.b
데몬에서 파일 시스템 덤프 출력에join_fscid=27
이 있습니다.
중요파일 시스템이 성능이 저하되거나 크기가 낮은 상태인 경우 파일 시스템 선호도를 적용하기 위해 장애 조치가 발생하지 않습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일 시스템 선호도 섹션을 참조하십시오.
2.7. 여러 활성 메타데이터 서버 데몬 구성
대규모 시스템의 메타데이터 성능을 확장하도록 다중 활성 메타데이터 서버(MDS) 데몬을 구성합니다.
모든 대기 MDS 데몬을 활성 모드로 변환하지 마십시오. Ceph 파일 시스템(CephFS)은 고가용성을 유지하기 위해 하나 이상의 대기 MDS 데몬이 필요합니다.
사전 요구 사항
- MDS 노드의 Ceph 관리 기능.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
max_mds
매개변수를 원하는 활성 MDS 데몬 수로 설정합니다.구문
ceph fs set NAME max_mds NUMBER
예
[root@mon ~]# ceph fs set cephfs max_mds 2
이 예에서는
cephfs
라는 CephFS에서 활성 MDS 데몬 수를 2개로 늘립니다.참고Ceph는 새 순위를 지정할 수 있는 예비 MDS 데몬을 사용할 수 있는 경우에만 CephFS의 실제 순위 수를 늘립니다.
활성 MDS 데몬 수를 확인합니다.
구문
ceph fs status NAME
예제
[root@mon ~]# ceph fs status cephfs cephfs - 0 clients ====== +------+--------+-------+---------------+-------+-------+--------+--------+ | RANK | STATE | MDS | ACTIVITY | DNS | INOS | DIRS | CAPS | +------+--------+-------+---------------+-------+-------+--------+--------+ | 0 | active | node1 | Reqs: 0 /s | 10 | 12 | 12 | 0 | | 1 | active | node2 | Reqs: 0 /s | 10 | 12 | 12 | 0 | +------+--------+-------+---------------+-------+-------+--------+--------+ +-----------------+----------+-------+-------+ | POOL | TYPE | USED | AVAIL | +-----------------+----------+-------+-------+ | cephfs_metadata | metadata | 4638 | 26.7G | | cephfs_data | data | 0 | 26.7G | +-----------------+----------+-------+-------+ +-------------+ | STANDBY MDS | +-------------+ | node3 | +-------------+
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 Metadata Server 데몬 상태 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 활성 MDS 데몬 수 비활성화 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 Ceph 사용자 관리 섹션을 참조하십시오.
2.8. 대기 데몬 수 구성
각 Ceph 파일 시스템(CephFS)은 정상으로 간주되는 데 필요한 대기 데몬 수를 지정할 수 있습니다. 이 숫자에는 순위 실패를 기다리는 standby-replay 데몬도 포함됩니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
특정 CephFS에 대해 예상되는 대기 데몬 수를 설정합니다.
구문
ceph fs set FS_NAME standby_count_wanted NUMBER
참고NUMBER 를 0으로 설정하면 데몬 상태 점검이 비활성화됩니다.
예
[root@mon ~]# ceph fs set cephfs standby_count_wanted 2
이 예에서는 예상되는 대기 데몬 수를 2로 설정합니다.
2.9. standby-replay 메타데이터 서버 구성
MDS( 대기 중 메타데이터 서버) 데몬을 추가하여 각 Ceph 파일 시스템(CephFS)을 구성합니다. 이렇게 하면 활성 MDS를 사용할 수 없게 되면 장애 조치 시간이 단축됩니다.
이 특정 standby-replay 데몬은 활성 MDS의 메타데이터 저널을 따릅니다. standby-replay 데몬은 동일한 순위의 활성 MDS에서만 사용되며 다른 순위에서는 사용할 수 없습니다.
standby-replay를 사용하는 경우 모든 활성 MDS에 standby-replay 데몬이 있어야 합니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
특정 CephFS의 standby-replay를 설정합니다.
구문
ceph fs set FS_NAME allow_standby_replay 1
예
[root@mon ~]# ceph fs set cephfs allow_standby_replay 1
이 예에서 부울 값은
1
이며, 이는 standby-replay 데몬을 활성 Ceph MDS 데몬에 할당할 수 있습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 ceph mds fail 명령 사용 섹션을 참조하십시오.
2.10. 임시 고정 정책
임시 핀은 하위 트리의 정적 파티션이며 확장된 속성을 사용하여 정책으로 설정할 수 있습니다. 정책은 임시 핀을 디렉터리에 자동으로 설정할 수 있습니다. 임시 핀을 디렉터리에 설정하면 모든 Ceph MDS 순위에 균일하게 분배되도록 특정 순위에 자동으로 할당됩니다. 할당되는 순위를 결정하는 것은 일관된 해시와 디렉터리의 inode 번호로 수행됩니다. 디렉터리의 inode가 파일 시스템 캐시에서 삭제되면 임시 핀은 유지되지 않습니다. Ceph Metadata Server(MDS)를 통해 오류가 발생하면 임시 핀이 저널에 기록되므로 Ceph MDS 대기 서버가 이 정보를 손실하지 않습니다. 임시 핀을 사용하기 위한 두 가지 유형의 정책이 있습니다.
attr
및 jq
패키지는 임시 고정 정책의 전제 조건으로 설치해야 합니다.
- 분산
-
이 정책은 디렉터리의 모든 하위 디렉터리를 임시로 고정해야 합니다. 예를 들어 분산 정책을 사용하여 사용자의 홈 디렉터리를 전체 Ceph 파일 시스템 클러스터에 분배합니다.
ceph.dir.pin.distributed
확장 속성을 설정하여 이 정책을 활성화합니다.
구문
setfattr -n ceph.dir.pin.distributed -v 1 DIRECTORY_PATH
예
[root@host01 mount]# setfattr -n ceph.dir.pin.distributed -v 1 dir1/
- random
-
이 정책은 축소 하위 디렉터리가 임시로 고정될 수 있는 기회를 적용합니다. 임시로 고정할 수 있는 디렉터리의 백분율을 사용자 지정할 수 있습니다.
ceph.dir.pin.random
을 설정하고 백분율을 설정하여 이 정책을 활성화합니다. Red Hat은 이 백분율을 1%(0.01
)보다 작은 값으로 설정하는 것이 좋습니다. 하위 트리 파티션이 너무 많으면 성능이 느려질 수 있습니다.mds_export_ephemeral_random_max
Ceph MDS 구성 옵션을 설정하여 최대 백분율을 설정할 수 있습니다.mds_export_ephemeral_distributed
매개 변수와mds_export_ephemeral_random
매개 변수가 이미 활성화되어 있습니다.
구문
setfattr -n ceph.dir.pin.random -v PERCENTAGE_IN_DECIMAL DIRECTORY_PATH
예
[root@host01 mount]# setfattr -n ceph.dir.pin.random -v 0.01 dir1/
고정을 활성화한 후 다음 명령 중 하나를 실행하여 확인할 수 있습니다.
구문
getfattr -n ceph.dir.pin.random DIRECTORY_PATH getfattr -n ceph.dir.pin.distributed DIRECTORY_PATH
예
[root@host01 mount]# getfattr -n ceph.dir.pin.distributed dir1/ # file: dir1/ ceph.dir.pin.distributed="1" [root@host01 mount]# getfattr -n ceph.dir.pin.random dir1/ # file: dir1/ ceph.dir.pin.random="0.01"
예
[ceph: root@host01 /]# ceph tell mds.a get subtrees | jq '.[] | [.dir.path, .auth_first, .export_pin]'
디렉터리가 고정된 경우 export_pin
은 0
순위로 고정되는 경우 0
이고1
이 순위 1
에 고정되어 있으면 0이 됩니다. 디렉터리가 고정되지 않은 경우 값은 -1
입니다.
파티션 정책을 제거하려면 확장 속성을 제거하거나 값을 0
으로 설정합니다.
구문
setfattr -n ceph.dir.pin.distributed -v 0 DIRECTORY_PATH
예
[root@host01 mount]# setfattr -n ceph.dir.pin.distributed -v 0 dir1/
다음 명령 중 하나를 실행하여 확인할 수 있습니다. .Syntax
getfattr -n ceph.dir.pin.distributed DIRECTORY_PATH
예
[root@host01 mount]# getfattr -n ceph.dir.pin.distributed dir1/
내보내기 핀의 경우 확장된 속성을 제거하거나 확장 속성을 -1
로 설정합니다.
구문
setfattr -n ceph.dir.pin -v -1 DIRECTORY_PATH
예제
[root@host01 mount]# setfattr -n ceph.dir.pin -v -1 dir1/
추가 리소스
- 수동으로 핀 설정에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 수동 고정 디렉터리 트리를 특정 순위 섹션에 참조하십시오.
2.11. 디렉터리 트리를 특정 순위에 수동으로 고정
메타데이터를 특정 Ceph Metadata Server(MDS) 순위에 명시적으로 매핑하여 동적 밸런서를 재정의하는 것이 바람직할 수 있습니다. 이 작업을 수동으로 수행하여 애플리케이션의 부하를 균등하게 분산하거나 Ceph 파일 시스템 클러스터에 대한 사용자 메타데이터 요청의 영향을 제한할 수 있습니다. 수동으로 디렉터리 고정을 ceph.dir.pin
확장 속성을 설정하여 내보내기 핀이라고도 합니다.
디렉터리의 내보내기 핀은 가장 가까운 상위 디렉터리에서 상속되지만 해당 디렉터리에 내보내기 핀을 설정하여 덮어쓸 수 있습니다. 디렉터리에 내보내기 핀을 설정하면 모든 하위 디렉터리에 영향을 미칩니다. 예를 들면 다음과 같습니다.
[root@client ~]# mkdir -p a/b 1 [root@client ~]# setfattr -n ceph.dir.pin -v 1 a/ 2 [root@client ~]# setfattr -n ceph.dir.pin -v 0 a/b 3
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 실행 중인 Ceph 파일 시스템.
- CephFS 클라이언트에 대한 루트 수준 액세스.
-
attr
패키지 설치.
프로세스
디렉터리에 내보내기 핀을 설정합니다.
구문
setfattr -n ceph.dir.pin -v RANK PATH_TO_DIRECTORY
예제
[root@client ~]# setfattr -n ceph.dir.pin -v 2 cephfs/home
추가 리소스
- 핀 자동 설정에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 임시 고정 정책 섹션을 참조하십시오.
2.12. 활성 메타데이터 서버 데몬 수 감소
활성 Ceph 파일 시스템(CephFS) 메타데이터 서버(MDS) 데몬 수를 줄이는 방법.
사전 요구 사항
-
제거하려는 순위는 먼저 활성화되어야 합니다. 즉,
max_mds
매개변수에 지정된 것과 동일한 MDS 데몬 수가 있어야 합니다. - Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
max_mds
매개변수에 지정된 것과 동일한 MDS 데몬 수를 설정합니다.구문
ceph fs status NAME
예
[root@mon ~]# ceph fs status cephfs cephfs - 0 clients +------+--------+-------+---------------+-------+-------+--------+--------+ | RANK | STATE | MDS | ACTIVITY | DNS | INOS | DIRS | CAPS | +------+--------+-------+---------------+-------+-------+--------+--------+ | 0 | active | node1 | Reqs: 0 /s | 10 | 12 | 12 | 0 | | 1 | active | node2 | Reqs: 0 /s | 10 | 12 | 12 | 0 | +------+--------+-------+---------------+-------+-------+--------+--------+ +-----------------+----------+-------+-------+ | POOL | TYPE | USED | AVAIL | +-----------------+----------+-------+-------+ | cephfs_metadata | metadata | 4638 | 26.7G | | cephfs_data | data | 0 | 26.7G | +-----------------+----------+-------+-------+ +-------------+ | Standby MDS | +-------------+ | node3 | +-------------+
관리 기능이 있는 노드에서
max_mds
매개변수를 원하는 수의 활성 MDS 데몬으로 변경합니다.구문
ceph fs set NAME max_mds NUMBER
예
[root@mon ~]# ceph fs set cephfs max_mds 1
-
Ceph 파일 시스템 상태를 확인하여 스토리지 클러스터가 새
max_mds
값을 안정화할 때까지 기다립니다. 활성 MDS 데몬 수를 확인합니다.
구문
ceph fs status NAME
예제
[root@mon ~]# ceph fs status cephfs cephfs - 0 clients +------+--------+-------+---------------+-------+-------+--------+--------+ | RANK | STATE | MDS | ACTIVITY | DNS | INOS | DIRS | CAPS | +------+--------+-------+---------------+-------+-------+--------+--------+ | 0 | active | node1 | Reqs: 0 /s | 10 | 12 | 12 | 0 | +------+--------+-------+---------------+-------+-------+--------|--------+ +-----------------+----------+-------+-------+ | POOl | TYPE | USED | AVAIL | +-----------------+----------+-------+-------+ | cephfs_metadata | metadata | 4638 | 26.7G | | cephfs_data | data | 0 | 26.7G | +-----------------+----------+-------+-------+ +-------------+ | Standby MDS | +-------------+ | node3 | | node2 | +-------------+
추가 리소스
- Red Hat Ceph Storage 파일 시스템 가이드의 Metadata Server 데몬 상태 섹션을 참조하십시오.
- Red Hat Ceph Storage 파일 시스템 가이드의 여러 활성 메타데이터 서버 데몬 구성 섹션을 참조하십시오.
2.13. Ceph 메타데이터 서버 클라이언트에 대한 메트릭 보기
명령줄 인터페이스를 사용하여 Ceph 메타데이터 서버(MDS)의 지표를 볼 수 있습니다. CephFS는 Perf Cryostat를
사용하여 메트릭을 추적합니다. 카운터 dump 명령을 사용하여 메트릭을 볼 수 있습니다.
전제 조건
- 실행 중인 IBM Storage Ceph 클러스터입니다.
프로세스
mds
서비스의 이름을 가져옵니다.구문
[ceph: root@mds-host01 /]# ceph orch ps | grep mds
클라이언트 메트릭당 MDS를 확인합니다.
구문
[ceph: root@mds-host01 /]# ceph tell MDS_SERVICE_NAME counter dump
예
[root@ceph2-hk-n-0mfqao-node1-installer ~]# ceph tell mds.cephfs.ceph2-hk-n-0mfqao-node4.isztbk counter dump [ { "key": "mds_client_metrics", "value": [ { "labels": { "fs_name": "cephfs", "id": "24379" }, "counters": { "num_clients": 4 } } ] }, { "key": "mds_client_metrics-cephfs", "value": [ { "labels": { "client": "client.24413", "rank": "0" }, "counters": { "cap_hits": 56, "cap_miss": 9, "avg_read_latency": 0E-9, "avg_write_latency": 0E-9, "avg_metadata_latency": 0E-9, "dentry_lease_hits": 2, "dentry_lease_miss": 12, "opened_files": 0, "opened_inodes": 9, "pinned_icaps": 4, "total_inodes": 9, "total_read_ops": 0, "total_read_size": 0, "total_write_ops": 0, "total_write_size": 0 } }, { "labels": { "client": "client.24502", "rank": "0" }, "counters": { "cap_hits": 921403, "cap_miss": 102382, "avg_read_latency": 0E-9, "avg_write_latency": 0E-9, "avg_metadata_latency": 0E-9, "dentry_lease_hits": 17117, "dentry_lease_miss": 204710, "opened_files": 0, "opened_inodes": 9, "pinned_icaps": 7, "total_inodes": 9, "total_read_ops": 0, "total_read_size": 0, "total_write_ops": 1, "total_write_size": 132 } }, { "labels": { "client": "client.24508", "rank": "0" }, "counters": { "cap_hits": 928694, "cap_miss": 103183, "avg_read_latency": 0E-9, "avg_write_latency": 0E-9, "avg_metadata_latency": 0E-9, "dentry_lease_hits": 17217, "dentry_lease_miss": 206348, "opened_files": 0, "opened_inodes": 9, "pinned_icaps": 7, "total_inodes": 9, "total_read_ops": 0, "total_read_size": 0, "total_write_ops": 1, "total_write_size": 132 } }, { "labels": { "client": "client.24520", "rank": "0" }, "counters": { "cap_hits": 56, "cap_miss": 9, "avg_read_latency": 0E-9, "avg_write_latency": 0E-9, "avg_metadata_latency": 0E-9, "dentry_lease_hits": 2, "dentry_lease_miss": 12, "opened_files": 0, "opened_inodes": 9, "pinned_icaps": 4, "total_inodes": 9, "total_read_ops": 0, "total_read_size": 0, "total_write_ops": 0, "total_write_size": 0 } } ] } ]
클라이언트 메트릭 설명
CephFS는 클라이언트 성능을 모니터링하는 데 사용할 수 있는 Labeled Perf Cryostats로 클라이언트 메트릭을 내보냅니다. CephFS는 아래 클라이언트 메트릭을 내보냅니다.
NAME | TYPE | DESCRIPTION |
---|---|---|
cap_hits | 게이지 | 파일 기능의 백분율이 총 한도 수에 도달했습니다. |
cap_miss | 게이지 | 파일 기능의 백분율은 총 한도 수를 놓치고 있습니다. |
avg_read_latency | 게이지 | 읽기 대기 시간의 평균 값입니다. |
avg_write_latency | 게이지 | 쓰기 대기 시간의 평균 값입니다. |
avg_metadata_latency | 게이지 | 메타데이터 대기 시간의 평균 값입니다. |
dentry_lease_hits | 게이지 | dentry 리스의 백분율이 총 dentry 리스 요청을 초과했습니다. |
dentry_lease_miss | 게이지 | dentry lease의 백분율이 총 dentry 리스 요청을 초과했습니다. |
opened_files | 게이지 | 열려 있는 파일 수입니다. |
opened_inodes | 게이지 | 열려 있는 inode 수입니다. |
pinned_icaps | 게이지 | 고정된 Inode Caps 수입니다. |
total_inodes | 게이지 | 총 노드 수입니다. |
total_read_ops | 게이지 | 모든 프로세스에서 생성한 총 읽기 작업 수입니다. |
total_read_size | 게이지 | 모든 프로세스에서 생성된 입력/출력 작업에서 읽은 바이트 수입니다. |
total_write_ops | 게이지 | 모든 프로세스에서 생성한 총 쓰기 작업 수입니다. |
total_write_size | 게이지 | 모든 프로세스에서 생성된 입력/출력 작업으로 작성된 바이트 수입니다. |
3장. Ceph 파일 시스템 배포
스토리지 관리자는 스토리지 환경에 Ceph File Systems(CephFS)를 배포하고 클라이언트가 해당 Ceph 파일 시스템을 마운트하여 스토리지 요구 사항을 충족할 수 있습니다.
기본적으로 배포 워크플로는 다음 세 단계로 구성됩니다.
- Ceph Monitor 노드에서 Ceph 파일 시스템을 생성합니다.
- 적절한 기능을 사용하여 Ceph 클라이언트 사용자를 만들고 Ceph 파일 시스템이 마운트될 노드에서 클라이언트 키를 사용할 수 있도록 합니다.
- 커널 클라이언트 또는 사용자 공간(FUSE) 클라이언트의 파일 시스템을 사용하여 전용 노드에 CephFS를 마운트합니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
-
Ceph Metadata Server 데몬(
ceph-mds
)의 설치 및 구성.
3.1. 레이아웃, 할당량, 스냅샷 및 네트워크 제한 사항
이러한 사용자 기능을 사용하면 필요한 요구 사항에 따라 Ceph 파일 시스템(CephFS)에 대한 액세스를 제한할 수 있습니다.
rw
를 제외한 모든 사용자 기능 플래그는 알파벳순으로 지정해야 합니다.
레이아웃 및 할당량
레이아웃 또는 할당량을 사용하는 경우 클라이언트에는 rw
기능 외에도 p
플래그가 필요합니다. p
플래그를 설정하면 특수 확장 속성으로 설정되는 모든 속성이 ceph.
접두사가 있는 것을 제한합니다. 또한 레이아웃을 사용하여 openc
작업과 같은 이러한 필드를 설정하는 다른 수단을 제한합니다.
예
client.0 key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw== caps: [mds] allow rwp caps: [mon] allow r caps: [osd] allow rw tag cephfs data=cephfs_a client.1 key: AQAz7EVWygILFRAAdIcuJ11opU/JKyfFmxhuaw== caps: [mds] allow rw caps: [mon] allow r caps: [osd] allow rw tag cephfs data=cephfs_a
이 예에서 client.0
은 파일 시스템 cephfs_a
에서 레이아웃 및 할당량을 수정할 수 있지만 client.1
은 수정할 수 없습니다.
스냅샷
스냅샷을 생성하거나 삭제할 때 클라이언트에는 rw
기능 외에도 s
플래그가 필요합니다. 기능 문자열에 p
플래그를 포함하면 다음에 s
플래그가 표시되어야 합니다.
예
client.0 key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw== caps: [mds] allow rw, allow rws path=/temp caps: [mon] allow r caps: [osd] allow rw tag cephfs data=cephfs_a
이 예에서 client.0
은 파일 시스템 cephfs_a
의 temp
디렉토리에 스냅샷을 생성하거나 삭제할 수 있습니다.
네트워크
특정 네트워크에서 연결하는 클라이언트 제한.
예
client.0 key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw== caps: [mds] allow r network 10.0.0.0/8, allow rw path=/bar network 10.0.0.0/8 caps: [mon] allow r network 10.0.0.0/8 caps: [osd] allow rw tag cephfs data=cephfs_a network 10.0.0.0/8
선택적 네트워크 및 접두사 길이는 CIDR 표기법에 있습니다(예: 10.3.0.0/16
).
3.2. Ceph 파일 시스템 생성
Ceph Monitor 노드에서 Ceph File Systems(CephFS)를 여러 개 생성할 수 있습니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
-
Ceph Metadata Server 데몬(
ceph-mds
)의 설치 및 구성. - Ceph Monitor 노드에 대한 루트 수준 액세스.
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
프로세스
Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.
Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.
Red Hat Enterprise Linux 8
[root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-8-x86_64-rpms
Red Hat Enterprise Linux 9
[root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms
ceph-fuse
패키지를 설치합니다.[root@client ~]# dnf install ceph-fuse
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.
구문
scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/
MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.
예
[root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.
구문
scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.
예
[root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
구성 파일에 적절한 권한을 설정합니다.
[root@client ~]# chmod 644 /etc/ceph/ceph.conf
Ceph 파일 시스템을 생성합니다.
구문
ceph fs volume create FILE_SYSTEM_NAME
예
[root@mon ~]# ceph fs volume create cephfs01
추가 파일 시스템을 생성하려면 이 단계를 반복합니다.
참고이 명령을 실행하면 Ceph에서 새 풀을 자동으로 생성하고 새 파일 시스템을 지원하기 위해 새 Ceph Metadata Server(MDS) 데몬을 배포합니다. 또한 MDS 선호도도 적절하게 구성합니다.
Ceph 클라이언트에서 새 Ceph 파일 시스템에 대한 액세스를 확인합니다.
Ceph 클라이언트에 새 파일 시스템에 액세스할 수 있도록 권한을 부여합니다.
구문
ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME DIRECTORY PERMISSIONS
예
[root@mon ~]# ceph fs authorize cephfs01 client.1 / rw [client.1] key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK== [root@mon ~]# ceph auth get client.1 exported keyring for client.1 [client.1] key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK== caps mds = "allow rw fsname=cephfs01" caps mon = "allow r fsname=cephfs01" caps osd = "allow rw tag cephfs data=cephfs01"
참고선택적으로
root_squash
옵션을 지정하여 안전 조치를 추가할 수 있습니다. 이렇게 하면uid=0
또는gid=0
인 클라이언트가 쓰기 작업을 수행할 수 없지만 읽기 작업을 허용하여 실수로 삭제 시나리오를 방지할 수 있습니다.예
[root@mon ~]# ceph fs authorize cephfs01 client.1 / rw root_squash /volumes rw [client.1] key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK== [root@mon ~]# ceph auth get client.1 [client.1] key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK== caps mds = "allow rw fsname=cephfs01 root_squash, allow rw fsname=cephfs01 path=/volumes" caps mon = "allow r fsname=cephfs01" caps osd = "allow rw tag cephfs data=cephfs01"
이 예에서
/volumes
디렉터리 트리를 제외하고 파일 시스템cephfs01
에 대해root_squash
가 활성화됩니다.중요Ceph 클라이언트는 권한이 부여된 CephFS만 볼 수 있습니다.
Ceph 사용자의 인증 키를 Ceph 클라이언트 노드에 복사합니다.
구문
ceph auth get CLIENT_NAME > OUTPUT_FILE_NAME scp OUTPUT_FILE_NAME TARGET_NODE_NAME:/etc/ceph
예
[root@mon ~]# ceph auth get client.1 > ceph.client.1.keyring exported keyring for client.1 [root@mon ~]# scp ceph.client.1.keyring client:/etc/ceph root@client's password: ceph.client.1.keyring 100% 178 333.0KB/s 00:00
Ceph 클라이언트 노드에서 새 디렉터리를 생성합니다.
구문
mkdir PATH_TO_NEW_DIRECTORY_NAME
예
[root@client ~]# mkdir /mnt/mycephfs
Ceph 클라이언트 노드에서 새 Ceph 파일 시스템을 마운트합니다.
구문
ceph-fuse PATH_TO_NEW_DIRECTORY_NAME -n CEPH_USER_NAME --client-fs=_FILE_SYSTEM_NAME
예
[root@client ~]# ceph-fuse /mnt/mycephfs/ -n client.1 --client-fs=cephfs01 ceph-fuse[555001]: starting ceph client 2022-05-09T07:33:27.158+0000 7f11feb81200 -1 init, newargv = 0x55fc4269d5d0 newargc=15 ceph-fuse[555001]: starting fuse
- Ceph 클라이언트 노드에서 새 마운트 지점의 디렉터리 콘텐츠를 나열하거나 새 마운트 지점에 파일을 만듭니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템용 클라이언트 사용자 생성 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템으로 Ceph 파일 시스템마운트 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템을 FUSE 클라이언트로 마운트 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템제한 사항 및 POSIX 표준 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage Storage Strategies Guide 의 풀 장을 참조하십시오.
3.3. Ceph 파일 시스템에 삭제 코딩된 풀 추가
기본적으로 Ceph는 데이터 풀에 복제된 풀을 사용합니다. 필요한 경우 삭제 코딩된 데이터 풀을 Ceph 파일 시스템에 추가할 수도 있습니다. 삭제로 코딩된 풀에서 지원하는 Ceph 파일 시스템(CephFS)은 복제된 풀에서 지원하는 Ceph File Systems에 비해 전체 스토리지를 더 적게 사용합니다. 삭제 코딩된 풀은 전체 스토리지를 덜 사용하지만 복제된 풀보다 더 많은 메모리 및 프로세서 리소스를 사용합니다.
CephFS EC 풀은 아카이브 목적으로만 사용됩니다.
프로덕션 환경의 경우 Red Hat은 CephFS에 기본 복제 데이터 풀을 사용하는 것이 좋습니다. CephFS에서 inode를 생성하면 기본 데이터 풀에 하나 이상의 오브젝트가 생성됩니다. 기본 데이터에 복제된 풀을 사용하여 소규모 개체 쓰기 성능을 개선하고 백추적 업데이트를 위한 읽기 성능을 개선하는 것이 좋습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 기존 Ceph 파일 시스템.
- BlueStore OSD를 사용하는 풀입니다.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
-
attr
패키지 설치.
프로세스
CephFS에 대해 삭제 코딩된 데이터 풀을 생성합니다.
구문
ceph osd pool create DATA_POOL_NAME erasure
예
[root@mon ~]# ceph osd pool create cephfs-data-ec01 erasure pool 'cephfs-data-ec01' created
풀이 추가되었는지 확인합니다.
예
[root@mon ~]# ceph osd lspools
erasure-coded 풀에서 덮어 쓰기를 활성화합니다.
구문
ceph osd pool set DATA_POOL_NAME allow_ec_overwrites true
예
[root@mon ~]# ceph osd pool set cephfs-data-ec01 allow_ec_overwrites true set pool 15 allow_ec_overwrites to true
Ceph 파일 시스템의 상태를 확인합니다.
구문
ceph fs status FILE_SYSTEM_NAME
예
[root@mon ~]# ceph fs status cephfs-ec cephfs-ec - 14 clients ========= RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS 0 active cephfs-ec.example.ooymyq Reqs: 0 /s 8231 8233 891 921 POOL TYPE USED AVAIL cephfs-metadata-ec metadata 787M 8274G cephfs-data-ec data 2360G 12.1T STANDBY MDS cephfs-ec.example.irsrql cephfs-ec.example.cauuaj
기존 CephFS에 erasure-coded 데이터 풀을 추가합니다.
구문
ceph fs add_data_pool FILE_SYSTEM_NAME DATA_POOL_NAME
예
[root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec01
이 예제에서는 새 데이터 풀
cephfs-data-ec01
을 기존 erasure-coded 파일 시스템cephfs-ec
에 추가합니다.erasure 코딩된 풀이 Ceph 파일 시스템에 추가되었는지 확인합니다.
구문
ceph fs status FILE_SYSTEM_NAME
예
[root@mon ~]# ceph fs status cephfs-ec cephfs-ec - 14 clients ========= RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS 0 active cephfs-ec.example.ooymyq Reqs: 0 /s 8231 8233 891 921 POOL TYPE USED AVAIL cephfs-metadata-ec metadata 787M 8274G cephfs-data-ec data 2360G 12.1T cephfs-data-ec01 data 0 12.1T STANDBY MDS cephfs-ec.example.irsrql cephfs-ec.example.cauuaj
새 디렉터리에 파일 레이아웃을 설정합니다.
구문
mkdir PATH_TO_DIRECTORY setfattr -n ceph.dir.layout.pool -v DATA_POOL_NAME PATH_TO_DIRECTORY
예
[root@mon ~]# mkdir /mnt/cephfs/newdir [root@mon ~]# setfattr -n ceph.dir.layout.pool -v cephfs-data-ec01 /mnt/cephfs/newdir
이 예에서
/mnt/cephfs/newdir
디렉터리에 생성된 모든 새 파일은 디렉터리 레이아웃을 상속하고 새로 추가된 erasure-coded 풀에 데이터를 배치합니다.
추가 리소스
- CephFS MDS에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 메타데이터 서버 장을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템생성 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage Strategies Guide 의 Erasure Code Pools 장을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage Storage Strategies Guide 의 Erasure Coding with Overwrites 섹션을 참조하십시오.
3.4. Ceph 파일 시스템용 클라이언트 사용자 생성
Red Hat Ceph Storage는 인증을 위해 cephx
를 사용하며 이는 기본적으로 활성화되어 있습니다. Ceph 파일 시스템과 함께 cephx
를 사용하려면 Ceph Monitor 노드에서 올바른 권한 부여 기능이 있는 사용자를 생성하고 Ceph 파일 시스템이 마운트될 노드에서 키를 사용할 수 있도록 합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Ceph Metadata Server 데몬(ceph-mds)의 설치 및 구성.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
프로세스
모니터 노드의 Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
Ceph Monitor 노드에서 클라이언트 사용자를 생성합니다.
구문
ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] PERMISSIONS ...
클라이언트가 파일 시스템
cephfs_a
의temp
디렉터리에만 기록되도록 제한하려면 다음을 수행합니다.예
[ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 / r /temp rw client.1 key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
클라이언트를
temp
디렉토리로 완전히 제한하려면 루트(/
) 디렉터리를 제거합니다.예
[ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 /temp rw
참고파일 시스템 이름으로 전체 또는 별표를 제공하면 모든 파일 시스템에 대한 액세스 권한이 부여됩니다.
일반적으로 쉘에서 보호하려면 별표를 따옴표로 묶어야 합니다.
생성된 키를 확인합니다.
구문
ceph auth get client.ID
예
[ceph: root@host01 /]# ceph auth get client.1 client.1 key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A== caps mds = "allow r, allow rw path=/temp" caps mon = "allow r" caps osd = "allow rw tag cephfs data=cephfs_a"
인증 키를 클라이언트에 복사합니다.
Ceph Monitor 노드에서 인증 키를 파일로 내보냅니다.
구문
ceph auth get client.ID -o ceph.client.ID.keyring
예
[ceph: root@host01 /]# ceph auth get client.1 -o ceph.client.1.keyring exported keyring for client.1
Ceph Monitor 노드에서 클라이언트 노드의
/etc/ceph/
디렉터리에 클라이언트 인증 키를 복사합니다.구문
scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring
CLIENT_NODE_NAME 을 Ceph 클라이언트 노드 이름 또는 IP로 바꿉니다.
예
[ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring
클라이언트 노드에서 키 링 파일에 대한 적절한 권한을 설정합니다.
구문
chmod 644 ceph.client.ID.keyring
예제
[root@client01 ~]# chmod 644 /etc/ceph/ceph.client.1.keyring
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 Ceph 사용자 관리 장을 참조하십시오.
3.5. Ceph 파일 시스템을 커널 클라이언트로 마운트
Ceph 파일 시스템(CephFS)을 시스템 부팅 시 수동으로 또는 자동으로 커널 클라이언트로 마운트할 수 있습니다.
Red Hat Enterprise Linux를 제외한 다른 Linux 배포판에서 실행되는 클라이언트는 허용되지만 지원되지 않습니다. 이러한 클라이언트를 사용할 때 CephFS 메타데이터 서버 또는 스토리지 클러스터의 기타 부분에서 문제가 발견되면 Red Hat에서 문제를 해결합니다. 클라이언트 측에 원인을 발견하면 Linux 배포판의 커널 벤더가 문제를 해결해야 합니다.
사전 요구 사항
- Linux 기반 클라이언트 노드에 대한 루트 수준 액세스.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
- 기존 Ceph 파일 시스템.
프로세스
Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.
Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.
Red Hat Enterprise Linux 9
[root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms
ceph-common
패키지를 설치합니다.[root@client01 ~]# dnf install ceph-common
모니터 노드의 Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.
구문
scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring
CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.
예
[ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.
구문
scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf
CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.
예
[ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf
클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.
[root@client01 ~]# chmod 644 /etc/ceph/ceph.conf
- 자동 또는 수동으로 마운트를 선택합니다.
수동으로 마운트
클라이언트 노드에 마운트 디렉터리를 생성합니다.
구문
mkdir -p MOUNT_POINT
예
[root@client01 ~]# mkdir -p /mnt/cephfs
Ceph 파일 시스템을 마운트합니다. 여러 Ceph Monitor 주소를 지정하려면
mount
명령에 쉼표로 구분하고 마운트 지점을 지정하고 클라이언트 이름을 설정합니다.참고Red Hat Ceph Storage 4.1부터
mount.ceph
는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다.name=CLIENT_ID를 사용하여 클라이언트 ID
를 지정하고mount.ceph
에서 올바른 인증 키 파일을 찾습니다.구문
mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID,fs=FILE_SYSTEM_NAME
예
[root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1,fs=cephfs01
참고단일 호스트 이름이 여러 IP 주소로 확인되도록 DNS 서버를 구성할 수 있습니다. 그런 다음 쉼표로 구분된 목록을 제공하는 대신
mount
명령과 함께 해당 단일 호스트 이름을 사용할 수 있습니다.참고Monitor 호스트 이름을
:/
및mount 문자열로 교체할 수도 있습니다.ceph
는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.참고이제sync
옵션을 Red Hat Ceph Storage 클러스터에서 비동기식으로 파일 생성 및 제거를 실행할 수 있습니다. 이로 인해 일관성에 영향을 주지 않고 이러한 시스템 호출에 대한 왕복 대기 시간을 방지하여 일부 워크로드의 성능이 향상됩니다.nowsync
옵션에는 Red Hat Enterprise Linux 9.0 이상의 커널 클라이언트가 필요합니다.예
[root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o nowsync,name=1,fs=cephfs01
파일 시스템이 성공적으로 마운트되었는지 확인합니다.
구문
stat -f MOUNT_POINT
예
[root@client01 ~]# stat -f /mnt/cephfs
자동 마운트
클라이언트 호스트에서 Ceph 파일 시스템을 마운트할 새 디렉터리를 만듭니다.
구문
mkdir -p MOUNT_POINT
예
[root@client01 ~]# mkdir -p /mnt/cephfs
/etc/fstab
파일을 다음과 같이 편집합니다.구문
#DEVICE PATH TYPE OPTIONS MON_0_HOST:PORT, MOUNT_POINT ceph name=CLIENT_ID, MON_1_HOST:PORT, ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL, fs=FILE_SYSTEM_NAME, MON_2_HOST:PORT:/q[_VOL_]/SUB_VOL/UID_SUB_VOL, [ADDITIONAL_OPTIONS]
첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.
두 번째 열은 마운트 지점을 설정합니다.
세 번째 열은 CephFS의 파일 시스템 유형(이 경우
ceph
)을 설정합니다.네 번째 열은
name
및secretfile
옵션을 사용하여 사용자 이름 및 시크릿 파일과 같은 다양한 옵션을 설정합니다.ceph.client_mountpoint
옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다.중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록
_netdev
옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우noatime
옵션을 설정하면 성능이 향상될 수 있습니다.다섯 번째 및 여섯 번째 열을 0으로 설정합니다.
예
#DEVICE PATH TYPE OPTIONS DUMP FSCK mon1:6789, /mnt/cephfs ceph name=1, 0 0 mon2:6789, ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0, mon3:6789:/ fs=cephfs01, _netdev,noatime
Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.
참고Red Hat Ceph Storage 4.1부터
mount.ceph
는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다.name=CLIENT_ID를 사용하여 클라이언트 ID
를 지정하고mount.ceph
에서 올바른 인증 키 파일을 찾습니다.참고Monitor 호스트 이름을
:/
및mount 문자열로 교체할 수도 있습니다.ceph
는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.
추가 리소스
-
mount(8)
매뉴얼 페이지를 참조하십시오. - Ceph 사용자 생성에 대한 자세한 내용은 Red Hat Ceph Storage 관리 가이드 의 Ceph 사용자 관리 장을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템생성 섹션을 참조하십시오.
3.6. Ceph 파일 시스템을 FUSE 클라이언트로 마운트
Ceph 파일 시스템(CephFS)을 시스템 부팅 시 수동으로 또는 자동으로 사용자 공간(FUSE) 클라이언트의 파일 시스템으로 마운트할 수 있습니다.
사전 요구 사항
- Linux 기반 클라이언트 노드에 대한 루트 수준 액세스.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
- 기존 Ceph 파일 시스템.
프로세스
Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.
Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.
Red Hat Enterprise Linux 8
[root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-8-x86_64-rpms
Red Hat Enterprise Linux 9
[root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-9-x86_64-rpms
ceph-fuse
패키지를 설치합니다.[root@client01 ~]# dnf install ceph-fuse
모니터 노드의 Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.
구문
scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring
CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.
예
[ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring
Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.
구문
scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf
CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.
예
[ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf
클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.
[root@client01 ~]# chmod 644 /etc/ceph/ceph.conf
- 자동 또는 수동으로 마운트를 선택합니다.
수동으로 마운트
클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.
구문
mkdir PATH_TO_MOUNT_POINT
예
[root@client01 ~]# mkdir /mnt/mycephfs
참고MDS 기능과 함께
경로
옵션을 사용한 경우 마운트 지점은경로에서
지정한 범위 내에 있어야 합니다.ceph-fuse
유틸리티를 사용하여 Ceph 파일 시스템을 마운트합니다.구문
ceph-fuse -n client.CLIENT_ID --client_fs FILE_SYSTEM_NAME MOUNT_POINT
예
[root@client01 ~]# ceph-fuse -n client.1 --client_fs cephfs01 /mnt/mycephfs
참고사용자 인증 키의 기본 이름과 위치를 사용하지 않는 경우, 이는
/etc/ceph/ceph.client.CLIENT_ID.keyring
인 경우--keyring
옵션을 사용하여 사용자 인증 키의 경로를 지정합니다. 예를 들면 다음과 같습니다.예
[root@client01 ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs
참고-r
옵션을 사용하여 클라이언트에 해당 경로를 root로 처리하도록 지시합니다.구문
ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH
예
[root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs
참고제거된 Ceph 클라이언트를 자동으로 다시 연결하려면
--client_reconnect_stale=true
옵션을 추가합니다.예
[root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs --client_reconnect_stale=true
파일 시스템이 성공적으로 마운트되었는지 확인합니다.
구문
stat -f MOUNT_POINT
예
[root@client01 ~]# stat -f /mnt/cephfs
자동 마운트
클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.
구문
mkdir PATH_TO_MOUNT_POINT
예
[root@client01 ~]# mkdir /mnt/mycephfs
참고MDS 기능과 함께
경로
옵션을 사용한 경우 마운트 지점은경로에서
지정한 범위 내에 있어야 합니다./etc/fstab
파일을 다음과 같이 편집합니다.구문
#DEVICE PATH TYPE OPTIONS DUMP FSCK HOST_NAME:PORT, MOUNT_POINT fuse.ceph ceph.id=CLIENT_ID, 0 0 HOST_NAME:PORT, ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL, HOST_NAME:PORT:/ ceph.client_fs=FILE_SYSTEM_NAME,ceph.name=USERNAME,ceph.keyring=/etc/ceph/KEYRING_FILE, [ADDITIONAL_OPTIONS]
첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.
두 번째 열은 마운트 지점을 설정합니다.
세 번째 열은 CephFS의 파일 시스템 유형(이 경우
fuse.ceph
)을 설정합니다.네 번째 열은
ceph.name
및ceph.keyring
옵션을 사용하여 사용자 이름 및 인증 키와 같은 다양한 옵션을 설정합니다.ceph.client_mountpoint
옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다. 액세스할 Ceph 파일 시스템을 지정하려면ceph.client_fs
옵션을 사용합니다. 중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록_netdev
옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우noatime
옵션을 설정하면 성능이 향상될 수 있습니다. 제거 후 자동으로 다시 연결하려면client_reconnect_stale=true
옵션을 설정합니다.다섯 번째 및 여섯 번째 열을 0으로 설정합니다.
예
#DEVICE PATH TYPE OPTIONS DUMP FSCK mon1:6789, /mnt/mycephfs fuse.ceph ceph.id=1, 0 0 mon2:6789, ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0, mon3:6789:/ ceph.client_fs=cephfs01,ceph.name=client.1,ceph.keyring=/etc/ceph/client1.keyring, _netdev,defaults
Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.
추가 리소스
-
ceph-fuse(8)
매뉴얼 페이지. - Ceph 사용자 생성에 대한 자세한 내용은 Red Hat Ceph Storage 관리 가이드 의 Ceph 사용자 관리 장을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템생성 섹션을 참조하십시오.
추가 리소스
- Ceph 메타데이터 서버를 설치하려면 2.5절. “Ceph Orchestrator를 사용하여 MDS 서비스 관리” 를 참조하십시오.
- 자세한 내용은 3.2절. “Ceph 파일 시스템 생성” 을 참조하십시오.
- 자세한 내용은 3.4절. “Ceph 파일 시스템용 클라이언트 사용자 생성” 을 참조하십시오.
- 자세한 내용은 3.5절. “Ceph 파일 시스템을 커널 클라이언트로 마운트” 을 참조하십시오.
- 자세한 내용은 3.6절. “Ceph 파일 시스템을 FUSE 클라이언트로 마운트” 을 참조하십시오.
- CephFS 메타데이터 서버 데몬 구성에 대한 자세한 내용은 2장. Ceph 파일 시스템 메타데이터 서버 을 참조하십시오.
4장. Ceph 파일 시스템 볼륨, 하위 볼륨 그룹 및 하위 볼륨 관리
스토리지 관리자는 Red Hat의 Ceph Container Storage Interface(CSI)를 사용하여 Ceph File System(CephFS) 내보내기를 관리할 수 있습니다. 또한 와 상호 작용할 수 있는 공통 명령줄 인터페이스를 통해 OpenStack의 파일 시스템 서비스(Manila)와 같은 기타 서비스를 사용할 수 있습니다. Ceph Manager 데몬(ceph-mgr
)의 volumes
모듈은 Ceph File Systems(CephFS)를 내보내는 기능을 구현합니다.
Ceph Manager volumes 모듈은 다음 파일 시스템 내보내기 추상화를 구현합니다.
- CephFS 볼륨
- CephFS 하위 볼륨 그룹
- CephFS 하위 볼륨
4.1. Ceph 파일 시스템 볼륨
스토리지 관리자는 Ceph File System(CephFS) 볼륨을 생성, 나열 및 제거할 수 있습니다. CephFS 볼륨은 Ceph 파일 시스템의 추상화입니다.
이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.
4.1.1. Ceph 파일 시스템 볼륨 생성
Ceph Orchestrator는 Ceph 파일 시스템(CephFS)에 대한 메타데이터 서버(MDS)를 생성하는 Ceph Manager용 모듈입니다. 이 섹션에서는 CephFS 볼륨을 생성하는 방법을 설명합니다.
이렇게 하면 데이터 및 메타데이터 풀과 함께 Ceph 파일 시스템이 생성됩니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
모니터 노드에 CephFS 볼륨을 생성합니다.
구문
ceph fs volume create VOLUME_NAME
예
[ceph: root@host01 /]# ceph fs volume create cephfs
4.1.2. Ceph 파일 시스템 볼륨 나열
이 섹션에서는 Ceph 파일 시스템(CephFS) 볼륨을 나열하는 단계에 대해 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 볼륨.
프로세스
CephFS 볼륨을 나열합니다.
예
[ceph: root@host01 /]# ceph fs volume ls
4.1.3. Ceph 파일 시스템 볼륨에 대한 정보 보기
Ceph 파일 시스템(CephFS) 볼륨에 대한 기본 세부 정보(예: CephFS 볼륨의 데이터 및 메타데이터 풀, 보류 중인 하위 볼륨 삭제 수 등)를 나열할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 볼륨이 생성되었습니다.
프로세스
CephFS 볼륨에 대한 정보를 확인합니다.
구문
ceph fs volume info VOLUME_NAME
예
[ceph: root@host01 /]# ceph fs volume info cephfs { "mon_addrs": [ "192.168.1.7:40977", ], "pending_subvolume_deletions": 0, "pools": { "data": [ { "avail": 106288709632, "name": "cephfs.cephfs.data", "used": 4096 } ], "metadata": [ { "avail": 106288709632, "name": "cephfs.cephfs.meta", "used": 155648 } ] }, "used_size": 0 }
ceph fs volume info
명령의 출력에는 다음이 포함됩니다.
-
mon_addrs
: 모니터 주소 목록입니다. -
pending_subvolume_deletions
: 삭제 보류 중인 하위 볼륨 수 풀
: 데이터 및 메타데이터 풀의 속성입니다.-
사용
가능한 공간의 양은 바이트 단위입니다.The amount of free space available in bytes. -
Name : 풀의
이름입니다
. -
사용됨
: 바이트 단위로 소비되는 스토리지의 양입니다.
-
-
used_size
: CephFS 볼륨의 현재 사용된 크기(바이트)입니다.
4.1.4. Ceph 파일 시스템 볼륨 제거
Ceph Orchestrator는 Ceph 파일 시스템(CephFS)의 메타데이터 서버(MDS)를 제거하는 Ceph Manager의 모듈입니다. 이 섹션에서는 Ceph 파일 시스템(CephFS) 볼륨을 제거하는 방법을 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 볼륨.
프로세스
mon_allow_pool_delete
옵션이true
로 설정되지 않은 경우 CephFS 볼륨을 제거하기 전에true
로 설정합니다.예
[ceph: root@host01 /]# ceph config set mon mon_allow_pool_delete true
CephFS 볼륨을 제거합니다.
구문
ceph fs volume rm VOLUME_NAME [--yes-i-really-mean-it]
예
[ceph: root@host01 /]# ceph fs volume rm cephfs --yes-i-really-mean-it
4.2. Ceph 파일 시스템 하위 볼륨 그룹
스토리지 관리자는 절대 경로를 생성, 나열, 가져오고 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거할 수 있습니다. CephFS 하위 볼륨 그룹은 디렉터리 수준에서 추상화되며, 하위 볼륨 세트에서 파일 레이아웃과 같은 정책이 영향을 미칩니다.
Red Hat Ceph Storage 5.0부터 하위 볼륨 그룹 스냅샷 기능은 지원되지 않습니다. 이러한 하위 볼륨 그룹의 기존 스냅샷만 나열하고 제거할 수 있습니다.
이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.
4.2.1. 파일 시스템 하위 볼륨 그룹 생성
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 생성하는 방법을 설명합니다.
하위 볼륨 그룹을 생성할 때 8진수 숫자에서 데이터 풀 레이아웃, uid, gid 및 파일 모드를 지정할 수 있습니다. 기본적으로 하위 그룹은 8진수 파일 모드 '755', uid '0', gid '0' 및 상위 디렉터리의 데이터 풀 레이아웃을 사용하여 생성됩니다.
하위 볼륨을 생성하는 동안 할당량을 설정하려면 파일 시스템 하위 볼륨의 할당량 설정 및 관리를 참조하십시오.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소 읽기 액세스 권한.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
CephFS 하위 볼륨을 생성합니다.
구문
ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--pool_layout DATA_POOL_NAME --uid UID --gid GID --mode OCTAL_MODE]
예
[ceph: root@host01 /]# ceph fs subvolumegroup create cephfs subgroup0
하위 볼륨 그룹이 이미 존재하는 경우에도 명령이 성공합니다.
4.2.2. 파일 시스템 하위 볼륨 그룹에서 할당량 설정 및 관리
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨 그룹에서 할당량을 설정하고 관리하는 방법을 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
바이트 단위로 크기를 제공하여 하위 볼륨을 생성하는 동안 할당량을 설정합니다.
구문
ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--size SIZE_IN_BYTES] [--pool_layout DATA_POOL_NAME] [--uid UID] [--gid GID] [--mode OCTAL_MODE]
예
[ceph: root@host01 /]# ceph fs subvolumegroup create cephfs subvolgroup_2 10737418240
하위 볼륨 그룹의 크기를 조정합니다.
구문
ceph fs subvolumegroup resize VOLUME_NAME GROUP_NAME new_size [--no_shrink]
예
[ceph: root@host01 /]# ceph fs subvolumegroup resize cephfs subvolgroup_2 20737418240 [ { "bytes_used": 10768679044 }, { "bytes_quota": 20737418240 }, { "bytes_pcent": "51.93" } ]
하위 볼륨 그룹의 메타데이터를 가져옵니다.
구문
ceph fs subvolumegroup info VOLUME_NAME GROUP_NAME
예
[ceph: root@host01 /]# ceph fs subvolumegroup info cephfs subvolgroup_2 { "atime": "2022-10-05 18:00:39", "bytes_pcent": "51.85", "bytes_quota": 20768679043, "bytes_used": 10768679044, "created_at": "2022-10-05 18:00:39", "ctime": "2022-10-05 18:21:26", "data_pool": "cephfs.cephfs.data", "gid": 0, "mode": 16877, "mon_addrs": [ "60.221.178.236:1221", "205.64.75.112:1221", "20.209.241.242:1221" ], "mtime": "2022-10-05 18:01:25", "uid": 0 }
4.2.3. 파일 시스템 하위 볼륨 그룹 나열
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨 그룹을 나열하는 단계를 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 그룹입니다.
프로세스
CephFS 하위 볼륨을 나열합니다.
구문
ceph fs subvolumegroup ls VOLUME_NAME
예
[ceph: root@host01 /]# ceph fs subvolumegroup ls cephfs
4.2.4. 파일 시스템 하위 그룹의 절대 경로 가져오기
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 절대 경로를 가져오는 방법을 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 그룹입니다.
프로세스
CephFS 하위 볼륨 그룹의 절대 경로를 가져옵니다.
구문
ceph fs subvolumegroup getpath VOLUME_NAME GROUP_NAME
예
[ceph: root@host01 /]# ceph fs subvolumegroup getpath cephfs subgroup0
4.2.5. 파일 시스템 하위 그룹의 스냅샷 나열
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 나열하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 그룹입니다.
- subvolume 그룹의 스냅샷입니다.
프로세스
CephFS 하위 볼륨의 스냅샷을 나열합니다.
구문
ceph fs subvolumegroup snapshot ls VOLUME_NAME GROUP_NAME
예
[ceph: root@host01 /]# ceph fs subvolumegroup snapshot ls cephfs subgroup0
4.2.6. 파일 시스템 하위 볼륨의 스냅샷 제거
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 제거하는 단계를 제공합니다.
--force
플래그를 사용하면 스냅샷이 없는 경우 명령이 성공할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- Ceph 파일 시스템 볼륨.
- subvolume 그룹의 스냅샷입니다.
프로세스
CephFS 하위 볼륨 그룹의 스냅샷을 제거합니다.
구문
ceph fs subvolumegroup snapshot rm VOLUME_NAME GROUP_NAME SNAP_NAME [--force]
예
[ceph: root@host01 /]# ceph fs subvolumegroup snapshot rm cephfs subgroup0 snap0 --force
4.2.7. 파일 시스템 하위 볼륨 그룹 제거
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거하는 방법을 보여줍니다.
하위 볼륨 그룹이 비어 있지 않거나 존재하지 않는 경우 제거가 실패합니다. --force
플래그를 사용하면 존재하지 않는 하위 볼륨을 제거할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 그룹입니다.
프로세스
CephFS 하위 볼륨을 제거합니다.
구문
ceph fs subvolumegroup rm VOLUME_NAME GROUP_NAME [--force]
예
[ceph: root@host01 /]# ceph fs subvolumegroup rm cephfs subgroup0 --force
4.3. Ceph 파일 시스템 하위 볼륨
스토리지 관리자는 절대 경로, 가져오기, 메타데이터 가져오기, Ceph 파일 시스템(CephFS) 하위 볼륨을 생성, 나열, 가져올 수 있습니다. 또한 이러한 하위 볼륨의 스냅샷을 생성, 나열 및 제거할 수도 있습니다. CephFS 하위 볼륨은 독립 Ceph File Systems 디렉터리 트리에 대한 추상화입니다.
이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.
4.3.1. 파일 시스템 하위 볼륨 생성
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 생성하는 방법을 설명합니다.
하위 볼륨을 생성할 때 하위 볼륨 그룹, 데이터 풀 레이아웃, uid, gid, 파일 모드를 8진수 숫자, 바이트 단위로 지정할 수 있습니다. --namespace-isolated
옵션을 지정하여 별도의 RADOS 네임스페이스에 하위 볼륨을 생성할 수 있습니다. 기본적으로 하위 볼륨은 기본 하위 볼륨 그룹 내에 생성되고 8진수 파일 모드 '755', 하위 볼륨 그룹의 uid, 하위 볼륨 그룹의 gid, 상위 디렉터리의 데이터 풀 레이아웃, 크기 제한 없이 생성됩니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
CephFS 하위 볼륨을 생성합니다.
구문
ceph fs subvolume create VOLUME_NAME SUBVOLUME_NAME [--size SIZE_IN_BYTES --group_name SUBVOLUME_GROUP_NAME --pool_layout DATA_POOL_NAME --uid _UID --gid GID --mode OCTAL_MODE] [--namespace-isolated]
예
[root@mon ~]# ceph fs subvolume create cephfs sub0 --group_name subgroup0 --namespace-isolated
하위 볼륨이 이미 존재하는 경우에도 명령이 성공합니다.
4.3.2. 파일 시스템 하위 볼륨 나열
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 나열하는 단계를 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
프로세스
CephFS 하위 볼륨을 나열합니다.
구문
ceph fs subvolume ls VOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume ls cephfs --group_name subgroup0
4.3.3. 파일 시스템 하위 볼륨 크기 조정
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 크기를 조정하는 단계를 설명합니다.
ceph fs 하위 볼륨 크기 조정
명령은 new_size
에서 지정한 크기를 사용하여 하위 볼륨 할당량의 크기를 조정합니다. --no_shrink
플래그를 사용하면 하위 볼륨이 현재 사용 중인 하위 볼륨보다 아래로 축소되지 않습니다. subvolume은 new_size
로서 inf
또는 infinite
을 전달하여 무한으로 크기를 조정할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
프로세스
CephFS 하위 볼륨의 크기를 조정합니다.
구문
ceph fs subvolume resize VOLUME_NAME SUBVOLUME_NAME NEW_SIZE [--group_name SUBVOLUME_GROUP_NAME] [--no_shrink]
예
[root@mon ~]# ceph fs subvolume resize cephfs sub0 1024000000 --group_name subgroup0 --no_shrink
4.3.4. 파일 시스템 하위 볼륨의 절대 경로 가져오기
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 절대 경로를 가져오는 방법을 설명합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
프로세스
CephFS 하위 볼륨의 절대 경로를 가져옵니다.
구문
ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME [--group_name _SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume getpath cephfs sub0 --group_name subgroup0
4.3.5. 파일 시스템 하위 볼륨의 메타데이터 가져오기
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 메타데이터를 가져오는 방법을 보여줍니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
프로세스
CephFS 하위 볼륨의 메타데이터를 가져옵니다.
구문
ceph fs subvolume info VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume info cephfs sub0 --group_name subgroup0
출력 예
# ceph fs subvolume info cephfs sub0 { "atime": "2023-07-14 08:52:46", "bytes_pcent": "0.00", "bytes_quota": 1024000000, "bytes_used": 0, "created_at": "2023-07-14 08:52:46", "ctime": "2023-07-14 08:53:54", "data_pool": "cephfs.cephfs.data", "features": [ "snapshot-clone", "snapshot-autoprotect", "snapshot-retention" ], "flavor": "2", "gid": 0, "mode": 16877, "mon_addrs": [ "10.0.208.172:6789", "10.0.211.197:6789", "10.0.209.212:6789" ], "mtime": "2023-07-14 08:52:46", "path": "/volumes/_nogroup/sub0/834c5cbc-f5db-4481-80a3-aca92ff0e7f3", "pool_namespace": "", "state": "complete", "type": "subvolume", "uid": 0 }
출력 형식은 JSON이며 다음 필드를 포함합니다.
- Atime: "YYYY-MM-DD HH:MM:SS" 형식으로 하위 볼륨 경로의 액세스 시간입니다.
- bytes_pcent: 할당량이 설정된 경우 백분율로 사용되는 할당량은 "정의되지 않음"을 표시합니다.
- bytes_quota: 할당량이 설정된 경우 바이트 단위이며, 그렇지 않으면 "infinite"가 표시됩니다.
- bytes_used: 하위 볼륨의 현재 사용된 크기(바이트)입니다.
- created_at: "YYYY-MM-DD HH:MM:SS" 형식으로 하위 볼륨을 생성하는 시간입니다.
- ctime: "YYYY-MM-DD HH:MM:SS" 형식의 하위 볼륨 경로의 시간을 변경합니다.
- data_pool: 하위 볼륨이 속한 데이터 풀입니다.
- features: 하위 볼륨에서 지원하는 기능 (예: "snapshot-clone", "snapshot-autoprotect" 또는 "snapshot-retention").
-
플레이버: 하위 볼륨 버전, 버전 2의 경우
1
또는2
의 경우 1입니다. - GID: 하위 볼륨 경로의 그룹 ID입니다.
- mode: 하위 볼륨 경로의 모드입니다.
- mon_addrs: 모니터 주소 목록입니다.
- mtime: "YYYY-MM-DD HH:MM:SS" 형식의 하위 볼륨 경로 수정 시간입니다.
- path: 하위 볼륨의 절대 경로입니다.
- pool_namespace: 하위 볼륨의 RADOS 네임스페이스입니다.
- state: "complete" 또는 "snapshot-retained"과 같은 하위 볼륨의 현재 상태입니다.
- type: clone 또는 subvolume인지 여부를 나타내는 하위 볼륨 유형입니다.
- UID: 하위 볼륨 경로의 사용자 ID입니다.
4.3.6. 파일 시스템 하위 볼륨의 스냅샷 생성
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 생성하는 방법을 보여줍니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
-
클라이언트는 읽기(
r
) 및 쓰기(w
) 기능 외에도 파일 시스템 내의 디렉터리 경로에s
플래그가 필요합니다.
프로세스
s
플래그가 디렉터리에 설정되어 있는지 확인합니다.구문
ceph auth get CLIENT_NAME
예
[root@mon ~]# ceph auth get client.0 [client.0] key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw== caps mds = "allow rw, allow rws path=/bar" 1 caps mon = "allow r" caps osd = "allow rw tag cephfs data=cephfs_a" 2
Ceph File System 하위 볼륨의 스냅샷을 생성합니다.
구문
ceph fs subvolume snapshot create VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume snapshot create cephfs sub0 snap0 --group_name subgroup0
4.3.7. 스냅샷에서 하위 볼륨 복제
하위 볼륨 스냅샷을 복제하여 하위 볼륨을 생성할 수 있습니다. 스냅샷에서 하위 볼륨으로 데이터를 복사하는 비동기 작업입니다.
복제는 매우 큰 데이터 세트에는 비효율적입니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
스냅샷을 만들거나 삭제하려면 읽기 및 쓰기 기능 외에도 클라이언트에 파일 시스템 내의 디렉터리 경로에
s
플래그가 필요합니다.구문
CLIENT_NAME key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw== caps mds = allow rw, allow rws path=DIRECTORY_PATH caps mon = allow r caps osd = allow rw tag cephfs data=DIRECTORY_NAME
다음 예에서
client.0
은 파일 시스템cephfs_a
의bar
디렉토리에 스냅샷을 생성하거나 삭제할 수 있습니다.예
[client.0] key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw== caps mds = "allow rw, allow rws path=/bar" caps mon = "allow r" caps osd = "allow rw tag cephfs data=cephfs_a"
프로세스
Ceph 파일 시스템(CephFS) 볼륨을 생성합니다.
구문
ceph fs volume create VOLUME_NAME
예
[root@mon ~]# ceph fs volume create cephfs
이렇게 하면 CephFS 파일 시스템, 해당 데이터 및 메타데이터 풀이 생성됩니다.
하위 볼륨 그룹을 생성합니다. 기본적으로 하위 볼륨은 8진수 파일 모드 '755' 및 상위 디렉터리의 데이터 풀 레이아웃을 사용하여 생성됩니다.
구문
ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--pool_layout DATA_POOL_NAME --uid UID --gid GID --mode OCTAL_MODE]
예
[root@mon ~]# ceph fs subvolumegroup create cephfs subgroup0
하위 볼륨을 생성합니다. 기본적으로 하위 볼륨은 기본 하위 볼륨 그룹 내에 생성되고 8진수 파일 모드 '755', 하위 볼륨 그룹의 uid, 하위 볼륨 그룹의 gid, 상위 디렉터리의 데이터 풀 레이아웃, 크기 제한 없이 생성됩니다.
구문
ceph fs subvolume create VOLUME_NAME SUBVOLUME_NAME [--size SIZE_IN_BYTES --group_name SUBVOLUME_GROUP_NAME --pool_layout DATA_POOL_NAME --uid _UID --gid GID --mode OCTAL_MODE]
예
[root@mon ~]# ceph fs subvolume create cephfs sub0 --group_name subgroup0
하위 볼륨의 스냅샷을 생성합니다.
구문
ceph fs subvolume snapshot create VOLUME_NAME _SUBVOLUME_NAME SNAP_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume snapshot create cephfs sub0 snap0 --group_name subgroup0
복제 작업을 시작합니다.
참고기본적으로 복제된 하위 볼륨은 기본 그룹에 생성됩니다.
source 하위 볼륨 및 대상 복제가 기본 그룹에 있는 경우 다음 명령을 실행합니다.
구문
ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME
예
[root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0
source 하위 볼륨이 기본이 아닌 그룹에 있는 경우 다음 명령에서 source 하위 볼륨 그룹을 지정합니다.
구문
ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME --group_name SUBVOLUME_GROUP_NAME
예
[root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0 --group_name subgroup0
대상 복제가 기본이 아닌 그룹에 해당하는 경우 다음 명령에서 대상 그룹을 지정합니다.
구문
ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME --target_group_name SUBVOLUME_GROUP_NAME
예
[root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0 --target_group_name subgroup1
복제 작업의 상태를 확인합니다.
구문
ceph fs clone status VOLUME_NAME CLONE_NAME [--group_name TARGET_GROUP_NAME]
예제
[root@mon ~]# ceph fs clone status cephfs clone0 --group_name subgroup1 { "status": { "state": "complete" } }
추가 리소스
- Red Hat Ceph Storage 관리 가이드 의 Ceph 사용자 관리 섹션을 참조하십시오.
4.3.8. 파일 시스템 하위 볼륨의 스냅샷 나열
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 나열하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
- 하위 볼륨의 스냅샷입니다.
프로세스
CephFS 하위 볼륨의 스냅샷을 나열합니다.
구문
ceph fs subvolume snapshot ls VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume snapshot ls cephfs sub0 --group_name subgroup0
4.3.9. 파일 시스템 하위 볼륨의 스냅샷 메타데이터 가져오기
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷 메타데이터를 가져오는 단계를 제공합니다.
사전 요구 사항
- CephFS가 배포된 작동 중인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
- 하위 볼륨의 스냅샷입니다.
프로세스
CephFS 하위 볼륨의 스냅샷 메타데이터를 가져옵니다.
구문
ceph fs subvolume snapshot info VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[root@mon ~]# ceph fs subvolume snapshot info cephfs sub0 snap0 --group_name subgroup0
출력 예
{ "created_at": "2022-05-09 06:18:47.330682", "data_pool": "cephfs_data", "has_pending_clones": "no", "size": 0 }
출력 형식은 JSON이며 다음 필드를 포함합니다.
- created_at: "YYYY-MM-DD HH:MM:SS:ffffff" 형식으로 스냅샷 생성 시간입니다.
- data_pool: 스냅샷이 속한 데이터 풀입니다.
- has_pending_clones: 스냅샷 복제가 진행 중인 경우 "yes", 그렇지 않으면 "no"입니다.
- size: 스냅샷 크기(바이트 단위)입니다.
4.3.10. 파일 시스템 하위 볼륨 제거
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거하는 단계를 설명합니다.
ceph fs 하위 볼륨 rm
명령은 하위 볼륨과 해당 콘텐츠를 두 단계로 제거합니다. 먼저 하위 볼륨을 휴지통 폴더로 이동한 다음 내용을 비동기적으로 제거합니다.
하위 볼륨은 --retain-snapshots
옵션을 사용하여 하위 볼륨의 기존 스냅샷을 제거할 수 있습니다. 스냅샷이 유지되는 경우 보존된 스냅샷과 관련이 없는 모든 작업에 대해 하위 볼륨이 비어 있는 것으로 간주됩니다. 보존된 스냅샷을 복제 소스로 사용하여 하위 볼륨을 다시 생성하거나 최신 하위 볼륨에 복제할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨.
프로세스
CephFS 하위 볼륨을 제거합니다.
구문
ceph fs subvolume rm VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME] [--force] [--retain-snapshots]
예
[root@mon ~]# ceph fs subvolume rm cephfs sub0 --group_name subgroup0 --retain-snapshots
보존 스냅샷에서 하위 볼륨을 다시 생성하려면 다음을 수행합니다.
구문
ceph fs subvolume snapshot clone VOLUME_NAME DELETED_SUBVOLUME RETAINED_SNAPSHOT NEW_SUBVOLUME --group_name SUBVOLUME_GROUP_NAME --target_group_name SUBVOLUME_TARGET_GROUP_NAME
- NEW_SUBVOLUME 은 이전에 삭제된 것과 동일한 하위 볼륨이거나 새 하위 볼륨에 복제할 수 있습니다.
예
[root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 sub1 --group_name subgroup0 --target_group_name subgroup0
4.3.11. 파일 시스템 하위 볼륨의 스냅샷 제거
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 제거하는 단계를 제공합니다.
--force
플래그를 사용하면 스냅샷이 없는 경우 명령이 성공할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- Ceph 파일 시스템 볼륨.
- subvolume 그룹의 스냅샷입니다.
프로세스
CephFS 하위 볼륨의 스냅샷을 제거합니다.
구문
ceph fs subvolume snapshot rm VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name GROUP_NAME --force]
예제
[root@mon ~]# ceph fs subvolume snapshot rm cephfs sub0 snap0 --group_name subgroup0 --force
추가 리소스
- Red Hat Ceph Storage 관리 가이드 의 Ceph 사용자 관리 섹션을 참조하십시오.
4.4. Ceph 파일 시스템 하위 볼륨에 대한 메타데이터 정보
스토리지 관리자는 Ceph File System(CephFS) 하위 볼륨의 메타데이터 정보를 설정, 가져오기, 나열 및 제거할 수 있습니다.
사용자 지정 메타데이터는 사용자가 해당 메타데이터를 하위 볼륨에 저장할 수 있는 것입니다. 사용자는 xattr
과 유사한 키-값 쌍을 Ceph 파일 시스템에 저장할 수 있습니다.
이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.
4.4.1. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 설정
파일 시스템 하위 볼륨에서 사용자 지정 메타데이터를 키-값 쌍으로 설정할 수 있습니다.
key_name
이 이미 있으면 이전 값이 새 값으로 교체됩니다.
KEY_NAME
및 VALUE
는 python의 string.printable
에 지정된 대로 ASCII 문자 문자열이어야 합니다. KEY_NAME
은 대소문자를 구분하지 않으며 항상 소문자로 저장됩니다.
하위 볼륨의 사용자 정의 메타데이터는 하위 볼륨을 스냅 샷할 때 보존되지 않으므로 하위 볼륨 스냅샷을 복제할 때 보존되지도 않습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Ceph 파일 시스템(CephFS), CephFS 볼륨, 하위 볼륨 그룹, 생성된 하위 볼륨.
프로세스
CephFS 하위 볼륨에서 메타데이터를 설정합니다.
구문
ceph fs subvolume metadata set VOLUME_NAME SUBVOLUME_NAME KEY_NAME VALUE [--group_name SUBVOLUME_GROUP_NAME]
예
[ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 test_meta cluster --group_name subgroup0
선택 사항:
KEY_NAME
:의 공백으로 사용자 지정 메타데이터를 설정합니다.예
[ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 "test meta" cluster --group_name subgroup0
그러면 VALUE
클러스터
의테스트 메타
로KEY_NAME
을 사용하여 또 다른 메타데이터가 생성됩니다.선택 사항: 다른 값으로 동일한 메타데이터를 설정할 수도 있습니다.
예
[ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 "test_meta" cluster2 --group_name subgroup0
4.4.2. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 가져오기
볼륨에 Ceph File System(CephFS)의 사용자 지정 메타데이터, 키-값 쌍을 가져오고 선택적으로 특정 하위 볼륨 그룹에서 가져올 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
- CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.
프로세스
CephFS 하위 볼륨에서 메타데이터를 가져옵니다.
구문
ceph fs subvolume metadata get VOLUME_NAME SUBVOLUME_NAME KEY_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[ceph: root@host01 /]# ceph fs subvolume metadata get cephfs sub0 test_meta --group_name subgroup0 cluster
4.4.3. 파일 시스템 하위 볼륨에 사용자 지정 메타데이터 나열
Ceph 파일 시스템(CephFS)의 키와 연결된 사용자 지정 메타데이터를 볼륨에서 나열하고 선택적으로 특정 하위 볼륨 그룹에 나열할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
- CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.
프로세스
CephFS 하위 볼륨의 메타데이터를 나열합니다.
구문
ceph fs subvolume metadata ls VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[ceph: root@host01 /]# ceph fs subvolume metadata ls cephfs sub0 { "test_meta": "cluster" }
4.4.4. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 제거
볼륨의 Ceph File System(CephFS)의 사용자 지정 메타데이터, 키-값 쌍, 특정 하위 볼륨 그룹에서 선택적으로 제거할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
- CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.
프로세스
CephFS 하위 볼륨에서 사용자 지정 메타데이터를 제거합니다.
구문
ceph fs subvolume metadata rm VOLUME_NAME SUBVOLUME_NAME KEY_NAME [--group_name SUBVOLUME_GROUP_NAME]
예
[ceph: root@host01 /]# ceph fs subvolume metadata rm cephfs sub0 test_meta --group_name subgroup0
메타데이터를 나열합니다.
예
[ceph: root@host01 /]# ceph fs subvolume metadata ls cephfs sub0 {}
5장. Ceph 파일 시스템 관리
스토리지 관리자는 다음과 같은 일반적인 Ceph 파일 시스템(CephFS) 관리 작업을 수행할 수 있습니다.
-
CephFS 메트릭을 실시간으로 모니터링 5.1절. “
cephfs-top
유틸리티 사용” - 디렉터리를 특정 MDS 순위에 매핑하려면 5.5절. “디렉터리 트리를 Metadata Server 데몬 순위에 매핑” 을 참조하십시오.
- MDS 순위의 디렉터리 연결 해제는 5.6절. “메타데이터 서버 데몬 순위의 디렉터리 트리 연결 해제” 를 참조하십시오.
- 새 데이터 풀 추가는 5.7절. “데이터 풀 추가” 을 참조하십시오.
- 할당량으로 작업하는 경우 6장. Ceph 파일 시스템 할당량 을 참조하십시오.
- 파일 및 디렉터리 레이아웃 작업을 참조하십시오. 7장. 파일 및 디렉터리 레이아웃 을 참조하십시오.
- Ceph 파일 시스템 제거. 5.9절. “Ceph 파일 시스템 제거” 을 참조하십시오.
- 클라이언트 기능은 5.11절. “클라이언트 기능” 에서 참조하십시오.
-
ceph mds fail
명령을 사용하여 5.10절. “ceph mds fail
명령 사용” 을 참조하십시오. - CephFS 클라이언트 수동 제거에서 참조하십시오. 5.14절. “수동으로 Ceph 파일 시스템 클라이언트 제거”
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
-
Ceph Metadata Server 데몬(
ceph-mds
)의 설치 및 구성. - Ceph 파일 시스템을 생성하고 마운트합니다.
5.1. cephfs-top
유틸리티 사용
Ceph 파일 시스템(CephFS)은 Ceph 파일 시스템에 지표를 실시간으로 표시하는 최상위
유틸리티(예:)를 제공합니다. cephfs-top
유틸리티는 Ceph Manager 통계
모듈을 사용하여 클라이언트 성능 지표를 가져오고 표시하는 큐 기반 Python 스크립트입니다.
현재 cephfs-top
유틸리티는 거의 10k 클라이언트를 지원합니다.
현재 Red Hat Enterprise Linux 9.2 커널에서는 일부 성능 통계를 사용할 수 없습니다. CephFS-top
는 Red Hat Enterprise Linux 9 이상에서 지원되며 Red Hat Enterprise Linux의 표준 터미널 중 하나를 사용합니다.
cephfs-top
유틸리티에 대해 호환되는 최소 python 버전은 3.6.0입니다.
사전 요구 사항
- 정상적이고 실행 중인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
-
cephfs-top
패키지 설치
프로세스
아직 활성화되지 않은 경우 Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.
Red Hat Enterprise Linux 9
[root@client ~]# subscription-manager repos --enable=rhceph-8-tools-for-rhel-9-x86_64-rpms
cephfs-top
패키지를 설치합니다.예
[root@client ~]# dnf install cephfs-top
Ceph Manager
통계
플러그인을 활성화합니다.예
[root@client ~]# ceph mgr module enable stats
client.fstop
Ceph 사용자를 생성합니다.예
[root@client ~]# ceph auth get-or-create client.fstop mon 'allow r' mds 'allow r' osd 'allow r' mgr 'allow r' > /etc/ceph/ceph.client.fstop.keyring
참고선택적으로
--id
인수를 사용하여client.fstop
이외의 다른 Ceph 사용자를 지정합니다.cephfs-top
유틸리티를 시작합니다.예
[root@client ~]# cephfs-top cephfs-top - Wed Nov 30 15:26:05 2022 All Filesystem Info Total Client(s): 4 - 3 FUSE, 1 kclient, 0 libcephfs COMMANDS: m - select a filesystem | s - sort menu | l - limit number of clients | r - reset to default | q - quit client_id mount_root chit(%) dlease(%) ofiles oicaps oinodes rtio(MB) raio(MB) rsp(MB/s) wtio(MB) waio(MB) wsp(MB/s) rlatavg(ms) rlatsd(ms) wlatavg(ms) wlatsd(ms) mlatavg(ms) mlatsd(ms) mount_point@host/addr Filesystem: cephfs1 - 2 client(s) 4500 / 100.0 100.0 0 751 0 0.0 0.0 0.0 578.13 0.03 0.0 N/A N/A N/A N/A N/A N/A N/A@example/192.168.1.4 4501 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.41 0.0 /mnt/cephfs2@example/192.168.1.4 Filesystem: cephfs2 - 2 client(s) 4512 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.4 0.0 /mnt/cephfs3@example/192.168.1.4 4518 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.52 0.0 /mnt/cephfs4@example/192.168.1.4
5.1.1. cephfs-top
유틸리티 대화형 명령
특정 파일 시스템을 선택하고 cephfs-top
유틸리티 대화형 명령을 사용하여 해당 파일 시스템과 관련된 지표를 확인합니다.
m
- 설명
- 파일 시스템 선택: 선택할 수 있는 파일 시스템의 메뉴를 표시합니다.
q
- 설명
- quit: 모든 파일 시스템 정보가 있는 홈 화면에 있는 경우 유틸리티를 종료합니다. 홈 화면에 없는 경우 홈 화면으로 돌아갑니다.
s
- 설명
- sort 필드 선택: 정렬 필드를 디자인합니다. 'cap_hit'가 기본값입니다.
l
- 설명
- 클라이언트 제한: 표시할 클라이언트 수에 제한을 설정합니다.
r
- 설명
- reset: sort 필드를 재설정하고 값을 기본값으로 설정합니다.
메트릭 디스플레이는 화살표 키, PgUp/PgDn, Home/End 및 마우스를 사용하여 스크롤할 수 있습니다.
파일 시스템 선택 메뉴를 입력하고 종료하는 예
[root@client ~]# m Filesystems Press "q" to go back to home (all filesystem info) screen cephfs01 cephfs02 [root@client ~]# q cephfs-top - Thu Oct 20 07:29:35 2022 Total Client(s): 3 - 2 FUSE, 1 kclient, 0 libcephfs
5.1.2. cephfs-top
유틸리티 옵션
cephfs-top
유틸리티 명령을 다양한 옵션과 함께 사용할 수 있습니다.
예
[root@client ~]# cephfs-top --selftest selftest ok
--cluster NAME_OF_THE_CLUSTER
- 설명
-
이 옵션을 사용하면 기본이 아닌 클러스터 이름에 연결할 수 있습니다. 기본 이름은
ceph
입니다.
--ID USER
- 설명
-
이는 Ceph 클러스터에 연결하고 기본적으로
fstop
인 클라이언트입니다.
--selftest
- 설명
-
이 옵션을 사용하면 selftest를 수행할 수 있습니다. 이 모드는
stats
모듈의 sanity 검사를 수행합니다.
--conffile PATH_TO_THE_CONFIGURATION_FILE
- 설명
- 이 옵션을 사용하면 Ceph 클러스터 구성 파일의 경로를 제공할 수 있습니다.
-d/-delay INTERVAL_IN_SECONDS
- 설명
cephfs-top
유틸리티는 기본적으로 1초마다 통계를 새로 고칩니다. 이 옵션을 사용하면 새로 고침 간격을 변경할 수 있습니다.참고간격은 1초보다 크거나 같아야 합니다. 소수 초가 적용됩니다.
--dump
- 설명
- 이 옵션을 사용하면 curses 디스플레이 사용을 생성하지 않고 메트릭을 stdout에 덤프할 수 있습니다.
--dumpfs FILE_SYSTEM_NAME
- 설명
- 이 옵션을 사용하면 지정된 파일 시스템의 메트릭을 curses 디스플레이 사용을 생성하지 않고 stdout에 덤프할 수 있습니다.
5.2. MDS 자동 스케일러 모듈 사용
MDS Autoscaler 모듈은 Ceph 파일 시스템(CephFS)을 모니터링하여 충분한 MDS 데몬을 사용할 수 있도록 합니다. MDS 서비스의 Orchestrator 백엔드에 대한 배치 사양을 조정하여 작동합니다.
모듈은 다음 파일 시스템 설정을 모니터링하여 배치 수 조정을 알립니다.
-
max_mds
파일 시스템 설정 -
standby_count_wanted
파일 시스템 설정
Ceph 모니터 데몬은 이러한 설정에 따라 MDS를 승격하거나 중지해야 합니다. mds_autoscaler
는 오케스트레이터가 생성하는 MDS 수를 간단히 조정합니다.
사전 요구 사항
- 정상적이고 실행 중인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
MDS 자동 스케일러 모듈을 활성화합니다.
예
[ceph: root@host01 /]# ceph mgr module enable mds_autoscaler
5.3. 커널 클라이언트로 마운트된 Ceph 파일 시스템 마운트 해제
커널 클라이언트로 마운트된 Ceph 파일 시스템을 마운트 해제하는 방법.
사전 요구 사항
- 마운트를 수행하는 노드에 대한 루트 수준 액세스.
프로세스
커널 클라이언트로 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.
구문
umount MOUNT_POINT
예제
[root@client ~]# umount /mnt/cephfs
추가 리소스
-
umount(8)
매뉴얼 페이지
5.4. FUSE 클라이언트로 마운트된 Ceph 파일 시스템 마운트 해제
사용자 공간(FUSE) 클라이언트에서 파일 시스템으로 마운트된 Ceph 파일 시스템을 마운트 해제합니다.
사전 요구 사항
- FUSE 클라이언트 노드에 대한 루트 수준 액세스.
프로세스
FUSE에 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.
구문
fusermount -u MOUNT_POINT
예제
[root@client ~]# fusermount -u /mnt/cephfs
추가 리소스
-
ceph-fuse(8)
매뉴얼 페이지
5.5. 디렉터리 트리를 Metadata Server 데몬 순위에 매핑
디렉터리와 해당 하위 디렉터리를 특정 활성 메타데이터 서버(MDS) 순위에 매핑하여 해당 메타데이터가 해당 순위를 보유하는 MDS 데몬에서만 관리되도록 할 수 있습니다. 이 방법을 사용하면 애플리케이션 로드 또는 사용자 메타데이터 요청의 제한 영향을 전체 스토리지 클러스터에 균등하게 분산할 수 있습니다.
내부 밸런서는 이미 애플리케이션 로드를 동적으로 분배합니다. 따라서 신중하게 선택한 특정 애플리케이션에 대한 순위만 디렉토리 트리를 매핑합니다.
또한 디렉터리가 순위로 매핑되면 밸런서를 분할할 수 없습니다. 결과적으로 매핑된 디렉터리 내의 많은 작업이 이를 관리하는 순위 및 MDS 데몬을 오버로드할 수 있습니다.
사전 요구 사항
- 활성 MDS 데몬 두 개 이상
- CephFS 클라이언트 노드에 대한 사용자 액세스입니다.
-
마운트된 Ceph 파일 시스템이 있는 CephFS 클라이언트 노드에
attr
패키지가 설치되었는지 확인합니다.
프로세스
Ceph 사용자의 기능에
p
플래그를 추가합니다.구문
ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...
예
[user@client ~]$ ceph fs authorize cephfs_a client.1 /temp rwp client.1 key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A== caps: [mds] allow r, allow rwp path=/temp caps: [mon] allow r caps: [osd] allow rw tag cephfs data=cephfs_a
디렉터리에
ceph.dir.pin
확장 속성을 설정합니다.구문
setfattr -n ceph.dir.pin -v RANK DIRECTORY
예
[user@client ~]$ setfattr -n ceph.dir.pin -v 2 /temp
이 예에서는
/temp
디렉토리와 모든 하위 디렉토리를 2 순위로 할당합니다.
추가 리소스
-
p
플래그에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 레이아웃, 할당량, 스냅샷 및 네트워크 제한 섹션을 참조하십시오. - 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 수동 고정 디렉터리 트리 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 여러 활성 메타데이터 서버 데몬 구성 섹션을 참조하십시오.
5.6. 메타데이터 서버 데몬 순위의 디렉터리 트리 연결 해제
특정 활성 메타데이터 서버(MDS) 순위에서 디렉터리의 연결을 끊습니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS) 클라이언트 노드에 대한 사용자 액세스.
-
attr
패키지가 마운트된 CephFS를 사용하여 클라이언트 노드에 설치되어 있는지 확인합니다.
프로세스
디렉터리에서
ceph.dir.pin
확장 속성을 -1로 설정합니다.구문
setfattr -n ceph.dir.pin -v -1 DIRECTORY
예
[user@client ~]$ setfattr -n ceph.dir.pin -v -1 /home/ceph-user
참고/home/ceph-user/
의 별도로 매핑된 하위 디렉터리는 영향을 받지 않습니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 메타데이터 서버 데몬 등급에 디렉터리 트리 매핑 섹션을 참조하십시오.
5.7. 데이터 풀 추가
Ceph 파일 시스템(CephFS)은 데이터를 저장하는 데 사용할 두 개 이상의 풀 추가를 지원합니다. 이 기능은 다음에 유용할 수 있습니다.
- 중복 풀 감소에 로그 데이터 저장.
- SSD 또는 NVMe 풀에 사용자 홈 디렉터리 저장.
- 기본 데이터 분리.
Ceph 파일 시스템에서 다른 데이터 풀을 사용하기 전에 이 섹션에 설명된 대로 추가해야 합니다.
기본적으로 CephFS는 파일 데이터를 저장하기 위해 생성 중에 지정된 초기 데이터 풀을 사용합니다. 보조 데이터 풀을 사용하려면 파일 및 디렉터리 레이아웃을 사용하여 해당 풀의 네임스페이스 또는 선택적으로 해당 풀에 파일 데이터를 저장하도록 파일 시스템 계층 구조의 일부를 구성해야 합니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
새 데이터 풀을 생성합니다.
구문
ceph osd pool create POOL_NAME
교체:
-
POOL_NAME
(풀 이름)입니다.
예
[ceph: root@host01 /]# ceph osd pool create cephfs_data_ssd pool 'cephfs_data_ssd' created
-
메타데이터 서버 제어 아래에 새로 생성된 풀을 추가합니다.
구문
ceph fs add_data_pool FS_NAME POOL_NAME
교체:
-
FS_NAME
파일 시스템의 이름입니다. -
POOL_NAME
(풀 이름)입니다.
예제:
[ceph: root@host01 /]# ceph fs add_data_pool cephfs cephfs_data_ssd added data pool 6 to fsmap
-
풀이 성공적으로 추가되었는지 확인합니다.
예
[ceph: root@host01 /]# ceph fs ls name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data cephfs_data_ssd]
선택 사항: 파일 시스템에서 데이터 풀을 제거합니다.
구문
ceph fs rm_data_pool FS_NAME POOL_NAME
예제:
[ceph: root@host01 /]# ceph fs rm_data_pool cephfs cephfs_data_ssd removed data pool 6 from fsmap
풀이 성공적으로 제거되었는지 확인합니다.
예
[ceph: root@host01 /]# ceph fs ls name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data]
-
cephx
인증을 사용하는 경우 클라이언트가 새 풀에 액세스할 수 있는지 확인합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일및 디렉터리 레이아웃 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템용 클라이언트 사용자 생성 섹션을 참조하십시오.
5.8. Ceph 파일 시스템 클러스터 제거
down
플래그를 true
로 설정하여 Ceph 파일 시스템(CephFS) 클러스터를 중단할 수 있습니다. 이렇게 하면 저널을 메타데이터 풀로 플러시하고 모든 클라이언트 I/O를 중지하여 메타데이터 서버(MDS) 데몬이 정상적으로 종료됩니다.
또한 CephFS 클러스터를 사용하여 파일 시스템의 삭제를 테스트하고 재해 복구 시나리오를 작성할 때 메타데이터 서버(MDS) 데몬을 중단할 수도 있습니다. 이렇게 하면 MDS 대기 데몬이 파일 시스템을 활성화하지 못하도록 함께 사용할 수
있는 플래그가 설정됩니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
CephFS 클러스터를 종료하려면 다음을 수행합니다.
구문
ceph fs set FS_NAME down true
예
[ceph: root@host01 /]# ceph fs set cephfs down true
CephFS 클러스터를 백업하려면 다음을 수행합니다.
구문
ceph fs set FS_NAME down false
예
[ceph: root@host01 /]# ceph fs set cephfs down false
또는
CephFS 클러스터를 신속하게 중단하려면 다음을 수행합니다.
구문
ceph fs fail FS_NAME
예
[ceph: root@host01 /]# ceph fs fail cephfs
참고CephFS 클러스터를 백업하려면
cephfs
를joinable
으로 설정합니다.구문
ceph fs set FS_NAME joinable true
예
[ceph: root@host01 /]# ceph fs set cephfs joinable true cephfs marked joinable; MDS may join as newly active.
5.9. Ceph 파일 시스템 제거
Ceph 파일 시스템(CephFS)을 제거할 수 있습니다. 이렇게하기 전에 모든 데이터를 백업하고 모든 클라이언트가 파일 시스템을 로컬로 마운트 해제했는지 확인하는 것이 좋습니다.
이 작업은 안전하지 않으며 Ceph 파일 시스템에 저장된 데이터에 영구적으로 액세스할 수 없게 됩니다.
사전 요구 사항
- 데이터를 백업하십시오.
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
스토리지 클러스터를 down으로 표시합니다.
구문
ceph fs set FS_NAME down true
- 대체 버전
- 제거하려는 Ceph 파일 시스템의 이름이 FS_NAME 입니다.
예
[ceph: root@host01 /]# ceph fs set cephfs down true cephfs marked down.
Ceph 파일 시스템의 상태를 표시합니다.
ceph fs status
예
[ceph: root@host01 /]# ceph fs status cephfs - 0 clients ====== +-------------------+----------+-------+-------+ | POOL | TYPE | USED | AVAIL | +-----------------+------------+-------+-------+ |cephfs.cephfs.meta | metadata | 31.5M | 52.6G| |cephfs.cephfs.data | data | 0 | 52.6G| +-----------------+----------+-------+---------+ STANDBY MDS cephfs.ceph-host01 cephfs.ceph-host02 cephfs.ceph-host03
Ceph 파일 시스템을 제거합니다.
구문
ceph fs rm FS_NAME --yes-i-really-mean-it
- 대체 버전
- 제거하려는 Ceph 파일 시스템의 이름이 FS_NAME 입니다.
예
[ceph: root@host01 /]# ceph fs rm cephfs --yes-i-really-mean-it
파일 시스템이 성공적으로 제거되었는지 확인합니다.
예
[ceph: root@host01 /]# ceph fs ls
- 선택 사항입니다. 제거된 파일 시스템과 관련된 데이터 및 메타데이터 풀을 제거합니다.
추가 리소스
- Red Hat Ceph Storage Storage Strategies Guide 의 Delete a Pool 섹션을 참조하십시오.
5.10. ceph mds fail
명령 사용
ceph mds fail
명령을 사용하여 다음을 수행합니다.
-
MDS 데몬을 실패로 표시합니다. 데몬이 활성 상태이고 적절한 대기 데몬을 사용할 수 있고 대기
-replay 구성을 비활성화한 후 대기
데몬이 활성화된 경우 이 명령을 사용하면 대기 데몬으로 장애 조치를 강제 적용합니다.standby-replay
데몬을 비활성화하면 새로운standby-replay
데몬이 할당되지 않습니다. - 실행 중인 MDS 데몬을 다시 시작합니다. 데몬이 활성 상태이고 적절한 대기 데몬을 사용할 수 있는 경우 "실패" 데몬이 대기 데몬이 됩니다.
사전 요구 사항
- Ceph MDS 데몬 설치 및 구성
프로세스
데몬에 실패하면 다음을 수행합니다.
구문
ceph mds fail MDS_NAME
여기서 MDS_NAME 은
standby-replay
MDS 노드의 이름입니다.예
[ceph: root@host01 /]# ceph mds fail example01
참고ceph fs status
명령에서 Ceph MDS 이름을 찾을 수 있습니다.
추가 리소스
- Red Hat Ceph Storage 파일 시스템 가이드 의 활성 메타데이터 서버 데몬 수 비활성화 섹션을 참조하십시오.
- Red Hat Ceph Storage 파일 시스템 가이드 의 대기 데몬 수 구성 섹션을 참조하십시오.
- Red Hat Ceph Storage 파일 시스템 가이드의 Metadata Server 순위 섹션을 참조하십시오.
5.11. 클라이언트 기능
클라이언트가 Ceph 파일 시스템을 사용하려면 클라이언트가 지원해야 하는 Ceph 파일 시스템(CephFS) 기능을 설정할 수 있습니다. 이러한 기능이 없는 클라이언트는 다른 CephFS 클라이언트가 중단되거나 예기치 않은 방식으로 작동할 수 있습니다. 또한 오래된 것을 방지하기 위해 새로운 기능이 필요할 수 있으며 버그 클라이언트가 Ceph 파일 시스템에 연결하지 못할 수도 있습니다.
새로 추가된 기능이 누락된 CephFS 클라이언트가 자동으로 제거됩니다.
fs features ls
명령을 사용하여 모든 CephFS 기능을 나열할 수 있습니다. fs required_client_features
명령을 사용하여 요구 사항을 추가하거나 제거할 수 있습니다.
구문
fs required_client_features FILE_SYSTEM_NAME add FEATURE_NAME fs required_client_features FILE_SYSTEM_NAME rm FEATURE_NAME
기능 설명
reply_encoding
- 설명
- 클라이언트가 이 기능을 지원하는 경우 Ceph Metadata Server(MDS)는 응답 요청을 확장 가능한 형식으로 인코딩합니다.
reclaim_client
- 설명
- Ceph MDS를 사용하면 새 클라이언트가 종료된 클라이언트 상태일 수 있는 다른 클라이언트를 회수할 수 있습니다. 이 기능은 NFS Ganesha에서 사용됩니다.
lazy_caps_wanted
- 설명
- 오래된 클라이언트가 다시 시작되면 클라이언트가 이 기능을 지원하는 경우 Ceph MDS는 명시적으로 원하는 기능만 다시 발행해야 합니다.
multi_reconnect
- 설명
- Ceph MDS 페일오버 이벤트 후 클라이언트는 MDS에 다시 연결 메시지를 전송하여 캐시 상태를 다시 설정합니다. 클라이언트는 큰 재연결 메시지를 여러 메시지로 분할할 수 있습니다.
deleg_ino
- 설명
- 클라이언트가 이 기능을 지원하는 경우 Ceph MDS는 inode 번호를 클라이언트에 위임합니다. inode 번호를 위임하는 것은 클라이언트가 async 파일 생성을 수행하려면 사전 요구 사항입니다.
metric_collect
- 설명
- CephFS 클라이언트는 성능 지표를 Ceph MDS로 보낼 수 있습니다.
alternate_name
- 설명
- CephFS 클라이언트는 디렉터리 항목의 대체 이름을 설정하고 이해할 수 있습니다. 이 기능을 사용하면 암호화된 파일 이름을 사용할 수 있습니다.
5.12. Ceph 파일 시스템 클라이언트 제거
Ceph 파일 시스템(CephFS) 클라이언트가 응답하지 않거나 오작동하는 경우, 강제로 종료하거나 CephFS 액세스에서 제거해야 할 수 있습니다. CephFS 클라이언트를 제거하면 메타데이터 서버(MDS) 데몬 및 Ceph OSD 데몬과 추가로 통신할 수 없습니다. 제거 시 CephFS 클라이언트가 CephFS에 I/O를 버퍼링하는 경우 플러시되지 않은 데이터가 손실됩니다. CephFS 클라이언트 제거 프로세스는 FUSE 마운트, 커널 마운트, NFS 게이트웨이 및 libcephfs
API 라이브러리를 사용하는 모든 프로세스에 적용됩니다.
MDS 데몬과 즉시 통신하지 못하거나 수동으로 CephFS 클라이언트를 제거할 수 있습니다.
자동 클라이언트 제거
이러한 시나리오로 인해 자동 CephFS 클라이언트 제거가 발생합니다.
-
CephFS 클라이언트가 기본값인 300초 동안 또는
session_autoclose
옵션에 설정된 활성 MDS 데몬과 통신하지 않은 경우. -
mds_cap_revoke_eviction_timeout
옵션이 설정되어 있고 CephFS 클라이언트가 설정된 시간 동안 제한 취소 메시지에 응답하지 않은 경우.mds_cap_revoke_eviction_timeout
옵션은 기본적으로 비활성화되어 있습니다. -
MDS 시작 또는 장애 조치 중에 MDS 데몬은 모든 CephFS 클라이언트가 새 MDS 데몬에 연결할 때까지 대기하고 다시 연결 단계를 진행합니다. CephFS 클라이언트가 기본 시간 창 45초 내에 다시 연결하지 못하거나
mds_reconnect_timeout
옵션으로 설정된 경우입니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템클라이언트 수동 제거 섹션을 참조하십시오.
5.13. Blocklist Ceph 파일 시스템 클라이언트
Ceph 파일 시스템(CephFS) 클라이언트 차단 목록은 기본적으로 활성화되어 있습니다. 단일 메타데이터 서버(MDS) 데몬에 제거 명령을 보내면 blocklist를 다른 MDS 데몬에 전파합니다. 이는 CephFS 클라이언트가 데이터 오브젝트에 액세스하지 못하도록 하기 위해 다른 CephFS 클라이언트 및 차단된 클라이언트 항목이 포함된 최신 Ceph OSD 맵을 사용하여 MDS 데몬을 업데이트해야 합니다.
Ceph OSD 맵을 업데이트할 때 내부 "osdmap epoch barrier" 메커니즘이 사용됩니다. 장벽의 목적은 ENOSPC 또는 차단 목록에 있는 클라이언트의 제거와 같이 취소된 작업과 경쟁하지 않을 수 있는 기능을 할당하기 전에 기능을 수신하는 CephFS 클라이언트에 충분히 최근의 Ceph OSD 맵이 있는지 확인하는 것입니다.
느린 노드 또는 신뢰할 수 없는 네트워크로 인해 CephFS 클라이언트 제거가 자주 발생하고 기본 문제를 해결할 수 없는 경우 MDS에 덜 엄격하게 요청할 수 있습니다. MDS 세션을 간단히 삭제하여 속도가 느린 CephFS 클라이언트에 응답할 수 있지만 CephFS 클라이언트가 세션을 다시 열고 Ceph OSD에 계속 통신할 수 있습니다. mds_session_blocklist_on_timeout
및 mds_session_blocklist_on_evict
옵션을 false
로 설정하면 이 모드를 활성화합니다.
차단 목록이 비활성화되면 제거된 CephFS 클라이언트는 명령을 보내는 MDS 데몬에만 영향을 미칩니다. 활성 MDS 데몬이 여러 개인 시스템에서 각 활성 데몬에 제거 명령을 보내야 합니다.
5.14. 수동으로 Ceph 파일 시스템 클라이언트 제거
클라이언트가 잘못 작동하고 클라이언트가 클라이언트 노드에 액세스할 수 없는 경우 Ceph 파일 시스템(CephFS) 클라이언트를 수동으로 제거하고 클라이언트가 종료되고 클라이언트 세션이 시간 초과될 때까지 기다리지 않으려는 경우가 있습니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
클라이언트 목록을 검토합니다.
구문
ceph tell DAEMON_NAME client ls
예
[ceph: root@host01 /]# ceph tell mds.0 client ls [ { "id": 4305, "num_leases": 0, "num_caps": 3, "state": "open", "replay_requests": 0, "completed_requests": 0, "reconnecting": false, "inst": "client.4305 172.21.9.34:0/422650892", "client_metadata": { "ceph_sha1": "79f0367338897c8c6d9805eb8c9ad24af0dcd9c7", "ceph_version": "ceph version 16.2.8-65.el8cp (79f0367338897c8c6d9805eb8c9ad24af0dcd9c7)", "entity_id": "0", "hostname": "senta04", "mount_point": "/tmp/tmpcMpF1b/mnt.0", "pid": "29377", "root": "/" } } ]
지정된 CephFS 클라이언트를 제거합니다.
구문
ceph tell DAEMON_NAME client evict id=ID_NUMBER
예
[ceph: root@host01 /]# ceph tell mds.0 client evict id=4305
5.15. blocklist에서 Ceph 파일 시스템 클라이언트 제거
경우에 따라 이전에 차단된 Ceph 파일 시스템(CephFS) 클라이언트가 스토리지 클러스터에 다시 연결할 수 있도록 하는 것이 유용할 수 있습니다.
blocklist에서 CephFS 클라이언트를 제거하면 데이터 무결성을 위험하게 만들 수 있으며 결과적으로 완전히 정상적이고 기능적인 CephFS 클라이언트를 보장하지 않습니다. 제거 후 완전히 정상 CephFS 클라이언트를 가져오는 가장 좋은 방법은 CephFS 클라이언트를 마운트 해제하고 새로 마운트하는 것입니다. 다른 CephFS 클라이언트가 차단 목록에 있는 CephFS 클라이언트가 I/O를 버퍼링한 파일에 액세스하는 경우 데이터가 손상될 수 있습니다.
사전 요구 사항
- Ceph Monitor 노드에 대한 루트 수준 액세스.
프로세스
blocklist를 검토합니다.
예
[ceph: root@host01 /]# ceph osd blocklist ls listed 1 entries 127.0.0.1:0/3710147553 2022-05-09 11:32:24.716146
blocklist에서 CephFS 클라이언트를 제거합니다.
구문
ceph osd blocklist rm CLIENT_NAME_OR_IP_ADDR
예
[ceph: root@host01 /]# ceph osd blocklist rm 127.0.0.1:0/3710147553 un-blocklisting 127.0.0.1:0/3710147553
선택적으로 블록 목록에서 커널 기반 CephFS 클라이언트를 제거할 때 자동으로 다시 연결할 수 있습니다. 커널 기반 CephFS 클라이언트에서 수동 마운트를 수행할 때 또는
/etc/fstab
파일의 항목을 사용하여 자동으로 마운트되도록 다음 옵션을 설정합니다.recover_session=clean
선택적으로 블록 목록에서 제거할 때 FUSE 기반 CephFS 클라이언트를 자동으로 다시 연결할 수 있습니다. FUSE 클라이언트에서 수동 마운트를 수행할 때 또는
/etc/fstab
파일의 항목을 사용하여 자동으로 마운트하는 경우 다음 옵션을true
로 설정합니다.client_reconnect_stale=true
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템을 FUSE 클라이언트로 마운트 섹션을 참조하십시오.
6장. Ceph 파일 시스템 할당량
스토리지 관리자는 파일 시스템의 모든 디렉터리에서 할당량을 확인, 설정, 제거할 수 있습니다. 바이트 수 또는 디렉터리 내의 파일 수에 할당량 제한을 배치할 수 있습니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
-
attr
패키지가 설치되어 있는지 확인합니다.
6.1. Ceph 파일 시스템 할당량
Ceph 파일 시스템(CephFS) 할당량을 사용하면 바이트 수 또는 디렉터리 구조에 저장된 파일 수를 제한할 수 있습니다. Ceph 파일 시스템 할당량은 FUSE 클라이언트를 사용하거나 커널 클라이언트, 버전 4.17 이상을 사용하여 완전히 지원됩니다.
제한
- CephFS 할당량은 구성된 제한에 도달할 때 데이터 쓰기를 중지하기 위해 파일 시스템을 마운트하는 클라이언트의 협업에 의존합니다. 그러나 할당량만으로는 신뢰할 수 없는 보조 클라이언트가 파일 시스템을 채우는 것을 방지할 수 없습니다.
- 파일 시스템에 데이터를 쓰는 프로세스가 구성된 한도에 도달하면 데이터 양이 할당량 제한에 도달하는 경우 프로세스가 데이터 쓰기를 중지하는 시점 간의 짧은 기간이 단축됩니다. 시간 기간은 일반적으로 10초 내에 측정됩니다. 그러나 프로세스는 해당 기간 동안 계속 데이터를 작성합니다. 프로세스에서 작성하는 추가 데이터의 양은 중지되기 전 경과된 시간에 따라 다릅니다.
-
경로 기반 액세스 제한을 사용하는 경우 클라이언트가 제한된 디렉터리 또는 그 아래에 중첩된 디렉터리에 할당량을 구성해야 합니다. 클라이언트가 MDS 기능을 기반으로 특정 경로에 대한 액세스를 제한하고 클라이언트가 액세스할 수 없는 상위 디렉터리에 할당량이 구성된 경우 클라이언트는 할당량을 적용하지 않습니다. 예를 들어 클라이언트가
/home/
디렉터리에 액세스할 수 없고 할당량이 /home/ 에 구성된 경우 클라이언트는/home/
user/
디렉터리에 해당 할당량을 적용할 수 없습니다. - 삭제되거나 변경된 스냅샷 파일 데이터는 할당량에 포함되지 않습니다.
-
setxattr
을 사용할 때 NFS 클라이언트의 할당량을 지원하지 않으며 NFS에서 파일 수준 할당량을 지원하지 않습니다. NFS 공유에서 할당량을 사용하려면 subvolumes를 사용하여 내보내기하고--size
옵션을 설정할 수 있습니다.
6.2. 할당량 보기
getfattr
명령과 ceph.quota
확장 속성을 사용하여 디렉터리의 할당량 설정을 확인합니다.
속성이 디렉터리 inode에 표시되면 해당 디렉터리에 구성된 할당량이 있습니다. inode에 속성이 나타나지 않으면 상위 디렉터리에 할당량이 구성되어 있을 수 있지만 디렉터리에 할당량이 설정되지 않습니다. 확장 속성 값이 0
이면 할당량이 설정되지 않습니다.
사전 요구 사항
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
-
attr
패키지가 설치되어 있습니다.
프로세스
CephFS 할당량을 보려면 다음을 수행합니다.
바이트 제한 할당량 사용:
구문
getfattr -n ceph.quota.max_bytes DIRECTORY
예
[root@client ~]# getfattr -n ceph.quota.max_bytes /mnt/cephfs/ getfattr: Removing leading '/' from absolute path names # file: mnt/cephfs/ ceph.quota.max_bytes="100000000"
이 예제에서
100000000
은 100MB입니다.파일 제한 할당량 사용:
구문
getfattr -n ceph.quota.max_files DIRECTORY
예
[root@client ~]# getfattr -n ceph.quota.max_files /mnt/cephfs/ getfattr: Removing leading '/' from absolute path names # file: mnt/cephfs/ ceph.quota.max_files="10000"
이 예에서
10000
은 10,000개의 파일과 같습니다.
추가 리소스
-
자세한 내용은
getfattr(1)
매뉴얼 페이지를 참조하십시오.
6.3. 할당량 설정
이 섹션에서는 setfattr
명령과 ceph.quota
확장 속성을 사용하여 디렉터리의 할당량을 설정하는 방법을 설명합니다.
사전 요구 사항
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
-
attr
패키지가 설치되어 있습니다.
프로세스
바이트 제한 할당량을 사용하여 direcotry 할당량을 설정합니다.
참고바이트 제한 할당량에 대해 지원되는 값은 K, Ki, M, Mi, G, Gi, T, Ti입니다.
구문
setfattr -n ceph.quota.max_bytes -v LIMIT_VALUE DIRECTORY
예
[root@client ~]# setfattr -n ceph.quota.max_bytes -v 2T /cephfs/
파일 제한 할당량을 사용하여 디렉터리에 대한 할당량을 설정합니다.
구문
setfattr -n ceph.quota.max_files -v LIMIT_VALUE DIRECTORY
예
[root@client ~]# setfattr -n ceph.quota.max_files -v 10000 /cephfs/
이 예에서
10000
은 10,000개의 파일과 같습니다.참고파일 LIMIT_VALUE.에 대해 숫자 값만 지원됩니다.
추가 리소스
-
자세한 내용은
setfattr(1)
매뉴얼 페이지를 참조하십시오.
6.4. 할당량 제거
이 섹션에서는 setfattr
명령과 ceph.quota
확장 속성을 사용하여 디렉터리에서 할당량을 제거하는 방법을 설명합니다.
사전 요구 사항
- Ceph 클라이언트 노드에 대한 루트 수준 액세스.
-
attr
패키지가 설치되어 있는지 확인합니다.
프로세스
CephFS 할당량을 제거하려면 다음을 수행합니다.
바이트 제한 할당량 사용:
구문
setfattr -n ceph.quota.max_bytes -v 0 DIRECTORY
예
[root@client ~]# setfattr -n ceph.quota.max_bytes -v 0 /mnt/cephfs/
파일 제한 할당량 사용:
구문
setfattr -n ceph.quota.max_files -v 0 DIRECTORY
예
[root@client ~]# setfattr -n ceph.quota.max_files -v 0 /mnt/cephfs/
추가 리소스
-
자세한 내용은
setfattr(1)
매뉴얼 페이지를 참조하십시오.
추가 리소스
- Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
-
자세한 내용은
getfattr(1)
매뉴얼 페이지를 참조하십시오. -
자세한 내용은
setfattr(1)
매뉴얼 페이지를 참조하십시오.
7장. 파일 및 디렉터리 레이아웃
스토리지 관리자는 파일 또는 디렉터리 데이터가 개체에 매핑되는 방법을 제어할 수 있습니다.
이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
-
attr
패키지 설치.
7.1. 파일 및 디렉터리 레이아웃 개요
이 섹션에서는 Ceph 파일 시스템의 컨텍스트에 있는 파일 및 디렉터리 레이아웃에 대해 설명합니다.
파일 또는 디렉터리의 레이아웃은 해당 콘텐츠를 Ceph RADOS 오브젝트에 매핑하는 방법을 제어합니다. 디렉터리 레이아웃은 주로 해당 디렉터리의 새 파일에 대해 상속된 레이아웃을 설정하는 데 사용됩니다.
파일 또는 디렉터리 레이아웃을 보고 설정하려면 가상 확장 속성 또는 확장 파일 속성(xattrs
)을 사용합니다. 레이아웃 속성의 이름은 파일이 일반 파일인지 디렉터리인지에 따라 달라집니다.
-
일반 파일 레이아웃 속성은
ceph.file.layout
이라고 합니다. -
디렉터리 레이아웃 속성은
ceph.dir.layout
이라고 합니다.
레이아웃 Inheritance
파일은 상위 디렉터리의 레이아웃을 생성할 때 상속됩니다. 그러나 상위 디렉터리 레이아웃에 대한 후속 변경 사항은 하위 항목에 영향을 미치지 않습니다. 디렉터리에 레이아웃이 설정되지 않은 경우 파일은 가장 가까운 디렉터리에서 디렉터리 구조의 레이아웃으로 레이아웃을 상속합니다.
7.2. 파일 및 디렉터리 레이아웃 필드 설정
setfattr
명령을 사용하여 파일 또는 디렉터리에 레이아웃 필드를 설정합니다.
파일의 레이아웃 필드를 수정할 때 파일이 비어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.
사전 요구 사항
- 노드에 대한 루트 수준 액세스.
프로세스
파일 또는 디렉터리에서 레이아웃 필드를 수정하려면 다음을 수행합니다.
구문
setfattr -n ceph.TYPE.layout.FIELD -v VALUE PATH
교체:
-
파일 또는 디렉터리
가 있는TYPE
. - 필드의 이름으로 FIELD 입니다.
- 필드의 새 값을 사용하여 VALUE 입니다.
- 파일 또는 디렉터리의 경로가 있는 PATH 입니다.
예
[root@mon ~]# setfattr -n ceph.file.layout.stripe_unit -v 1048576 test
-
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일및 디렉터리 레이아웃 개요 섹션에 있는 표를 참조하십시오.
-
setfattr(1)
매뉴얼 페이지를 참조하십시오.
7.3. 파일 및 디렉터리 레이아웃 필드 보기
getfattr
명령을 사용하여 파일 또는 디렉터리의 레이아웃 필드를 보려면 다음을 수행합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 스토리지 클러스터의 모든 노드에 대한 루트 수준 액세스.
프로세스
파일 또는 디렉터리의 레이아웃 필드를 단일 문자열로 보려면 다음을 수행합니다.
구문
getfattr -n ceph.TYPE.layout PATH
- 대체 버전
- 파일 또는 디렉터리의 경로가 있는 PATH 입니다.
-
파일 또는 디렉터리
가 있는TYPE
.
예
[root@mon ~]# getfattr -n ceph.dir.layout /home/test ceph.dir.layout="stripe_unit=4194304 stripe_count=2 object_size=4194304 pool=cephfs_data"
디렉터리에는 설정할 때까지 명시적 레이아웃이 없습니다. 결과적으로 첫 번째 설정 없이 레이아웃을 확인하려고 하면 표시할 변경 사항이 없기 때문에 실패합니다.
추가 리소스
-
getfattr(1)
매뉴얼 페이지. - 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일 및 디렉터리 레이아웃 필드 설정을 참조하십시오.
7.4. 개별 레이아웃 필드 보기
getfattr
명령을 사용하여 파일 또는 디렉터리의 개별 레이아웃 필드를 확인합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 스토리지 클러스터의 모든 노드에 대한 루트 수준 액세스.
프로세스
파일 또는 디렉터리의 개별 레이아웃 필드를 보려면 다음을 수행합니다.
구문
getfattr -n ceph.TYPE.layout.FIELD _PATH
- 대체 버전
-
파일 또는 디렉터리
가 있는TYPE
. - 필드의 이름으로 FIELD 입니다.
- 파일 또는 디렉터리의 경로가 있는 PATH 입니다.
-
예
[root@mon ~]# getfattr -n ceph.file.layout.pool test ceph.file.layout.pool="cephfs_data"
참고풀 필드의
풀은
이름으로 표시됩니다. 그러나 새로 생성된 풀은 ID로 표시할 수 있습니다.
추가 리소스
-
getfattr(1)
매뉴얼 페이지.
7.5. 디렉터리 레이아웃 제거
setfattr
명령을 사용하여 디렉터리에서 레이아웃을 제거합니다.
파일 레이아웃을 설정하면 변경하거나 제거할 수 없습니다.
사전 요구 사항
- 레이아웃이 있는 디렉터리입니다.
프로세스
디렉터리에서 레이아웃을 제거하려면 다음을 수행합니다.
구문
setfattr -x ceph.dir.layout DIRECTORY_PATH
예
[user@client ~]$ setfattr -x ceph.dir.layout /home/cephfs
pool_namespace
필드를 제거하려면 다음을 수행합니다.구문
setfattr -x ceph.dir.layout.pool_namespace DIRECTORY_PATH
예
[user@client ~]$ setfattr -x ceph.dir.layout.pool_namespace /home/cephfs
참고pool_namespace
필드는 별도로 제거할 수 있는 유일한 필드입니다.
추가 리소스
-
setfattr(1)
매뉴얼 페이지
추가 리소스
- Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
-
자세한 내용은
getfattr(1)
매뉴얼 페이지를 참조하십시오. -
자세한 내용은
setfattr(1)
매뉴얼 페이지를 참조하십시오.
8장. Ceph 파일 시스템 스냅샷
스토리지 관리자는 Ceph 파일 시스템(CephFS) 디렉터리의 지정 시간 스냅샷을 만들 수 있습니다. CephFS 스냅샷은 비동기식이며 생성된 디렉터리 스냅샷을 선택할 수 있습니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
8.1. Ceph 파일 시스템 스냅샷
새 Ceph 파일 시스템에서 Ceph 파일 시스템(CephFS) 스냅샷팅 기능은 기본적으로 활성화되어 있지만 기존 Ceph 파일 시스템에서 수동으로 활성화해야 합니다. CephFS 스냅샷은 Ceph 파일 시스템의 변경 불가능한 시점 보기를 생성합니다. CephFS 스냅샷은 비동기적이며 CephFS 디렉터리의 .snap
디렉터리에 있는 특수 숨겨진 디렉터리에 보관됩니다. Ceph 파일 시스템 내의 모든 디렉터리에 대해 스냅샷 생성을 지정할 수 있습니다. 디렉터리를 지정할 때 스냅샷에는 그 아래의 모든 하위 디렉터리도 포함됩니다.
각 Ceph Metadata Server(MDS) 클러스터는 snap ID를 독립적으로 할당합니다. 단일 풀을 공유하는 여러 Ceph 파일 시스템에 스냅샷을 사용하면 스냅샷 충돌이 발생하여 파일 데이터가 누락됩니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage File System 가이드의 Ceph파일 시스템의 스냅샷 생성 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템의 스냅샷 일정 생성 섹션을 참조하십시오.
8.2. Ceph 파일 시스템의 스냅샷 생성
스냅샷을 생성하여 Ceph 파일 시스템(CephFS)의 변경 불가능한 시점 보기를 생성할 수 있습니다.
새 Ceph 파일 시스템의 경우 스냅샷은 기본적으로 활성화됩니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
- Ceph Metadata Server(MDS) 노드에 대한 루트 수준 액세스.
프로세스
Cephadm 쉘에 로그인합니다.
예
[root@mds ~]# cephadm shell
기존 Ceph 파일 시스템의 경우 스냅샷 기능을 활성화합니다.
구문
ceph fs set FILE_SYSTEM_NAME allow_new_snaps true
예
[ceph: root@mds ~]# ceph fs set cephfs01 allow_new_snaps true
.snap
디렉터리에 새 스냅샷 하위 디렉터리를 생성합니다.구문
mkdir NEW_DIRECTORY_PATH
예
[ceph: root@mds ~]# mkdir /.snap/new-snaps
이 예제에서는
new-snaps
하위 디렉터리를 생성하고, 그러면 Ceph Metadata Server(MDS)에 스냅샷 생성을 시작하도록 알립니다.스냅샷을 삭제하려면 다음을 수행합니다.
구문
rmdir NEW_DIRECTORY_PATH
예
[ceph: root@mds ~]# rmdir /.snap/new-snaps
중요기본 스냅샷을 포함할 수 있는 루트 수준 스냅샷을 삭제하려고 하면 실패합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템스냅샷 스케줄 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템스냅샷 섹션을 참조하십시오.
- Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
9장. Ceph 파일 시스템 스냅샷 예약
스토리지 관리자는 Ceph 파일 시스템(CephFS) 디렉터리의 지정 시간 스냅샷을 만들 수 있습니다. CephFS 스냅샷은 비동기식이며 생성된 디렉터리 스냅샷을 선택할 수 있습니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
9.1. Ceph 파일 시스템 스냅샷 스케줄
Ceph 파일 시스템(CephFS)은 파일 시스템 디렉터리의 스냅샷을 예약할 수 있습니다. 스냅샷 예약은 Ceph Manager에서 관리하며 Python 타이머를 사용합니다. 스냅샷 일정 데이터는 CephFS 메타데이터 풀에 오브젝트로 저장되며 런타임 시 모든 일정 데이터는 직렬화된 SQLite 데이터베이스에 있습니다.
스케줄러는 스토리지 클러스터가 일반 로드 상태에 있을 때 스냅샷을 별도로 유지하기 위해 지정된 시간을 정확하게 기반으로 합니다. Ceph Manager가 부하가 많은 경우 스냅샷이 즉시 예약되지 않아 스냅샷이 약간 지연될 수 있습니다. 이 경우 예약된 다음 스냅샷은 지연이 없는 것처럼 작동합니다. 지연된 스냅샷은 전체 일정에 드리프트가 발생하지 않습니다.
사용법
Ceph 파일 시스템(CephFS)의 스냅샷 예약은 snap_schedule
Ceph Manager 모듈에서 관리합니다. 이 모듈은 스냅샷 일정을 추가, 쿼리 및 삭제하고 보존 정책을 관리하는 인터페이스를 제공합니다. 이 모듈은 스케줄 및 보존 정책을 관리하기 위한 여러 하위 명령과 함께 ceph fs snap-schedule
명령을 구현합니다. 모든 하위 명령은 CephFS 볼륨 경로와 하위 경로 인수를 사용하여 여러 Ceph File Systems를 사용할 때 파일 시스템 경로를 지정합니다. CephFS 볼륨 경로를 지정하지 않으면 인수가 fs_map
에 나열된 첫 번째 파일 시스템으로 기본 설정되며 하위 경로 인수는 기본값을 지정하지 않습니다.
스냅샷 스케줄은 파일 시스템 경로, 반복 간격 및 시작 시간으로 식별됩니다. 반복 간격은 두 개의 후속 스냅샷 사이의 시간을 정의합니다. 간격 형식은 숫자와 시간 지정자( h
(our), d
(ay) 또는 w
(eek)입니다. 예를 들어, 간격이 4h
인 경우 4시간마다 하나의 스냅샷을 의미합니다. 시작 시간은 ISO 형식 %Y-%m-%dT%H:%M:%M:%S
의 문자열 값이며 지정되지 않은 경우 시작 시간은 마지막 자정의 기본값을 사용합니다. 예를 들어 기본 시작 시간 값을 1h
의 반복 간격으로 사용하여 14:45
에 스냅샷을 예약하면 첫 번째 스냅샷이 15:00에 수행됩니다.
보존 정책은 파일 시스템 경로 및 보존 정책 사양으로 식별됩니다. 보존 정책을 정의하는 것은 COUNT TIME_PERIOD
형식의 숫자와 시간 지정자 또는 연결된 쌍으로 구성됩니다. 정책을 사용하면 여러 스냅샷이 유지되며 스냅샷은 최소한 지정된 기간 동안 분리됩니다. 시간 지정자는 h
(our), d
(ay), w
(eek), m
(onth), y
(ear) 및 n
입니다. n
시간 간격 지정자는 타이밍에 관계없이 마지막 스냅샷 수를 유지하는 특수 수정자입니다. 예를 들어 4d
는 1일 이상 또는 서로 더 긴 스냅샷 4개를 유지하는 것을 의미합니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage File System 가이드의 Ceph파일 시스템의 스냅샷 생성 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템의 스냅샷 일정 생성 섹션을 참조하십시오.
9.2. Ceph 파일 시스템의 스냅샷 일정 추가
아직 존재하지 않는 CephFS 경로의 스냅샷 일정을 추가합니다. 단일 경로에 대해 하나 이상의 스케줄을 생성할 수 있습니다. 반복 간격과 시작 시간이 다른 경우 스케줄은 다른 것으로 간주됩니다.
CephFS 경로에는 보존 정책이 하나만 있을 수 있지만 보존 정책에는 여러 카운트 시간 기간 쌍이 있을 수 있습니다.
스케줄러 모듈이 활성화되면 ceph fs snap-schedule
명령을 실행하면 사용 가능한 하위 명령과 사용 형식이 표시됩니다.
사전 요구 사항
- 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
- Ceph 파일 시스템 배포.
- Ceph Manager 및 Metadata Server(MDS) 노드에 대한 루트 수준 액세스.
- 파일 시스템에서 CephFS 스냅샷을 활성화합니다.
프로세스
Ceph Manager 노드의 Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
snap_schedule
모듈을 활성화합니다.예
[ceph: root@host01 /]# ceph mgr module enable snap_schedule
클라이언트 노드에 로그인합니다.
예
[root@host02 ~]# cephadm shell
Ceph 파일 시스템의 새 일정을 추가합니다.
구문
ceph fs snap-schedule add FILE_SYSTEM_VOLUME_PATH REPEAT_INTERVAL [START_TIME] --fs CEPH_FILE_SYSTEM_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00 --fs mycephfs
참고START_TIME 은 ISO 8601 형식으로 표시됩니다.
이 예에서는 파일 시스템
내
cephfs 내에 경로/cephfs
에 대한 스냅샷 일정을 생성하고 2022년 6월 27일 스냅 샷을 2022년 6월 9:50 PM에서 시작합니다.CephFS 볼륨 경로의 스냅샷에 대한 새 보존 정책을 추가합니다.
구문
ceph fs snap-schedule retention add FILE_SYSTEM_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT
예
[ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs h 14 1 [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs d 4 2 [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs 14h4w 3
스냅샷 일정을 나열하여 새 일정이 생성되었는지 확인합니다.
구문
ceph fs snap-schedule list FILE_SYSTEM_VOLUME_PATH [--format=plain|json] [--recursive=true]
예
[ceph: root@host02 /]# ceph fs snap-schedule list /cephfs --recursive=true
이 예에서는 디렉터리 트리의 모든 일정을 나열합니다.
스냅샷 일정의 상태를 확인합니다.
구문
ceph fs snap-schedule status FILE_SYSTEM_VOLUME_PATH [--format=plain|json]
예
[ceph: root@host02 /]# ceph fs snap-schedule status /cephfs --format=json
이 예에서는 CephFS
/cephfs
경로의 스냅샷 일정 상태를 JSON 형식으로 표시합니다. 지정되지 않은 경우 기본 형식은 일반 텍스트입니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템스냅샷 스케줄 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템스냅샷 섹션을 참조하십시오.
9.3. Ceph File System 하위 볼륨의 스냅샷 일정 추가
Ceph File System (CephFS) 하위 스냅샷의 보존 정책을 관리하기 위해 단일 경로에 대해 다른 일정을 가질 수 있습니다.
반복 간격과 시작 시간이 다른 경우 스케줄은 다른 것으로 간주됩니다.
아직 존재하지 않는 CephFS 파일 경로에 대한 스냅샷 일정을 추가합니다. CephFS 경로에는 보존 정책이 하나만 있을 수 있지만 보존 정책에는 여러 카운트 시간 기간 쌍이 있을 수 있습니다.
스케줄러 모듈이 활성화되면 ceph fs snap-schedule
명령을 실행하면 사용 가능한 하위 명령과 사용 형식이 표시됩니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
다음에 대한 스냅샷 일정을 생성할 수 있습니다.
- 하위 볼륨의 디렉터리입니다.
- 기본 그룹의 하위 볼륨.
- 기본이 아닌 그룹의 하위 볼륨.
그러나 명령은 다릅니다.
프로세스
하위 볼륨에서 디렉터리에 대한 스냅샷 일정을 생성하려면 다음을 수행합니다.
디렉터리가 존재하는 하위 볼륨의 절대 경로를 가져옵니다.
구문
ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME SUBVOLUME_GROUP_NAME
예
[ceph: root@host02 /]# ceph fs subvolume getpath cephfs subvol_1 subvolgroup_1
하위 볼륨의 디렉터리에 스냅샷 일정을 추가합니다.
구문
ceph fs snap-schedule add SUBVOLUME_DIR_PATH SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME
참고snap-schedule 명령의 경로는 <absolute_path_of_ subvolume>/<relative_path_of_test_dir>, subvolume의 absolute_path를 참조하십시오.
예
[ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00 --fs cephfs --subvol subvol_1 Schedule set for path /..
참고START_TIME 은 ISO 8601 형식으로 표시됩니다.
이 예에서는 하위 볼륨 경로에 대한 스냅샷 일정을 생성하고, 시간마다 스냅 샷을 생성하며 2022년 6월 27일 오전 9:50 PM에서 시작됩니다.
기본 그룹에 하위 볼륨의 스냅샷 일정을 생성하려면 다음 명령을 실행합니다.
구문
ceph fs snap-schedule add /.. SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol _SUBVOLUME_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule add - 2M --subvol sv_non_def_1
참고경로는 정의되어야 하며 비워 둘 수 없습니다.Length 문자열 값에 대한 종속성이 없으며 / ,
-'
또는/
. . .로 정의할 수 있습니다.기본이 아닌 그룹에 하위 볼륨의 스냅샷 일정을 생성하려면 다음 명령을 실행합니다.
구문
ceph fs snap-schedule add /.. SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol _SUBVOLUME_NAME --group NON_DEFAULT_SUBVOLGROUP_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule add - 2M --fs cephfs --subvol sv_non_def_1 --group svg1
참고경로는 정의되어야 하며 비워 둘 수 없습니다.Length 문자열 값에 대한 종속성이 없으며 / ,
-'
또는/
. . .로 정의할 수 있습니다.
9.3.1. CephFS 볼륨 경로의 스냅샷 스케줄에 대한 보존 정책 추가
언제든지 볼륨 경로에 유지할 스냅샷 수를 정의하려면 스냅샷 일정을 생성한 후 보존 정책을 추가해야 합니다.
하위 볼륨 그룹, 기본 그룹 내의 하위 볼륨 및 기본이 아닌 그룹을 사용하여 하위 볼륨에 대한 보존 정책을 생성할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
- Ceph 모니터에서 최소 읽기 액세스 권한.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
- 스냅샷 스케줄입니다.
프로세스
CephFS 하위 볼륨의 디렉터리에 스냅샷 스케줄의 새 보존 정책을 추가합니다.
구문
ceph fs snap-schedule retention add SUBVOLUME_DIR_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT
예
[ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. h 14 1 [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. d 4 2 [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 14h4w 3 Retention added to path /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..
default 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정에 보존 정책을 추가합니다.
구문
ceph fs snap-schedule retention add / [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD_COUNT --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule retention add / 5h --fs cephfs --subvol sv_sched Retention added to path /volumes/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
기본이 아닌 그룹의 하위 볼륨 그룹에 대해 생성된 스냅샷 일정에 보존 정책을 추가합니다.
구문
ceph fs snap-schedule retention add / [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD_COUNT --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON_DEFAULT_SUBVOLGROUP_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule retention add / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg Retention added to path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a54j0dda7f16/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
9.3.2. CephFS 스냅샷 일정 나열
스냅샷 일정을 나열하고 준수하면 강력한 데이터 보호와 효율적인 관리를 보장할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
- Ceph 모니터에서 최소 읽기 액세스 권한.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
- 스냅샷 스케줄입니다.
프로세스
스냅샷 일정을 나열합니다.
구문
ceph fs snap-schedule list SUBVOLUME_VOLUME_PATH [--format=plain|json] [--recursive=true]
예
[ceph: root@host02 /]# ceph fs snap-schedule list / --recursive=true /volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 4h
이 예에서는 디렉터리 트리의 모든 일정을 나열합니다.
9.3.3. CephFS 스냅샷 스케줄의 상태 확인
하위 볼륨의 디렉터리에 생성된 스냅샷의 명령, 기본 하위 볼륨 그룹의 하위 볼륨 및 기본값이 아닌 그룹에 생성된 하위 볼륨의 경우 명령을 사용하여 스냅샷 스케줄의 상태를 확인할 수 있습니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
- Ceph 모니터에서 최소 읽기 액세스 권한.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
- 스냅샷 스케줄입니다.
프로세스
하위 볼륨의 디렉터리에 대해 생성된 스냅샷 일정의 상태를 확인합니다.
구문
ceph fs snap-schedule status SUBVOLUME_DIR_PATH [--format=plain|json]
예
[ceph: root@host02 /]# ceph fs snap-schedule status /volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. --format=json {"fs": "cephfs", "subvol": "subvol_1", "path": "/volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..", "rel_path": "/..", "schedule": "4h", "retention": {"h": 14}, "start": "2022-05-16T14:00:00", "created": "2023-03-20T08:47:18", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}
이 예에서는
/volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/
... path를 JSON 형식으로 표시합니다. 지정되지 않은 경우 기본 형식은 일반 텍스트입니다.default 그룹에서 하위 볼륨에 대해 생성된 스냅샷 일정의 상태를 확인합니다.
구문
ceph fs snap-schedule status --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule status --fs cephfs --subvol sv_sched {"fs": "cephfs", "subvol": "sv_sched", "group": "subvolgroup_cg", "path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "rel_path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "schedule": "1h", "retention": {"h": 5}, "start": "2024-05-21T00:00:00", "created": "2024-05-21T09:18:58", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
- 기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정의 상태를 확인합니다. .Syntax
ceph fs snap-schedule status --fs _CEPH_FILE_SYSTEM_NAME_ --subvol _SUBVOLUME_NAME_ --group _NON-DEFAULT_SUBVOLGROUP_NAME_
예
[ceph: root@host02 /]# ceph fs snap-schedule status --fs cephfs --subvol sv_sched --group subvolgroup_cg {"fs": "cephfs", "subvol": "sv_sched", "group": "subvolgroup_cg", "path": "/volumes/subvolgroup_cg/sv_sched/e564329a-kj87-4763-gh0y-b56c8sev7t23/..", "rel_path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "schedule": "1h", "retention": {"h": 5}, "start": "2024-05-21T00:00:00", "created": "2024-05-21T09:18:58", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}
+ 중요: 경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
9.4. Ceph 파일 시스템의 스냅샷 일정 활성화
이 섹션에서는 Ceph 파일 시스템(CephFS)에 대해 스냅샷 일정을 활성으로 수동으로 설정하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
스냅샷 일정을 활성화합니다.
구문
ceph fs snap-schedule activate FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL]
예
[ceph: root@host01 /]# ceph fs snap-schedule activate /cephfs
이 예에서는 CephFS
/cephfs
경로에 대한 모든 스케줄을 활성화합니다.
9.5. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 활성화
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨에 대해 스냅샷 일정을 활성으로 수동으로 설정하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
프로세스
하위 볼륨의 디렉터리에 대해 생성된 스냅샷 일정을 활성화합니다.
구문
ceph fs snap-schedule activate SUBVOL_DIR_PATH [REPEAT_INTERVAL]
예
[ceph: root@host01 /]# ceph fs snap-schedule activate /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..
이 예에서는 CephFS
/volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/
... 경로에 대한 모든 스케줄을 활성화합니다.default 그룹에서 하위 볼륨에 대해 생성된 스냅샷 일정을 활성화합니다.
구문
ceph fs snap-schedule activate /.. REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule activate / --fs cephfs --subvol sv_sched Schedule activated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 활성화합니다.
구문
ceph fs snap-schedule activate /.. [REPEAT_INTERVAL] --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME
예
[ceph: root@host02 /]# ceph fs snap-schedule activate / --fs cephfs --subvol sv_sched --group subvolgroup_cg Schedule activated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
9.6. Ceph 파일 시스템의 스냅샷 일정 비활성화
이 섹션에서는 Ceph 파일 시스템(CephFS)의 스냅샷 일정을 비활성으로 수동으로 설정하는 단계를 제공합니다. 이 작업은 다시 활성화될 때까지 스케줄링에서 스냅샷을 제외합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- 스냅샷 일정이 생성되고 활성 상태입니다.
프로세스
CephFS 경로의 스냅샷 일정을 비활성화합니다.
구문
ceph fs snap-schedule deactivate FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL]
예
[ceph: root@host02 ~]# ceph fs snap-schedule deactivate /cephfs 1d
이 예에서는
/cephfs
경로의 일일 스냅샷을 비활성화하여 추가 스냅샷 생성을 일시 중지합니다.
9.7. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 비활성화
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨에 대해 스냅샷 일정을 비활성으로 수동으로 설정하는 단계를 제공합니다. 이 작업에서는 스냅샷이 다시 활성화될 때까지 스케줄링에서 제외됩니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- 스냅샷 일정이 생성되고 활성 상태입니다.
프로세스
CephFS 하위 볼륨에서 디렉터리에 대한 스냅샷 일정을 비활성화합니다.
구문
ceph fs snap-schedule deactivate SUBVOL_DIR_PATH [REPEAT_INTERVAL]
예
[ceph: root@host02 ~]# ceph fs snap-schedule deactivate /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 1d
이 예제에서는
/volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/
... 경로를 비활성화하므로 추가 스냅샷 생성을 정지합니다.default 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 비활성화합니다.
구문
ceph fs snap-schedule deactivate / REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule deactivate / --fs cephfs --subvol sv_sched Schedule deactivated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 비활성화합니다.
구문
ceph fs snap-schedule deactivate / REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule deactivate / --fs cephfs --subvol sv_sched --group subvolgroup_cg Schedule deactivated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
9.8. Ceph 파일 시스템의 스냅샷 일정 제거
이 섹션에서는 Ceph 파일 시스템(CephFS)의 스냅샷 일정을 제거하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- 스냅샷 일정이 생성됩니다.
프로세스
특정 스냅샷 일정을 제거합니다.
구문
ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL] [START_TIME]
예
[ceph: root@host02 ~]# ceph fs snap-schedule remove /cephfs 4h 2022-05-16T14:00:00
이 예에서는 4시간마다 스냅 샷하고 2022년 5월 16일 오전 2시부터 시작되는
/cephfs
볼륨의 특정 스냅샷 일정을 제거합니다.특정 CephFS 볼륨 경로의 모든 스냅샷 스케줄을 제거합니다.
구문
ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH
예
[ceph: root@host02 ~]# ceph fs snap-schedule remove /cephfs
이 예에서는
/cephfs
볼륨 경로에 대한 모든 스냅샷 스케줄을 제거합니다.
9.9. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 제거
이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷 일정을 제거하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- 스냅샷 일정이 생성됩니다.
프로세스
CephFS 하위 볼륨에서 디렉터리에 대해 생성된 특정 스냅샷 일정을 제거합니다.
구문
ceph fs snap-schedule remove SUBVOL_DIR_PATH [REPEAT_INTERVAL] [START_TIME]
예
[ceph: root@host02 ~]# ceph fs snap-schedule remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 4h 2022-05-16T14:00:00
이 예에서는
/volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/
... 볼륨, 즉 4시간마다 스냅 샷을 제거하고 2022년 5월 16일에 시작됩니다.default 그룹에서 하위 볼륨에 대해 생성된 특정 스냅샷 일정을 제거합니다.
구문
ceph fs snap-schedule remove / --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule remove / --fs cephfs --subvol sv_sched Schedule removed for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
기본이 아닌 그룹의 하위 볼륨에 대해 생성된 특정 스냅샷 일정을 제거합니다.
구문
ceph fs snap-schedule remove / --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule remove / --fs cephfs --subvol sv_sched --group subvolgroup_cg Schedule removed for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
9.10. Ceph 파일 시스템의 스냅샷 일정 보존 정책 제거
이 섹션에서는 Ceph 파일 시스템(CephFS)에 대해 예약된 스냅샷의 보존 정책을 제거하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 볼륨 경로에 대해 생성된 스냅샷 스케줄입니다.
프로세스
CephFS 경로에서 보존 정책을 제거합니다.
구문
ceph fs snap-schedule retention remove FILE_SYSTEM_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT
예
[ceph: root@host02 ~]# ceph fs snap-schedule retention remove /cephfs h 4 1 [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /cephfs 14d4w 2
9.11. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 보존 정책 제거
이 섹션에서는 Ceph File System(CephFS) 하위 볼륨에 대해 예약된 스냅샷의 보존 정책을 제거하는 단계를 제공합니다.
사전 요구 사항
- Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
- Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
- Ceph Manager 노드의 읽기 및 쓰기 기능
- CephFS 하위 볼륨 경로에 대해 생성된 스냅샷 스케줄입니다.
프로세스
CephFS 하위 볼륨에서 디렉터리에 대한 보존 정책을 제거합니다.
구문
ceph fs snap-schedule retention remove SUBVOL_DIR_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT
예
[ceph: root@host02 ~]# ceph fs snap-schedule retention remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. h 4 1 [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 14d4w 2
default 그룹의 하위 볼륨의 스냅샷 일정에 생성된 보존 정책을 제거합니다.
구문
ceph fs snap-schedule retention remove / TIME_PERIOD_PAIR TIME_PERIOD COUNT --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule retention remove / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg Retention removed from path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
기본이 아닌 그룹의 하위 볼륨의 스냅샷 일정에 생성된 보존 정책을 제거합니다.
구문
ceph fs snap-schedule retention remove / TIME_PERIOD_PAIR TIME_PERIOD COUNT --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME
예
[ceph: root@host02 ~]# ceph fs snap-schedule retention remove / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg Retention removed from path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..
중요경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…로 정의할 수 있습니다.
- Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
10장. Ceph 파일 시스템 스냅샷 미러링
스토리지 관리자는 Ceph 파일 시스템(CephFS)을 다른 Red Hat Ceph Storage 클러스터의 원격 Ceph 파일 시스템에 복제할 수 있습니다.
사전 요구 사항
- 소스 및 대상 스토리지 클러스터는 Red Hat Ceph Storage 6.0 이상을 실행 중이어야 합니다.
Ceph 파일 시스템(CephFS)은 다른 Red Hat Ceph Storage 클러스터의 원격 CephFS에 대한 비동기식 스냅샷 복제를 지원합니다. 스냅샷 동기화는 스냅샷 데이터를 원격 Ceph 파일 시스템에 복사하고 동일한 이름으로 원격 대상에 새 스냅샷을 생성합니다. 스냅샷 동기화를 위해 특정 디렉터리를 구성할 수 있습니다.
CephFS 미러 관리는 CephFS 미러링 데몬(cephfs-mirror
)에서 수행합니다. 이 스냅샷 데이터는 원격 CephFS에 대량 복사를 수행하여 동기화됩니다. 스냅샷 쌍 동기화의 선택한 순서는 snap-id
를 사용한 생성을 기반으로 합니다.
하드 링크 동기화는 지원되지 않습니다. 하드 링크된 파일은 일반 파일로 동기화됩니다.
CephFS 스냅샷 미러링에는 스냅샷 포함 또는 고가용성과 같은 기능이 포함됩니다. 권장 제어 인터페이스인 Ceph Manager 미러링
모듈을 통해 관리할 수 있습니다.
Ceph Manager 모듈 및 인터페이스
Ceph Manager 미러링
모듈은 기본적으로 비활성화되어 있습니다. 디렉터리 스냅샷의 미러링을 관리하기 위한 인터페이스를 제공합니다. Ceph Manager 인터페이스는 CephFS 미러링을 관리하기 위한 모니터 명령에 대한 래퍼입니다. 권장되는 제어 인터페이스입니다.
Ceph Manager 미러링
모듈은 Ceph Manager 플러그인으로 구현됩니다. 동기화를 위해 cephfs-mirror
데몬에 디렉터리를 할당해야 합니다.
Ceph Manager 미러링
모듈에서는 디렉터리 스냅샷의 미러링을 제어하는 명령 세트도 제공합니다. 미러링
모듈은 cephfs-mirror
데몬을 관리하지 않습니다. cephfs-mirror
데몬 중지, 시작, 다시 시작 및 활성화는 systemctl
에서 제어하지만 cephadm
에 의해 관리됩니다.
미러링 모듈 명령은 fs 미러 접두사가 있는 모니터 명령과 비교하여
접두사를 사용합니다. 모듈 명령 접두사를 사용하여 디렉터리 스냅샷의 미러링을 제어하도록 합니다.
fs 스냅샷
미러
스냅샷 구현
동일한 이름과 다른 콘텐츠로 스냅샷을 삭제하고 다시 생성할 수 있습니다. 사용자는 이전에 "오래된" 스냅샷을 동기화하고 미러링이 비활성화된 경우 스냅샷을 다시 생성할 수 있습니다. 스냅샷 이름을 사용하여 시점을 유추하면 "새" 스냅샷, 구현되지 않으며 동기화를 위해 선택되지 않습니다.
보조 파일 시스템의 스냅샷은 동기화된 스냅샷의 snap-id
를 저장합니다. 이 메타데이터는 Ceph Metadata Server의 SnapInfo
구조에 저장됩니다.
고가용성
두 개 이상의 노드에 여러 cephfs-mirror
데몬을 배포하여 디렉터리 스냅샷의 동기화에서 동시성을 수행할 수 있습니다. cephfs-mirror
데몬이 배포되거나 종료되면 Ceph Manager 미러링
모듈에서 수정된 cephfs-mirror
데몬 세트를 검색하고 새 세트 간에 디렉터리 할당을 재조정하여 고가용성을 제공합니다.
CephFS-mirror
데몬은 간단한 M/N 정책을 사용하여 동기화 부하를 공유합니다. 여기서 M은 디렉터리 수이고 N은 cephfs-mirror
데몬 수입니다.
Ceph 파일 시스템 미러 피어 추가
다른 클러스터의 CephFS에 피어를 다시 추가하거나 다시 할당하는 경우 모든 미러 데몬이 피어에 대한 동기화를 중지했는지 확인합니다. fs mirror status
명령을 사용하여 이를 확인할 수 있습니다. 명령 출력에 Peer UUID가 표시되지 않아야 합니다.
피어에서 동기화된 디렉터리를 다른 CephFS, 특히 새 기본 파일 시스템에 있을 수 있는 디렉터리에 다시 추가합니다. 이전에 동기화한 것과 동일한 기본 파일 시스템에 피어를 다시 추가하는 경우에는 필요하지 않습니다.
추가 리소스
-
fs mirror status명령에 대한 자세한 내용은 Ceph 파일 시스템의
미러 상태 보기를 참조하십시오.
10.1. Ceph 파일 시스템의 스냅샷 미러 구성
미러링을 위해 Ceph File System(CephFS)을 구성하여 원격 Red Hat Ceph Storage 클러스터의 다른 CephFS에 스냅샷을 복제할 수 있습니다.
원격 스토리지 클러스터에 동기화하는 시간은 파일 크기 및 미러링 경로의 총 파일 수에 따라 달라집니다.
사전 요구 사항
- 소스 및 대상 스토리지 클러스터는 정상이어야 하며 Red Hat Ceph Storage 8.0 이상을 실행해야 합니다.
- 소스 및 대상 스토리지 클러스터의 Ceph Monitor 노드에 대한 루트 수준 액세스.
- 스토리지 클러스터에 하나 이상의 Ceph 파일 시스템이 배포되었습니다.
프로세스
Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
소스 스토리지 클러스터에서 CephFS 미러링 데몬을 배포합니다.
구문
ceph orch apply cephfs-mirror ["NODE_NAME"]
예
[ceph: root@host01 /]# ceph orch apply cephfs-mirror "node1.example.com" Scheduled cephfs-mirror update...
이 명령은
cephfs-mirror
라는 Ceph 사용자를 생성하고 지정된 노드에cephfs-mirror
데몬을 배포합니다.선택 사항: 여러 CephFS 미러링 데몬을 배포하고 고가용성을 달성합니다.
구문
ceph orch apply cephfs-mirror --placement="PLACEMENT_SPECIFICATION"
예
[ceph: root@host01 /]# ceph orch apply cephfs-mirror --placement="3 host1 host2 host3" Scheduled cephfs-mirror update...
이 예제에서는 다른 호스트에 세 개의
cephfs-mirror
데몬을 배포합니다.주의다음과 같은 오류가 발생하므로 쉼표로 호스트를 분리하지 마십시오.
Error EINVAL: name component must include only a-z, 0-9, and -
대상 스토리지 클러스터에서 각 CephFS 피어에 대한 사용자를 생성합니다.
구문
ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME / rwps
예
[ceph: root@host01 /]# ceph fs authorize cephfs client.mirror_remote / rwps [client.mirror_remote] key = AQCjZ5Jg739AAxAAxduIKoTZbiFJ0lgose8luQ==
소스 스토리지 클러스터에서 CephFS 미러링 모듈을 활성화합니다.
예
[ceph: root@host01 /]# ceph mgr module enable mirroring
소스 스토리지 클러스터에서 Ceph 파일 시스템에서 미러링을 활성화합니다.
구문
ceph fs snapshot mirror enable FILE_SYSTEM_NAME
예
[ceph: root@host01 /]# ceph fs snapshot mirror enable cephfs
선택 사항: 스냅샷 미러링을 비활성화합니다.
구문
ceph fs snapshot mirror disable FILE_SYSTEM_NAME
예
[ceph: root@host01 /]# ceph fs snapshot mirror disable cephfs
주의파일 시스템에서 스냅샷 미러링을 비활성화하면 구성된 피어가 제거됩니다. 피어를 부트 스트랩하여 다시 가져와야 합니다.
대상 피어 스토리지 클러스터를 준비합니다.
대상 노드에서 Ceph Manager 모듈
미러링
을 활성화합니다.예
[ceph: root@host01 /]# ceph mgr module enable mirroring
동일한 대상 노드에서 피어 부트스트랩을 생성합니다.
구문
ceph fs snapshot mirror peer_bootstrap create FILE_SYSTEM_NAME CLIENT_NAME SITE_NAME
SITE_NAME 은 대상 스토리지 클러스터를 식별하는 사용자 정의 문자열입니다.
예
[ceph: root@host01 /]# ceph fs snapshot mirror peer_bootstrap create cephfs client.mirror_remote remote-site {"token": "eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ=="}
다음 단계에서 사용할 큰따옴표 사이에 토큰 문자열을 복사합니다.
소스 스토리지 클러스터에서 대상 스토리지 클러스터에서 부트스트랩 토큰을 가져옵니다.
구문
ceph fs snapshot mirror peer_bootstrap import FILE_SYSTEM_NAME TOKEN
예
[ceph: root@host01 /]# ceph fs snapshot mirror peer_bootstrap import cephfs eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ==
소스 스토리지 클러스터에서 CephFS 미러 피어를 나열합니다.
구문
ceph fs snapshot mirror peer_list FILE_SYSTEM_NAME
예
[ceph: root@host01 /]# ceph fs snapshot mirror peer_list cephfs {"e5ecb883-097d-492d-b026-a585d1d7da79": {"client_name": "client.mirror_remote", "site_name": "remote-site", "fs_name": "cephfs", "mon_host": "[v2:10.0.211.54:3300/0,v1:10.0.211.54:6789/0] [v2:10.0.210.56:3300/0,v1:10.0.210.56:6789/0] [v2:10.0.210.65:3300/0,v1:10.0.210.65:6789/0]"}}
선택 사항: 스냅샷 피어를 제거합니다.
구문
ceph fs snapshot mirror peer_remove FILE_SYSTEM_NAME PEER_UUID
예
[ceph: root@host01 /]# ceph fs snapshot mirror peer_remove cephfs e5ecb883-097d-492d-b026-a585d1d7da79
참고피어 UUID 값을 찾는 방법은 Ceph 파일 시스템의 미러 상태 보기를 참조하십시오.
소스 스토리지 클러스터에서 스냅샷 미러링을 위한 디렉터리를 구성합니다.
구문
ceph fs snapshot mirror add FILE_SYSTEM_NAME PATH
예
[ceph: root@host01 /]# ceph fs snapshot mirror add cephfs /volumes/_nogroup/subvol_1
중요Ceph 파일 시스템 내부의 절대 경로만 유효합니다.
참고Ceph Manager
미러링
모듈은 경로를 정규화합니다. 예를 들어/d1/d2/.../dN
디렉터리는/d1/d2
와 동일합니다. 미러링을 위해 디렉터리를 추가하면 미러링을 위해 상위 디렉터리 및 하위 디렉터리가 추가되지 않습니다.선택 사항: 디렉터리의 스냅샷 미러링을 중지합니다.
구문
ceph fs snapshot mirror remove FILE_SYSTEM_NAME PATH
예
[ceph: root@host01 /]# ceph fs snapshot mirror remove cephfs /home/user1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일시스템의 미러 상태 보기를 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템미러링 섹션을 참조하십시오.
10.2. Ceph 파일 시스템의 미러 상태 보기
Ceph 파일 시스템(CephFS) 미러 데몬(cephfs-mirror
)은 피어 업데이트와 함께 CephFS 미러링 상태의 변경 사항에 대한 비동기 알림을 가져옵니다. CephFS 미러링 모듈은 미러 데몬 상태 인터페이스를 제공하여 미러 데몬 상태를 확인합니다. 자세한 내용은 명령을 사용하여 cephfs-mirror
관리 소켓을 쿼리하여 미러 상태 및 피어 상태를 검색할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 미러링이 활성화된 Ceph 파일 시스템을 하나 이상 배포합니다.
- CephFS 미러링 데몬을 실행하는 노드에 대한 루트 수준 액세스입니다.
프로세스
Cephadm 쉘에 로그인합니다.
예
[root@host01 ~]# cephadm shell
cephfs-mirror
데몬 상태를 확인합니다.구문
ceph fs snapshot mirror daemon status
예
[ceph: root@host01 /]# ceph fs snapshot mirror daemon status [ { "daemon_id": 15594, "filesystems": [ { "filesystem_id": 1, "name": "cephfs", "directory_count": 1, "peers": [ { "uuid": "e5ecb883-097d-492d-b026-a585d1d7da79", "remote": { "client_name": "client.mirror_remote", "cluster_name": "remote-site", "fs_name": "cephfs" }, "stats": { "failure_count": 1, "recovery_count": 0 } } ] } ] } ]
자세한 내용은 아래에 설명된 대로 admin 소켓 인터페이스를 사용합니다.
CephFS 미러링 데몬을 실행하는 노드에서 Ceph File System ID를 찾습니다.
구문
ceph --admin-daemon PATH_TO_THE_ASOK_FILE help
예
[ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/1011435c-9e30-4db6-b720-5bf482006e0e/ceph-client.cephfs-mirror.node1.bndvox.asok help { ... "fs mirror peer status cephfs@11 1011435c-9e30-4db6-b720-5bf482006e0e": "get peer mirror status", "fs mirror status cephfs@11": "get filesystem mirror status", ... }
이 예제의 Ceph 파일 시스템 ID는
cephfs@11
입니다.참고미러링이 비활성화되면 파일 시스템의 각
fs 미러 상태
명령이도움말
명령에 표시되지 않습니다.미러 상태를 확인합니다.
구문
ceph --admin-daemon PATH_TO_THE_ASOK_FILE fs mirror status FILE_SYSTEM_NAME@_FILE_SYSTEM_ID
예
[ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/1011435c-9e30-4db6-b720-5bf482006e0e/ceph-client.cephfs-mirror.node1.bndvox.asok fs mirror status cephfs@11 { "rados_inst": "192.168.0.5:0/1476644347", "peers": { "1011435c-9e30-4db6-b720-5bf482006e0e": { 1 "remote": { "client_name": "client.mirror_remote", "cluster_name": "remote-site", "fs_name": "cephfs" } } }, "snap_dirs": { "dir_count": 1 } }
- 1
- 고유한 피어 UUID입니다.
피어 상태를 확인합니다.
구문
ceph --admin-daemon PATH_TO_ADMIN_SOCKET fs mirror status FILE_SYSTEM_NAME@FILE_SYSTEM_ID PEER_UUID
예
[ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/cephfs-mirror.asok fs mirror peer status cephfs@11 1011435c-9e30-4db6-b720-5bf482006e0e { "/home/user1": { "state": "idle", 1 "last_synced_snap": { "id": 120, "name": "snap1", "sync_duration": 0.079997898999999997, "sync_time_stamp": "274900.558797s" }, "snaps_synced": 2, 2 "snaps_deleted": 0, 3 "snaps_renamed": 0 } }
상태는
다음 세 값 중 하나일 수 있습니다.
기본 연속 실패 수는 10초이며 기본 재시도 간격은 60초입니다.
cephfs-mirror
데몬이 매핑되는 디렉터리를 표시합니다.구문
ceph fs snapshot mirror dirmap FILE_SYSTEM_NAME PATH
예
[ceph: root@host01 /]# ceph fs snapshot mirror dirmap cephfs /volumes/_nogroup/subvol_1 { "instance_id": "25184", 1 "last_shuffled": 1661162007.012663, "state": "mapped" }
- 1
instance_id
는cephfs-mirror
데몬과 연결된 RADOS instance-ID입니다.
예
[ceph: root@host01 /]# ceph fs snapshot mirror dirmap cephfs /volumes/_nogroup/subvol_1 { "reason": "no mirror daemons running", "state": "stalled" 1 }
- 1
stalled
상태는 CephFS 미러링이 중지됨을 의미합니다.
두 번째 예는 미러 데몬이 실행되지 않는 경우 명령 출력을 보여줍니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템미러 섹션을 참조하십시오.
10.3. Ceph 파일 시스템 스냅샷 미러링 메트릭 보기
이러한 메트릭을 보는 것은 성능 및 동기화 진행 상황을 모니터링하는 데 도움이 됩니다. 카운터 덤프를 사용하여 Ceph File System 스냅샷 미러 상태 및 볼륨 지표를 확인합니다.
전제 조건
- 실행 중인 IBM Storage Ceph 클러스터입니다.
- Ceph File System 스냅샷 미러링이 활성화된 최소 하나의 배포입니다.
- Ceph 파일 시스템 미러링 데몬을 실행하는 노드에 대한 루트 수준 액세스.
프로세스
-
asok
파일의 이름을 가져옵니다. 미러링 데몬이 실행 중이고 cephadm 쉘 내의/var/run/ceph/
에 있는asok
파일을 사용할 수 있습니다. CephFS 미러링 데몬을 실행하는 노드에서 다음 명령을 실행하여 미러링 메트릭 및 동기화 상태를 확인합니다.
구문
[ceph: root@mirror-host01 /]# ceph --admin-daemon ASOK_FILE_NAME counter dump
예
[ceph: root@mirror-host01 /]# ceph --admin-daemon ceph-client.cephfs-mirror.ceph1-hk-n-0mfqao-node7.pnbrlu.2.93909288073464.asok counter dump [ { "key": "cephfs_mirror", "value": [ { "labels": {}, "counters": { "mirrored_filesystems": 1, "mirror_enable_failures": 0 } } ] }, { "key": "cephfs_mirror_mirrored_filesystems", "value": [ { "labels": { "filesystem": "cephfs" }, "counters": { "mirroring_peers": 1, "directory_count": 1 } } ] }, { "key": "cephfs_mirror_peers", "value": [ { "labels": { "peer_cluster_filesystem": "cephfs", "peer_cluster_name": "remote_site", "source_filesystem": "cephfs", "source_fscid": "1" }, "counters": { "snaps_synced": 1, "snaps_deleted": 0, "snaps_renamed": 0, "sync_failures": 0, "avg_sync_time": { "avgcount": 1, "sum": 4.216959457, "avgtime": 4.216959457 }, "sync_bytes": 132 } } ] } ]
메트릭 설명:
레이블이 지정된 Perf
Cryostats는 OCP/ODF 대시보드에서 지역 복제 모니터링을 제공하기 위해 OCP/ODF 대시보드에서 사용할 수 있는 메트릭을 생성합니다.
그러면 cephfs_mirror 동기화의 진행 상황을 생성하고 모니터링 기능을 제공합니다. 내보낸 지표는 다음 경고를 기반으로 모니터링을 활성화합니다.
- mirroring_peers
- 미러링에 관련된 피어 수입니다.
- directory_count
- 동기화 중인 총 디렉터리 수입니다.
- mirrored_filesystems
- 미러링된 총 파일 시스템 수입니다.
- mirror_enable_failures
- 미러링 실패를 활성화합니다.
- snaps_synced
- 총 스냅샷 수가 성공적으로 동기화되었습니다.
- sync_bytes
- 동기화되는 총 바이트 수
- sync_failures
- 총 실패한 스냅샷 동기화 수입니다.
- snaps_deleted
- 삭제된 총 스냅샷 수입니다.
- snaps_renamed
- 총 스냅샷 수의 이름이 변경됩니다.
- avg_synced_time
- 모든 스냅샷 동기화에서 가져온 평균 시간입니다.
- last_synced_start
- 마지막으로 동기화된 스냅샷의 동기화 시작 시간입니다.
- last_synced_end
- 마지막으로 동기화된 스냅샷의 동기화 종료 시간입니다.
- last_synced_duration
- 마지막 동기화의 시간 기간입니다.
- last_synced_bytes
- 마지막으로 동기화된 스냅샷에 대해 동기화되는 총 바이트입니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 배포 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 설치 가이드를 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 메타데이터 서버 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 미러 섹션을 참조하십시오.
부록 A. Ceph 파일 시스템의 상태 메시지
클러스터 상태 점검
Ceph Monitor 데몬은 메타데이터 서버(MDS)의 특정 상태에 대한 응답으로 상태 메시지를 생성합니다. 다음은 상태 메시지 목록과 설명입니다.
- MDS 순위 <ranks>에 실패했습니다.
- 하나 이상의 MDS 순위는 현재 MDS 데몬에 할당되지 않습니다. 적절한 교체 데몬이 시작될 때까지 스토리지 클러스터는 복구되지 않습니다.
- MDS 순위 <ranks>가 손상되었습니다.
- 하나 이상의 MDS 순위는 저장된 메타데이터에 심각한 손상을 발생했으며 메타데이터가 복구될 때까지 다시 시작할 수 없습니다.
- MDS 클러스터의 성능이 저하됨
-
하나 이상의 MDS 순위는 현재 실행 중이 아니므로 클라이언트가 이 상황이 해결될 때까지 메타데이터 I/O를 일시 중지할 수 있습니다. 여기에는 실패 또는 손상된 순위가 포함되며 MDS에서 실행 중이지만 아직
활성
상태에 있지 않은 순위는재생
상태의 순위입니다. - MDS <names>는 지연입니다.
-
MDS 데몬은
mds_beacon_interval
옵션에 지정된 간격으로 모니터에 비컨 메시지를 전송해야 하며 기본값은 4초입니다. MDS 데몬이mds_beacon_grace
옵션으로 지정한 시간 내에 메시지를 보내지 못하는 경우 기본값은 15초입니다. Ceph Monitor는 MDS 데몬을지연으로
표시하고 사용 가능한 경우 대기 데몬으로 자동 대체합니다.
daemon-reported 상태 점검
MDS 데몬은 다양한 원하지 않는 조건을 식별하고 ceph status
명령의 출력에 반환할 수 있습니다. 이러한 조건에는 사람이 읽을 수 있는 메시지가 있으며 JSON 출력에 표시되는 MDS_HEALTH
를 시작하는 고유한 코드도 있습니다. 다음은 데몬 메시지, 코드 및 설명 목록입니다.
- "behind on trimming…"
코드: MDS_HEALTH_TRIM
CephFS는 로그 세그먼트로 분할되는 메타데이터 저널을 유지 관리합니다. 저널 길이( 세그먼트 수)는
mds_log_max_segments
설정에 의해 제어됩니다. 세그먼트 수가 해당 설정을 초과하면 MDS에서 가장 오래된 세그먼트를 제거(trim)할 수 있도록 백 메타데이터 쓰기를 시작합니다. 이 프로세스가 너무 느리거나 소프트웨어 버그가 트리밍을 방지하는 경우 이 상태 메시지가 표시됩니다. 이 메시지가 표시될 임계값은 세그먼트 수가 doublemds_log_max_segments
인 경우입니다.참고트리밍 경고가 발생하면
mds_log_max_segments
를 늘리는 것이 좋습니다. 그러나 클러스터 상태가 복구되고 트리밍 경고가 더 이상 표시되지 않을 때 이 구성이 기본값으로 재설정되어야 합니다. MDS가 트리밍으로 catch할 수 있도록mds_log_max_segments
를 256으로 설정하는 것이 좋습니다.- "client <name>이 기능 릴리스에 응답하지 않음
코드: MDS_HEALTH_CLIENT_LATE_RELEASE, MDS_HEALTH_CLIENT_LATE_RELEASE_MANY
CephFS 클라이언트는 MDS에서 제공하는 기능을 제공합니다. 기능은 잠금과 같이 작동합니다. 예를 들어 다른 클라이언트가 액세스해야 하는 경우 MDS는 클라이언트가 기능을 해제하도록 요청합니다. 클라이언트가 응답하지 않는 경우 즉시 수행하지 못하거나 전혀 수행하지 못할 수 있습니다. 이 메시지는 클라이언트가
mds_revoke_cap_timeout
옵션에 지정된 시간보다 준수하는 데 시간이 오래 걸리는 경우 표시됩니다(기본값은 60초).- "client <name>이 캐시 부족에 응답하지 않음
코드: MDS_HEALTH_CLIENT_RECALL, MDS_HEALTH_CLIENT_RECALL_MANY
클라이언트는 메타데이터 캐시를 유지합니다. 클라이언트 캐시의 inode와 같은 항목도 MDS 캐시에 고정됩니다. MDS에서 캐시를 축소하여 자체 캐시 크기 제한 내에서 유지해야 하는 경우 MDS는 클라이언트에 메시지를 보내 캐시를 축소합니다. 클라이언트가 응답하지 않는 경우 MDS가 캐시 크기 내에 제대로 유지되지 않도록 할 수 있으며 MDS는 결국 메모리가 부족하여 예기치 않게 종료될 수 있습니다. 이 메시지는 클라이언트가
mds_recall_state_timeout
옵션에 지정된 시간보다 준수하는 데 더 많은 시간이 걸리는 경우 표시됩니다(기본값은 60초). 자세한 내용은 Metadata Server 캐시 크기 제한 섹션을 참조하십시오.- "클라이언트 이름이 가장 오래된 클라이언트/플루시 tid를 발전하지 못했습니다."
코드: MDS_HEALTH_CLIENT_OLDEST_TID, MDS_HEALTH_CLIENT_OLDEST_TID_MANY
클라이언트와 MDS 서버 간의 통신에 필요한 CephFS 프로토콜은 가장 오래된 tid 라는 필드를 사용하여 MDS에서 MDS가 잊어 버릴 수 있도록 클라이언트 요청이 완전히 완료된지 MDS에 알립니다. 응답하지 않는 클라이언트가 이 필드를 진행하지 못하면 MDS에서 클라이언트 요청에서 사용하는 리소스를 올바르게 정리하지 못할 수 있습니다. 이 메시지는 클라이언트가 MDS 측에서 완료되었지만 클라이언트의 가장 오래된 tid 값을 아직 고려하지 않은
max_completed_requests
옵션에 지정된 수보다 많은 요청이 있는 경우 표시됩니다.- "메타데이터 손상이 감지됨"
코드: MDS_HEALTH_DAMAGE
메타데이터 풀에서 읽을 때 손상되거나 누락된 메타데이터가 발생했습니다. 이 메시지는 손상된 하위 트리에 대한 클라이언트 액세스에서 I/O 오류를 반환하더라도 MDS가 계속 작동하도록 손상이 충분히 격리되었음을 나타냅니다.
damage ls
administration socket 명령을 사용하여 손상에 대한 세부 정보를 확인합니다. 이 메시지는 손상이 발생하는 즉시 표시됩니다.- "MDS in read-only mode"
코드: MDS_HEALTH_READ_ONLY
MDS가 읽기 전용 모드로 입력되었으며 모든 메타데이터를 수정하려는 클라이언트 작업으로
EROFS
오류 코드를 반환합니다. MDS는 읽기 전용 모드로 전환됩니다.- 메타데이터 풀에 쓰는 동안 쓰기 오류가 발생하면 다음을 수행합니다.
-
관리자가
force_readonly
관리 소켓 명령을 사용하여 MDS가 읽기 전용 모드로 전환하도록 강제 적용하는 경우.
- "<N> 느린 요청이 차단되었습니다.
코드: MDS_HEALTH_SLOW_REQUEST
MDS가 매우 느리게 실행 중이거나 버그가 있음을 나타내는 하나 이상의 클라이언트 요청이 즉시 완료되지 않았습니다.
ops
관리 소켓 명령을 사용하여 미해결 메타데이터 작업을 나열합니다. 이 메시지는 클라이언트 요청이mds_op_complaint_time
옵션에서 지정한 값보다 더 많은 시간을 소요한 경우 표시됩니다(기본값은 30초).- " cache에 너무 많은 inode가 있음"
- 코드: MDS_HEALTH_CACHE_OVERSIZED
MDS에서 관리자가 설정한 제한을 준수하기 위해 캐시를 트리밍하지 못했습니다. MDS 캐시가 너무 크면 데몬에서 사용 가능한 메모리가 소진되어 예기치 않게 종료될 수 있습니다. 기본적으로 MDS 캐시 크기가 제한보다 50% 큰 경우 이 메시지가 표시됩니다.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드 의 메타데이터 서버 캐시 크기 제한 섹션을 참조하십시오.
부록 B. 메타데이터 서버 데몬 구성 참조
메타데이터 서버(MDS) 데몬 구성에 사용할 수 있는 명령 목록을 참조하십시오.
- mon_force_standby_active
- 설명
-
true
로 설정하면 모니터에서 대기 재생 모드에서 MDS를 강제로 활성화합니다. Ceph 구성 파일의[mon]
또는[global]
섹션에서 설정합니다. - 유형
- 부울
- 기본
-
true
- max_mds
- 설명
-
클러스터 생성 중 활성 MDS 데몬 수입니다. Ceph 구성 파일의
[mon]
또는[global]
섹션에서 설정합니다. - 유형
- 32비트 정수
- 기본
-
1
- mds_cache_memory_limit
- 설명
-
MDS가 해당 캐시에 적용하는 메모리 제한입니다.
mds 캐시 크기
매개변수 대신 이 매개변수를 사용하는 것이 좋습니다. - 유형
- 64비트 정수 서명되지 않음
- 기본
-
4294967296
- mds_cache_reservation
- 설명
- MDS 캐시가 유지 관리하는 캐시 예약, 메모리 또는 inode입니다. 값은 구성된 최대 캐시의 백분율입니다. MDS가 예약으로 분할이 시작되면 캐시 크기가 축소되어 예약을 복원할 때까지 클라이언트 상태를 호출합니다.
- 유형
- 플로트
- 기본
-
0.05
- mds_cache_size
- 설명
-
캐시할 inode 수입니다. 값 0은 무제한을 나타냅니다. Red Hat은
mds_cache_memory_limit
를 사용하여 MDS 캐시가 사용하는 메모리 양을 제한하는 것이 좋습니다. - 유형
- 32비트 정수
- 기본
-
0
- mds_cache_mid
- 설명
- 캐시 LRU의 새 항목에 대한 삽입 지점(상단)입니다.
- 유형
- 플로트
- 기본
-
0.7
- mds_dir_commit_ratio
- 설명
- Ceph가 부분 업데이트 대신 전체 업데이트를 사용하여 커밋하기 전에 잘못된 정보가 포함된 디렉터리의 일부입니다.
- 유형
- 플로트
- 기본
-
0.5
- mds_dir_max_commit_size
- 설명
- Ceph가 디렉터리를 더 작은 트랜잭션으로 이동하기 전에 MB로 디렉터리 업데이트의 최대 크기입니다.
- 유형
- 32비트 정수
- 기본
-
90
- mds_decay_halflife
- 설명
- MDS 캐시 온도의 반감입니다.
- 유형
- 플로트
- 기본
-
5
- mds_beacon_interval
- 설명
- 모니터로 전송되는 비컨 메시지의 빈도(초)입니다.
- 유형
- 플로트
- 기본
-
4
- mds_beacon_grace
- 설명
-
Ceph가 MDS 지연을 선언하고 이를 대체하기 전에 비컨이 없는 간격입니다.
- 유형
- 플로트
- 기본
-
15
- mds_blacklist_interval
- 설명
- OSD 맵에서 실패한 MDS 데몬의 블랙리스트 기간입니다.
- 유형
- 플로트
- 기본
-
24.0*60.0
- mds_session_timeout
- 설명
- Ceph가 기능 및 리스를 시간 초과하기 전에 클라이언트 비활성 간격(초)입니다.
- 유형
- 플로트
- 기본
-
60
- mds_session_autoclose
- 설명
-
Ceph가 지연 클라이언트의 세션을 종료하기 전 간격
(
초)입니다. - 유형
- 플로트
- 기본
-
300
- mds_reconnect_timeout
- 설명
- MDS를 다시 시작하는 동안 클라이언트가 다시 연결될 때까지 대기하는 간격(초)입니다.
- 유형
- 플로트
- 기본
-
45
- mds_tick_interval
- 설명
- MDS가 내부 주기적인 작업을 수행하는 빈도입니다.
- 유형
- 플로트
- 기본
-
5
- mds_dirstat_min_interval
- 설명
- 트리에 재귀 통계를 전파하지 않도록 하는 최소 간격(초)입니다.
- 유형
- 플로트
- 기본
-
1
- mds_scatter_nudge_interval
- 설명
- 디렉터리 통계가 전파되는 속도가 얼마나 빨리 변경됩니까.
- 유형
- 플로트
- 기본
-
5
- mds_client_prealloc_inos
- 설명
- 클라이언트 세션당 사전 할당할 inode 번호 수입니다.
- 유형
- 32비트 정수
- 기본
-
1000
- mds_early_reply
- 설명
- MDS에서 저널에 커밋하기 전에 클라이언트에서 요청 결과를 볼 수 있는지 여부를 결정합니다.
- 유형
- 부울
- 기본
-
true
- mds_use_tmap
- 설명
-
디렉터리 업데이트에
trivialmap
을 사용합니다. - 유형
- 부울
- 기본
-
true
- mds_default_dir_hash
- 설명
- 디렉터리 조각에서 파일을 해시하는 데 사용할 함수입니다.
- 유형
- 32비트 정수
- 기본
-
2
, 즉,rjenkins
- mds_log
- 설명
-
MDS에서 메타데이터 업데이트를 저널링해야 하는 경우
true
로 설정합니다. 벤치마킹 전용은 비활성화합니다. - 유형
- 부울
- 기본
-
true
- mds_log_skip_corrupt_events
- 설명
- MDS가 저널 재생 중에 손상된 저널 이벤트를 건너뛰려고 하는지 여부를 결정합니다.
- 유형
- 부울
- 기본
-
false
- mds_log_max_events
- 설명
-
Ceph가 트리밍을 시작하기 전 저널의 최대 이벤트입니다. 제한을 비활성화하려면
-1
로 설정합니다. - 유형
- 32비트 정수
- 기본
-
-1
- mds_log_max_segments
- 설명
-
Ceph가 트리밍을 시작하기 전에 저널의 최대 세그먼트 또는 오브젝트 수입니다. 제한을 비활성화하려면
-1
로 설정합니다. - 유형
- 32비트 정수
- 기본
-
30
- mds_log_max_expiring
- 설명
- 병렬로 만료할 최대 세그먼트 수입니다.
- 유형
- 32비트 정수
- 기본
-
20
- mds_log_eopen_size
- 설명
-
EOpen
이벤트의 최대 inode 수입니다. - 유형
- 32비트 정수
- 기본
-
100
- mds_bal_sample_interval
- 설명
- 조각화 결정을 내릴 때 디렉토리 온도를 샘플링하는 빈도를 결정합니다.
- 유형
- 플로트
- 기본
-
3
- mds_bal_replicate_threshold
- 설명
- Ceph가 다른 노드에 메타데이터를 복제하기 전의 최대 온도입니다.
- 유형
- 플로트
- 기본
-
8000
- mds_bal_unreplicate_threshold
- 설명
- Ceph가 다른 노드에 메타데이터 복제를 중지하기 전의 최소 온도입니다.
- 유형
- 플로트
- 기본
-
0
- mds_bal_frag
- 설명
- MDS 조각 디렉터리가 있는지 여부를 결정합니다.
- 유형
- 부울
- 기본
-
false
- mds_bal_split_size
- 설명
- MDS에서 디렉터리 조각을 더 작은 비트로 분할하기 전의 최대 디렉터리 크기입니다. 루트 디렉터리에는 기본 조각 크기 제한이 10000입니다.
- 유형
- 32비트 정수
- 기본
-
10000
- mds_bal_split_rd
- 설명
- Ceph가 디렉터리 조각을 분할하기 전에 최대 디렉터리 읽기 온도입니다.
- 유형
- 플로트
- 기본
-
25000
- mds_bal_split_wr
- 설명
- Ceph가 디렉터리 조각을 분할하기 전에 최대 디렉터리 쓰기 온도입니다.
- 유형
- 플로트
- 기본
-
10000
- mds_bal_split_bits
- 설명
- 디렉터리 조각을 분할하는 비트 수입니다.
- 유형
- 32비트 정수
- 기본
-
3
- mds_bal_merge_size
- 설명
- Ceph가 인접한 디렉터리 조각을 병합하기 전의 최소 디렉터리 크기입니다.
- 유형
- 32비트 정수
- 기본
-
50
- mds_bal_merge_rd
- 설명
- Ceph가 인접한 디렉터리 조각을 병합하기 전에 최소 읽기 온도입니다.
- 유형
- 플로트
- 기본
-
1000
- mds_bal_merge_wr
- 설명
- Ceph가 인접한 디렉터리 조각을 병합하기 전 최소 쓰기 온도입니다.
- 유형
- 플로트
- 기본
-
1000
- mds_bal_interval
- 설명
- MDS 노드 간 워크로드 교환 빈도(초)입니다.
- 유형
- 32비트 정수
- 기본
-
10
- mds_bal_fragment_interval
- 설명
- 디렉터리 조각화를 조정하는 빈도(초)입니다.
- 유형
- 32비트 정수
- 기본
-
5
- mds_bal_idle_threshold
- 설명
- Ceph가 하위 트리를 다시 상위로 마이그레이션하기 전의 최소 온도입니다.
- 유형
- 플로트
- 기본
-
0
- mds_bal_max
- 설명
- Ceph가 중지되기 전에 밸런서를 실행할 반복 횟수입니다. 테스트 목적으로만 사용됩니다.
- 유형
- 32비트 정수
- 기본
-
-1
- mds_bal_max_until
- 설명
- Ceph가 중지되기 전에 밸랜서를 실행하는 데 걸리는 시간(초)입니다. 테스트 목적으로만 사용됩니다.
- 유형
- 32비트 정수
- 기본
-
-1
- mds_bal_mode
- 설명
MDS 로드를 계산하는 방법:
-
1
= 하이브리드. -
2
= 요청 속도 및 대기 시간. -
3
= CPU 로드.
-
- 유형
- 32비트 정수
- 기본
-
0
- mds_bal_min_rebalance
- 설명
- Ceph가 마이그레이션하기 전 최소 하위 트리 온도입니다.
- 유형
- 플로트
- 기본
-
0.1
- mds_bal_min_start
- 설명
- Ceph가 하위 트리를 검색하기 전에 최소 하위 트리 온도입니다.
- 유형
- 플로트
- 기본
-
0.2
- mds_bal_need_min
- 설명
- 허용할 대상 하위 트리 크기의 최소 분수입니다.
- 유형
- 플로트
- 기본
-
0.8
- mds_bal_need_max
- 설명
- 허용할 대상 하위 트리 크기의 최대 분수입니다.
- 유형
- 플로트
- 기본
-
1.2
- mds_bal_midchunk
- 설명
- Ceph는 대상 하위 트리 크기 중 이 부분보다 큰 하위 트리를 마이그레이션합니다.
- 유형
- 플로트
- 기본
-
0.3
- mds_bal_minchunk
- 설명
- Ceph는 대상 하위 트리 크기 중 이 분수보다 작은 하위 트리를 무시합니다.
- 유형
- 플로트
- 기본
-
0.001
- mds_bal_target_removal_min
- 설명
- Ceph가 MDS 맵에서 이전 MDS 대상을 제거하기 전에 최소 밸런서 반복 수입니다.
- 유형
- 32비트 정수
- 기본
-
5
- mds_bal_target_removal_max
- 설명
- Ceph가 MDS 맵에서 이전 MDS 대상을 제거하기 전에 반복되는 최대 밸런서 수입니다.
- 유형
- 32비트 정수
- 기본
-
10
- mds_replay_interval
- 설명
-
대기 대기 모드가
대기 중일
때 저널 폴링 간격입니다
. - 유형
- 플로트
- 기본
-
1
- mds_shutdown_check
- 설명
- MDS 종료 중에 캐시를 폴링하는 간격입니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_thrash_exports
- 설명
- Ceph는 노드 간에 하위 트리를 임의로 내보냅니다. 테스트 목적으로만 사용됩니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_thrash_fragments
- 설명
- Ceph는 디렉터리를 임의로 분할하거나 병합합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_dump_cache_on_map
- 설명
- Ceph는 MDS 캐시 콘텐츠를 각 MDS 맵의 파일에 덤프합니다.
- 유형
- 부울
- 기본
-
false
- mds_dump_cache_after_rejoin
- 설명
- Ceph는 복구 중에 캐시에 다시 가입한 후 MDS 캐시 콘텐츠를 파일에 덤프합니다.
- 유형
- 부울
- 기본
-
false
- mds_verify_scatter
- 설명
-
Ceph는 다양한 이관/gather 불변성이
true
라고 어설션합니다. 개발자의 경우에만 사용합니다. - 유형
- 부울
- 기본
-
false
- mds_debug_scatterstat
- 설명
-
Ceph는 다양한 재귀 통계 불변성이
true
라고 어설션합니다. 개발자의 경우에만 사용합니다. - 유형
- 부울
- 기본
-
false
- mds_debug_frag
- 설명
- 편리한 경우 Ceph는 디렉터리 조각의 불변성을 확인합니다. 개발자의 경우에만 사용합니다.
- 유형
- 부울
- 기본
-
false
- mds_debug_auth_pins
- 설명
- 디버그 인증 고정 고정입니다. 개발자의 경우에만 사용합니다.
- 유형
- 부울
- 기본
-
false
- mds_debug_subtrees
- 설명
- 하위 트리 불변 디버깅. 개발자의 경우에만 사용합니다.
- 유형
- 부울
- 기본
-
false
- mds_kill_mdstable_at
- 설명
- Ceph는 MDS 테이블 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_kill_export_at
- 설명
- Ceph는 하위 트리 내보내기 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_kill_import_at
- 설명
- Ceph 하위 트리 가져오기 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_kill_link_at
- 설명
- Ceph는 하드 링크 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_kill_rename_at
- 설명
- Ceph는 이름 변경 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_wipe_sessions
- 설명
- Ceph는 시작 시 모든 클라이언트 세션을 삭제합니다. 테스트 목적으로만 사용됩니다.
- 유형
- 부울
- 기본
-
0
- mds_wipe_ino_prealloc
- 설명
- Ceph는 시작 시 inode 사전 할당 메타데이터를 삭제합니다. 테스트 목적으로만 사용됩니다.
- 유형
- 부울
- 기본
-
0
- mds_skip_ino
- 설명
- 시작 시 건너뛸 inode 번호 수입니다. 테스트 목적으로만 사용됩니다.
- 유형
- 32비트 정수
- 기본
-
0
- mds_standby_for_name
- 설명
- MDS 데몬은 이 설정에 지정된 이름의 다른 MDS 데몬을 대기합니다.
- 유형
- 문자열
- 기본
- 해당 없음
- mds_standby_for_rank
- 설명
- MDS 데몬 인스턴스는 이 순위의 다른 MDS 데몬 인스턴스에 대한 대기입니다.
- 유형
- 32비트 정수
- 기본
-
-1
- mds_standby_replay
- 설명
-
핫 대기
시간으로 사용할 때 MDS 데몬이 활성 MDS의 로그를 폴링하고 재생하는지 여부를 결정합니다. - 유형
- 부울
- 기본
-
false
부록 C. 저널러 구성 참조
저널러 구성에 사용할 수 있는 list 명령을 참조합니다.
- journaler_write_head_interval
- 설명
- 저널 헤드 오브젝트를 업데이트하는 빈도입니다.
- 유형
- 정수
- 필수 항목
- 없음
- 기본
-
15
- journaler_prefetch_periods
- 설명
- 저널 재생 시 미리 읽을 스트라이프 기간 수입니다.
- 유형
- 정수
- 필수 항목
- 없음
- 기본
-
10
- journaler_prezero_periods
- 설명
- 쓰기 위치 앞의 0으로의 스트라이프 기간 수입니다.
- 유형
- 정수
- 필수 항목
- 없음
- 기본
-
10
- journaler_batch_interval
- 설명
- 인위적으로 발생하는 최대 대기 시간(초)입니다.
- 유형
- double
- 필수 항목
- 없음
- 기본
-
.001
- journaler_batch_max
- 설명
- 플러시가 지연되는 최대 바이트 수입니다.
- 유형
- 64비트 서명되지 않은 정수
- 필수 항목
- 없음
- 기본
-
0
부록 D. Ceph 파일 시스템 미러 구성 참조
이 섹션에는 Ceph 파일 시스템(CephFS) 미러의 구성 옵션이 나열되어 있습니다.
cephfs_mirror_max_concurrent_directory_syncs
- 설명
-
cephfs-mirror
데몬에서 동시에 동기화할 수 있는 최대 디렉터리 스냅샷 수입니다. 동기화 스레드 수를 제어합니다. - 유형
- 정수
- 기본
-
3
- 분
-
1
cephfs_mirror_action_update_interval
- 설명
- 보류 중인 미러 업데이트 작업을 처리하는 간격(초)입니다.
- 유형
-
초
- 기본
-
2
- 분
-
1
cephfs_mirror_restart_mirror_on_blocklist_interval
- 설명
-
블록 목록에 있는 미러 인스턴스를 재시작하는 간격(초)입니다.
0
(0)으로 설정하면 차단 목록 인스턴스를 다시 시작할 수 없습니다. - 유형
-
초
- 기본
-
30
- 분
-
0
cephfs_mirror_max_snapshot_sync_per_cycle
- 설명
- 작업자 스레드의 미러링을 위해 디렉터리를 선택할 때 미러링할 최대 스냅샷 수입니다.
- 유형
- 정수
- 기본
-
3
- 분
-
1
cephfs_mirror_directory_scan_interval
- 설명
- 스냅샷 미러링을 위해 구성된 디렉터리를 스캔하는 간격(초)입니다.
- 유형
- 정수
- 기본
-
10
- 분
-
1
cephfs_mirror_max_consecutive_failures_per_directory
- 설명
- 디렉터리를 "실패"로 표시하는 연속적인 스냅샷 동기화 실패 수입니다. 실패한 디렉터리는 동기화를 위해 다시 시도됩니다.
- 유형
- 정수
- 기본
-
10
- 분
-
0
cephfs_mirror_retry_failed_directories_interval
- 설명
- 실패한 디렉터리에 대한 동기화를 재시도하는 간격(초)입니다.
- 유형
- 정수
- 기본
-
60
- 분
-
1
cephfs_mirror_restart_mirror_on_failure_interval
- 설명
-
실패한 미러 인스턴스를 재시작하는 간격(초)입니다.
0
(0)으로 설정하면 실패한 미러 인스턴스를 다시 시작할 수 없습니다. - 유형
-
초
- 기본
-
20
- 분
-
0
cephfs_mirror_mount_timeout
- 설명
-
cephfs-mirror
데몬의 기본 또는 보조 CephFS를 마운트하기 위한 제한 시간(초)입니다. 이 값을 더 높은 값으로 설정하면 클러스터에 연결할 수 없는 경우 파일 시스템을 마운트할 때 미러 데몬이 중단될 수 있습니다. 이 옵션은 일반적인client_mount_timeout
을 재정의하는 데 사용됩니다. - 유형
-
초
- 기본
-
10
- 분
-
0