파일 시스템 가이드


Red Hat Ceph Storage 8

Ceph 파일 시스템 구성 및 마운트

Red Hat Ceph Storage Documentation Team

초록

이 가이드에서는 Ceph 메타데이터 서버(MDS)를 구성하는 방법과 Ceph 파일 시스템(CephFS)을 생성, 마운트 및 작업하는 방법을 설명합니다.
Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 용어를 교체하기 위해 최선을 다하고 있습니다. 먼저 마스터(master), 슬레이브(slave), 블랙리스트(blacklist), 화이트리스트(whitelist) 등 네 가지 용어를 교체하고 있습니다. 이러한 변경 작업은 향후 여러 릴리스에 대해 단계적으로 구현될 예정입니다. 자세한 내용은 CTO Chris Wright의 메시지에서 참조하십시오.

1장. Ceph 파일 시스템 소개

스토리지 관리자는 Ceph 파일 시스템(CephFS) 환경을 관리하기 위한 기능, 시스템 구성 요소 및 제한 사항을 이해할 수 있습니다.

1.1. Ceph 파일 시스템 기능 및 개선 사항

Ceph 파일 시스템(CephFS)은 RADOS(Reliable Autonomic Distributed Object Storage)라는 Ceph의 분산 개체 저장소를 기반으로 구축된 POSIX 표준과 호환되는 파일 시스템입니다. CephFS는 Red Hat Ceph Storage 클러스터에 대한 파일 액세스를 제공하며 가능한 경우 POSIX 의미 체계를 사용합니다. 예를 들어, NFS와 같은 다른 많은 일반적인 네트워크 파일 시스템과 달리 CephFS는 클라이언트 간에 강력한 캐시 일관성을 유지합니다. 목표는 파일 시스템을 사용하는 프로세스가 동일한 호스트에 있는 것과 다른 호스트에 있을 때 동일하게 작동하는 것입니다. 그러나 CephFS는 엄격한 POSIX 의미 체계와 다릅니다.

Ceph 파일 시스템에는 다음과 같은 기능과 개선 사항이 있습니다.

확장성
Ceph 파일 시스템은 메타데이터 서버의 수평적 확장과 개별 OSD 노드를 통한 직접 클라이언트 읽기 및 쓰기로 인해 확장성이 높습니다.
공유 파일 시스템
Ceph 파일 시스템은 공유 파일 시스템이므로 여러 클라이언트가 한 번에 동일한 파일 시스템에서 작업할 수 있습니다.
여러 파일 시스템
하나의 스토리지 클러스터에서 여러 파일 시스템을 활성화할 수 있습니다. 각 CephFS에는 고유한 풀 세트와 자체 메타데이터 서버(MDS) 세트가 있습니다. 여러 파일 시스템을 배포할 때 MDS 데몬이 더 많이 실행되어야 합니다. 이로 인해 메타데이터 처리량이 증가할 수 있지만 운영 비용도 증가할 수 있습니다. 특정 파일 시스템에 대한 클라이언트 액세스를 제한할 수도 있습니다.
고가용성
Ceph 파일 시스템은 Ceph 메타데이터 서버(MDS) 클러스터를 제공합니다. 하나는 활성 상태이고 다른 하나는 대기 모드입니다. 활성 MDS가 예기치 않게 종료되면 대기 MDS 중 하나가 활성화됩니다. 결과적으로 서버 장애를 통해 클라이언트 마운트가 계속 작동합니다. 이 동작은 Ceph 파일 시스템을 고가용성으로 만듭니다. 또한 여러 활성 메타데이터 서버를 구성할 수 있습니다.
구성 가능한 파일 및 디렉터리 레이아웃
Ceph 파일 시스템을 사용하면 파일 및 디렉터리 레이아웃을 구성하여 여러 풀, 풀 네임스페이스 및 파일 스트라이핑 모드를 사용할 수 있습니다.
POSIX ACL(액세스 제어 목록)
Ceph 파일 시스템은 POSIX ACL(액세스 제어 목록)을 지원합니다. ACL은 커널 버전 kernel -3.10.0-327.18.el7 이상의 커널 클라이언트로 마운트된 Ceph File Systems를 사용하여 기본적으로 활성화됩니다. FUSE 클라이언트로 마운트된 Ceph File Systems와 함께 ACL을 사용하려면 활성화해야 합니다.
클라이언트 할당량
Ceph 파일 시스템은 시스템의 모든 디렉터리에서 할당량 설정을 지원합니다. 할당량은 디렉터리 계층 구조의 해당 지점에 저장된 파일 수 또는 바이트 수를 제한할 수 있습니다. CephFS 클라이언트 할당량은 기본적으로 활성화되어 있습니다.
중요

CephFS EC 풀은 아카이브 목적으로만 사용됩니다.

추가 리소스

1.2. Ceph 파일 시스템 구성 요소

Ceph 파일 시스템에는 두 가지 기본 구성 요소가 있습니다.

클라이언트
CephFS 클라이언트는 CephFS(예: FUSE 클라이언트용 ceph-fuse, 커널 클라이언트의 경우 kcephfs )를 사용하여 애플리케이션을 대신하여 I/O 작업을 수행합니다. CephFS 클라이언트는 메타데이터 요청을 활성 메타데이터 서버로 보냅니다. 그 대신 CephFS 클라이언트는 파일 메타데이터를 학습하고 메타데이터와 파일 데이터 모두를 안전하게 캐싱할 수 있습니다.
메타데이터 서버(MDS)

MDS는 다음을 수행합니다.

  • CephFS 클라이언트에 메타데이터를 제공합니다.
  • Ceph 파일 시스템에 저장된 파일과 관련된 메타데이터를 관리합니다.
  • 공유 Red Hat Ceph Storage 클러스터에 대한 액세스를 조정합니다.
  • 백업 메타데이터 풀 저장소에 대한 요청을 줄이기 위해 핫 메타데이터를 캐시합니다.
  • 캐시 일관성을 유지하기 위해 CephFS 클라이언트 캐시를 관리합니다.
  • 활성 MDS 간에 핫 메타데이터를 복제합니다.
  • 메타데이터를 백업 메타데이터 풀에 정기적으로 플러시하여 컴팩트 저널에 병합합니다.
  • CephFS를 실행하려면 하나 이상의 메타데이터 서버 데몬(ceph-mds)이 필요합니다.

아래 다이어그램은 Ceph 파일 시스템의 구성 요소 계층을 보여줍니다.

157 Ceph 파일 시스템 1021 2

하단 계층은 기본 핵심 스토리지 클러스터 구성 요소를 나타냅니다.

  • Ceph 파일 시스템 데이터 및 메타데이터가 저장되는 Ceph OSD(ceph-osd)입니다.
  • Ceph 파일 시스템 메타데이터를 관리하는 Ceph 메타데이터 서버(ceph-mds).
  • 클러스터 맵의 마스터 복사본을 관리하는 Ceph 모니터(ceph-mon)입니다.

Ceph Storage 프로토콜 계층은 코어 스토리지 클러스터와 상호 작용을 위한 Ceph 기본 librados 라이브러리를 나타냅니다.

CephFS 라이브러리 계층에는 librados 에서 작동하고 Ceph 파일 시스템을 나타내는 CephFS libcephfs 라이브러리가 포함되어 있습니다.

최상위 계층은 Ceph 파일 시스템에 액세스할 수 있는 두 가지 유형의 Ceph 클라이언트를 나타냅니다.

아래 다이어그램은 Ceph 파일 시스템 구성 요소가 서로 상호 작용하는 방법에 대한 자세한 내용을 보여줍니다.

157 Ceph 파일 시스템 1021 1

추가 리소스

1.3. Ceph 파일 시스템 및 SELinux

Red Hat Enterprise Linux 8.3 및 Red Hat Ceph Storage 4.2부터 Ceph File Systems(CephFS) 환경에서 SELinux(Security-Enhanced Linux) 사용 지원이 제공됩니다. 이제 개별 파일에 특정 SELinux 유형을 할당하고 CephFS와 함께 모든 SELinux 파일 유형을 설정할 수 있습니다. 이 지원은 Ceph 파일 시스템 메타데이터 서버(MDS), 사용자 공간(FUSE)의 CephFS 파일 시스템, CephFS 커널 클라이언트에 적용됩니다.

1.4. Ceph 파일 시스템 제한 사항 및 POSIX 표준

Ceph 파일 시스템은 다음과 같은 방식으로 엄격한 POSIX 의미와 다릅니다.

  • 클라이언트의 파일 쓰기 시도가 실패하면 쓰기 작업이 반드시 원자적이지 않습니다. 즉, 클라이언트는 8MB 버퍼를 사용하여 O_SYNC 플래그로 열린 파일에서 write() 시스템 호출을 호출한 다음 예기치 않게 종료되고 쓰기 작업이 부분적으로만 적용될 수 있습니다. 거의 모든 파일 시스템, 로컬 파일 시스템도 이 동작을 수행합니다.
  • 쓰기 작업이 동시에 발생하는 경우 오브젝트 경계를 초과하는 쓰기 작업이 반드시 원자적이지 않습니다. 예를 들어 작성자 A"aa|aa" 를 작성하고 작성자 B "bb|bb" 를 동시에 씁니다. 여기서 "|" 는 오브젝트 경계이고 "aa|bb" 는 적절한 "aa|aa" 또는 "bb|bb"가 아니라 작성됩니다.
  • POSIX에는 현재 디렉터리 오프셋을 가져오고 다시 검색할 수 있는 telldir()seekdir() 시스템 호출이 포함되어 있습니다. CephFS는 언제든지 디렉터리를 조각화할 수 있으므로 디렉터리에 대한 안정적인 정수 오프셋을 반환하기 어렵습니다. 따라서 제로가 아닌 오프셋에 대한 seekdir() 시스템 호출을 호출하는 것은 종종 작동하지만 그렇게 할 수는 없습니다. seekdir() 을 오프셋 0으로 호출하면 항상 작동합니다. 이는 rewinddir() 시스템 호출과 동일합니다.
  • 스파스 파일은 stat() 시스템 호출의 st_blocks 필드에 잘못 전파됩니다. st_blocks 필드는 항상 블록 크기로 나눈 파일 크기의 quotient에 의해 채워지기 때문에 CephFS는 할당되거나 작성된 파일의 일부를 명시적으로 추적하지 않습니다. 이 동작으로 인해 du 와 같은 유틸리티가 사용된 공간을 과대 평가하게 됩니다.
  • mmap() 시스템 호출이 여러 호스트의 메모리에 파일을 매핑하면 쓰기 작업이 다른 호스트의 캐시로 일관되게 전파되지 않습니다. 즉, 페이지가 호스트 A에 캐시된 후 호스트 B에서 업데이트되면 호스트 A 페이지가 일관되게 무효화되지 않습니다.
  • CephFS 클라이언트에는 스냅샷에 액세스, 생성, 삭제 및 이름을 지정하는 데 사용되는 숨겨진 .snap 디렉터리가 있습니다. 이 디렉터리는 readdir() 시스템 호출에서 제외되지만 이름이 동일한 파일 또는 디렉터리를 생성하려고 하는 모든 프로세스에서 오류를 반환합니다. 이 숨겨진 디렉터리의 이름은 마운트 시 -o snapdirname=.<new_name > 옵션을 사용하거나 client_snapdir 구성 옵션을 사용하여 변경할 수 있습니다.

추가 리소스

2장. Ceph 파일 시스템 메타데이터 서버

추가 리소스

스토리지 관리자는 CephFS MDS 순위 메커니즘 구성, MDS 대기 데몬 구성, 캐시 크기 제한에 대한 학습과 함께 Ceph File System(CephFS) 메타데이터 서버(MDS)의 다양한 상태에 대해 알아볼 수 있습니다. 이러한 개념을 알고 있으면 스토리지 환경에 대한 MDS 데몬을 구성할 수 있습니다.

사전 요구 사항

2.1. 메타데이터 서버 데몬 상태

메타데이터 서버(MDS) 데몬은 다음 두 가지 상태로 작동합니다.

  • active 인터페이스와 디렉터리의 파일 및 디렉터리의 메타데이터를 Ceph 파일 시스템에 저장합니다.
  • standby>-<->-<serves를 백업으로 예약하고 활성 MDS 데몬이 응답하지 않을 때 활성화됩니다.

기본적으로 Ceph 파일 시스템은 활성 MDS 데몬을 하나만 사용합니다. 그러나 많은 클라이언트가 있는 시스템은 여러 활성 MDS 데몬의 이점을 활용할 수 있습니다.

대규모 워크로드에 대해 메타데이터 성능을 확장할 수 있도록 여러 개의 활성 MDS 데몬을 사용하도록 파일 시스템을 구성할 수 있습니다. 메타데이터 로드 패턴이 변경될 때 활성 MDS 데몬은 메타데이터 워크로드를 동적으로 공유합니다. 여러 개의 활성 MDS 데몬이 있는 시스템에는 고가용성 상태를 유지하기 위해 대기 MDS 데몬이 필요합니다.

Active MDS Daemon Fails가 있는 경우

활성 MDS가 응답하지 않는 경우 Ceph Monitor 데몬은 mds_beacon_grace 옵션에 지정된 값과 동일한 시간(초)을 기다립니다. 지정된 기간이 지난 후에도 활성 MDS가 여전히 응답하지 않는 경우 Ceph 모니터는 MDS 데몬을 delaygy 로 표시합니다. 구성에 따라 대기 데몬 중 하나가 활성화됩니다.

참고

mds_beacon_grace 의 값을 변경하려면 이 옵션을 Ceph 구성 파일에 추가하고 새 값을 지정합니다.

2.2. 메타데이터 서버 순위

각 Ceph 파일 시스템(CephFS)에는 기본적으로 0부터 시작하는 여러 순위가 있습니다.

순위는 여러 메타데이터 서버(MDS) 데몬 간에 메타데이터 워크로드를 공유하는 방법을 정의합니다. 순위 수는 동시에 활성화할 수 있는 MDS 데몬의 최대 수입니다. 각 MDS 데몬은 해당 순위에 할당된 CephFS 메타데이터의 서브 세트를 처리합니다.

각 MDS 데몬은 처음에 순위 없이 시작됩니다. Ceph Monitor는 데몬에 순위를 할당합니다. MDS 데몬은 한 번에 하나의 순위만 보유할 수 있습니다. 데몬이 중지된 경우에만 순위가 손실됩니다.

max_mds 설정은 생성할 순위 수를 제어합니다.

CephFS의 실제 순위 수는 새 순위를 수락하는 예비 데몬을 사용할 수 있는 경우에만 증가합니다.

순위 상태

순위는 다음과 같습니다.

  • up - MDS 데몬에 할당된 순위입니다.
  • failed - MDS 데몬과 연결되지 않은 순위입니다.
  • 손상됨 - 메타데이터가 손상되거나 누락된 순위입니다. 손상된 순위는 Operator가 문제를 해결할 때까지 MDS 데몬에 할당되지 않고 손상된 순위에서 ceph mds repair 명령을 사용합니다.

2.3. 메타데이터 서버 캐시 크기 제한

다음과 같이 Ceph 파일 시스템(CephFS) 메타데이터 서버(MDS) 캐시의 크기를 제한할 수 있습니다.

  • 메모리 제한: mds_cache_memory_limit 옵션을 사용합니다. Red Hat은 mds_cache_memory_limit 의 경우 8GB에서 64GB 사이의 값을 권장합니다. 더 많은 캐시를 설정하면 복구 문제가 발생할 수 있습니다. 이 제한은 MDS의 최대 메모리 사용량의 약 66%입니다.

    참고

    mds_cache_memory_limit 의 기본값은 4GB입니다. 기본값은 권장 범위 외부에 있으므로 Red Hat은 언급된 범위 내에서 값을 설정하는 것이 좋습니다.

    중요

    Red Hat은 inode 수 제한 대신 메모리 제한을 사용하는 것이 좋습니다.

  • inode count: mds_cache_size 옵션을 사용합니다. 기본적으로 MDS 캐시를 inode 수로 제한하는 것은 비활성화되어 있습니다.

또한 MDS 작업에 mds_cache_reservation 옵션을 사용하여 캐시 예약을 지정할 수 있습니다. 캐시 예약은 메모리 또는 inode 제한의 백분율로 제한되며 기본적으로 5%로 설정됩니다. 이 매개변수의 의도는 새 메타데이터 작업이 사용할 수 있도록 MDS에서 해당 캐시에 대한 추가 메모리를 유지 관리하는 것입니다. 결과적으로 MDS는 캐시에서 사용되지 않는 메타데이터를 삭제하도록 클라이언트에서 이전 상태를 회수하므로 일반적으로 메모리 제한 아래로 작동해야 합니다.

MDS 노드가 캐시가 너무 큰 것을 나타내는 상태 경고를 Ceph 모니터에 보내는 경우를 제외하고 mds_cache_reservation 옵션은 모든 상황에서 mds_health_cache_threshold 옵션을 대체합니다. 기본적으로 mds_health_cache_threshold 는 최대 캐시 크기의 150%입니다.

캐시 제한은 하드 제한이 아닙니다. CephFS 클라이언트 또는 MDS 또는 잘못된 애플리케이션의 버그로 인해 MDS가 캐시 크기를 초과할 수 있습니다. mds_health_cache_threshold 옵션은 스토리지 클러스터 상태 경고 메시지를 구성하여 Operator가 MDS에서 캐시를 축소할 수 없는 이유를 조사할 수 있도록 합니다.

추가 리소스

2.4. 파일 시스템 선호도

다른 Ceph MDS보다 특정 Ceph Metadata Server(MDS)를 선호하도록 Ceph 파일 시스템(CephFS)을 구성할 수 있습니다. 예를 들어 이전 버전에서 대기 MDS를 실행하는 기본 설정을 우선하여 하드웨어 속도가 느려질 수 있는 최신 하드웨어에서 MDS를 실행할 수 있습니다. 이 파일 시스템 선호도를 적용하는 mds_join_fs 옵션을 설정하여 이 기본 설정을 지정할 수 있습니다. Ceph Monitor는 파일 시스템 이름과 같은 mds_join_fs 를 실패한 순위의 MDS 대기 데몬을 우선시합니다. 다른 대기 데몬을 선택하기 전에 standby-replay 데몬이 선택됩니다. mds_join_fs 옵션과 함께 대기 데몬이 없는 경우 Ceph 모니터는 교체 또는 사용 가능한 다른 대기 시간을 마지막 수단으로 선택합니다. Ceph 모니터는 Ceph 파일 시스템을 정기적으로 검사하여 선호도가 더 낮은 Ceph MDS를 교체하는 데 더 강력한 선호도가 있는 대기 여부를 확인합니다.

추가 리소스

2.5. Ceph Orchestrator를 사용하여 MDS 서비스 관리

스토리지 관리자는 백엔드에서 Ceph Orchestrator를 Cephadm과 함께 사용하여 MDS 서비스를 배포할 수 있습니다. 기본적으로 Ceph 파일 시스템(CephFS)은 활성 MDS 데몬을 하나만 사용합니다. 그러나 많은 클라이언트가 있는 시스템은 여러 활성 MDS 데몬의 이점을 활용할 수 있습니다.

이 섹션에서는 다음 관리 작업에 대해 설명합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 모든 노드에 대한 루트 수준 액세스.
  • 호스트가 클러스터에 추가됩니다.
  • 모든 manager, monitor, OSD 데몬이 배포됩니다.

2.5.1. 명령줄 인터페이스를 사용하여 MDS 서비스 배포

Ceph Orchestrator를 사용하여 명령줄 인터페이스의 배치 사양을 사용하여 Metadata Server(MDS) 서비스를 배포할 수 있습니다. Ceph 파일 시스템(CephFS)에는 하나 이상의 MDS가 필요합니다.

참고

Ceph 파일 시스템(CephFS) 데이터 및 CephFS 메타데이터에 대해 하나 이상의 풀이 있는지 확인합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 호스트가 클러스터에 추가됩니다.
  • 모든 manager, monitor, OSD 데몬이 배포됩니다.

프로세스

  1. Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  2. 배치 사양을 사용하여 MDS 데몬을 배포하는 방법은 다음 두 가지가 있습니다.

방법 1

  • ceph fs 볼륨을 사용하여 MDS 데몬을 생성합니다. 이렇게 하면 CephFS와 연결된 CephFS 볼륨 및 풀이 생성되고 호스트에서 MDS 서비스도 시작됩니다.

    구문

    ceph fs volume create FILESYSTEM_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

    참고

    기본적으로 이 명령에 대해 복제된 풀이 생성됩니다.

    [ceph: root@host01 /]# ceph fs volume create test --placement="2 host01 host02"

방법 2

  • pool, CephFS를 생성한 다음 배치 사양을 사용하여 MDS 서비스를 배포합니다.

    1. CephFS의 풀을 생성합니다.

      구문

      ceph osd pool create DATA_POOL [PG_NUM]
      ceph osd pool create METADATA_POOL [PG_NUM]

      [ceph: root@host01 /]# ceph osd pool create cephfs_data 64
      [ceph: root@host01 /]# ceph osd pool create cephfs_metadata 64

      일반적으로 메타데이터 풀은 일반적으로 데이터 풀보다 오브젝트 수가 훨씬 적기 때문에 보수적인 수의 PG(배치 그룹)로 시작할 수 있습니다. 필요한 경우 PG 수를 늘릴 수 있습니다. 풀 크기는 64개의 PG에서 512 PG 사이입니다. 데이터 풀의 크기는 파일 시스템에서 예상되는 파일의 수 및 크기에 비례합니다.

      중요

      메타데이터 풀의 경우 다음을 사용하십시오.

      • 이 풀에 대한 데이터가 손실되어 전체 파일 시스템에 액세스할 수 없기 때문에 복제 수준이 높습니다.
      • 클라이언트에서 파일 시스템 작업의 관찰된 대기 시간에 직접적인 영향을 미치기 때문에 SSD(Solid-State Drive) 디스크와 같은 대기 시간이 짧은 스토리지입니다.
    2. 데이터 풀 및 메타데이터 풀에 대한 파일 시스템을 생성합니다.

      구문

      ceph fs new FILESYSTEM_NAME METADATA_POOL DATA_POOL

      [ceph: root@host01 /]# ceph fs new test cephfs_metadata cephfs_data

    3. ceph orch apply 명령을 사용하여 MDS 서비스를 배포합니다.

      구문

      ceph orch apply mds FILESYSTEM_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

      예제

      [ceph: root@host01 /]# ceph orch apply mds test --placement="2 host01 host02"

검증

  • 서비스를 나열합니다.

    [ceph: root@host01 /]# ceph orch ls

  • CephFS 상태를 확인합니다.

    [ceph: root@host01 /]# ceph fs ls
    [ceph: root@host01 /]# ceph fs status

  • 호스트, 데몬 및 프로세스를 나열합니다.

    구문

    ceph orch ps --daemon_type=DAEMON_NAME

    예제

    [ceph: root@host01 /]# ceph orch ps --daemon_type=mds

추가 리소스

2.5.2. 서비스 사양을 사용하여 MDS 서비스 배포

Ceph Orchestrator를 사용하여 서비스 사양을 사용하여 MDS 서비스를 배포할 수 있습니다.

참고

Ceph 파일 시스템(CephFS) 데이터 및 CephFS 메타데이터에 대해 하나 이상의 풀이 있는지 확인합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 호스트가 클러스터에 추가됩니다.
  • 모든 manager, monitor, OSD 데몬이 배포됩니다.

프로세스

  1. mds.yaml 파일을 생성합니다.

    [root@host01 ~]# touch mds.yaml

  2. 다음 세부 정보를 포함하도록 mds.yaml 파일을 편집합니다.

    구문

    service_type: mds
    service_id: FILESYSTEM_NAME
    placement:
      hosts:
      - HOST_NAME_1
      - HOST_NAME_2
      - HOST_NAME_3

    service_type: mds
    service_id: fs_name
    placement:
      hosts:
      - host01
      - host02

  3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

    [root@host01 ~]# cephadm shell --mount mds.yaml:/var/lib/ceph/mds/mds.yaml

  4. 디렉터리로 이동합니다.

    [ceph: root@host01 /]# cd /var/lib/ceph/mds/

  5. Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  6. 다음 디렉터리로 이동합니다.

    예제

    [ceph: root@host01 /]# cd /var/lib/ceph/mds/

  7. 서비스 사양을 사용하여 MDS 서비스를 배포합니다.

    구문

    ceph orch apply -i FILE_NAME.yaml

    [ceph: root@host01 mds]# ceph orch apply -i mds.yaml

  8. MDS 서비스가 배포 및 작동되면 CephFS를 생성합니다.

    구문

    ceph fs new CEPHFS_NAME METADATA_POOL DATA_POOL

    예제

    [ceph: root@host01 /]# ceph fs new test metadata_pool data_pool

검증

  • 서비스를 나열합니다.

    예제

    [ceph: root@host01 /]# ceph orch ls

  • 호스트, 데몬 및 프로세스를 나열합니다.

    구문

    ceph orch ps --daemon_type=DAEMON_NAME

    예제

    [ceph: root@host01 /]# ceph orch ps --daemon_type=mds

2.5.3. Ceph Orchestrator를 사용하여 MDS 서비스 제거

ceph orch rm 명령을 사용하여 서비스를 제거할 수 있습니다. 또는 파일 시스템 및 관련 풀을 제거할 수 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 모든 노드에 대한 루트 수준 액세스.
  • 호스트가 클러스터에 추가됩니다.
  • 호스트에 배포된 하나 이상의 MDS 데몬.

프로세스

  • 클러스터에서 MDS 데몬을 제거하는 방법은 다음 두 가지가 있습니다.

방법 1

  • CephFS 볼륨, 관련 풀 및 서비스를 제거합니다.

    1. Cephadm 쉘에 로그인합니다.

      [root@host01 ~]# cephadm shell

    2. 설정 매개변수 mon_allow_pool_deletetrue 로 설정합니다.

      [ceph: root@host01 /]# ceph config set mon mon_allow_pool_delete true

    3. 파일 시스템을 제거합니다.

      구문

      ceph fs volume rm FILESYSTEM_NAME --yes-i-really-mean-it

      [ceph: root@host01 /]# ceph fs volume rm cephfs-new --yes-i-really-mean-it

      이 명령은 파일 시스템, 해당 데이터 및 메타데이터 풀을 제거합니다. 활성화된 ceph-mgr Orchestrator 모듈을 사용하여 MDS도 제거하려고 합니다.

방법 2

  • ceph orch rm 명령을 사용하여 전체 클러스터에서 MDS 서비스를 제거합니다.

    1. 서비스를 나열합니다.

      예제

      [ceph: root@host01 /]# ceph orch ls

    2. 서비스 제거

      구문

      ceph orch rm SERVICE_NAME

      예제

      [ceph: root@host01 /]# ceph orch rm mds.test

검증

  • 호스트, 데몬 및 프로세스를 나열합니다.

    구문

    ceph orch ps

    예제

    [ceph: root@host01 /]# ceph orch ps

2.6. 파일 시스템 선호도 구성

특정 Ceph Metadata Server(MDS)에 대한 Ceph 파일 시스템(CephFS) 선호도를 설정합니다.

사전 요구 사항

  • 정상이고 실행 중인 Ceph 파일 시스템.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. Ceph 파일 시스템의 현재 상태를 확인합니다.

    [root@mon ~]# ceph fs dump
    dumped fsmap epoch 399
    ...
    Filesystem 'cephfs01' (27)
    ...
    e399
    max_mds 1
    in      0
    up      {0=20384}
    failed
    damaged
    stopped
    ...
    [mds.a{0:20384} state up:active seq 239 addr [v2:127.0.0.1:6854/966242805,v1:127.0.0.1:6855/966242805]]
    
    Standby daemons:
    
    [mds.b{-1:10420} state up:standby seq 2 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]]

  2. 파일 시스템 선호도를 설정합니다.

    구문

    ceph config set STANDBY_DAEMON mds_join_fs FILE_SYSTEM_NAME

    [root@mon ~]# ceph config set mds.b mds_join_fs cephfs01

    Ceph MDS 페일오버 이벤트 후 파일 시스템은 선호도가 설정된 대기 데몬을 선호합니다.

    [root@mon ~]# ceph fs dump
    dumped fsmap epoch 405
    e405
    ...
    Filesystem 'cephfs01' (27)
    ...
    max_mds 1
    in      0
    up      {0=10420}
    failed
    damaged
    stopped
    ...
    [mds.b{0:10420} state up:active seq 274 join_fscid=27 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]] 1
    
    Standby daemons:
    
    [mds.a{-1:10720} state up:standby seq 2 addr [v2:127.0.0.1:6854/1340357658,v1:127.0.0.1:6855/1340357658]]

    1
    이제 mds.b 데몬에서 파일 시스템 덤프 출력에 join_fscid=27 이 있습니다.
    중요

    파일 시스템이 성능이 저하되거나 크기가 낮은 상태인 경우 파일 시스템 선호도를 적용하기 위해 장애 조치가 발생하지 않습니다.

추가 리소스

  • 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 파일 시스템 선호도 섹션을 참조하십시오.

2.7. 여러 활성 메타데이터 서버 데몬 구성

대규모 시스템의 메타데이터 성능을 확장하도록 다중 활성 메타데이터 서버(MDS) 데몬을 구성합니다.

중요

모든 대기 MDS 데몬을 활성 모드로 변환하지 마십시오. Ceph 파일 시스템(CephFS)은 고가용성을 유지하기 위해 하나 이상의 대기 MDS 데몬이 필요합니다.

사전 요구 사항

  • MDS 노드의 Ceph 관리 기능.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. max_mds 매개변수를 원하는 활성 MDS 데몬 수로 설정합니다.

    구문

    ceph fs set NAME max_mds NUMBER

    [root@mon ~]# ceph fs set cephfs max_mds 2

    이 예에서는 cephfs라는 CephFS에서 활성 MDS 데몬 수를 2개로 늘립니다.

    참고

    Ceph는 새 순위를 지정할 수 있는 예비 MDS 데몬을 사용할 수 있는 경우에만 CephFS의 실제 순위 수를 늘립니다.

  2. 활성 MDS 데몬 수를 확인합니다.

    구문

    ceph fs status NAME

    예제

    [root@mon ~]# ceph fs status cephfs
    cephfs - 0 clients
    ======
    +------+--------+-------+---------------+-------+-------+--------+--------+
    | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
    +------+--------+-------+---------------+-------+-------+--------+--------+
    |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
    |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
    +------+--------+-------+---------------+-------+-------+--------+--------+
    +-----------------+----------+-------+-------+
    |       POOL      |   TYPE   |  USED | AVAIL |
    +-----------------+----------+-------+-------+
    | cephfs_metadata | metadata | 4638  | 26.7G |
    |   cephfs_data   |   data   |    0  | 26.7G |
    +-----------------+----------+-------+-------+
    
    +-------------+
    | STANDBY MDS |
    +-------------+
    |    node3    |
    +-------------+

추가 리소스

2.8. 대기 데몬 수 구성

각 Ceph 파일 시스템(CephFS)은 정상으로 간주되는 데 필요한 대기 데몬 수를 지정할 수 있습니다. 이 숫자에는 순위 실패를 기다리는 standby-replay 데몬도 포함됩니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  • 특정 CephFS에 대해 예상되는 대기 데몬 수를 설정합니다.

    구문

    ceph fs set FS_NAME standby_count_wanted NUMBER

    참고

    NUMBER 를 0으로 설정하면 데몬 상태 점검이 비활성화됩니다.

    [root@mon ~]# ceph fs set cephfs standby_count_wanted 2

    이 예에서는 예상되는 대기 데몬 수를 2로 설정합니다.

2.9. standby-replay 메타데이터 서버 구성

MDS( 대기 중 메타데이터 서버) 데몬을 추가하여 각 Ceph 파일 시스템(CephFS)을 구성합니다. 이렇게 하면 활성 MDS를 사용할 수 없게 되면 장애 조치 시간이 단축됩니다.

이 특정 standby-replay 데몬은 활성 MDS의 메타데이터 저널을 따릅니다. standby-replay 데몬은 동일한 순위의 활성 MDS에서만 사용되며 다른 순위에서는 사용할 수 없습니다.

중요

standby-replay를 사용하는 경우 모든 활성 MDS에 standby-replay 데몬이 있어야 합니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  • 특정 CephFS의 standby-replay를 설정합니다.

    구문

    ceph fs set FS_NAME allow_standby_replay 1

    [root@mon ~]# ceph fs set cephfs allow_standby_replay 1

    이 예에서 부울 값은 1 이며, 이는 standby-replay 데몬을 활성 Ceph MDS 데몬에 할당할 수 있습니다.

추가 리소스

2.10. 임시 고정 정책

임시 핀은 하위 트리의 정적 파티션이며 확장된 속성을 사용하여 정책으로 설정할 수 있습니다. 정책은 임시 핀을 디렉터리에 자동으로 설정할 수 있습니다. 임시 핀을 디렉터리에 설정하면 모든 Ceph MDS 순위에 균일하게 분배되도록 특정 순위에 자동으로 할당됩니다. 할당되는 순위를 결정하는 것은 일관된 해시와 디렉터리의 inode 번호로 수행됩니다. 디렉터리의 inode가 파일 시스템 캐시에서 삭제되면 임시 핀은 유지되지 않습니다. Ceph Metadata Server(MDS)를 통해 오류가 발생하면 임시 핀이 저널에 기록되므로 Ceph MDS 대기 서버가 이 정보를 손실하지 않습니다. 임시 핀을 사용하기 위한 두 가지 유형의 정책이 있습니다.

참고

attrjq 패키지는 임시 고정 정책의 전제 조건으로 설치해야 합니다.

분산
이 정책은 디렉터리의 모든 하위 디렉터리를 임시로 고정해야 합니다. 예를 들어 분산 정책을 사용하여 사용자의 홈 디렉터리를 전체 Ceph 파일 시스템 클러스터에 분배합니다. ceph.dir.pin.distributed 확장 속성을 설정하여 이 정책을 활성화합니다.

구문

setfattr -n ceph.dir.pin.distributed -v 1 DIRECTORY_PATH

[root@host01 mount]# setfattr -n ceph.dir.pin.distributed -v 1 dir1/

random
이 정책은 축소 하위 디렉터리가 임시로 고정될 수 있는 기회를 적용합니다. 임시로 고정할 수 있는 디렉터리의 백분율을 사용자 지정할 수 있습니다. ceph.dir.pin.random 을 설정하고 백분율을 설정하여 이 정책을 활성화합니다. Red Hat은 이 백분율을 1%(0.01)보다 작은 값으로 설정하는 것이 좋습니다. 하위 트리 파티션이 너무 많으면 성능이 느려질 수 있습니다. mds_export_ephemeral_random_max Ceph MDS 구성 옵션을 설정하여 최대 백분율을 설정할 수 있습니다. mds_export_ephemeral_distributed 매개 변수와 mds_export_ephemeral_random 매개 변수가 이미 활성화되어 있습니다.

구문

setfattr -n ceph.dir.pin.random -v PERCENTAGE_IN_DECIMAL DIRECTORY_PATH

[root@host01 mount]# setfattr -n ceph.dir.pin.random -v  0.01 dir1/

고정을 활성화한 후 다음 명령 중 하나를 실행하여 확인할 수 있습니다.

구문

getfattr -n ceph.dir.pin.random DIRECTORY_PATH
getfattr -n ceph.dir.pin.distributed DIRECTORY_PATH

[root@host01 mount]# getfattr -n ceph.dir.pin.distributed dir1/
# file: dir1/
ceph.dir.pin.distributed="1"

[root@host01 mount]# getfattr -n ceph.dir.pin.random dir1/
# file: dir1/
ceph.dir.pin.random="0.01"

[ceph: root@host01 /]# ceph tell mds.a get subtrees | jq '.[] | [.dir.path, .auth_first, .export_pin]'

디렉터리가 고정된 경우 export_pin0 순위로 고정되는 경우 0 이고1 이 순위 1 에 고정되어 있으면 0이 됩니다. 디렉터리가 고정되지 않은 경우 값은 -1 입니다.

파티션 정책을 제거하려면 확장 속성을 제거하거나 값을 0 으로 설정합니다.

구문

 setfattr -n ceph.dir.pin.distributed -v 0 DIRECTORY_PATH

[root@host01 mount]# setfattr -n ceph.dir.pin.distributed -v 0 dir1/

다음 명령 중 하나를 실행하여 확인할 수 있습니다. .Syntax

getfattr -n ceph.dir.pin.distributed DIRECTORY_PATH

[root@host01 mount]# getfattr -n ceph.dir.pin.distributed dir1/

내보내기 핀의 경우 확장된 속성을 제거하거나 확장 속성을 -1 로 설정합니다.

구문

setfattr -n ceph.dir.pin -v -1 DIRECTORY_PATH

예제

[root@host01 mount]# setfattr -n ceph.dir.pin -v -1 dir1/

2.11. 디렉터리 트리를 특정 순위에 수동으로 고정

메타데이터를 특정 Ceph Metadata Server(MDS) 순위에 명시적으로 매핑하여 동적 밸런서를 재정의하는 것이 바람직할 수 있습니다. 이 작업을 수동으로 수행하여 애플리케이션의 부하를 균등하게 분산하거나 Ceph 파일 시스템 클러스터에 대한 사용자 메타데이터 요청의 영향을 제한할 수 있습니다. 수동으로 디렉터리 고정을 ceph.dir.pin 확장 속성을 설정하여 내보내기 핀이라고도 합니다.

디렉터리의 내보내기 핀은 가장 가까운 상위 디렉터리에서 상속되지만 해당 디렉터리에 내보내기 핀을 설정하여 덮어쓸 수 있습니다. 디렉터리에 내보내기 핀을 설정하면 모든 하위 디렉터리에 영향을 미칩니다. 예를 들면 다음과 같습니다.

[root@client ~]# mkdir -p a/b 1
[root@client ~]# setfattr -n ceph.dir.pin -v 1 a/ 2
[root@client ~]# setfattr -n ceph.dir.pin -v 0 a/b 3
1
디렉터리 a/a/b 둘 다 내보내기 핀 세트 없이 시작합니다.
2
이제 a/a/b 디렉토리가 순위 1 에 고정되어 있습니다.
3
디렉토리 a/b 는 이제 0a/ 디렉토리에 고정되고 나머지 하위 디렉터리는 여전히 1 순위로 고정되어 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 실행 중인 Ceph 파일 시스템.
  • CephFS 클라이언트에 대한 루트 수준 액세스.
  • attr 패키지 설치.

프로세스

  • 디렉터리에 내보내기 핀을 설정합니다.

    구문

    setfattr -n ceph.dir.pin -v RANK PATH_TO_DIRECTORY

    예제

    [root@client ~]# setfattr -n ceph.dir.pin -v 2 cephfs/home

추가 리소스

  • 핀 자동 설정에 대한 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드임시 고정 정책 섹션을 참조하십시오.

2.12. 활성 메타데이터 서버 데몬 수 감소

활성 Ceph 파일 시스템(CephFS) 메타데이터 서버(MDS) 데몬 수를 줄이는 방법.

사전 요구 사항

  • 제거하려는 순위는 먼저 활성화되어야 합니다. 즉, max_mds 매개변수에 지정된 것과 동일한 MDS 데몬 수가 있어야 합니다.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. max_mds 매개변수에 지정된 것과 동일한 MDS 데몬 수를 설정합니다.

    구문

    ceph fs status NAME

    [root@mon ~]# ceph fs status cephfs
    cephfs - 0 clients
    
    +------+--------+-------+---------------+-------+-------+--------+--------+
    | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
    +------+--------+-------+---------------+-------+-------+--------+--------+
    |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
    |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
    +------+--------+-------+---------------+-------+-------+--------+--------+
    +-----------------+----------+-------+-------+
    |       POOL      |   TYPE   |  USED | AVAIL |
    +-----------------+----------+-------+-------+
    | cephfs_metadata | metadata | 4638  | 26.7G |
    |   cephfs_data   |   data   |    0  | 26.7G |
    +-----------------+----------+-------+-------+
    
    +-------------+
    | Standby MDS |
    +-------------+
    |    node3    |
    +-------------+

  2. 관리 기능이 있는 노드에서 max_mds 매개변수를 원하는 수의 활성 MDS 데몬으로 변경합니다.

    구문

    ceph fs set NAME max_mds NUMBER

    [root@mon ~]# ceph fs set cephfs max_mds 1

  3. Ceph 파일 시스템 상태를 확인하여 스토리지 클러스터가 새 max_mds 값을 안정화할 때까지 기다립니다.
  4. 활성 MDS 데몬 수를 확인합니다.

    구문

    ceph fs status NAME

    예제

    [root@mon ~]# ceph fs status cephfs
    cephfs - 0 clients
    
    +------+--------+-------+---------------+-------+-------+--------+--------+
    | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
    +------+--------+-------+---------------+-------+-------+--------+--------+
    |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
    +------+--------+-------+---------------+-------+-------+--------|--------+
    +-----------------+----------+-------+-------+
    |       POOl      |   TYPE   |  USED | AVAIL |
    +-----------------+----------+-------+-------+
    | cephfs_metadata | metadata | 4638  | 26.7G |
    |   cephfs_data   |   data   |    0  | 26.7G |
    +-----------------+----------+-------+-------+
    
    +-------------+
    | Standby MDS |
    +-------------+
    |    node3    |
    |    node2    |
    +-------------+

추가 리소스

2.13. Ceph 메타데이터 서버 클라이언트에 대한 메트릭 보기

명령줄 인터페이스를 사용하여 Ceph 메타데이터 서버(MDS)의 지표를 볼 수 있습니다. CephFS는 Perf Cryostat를 사용하여 메트릭을 추적합니다. 카운터 dump 명령을 사용하여 메트릭을 볼 수 있습니다.

전제 조건

  • 실행 중인 IBM Storage Ceph 클러스터입니다.

프로세스

  1. mds 서비스의 이름을 가져옵니다.

    구문

    [ceph: root@mds-host01 /]# ceph orch ps | grep mds

  2. 클라이언트 메트릭당 MDS를 확인합니다.

    구문

    [ceph: root@mds-host01 /]# ceph tell MDS_SERVICE_NAME counter dump

    [root@ceph2-hk-n-0mfqao-node1-installer ~]# ceph tell mds.cephfs.ceph2-hk-n-0mfqao-node4.isztbk counter dump
    
    [
      {
        "key": "mds_client_metrics",
        "value": [
          {
            "labels": {
              "fs_name": "cephfs",
              "id": "24379"
            },
            "counters": {
              "num_clients": 4
            }
          }
        ]
      },
      {
        "key": "mds_client_metrics-cephfs",
        "value": [
          {
            "labels": {
              "client": "client.24413",
              "rank": "0"
            },
            "counters": {
              "cap_hits": 56,
              "cap_miss": 9,
              "avg_read_latency": 0E-9,
              "avg_write_latency": 0E-9,
              "avg_metadata_latency": 0E-9,
              "dentry_lease_hits": 2,
              "dentry_lease_miss": 12,
              "opened_files": 0,
              "opened_inodes": 9,
              "pinned_icaps": 4,
              "total_inodes": 9,
              "total_read_ops": 0,
              "total_read_size": 0,
              "total_write_ops": 0,
              "total_write_size": 0
            }
          },
          {
            "labels": {
              "client": "client.24502",
              "rank": "0"
            },
            "counters": {
              "cap_hits": 921403,
              "cap_miss": 102382,
              "avg_read_latency": 0E-9,
              "avg_write_latency": 0E-9,
              "avg_metadata_latency": 0E-9,
              "dentry_lease_hits": 17117,
              "dentry_lease_miss": 204710,
              "opened_files": 0,
              "opened_inodes": 9,
              "pinned_icaps": 7,
              "total_inodes": 9,
              "total_read_ops": 0,
              "total_read_size": 0,
              "total_write_ops": 1,
              "total_write_size": 132
            }
          },
          {
            "labels": {
              "client": "client.24508",
              "rank": "0"
            },
            "counters": {
              "cap_hits": 928694,
              "cap_miss": 103183,
              "avg_read_latency": 0E-9,
              "avg_write_latency": 0E-9,
              "avg_metadata_latency": 0E-9,
              "dentry_lease_hits": 17217,
              "dentry_lease_miss": 206348,
              "opened_files": 0,
              "opened_inodes": 9,
              "pinned_icaps": 7,
              "total_inodes": 9,
              "total_read_ops": 0,
              "total_read_size": 0,
              "total_write_ops": 1,
              "total_write_size": 132
            }
          },
          {
            "labels": {
              "client": "client.24520",
              "rank": "0"
            },
            "counters": {
              "cap_hits": 56,
              "cap_miss": 9,
              "avg_read_latency": 0E-9,
              "avg_write_latency": 0E-9,
              "avg_metadata_latency": 0E-9,
              "dentry_lease_hits": 2,
              "dentry_lease_miss": 12,
              "opened_files": 0,
              "opened_inodes": 9,
              "pinned_icaps": 4,
              "total_inodes": 9,
              "total_read_ops": 0,
              "total_read_size": 0,
              "total_write_ops": 0,
              "total_write_size": 0
            }
          }
        ]
      }
    ]

클라이언트 메트릭 설명

CephFS는 클라이언트 성능을 모니터링하는 데 사용할 수 있는 Labeled Perf Cryostats로 클라이언트 메트릭을 내보냅니다. CephFS는 아래 클라이언트 메트릭을 내보냅니다.

NAMETYPEDESCRIPTION

cap_hits

게이지

파일 기능의 백분율이 총 한도 수에 도달했습니다.

cap_miss

게이지

파일 기능의 백분율은 총 한도 수를 놓치고 있습니다.

avg_read_latency

게이지

읽기 대기 시간의 평균 값입니다.

avg_write_latency

게이지

쓰기 대기 시간의 평균 값입니다.

avg_metadata_latency

게이지

메타데이터 대기 시간의 평균 값입니다.

dentry_lease_hits

게이지

dentry 리스의 백분율이 총 dentry 리스 요청을 초과했습니다.

dentry_lease_miss

게이지

dentry lease의 백분율이 총 dentry 리스 요청을 초과했습니다.

opened_files

게이지

열려 있는 파일 수입니다.

opened_inodes

게이지

열려 있는 inode 수입니다.

pinned_icaps

게이지

고정된 Inode Caps 수입니다.

total_inodes

게이지

총 노드 수입니다.

total_read_ops

게이지

모든 프로세스에서 생성한 총 읽기 작업 수입니다.

total_read_size

게이지

모든 프로세스에서 생성된 입력/출력 작업에서 읽은 바이트 수입니다.

total_write_ops

게이지

모든 프로세스에서 생성한 총 쓰기 작업 수입니다.

total_write_size

게이지

모든 프로세스에서 생성된 입력/출력 작업으로 작성된 바이트 수입니다.

3장. Ceph 파일 시스템 배포

스토리지 관리자는 스토리지 환경에 Ceph File Systems(CephFS)를 배포하고 클라이언트가 해당 Ceph 파일 시스템을 마운트하여 스토리지 요구 사항을 충족할 수 있습니다.

기본적으로 배포 워크플로는 다음 세 단계로 구성됩니다.

  1. Ceph Monitor 노드에서 Ceph 파일 시스템을 생성합니다.
  2. 적절한 기능을 사용하여 Ceph 클라이언트 사용자를 만들고 Ceph 파일 시스템이 마운트될 노드에서 클라이언트 키를 사용할 수 있도록 합니다.
  3. 커널 클라이언트 또는 사용자 공간(FUSE) 클라이언트의 파일 시스템을 사용하여 전용 노드에 CephFS를 마운트합니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph Metadata Server 데몬(ceph-mds)의 설치 및 구성.

3.1. 레이아웃, 할당량, 스냅샷 및 네트워크 제한 사항

이러한 사용자 기능을 사용하면 필요한 요구 사항에 따라 Ceph 파일 시스템(CephFS)에 대한 액세스를 제한할 수 있습니다.

중요

rw 를 제외한 모든 사용자 기능 플래그는 알파벳순으로 지정해야 합니다.

레이아웃 및 할당량

레이아웃 또는 할당량을 사용하는 경우 클라이언트에는 rw 기능 외에도 p 플래그가 필요합니다. p 플래그를 설정하면 특수 확장 속성으로 설정되는 모든 속성이 ceph. 접두사가 있는 것을 제한합니다. 또한 레이아웃을 사용하여 openc 작업과 같은 이러한 필드를 설정하는 다른 수단을 제한합니다.

client.0
    key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw==
    caps: [mds] allow rwp
    caps: [mon] allow r
    caps: [osd] allow rw tag cephfs data=cephfs_a

client.1
    key: AQAz7EVWygILFRAAdIcuJ11opU/JKyfFmxhuaw==
    caps: [mds] allow rw
    caps: [mon] allow r
    caps: [osd] allow rw tag cephfs data=cephfs_a

이 예에서 client.0 은 파일 시스템 cephfs_a 에서 레이아웃 및 할당량을 수정할 수 있지만 client.1 은 수정할 수 없습니다.

스냅샷

스냅샷을 생성하거나 삭제할 때 클라이언트에는 rw 기능 외에도 s 플래그가 필요합니다. 기능 문자열에 p 플래그를 포함하면 다음에 s 플래그가 표시되어야 합니다.

client.0
    key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw==
    caps: [mds] allow rw, allow rws path=/temp
    caps: [mon] allow r
    caps: [osd] allow rw tag cephfs data=cephfs_a

이 예에서 client.0 은 파일 시스템 cephfs_atemp 디렉토리에 스냅샷을 생성하거나 삭제할 수 있습니다.

네트워크

특정 네트워크에서 연결하는 클라이언트 제한.

client.0
  key: AQAz7EVWygILFRAAdIcuJ10opU/JKyfFmxhuaw==
  caps: [mds] allow r network 10.0.0.0/8, allow rw path=/bar network 10.0.0.0/8
  caps: [mon] allow r network 10.0.0.0/8
  caps: [osd] allow rw tag cephfs data=cephfs_a network 10.0.0.0/8

선택적 네트워크 및 접두사 길이는 CIDR 표기법에 있습니다(예: 10.3.0.0/16 ).

3.2. Ceph 파일 시스템 생성

Ceph Monitor 노드에서 Ceph File Systems(CephFS)를 여러 개 생성할 수 있습니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph Metadata Server 데몬(ceph-mds)의 설치 및 구성.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.
  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.

프로세스

  1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

    1. Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-8-x86_64-rpms

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms

    2. ceph-fuse 패키지를 설치합니다.

      [root@client ~]# dnf install ceph-fuse
    3. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

    4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

    5. 구성 파일에 적절한 권한을 설정합니다.

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf
  2. Ceph 파일 시스템을 생성합니다.

    구문

    ceph fs volume create FILE_SYSTEM_NAME

    [root@mon ~]# ceph fs volume create cephfs01

    추가 파일 시스템을 생성하려면 이 단계를 반복합니다.

    참고

    이 명령을 실행하면 Ceph에서 새 풀을 자동으로 생성하고 새 파일 시스템을 지원하기 위해 새 Ceph Metadata Server(MDS) 데몬을 배포합니다. 또한 MDS 선호도도 적절하게 구성합니다.

  3. Ceph 클라이언트에서 새 Ceph 파일 시스템에 대한 액세스를 확인합니다.

    1. Ceph 클라이언트에 새 파일 시스템에 액세스할 수 있도록 권한을 부여합니다.

      구문

      ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME DIRECTORY PERMISSIONS

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      exported keyring for client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      참고

      선택적으로 root_squash 옵션을 지정하여 안전 조치를 추가할 수 있습니다. 이렇게 하면 uid=0 또는 gid=0 인 클라이언트가 쓰기 작업을 수행할 수 없지만 읽기 작업을 허용하여 실수로 삭제 시나리오를 방지할 수 있습니다.

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw root_squash /volumes rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01 root_squash, allow rw fsname=cephfs01 path=/volumes"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      이 예에서 /volumes 디렉터리 트리를 제외하고 파일 시스템 cephfs01 에 대해 root_squash 가 활성화됩니다.

      중요

      Ceph 클라이언트는 권한이 부여된 CephFS만 볼 수 있습니다.

    2. Ceph 사용자의 인증 키를 Ceph 클라이언트 노드에 복사합니다.

      구문

      ceph auth get CLIENT_NAME > OUTPUT_FILE_NAME
      scp OUTPUT_FILE_NAME TARGET_NODE_NAME:/etc/ceph

      [root@mon ~]# ceph auth get client.1 > ceph.client.1.keyring
      exported keyring for client.1
      [root@mon ~]# scp ceph.client.1.keyring client:/etc/ceph
      root@client's password:
      ceph.client.1.keyring                     100%  178   333.0KB/s   00:00

    3. Ceph 클라이언트 노드에서 새 디렉터리를 생성합니다.

      구문

      mkdir PATH_TO_NEW_DIRECTORY_NAME

      [root@client ~]# mkdir /mnt/mycephfs

    4. Ceph 클라이언트 노드에서 새 Ceph 파일 시스템을 마운트합니다.

      구문

      ceph-fuse PATH_TO_NEW_DIRECTORY_NAME -n CEPH_USER_NAME --client-fs=_FILE_SYSTEM_NAME

      [root@client ~]# ceph-fuse /mnt/mycephfs/ -n client.1 --client-fs=cephfs01
      ceph-fuse[555001]: starting ceph client
      2022-05-09T07:33:27.158+0000 7f11feb81200 -1 init, newargv = 0x55fc4269d5d0 newargc=15
      ceph-fuse[555001]: starting fuse

    5. Ceph 클라이언트 노드에서 새 마운트 지점의 디렉터리 콘텐츠를 나열하거나 새 마운트 지점에 파일을 만듭니다.

추가 리소스

3.3. Ceph 파일 시스템에 삭제 코딩된 풀 추가

기본적으로 Ceph는 데이터 풀에 복제된 풀을 사용합니다. 필요한 경우 삭제 코딩된 데이터 풀을 Ceph 파일 시스템에 추가할 수도 있습니다. 삭제로 코딩된 풀에서 지원하는 Ceph 파일 시스템(CephFS)은 복제된 풀에서 지원하는 Ceph File Systems에 비해 전체 스토리지를 더 적게 사용합니다. 삭제 코딩된 풀은 전체 스토리지를 덜 사용하지만 복제된 풀보다 더 많은 메모리 및 프로세서 리소스를 사용합니다.

중요

CephFS EC 풀은 아카이브 목적으로만 사용됩니다.

중요

프로덕션 환경의 경우 Red Hat은 CephFS에 기본 복제 데이터 풀을 사용하는 것이 좋습니다. CephFS에서 inode를 생성하면 기본 데이터 풀에 하나 이상의 오브젝트가 생성됩니다. 기본 데이터에 복제된 풀을 사용하여 소규모 개체 쓰기 성능을 개선하고 백추적 업데이트를 위한 읽기 성능을 개선하는 것이 좋습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 기존 Ceph 파일 시스템.
  • BlueStore OSD를 사용하는 풀입니다.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.
  • attr 패키지 설치.

프로세스

  1. CephFS에 대해 삭제 코딩된 데이터 풀을 생성합니다.

    구문

    ceph osd pool create DATA_POOL_NAME erasure

    [root@mon ~]# ceph osd pool create cephfs-data-ec01 erasure
    pool 'cephfs-data-ec01' created

  2. 풀이 추가되었는지 확인합니다.

    [root@mon ~]# ceph osd lspools

  3. erasure-coded 풀에서 덮어 쓰기를 활성화합니다.

    구문

    ceph osd pool set DATA_POOL_NAME allow_ec_overwrites true

    [root@mon ~]# ceph osd pool set cephfs-data-ec01 allow_ec_overwrites true
    set pool 15 allow_ec_overwrites to true

  4. Ceph 파일 시스템의 상태를 확인합니다.

    구문

    ceph fs status FILE_SYSTEM_NAME

    [root@mon ~]# ceph fs status cephfs-ec
    cephfs-ec - 14 clients
    =========
    RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
     0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
           POOL           TYPE     USED  AVAIL
    cephfs-metadata-ec  metadata   787M  8274G
      cephfs-data-ec      data    2360G  12.1T
    
           STANDBY MDS
    cephfs-ec.example.irsrql
    cephfs-ec.example.cauuaj

  5. 기존 CephFS에 erasure-coded 데이터 풀을 추가합니다.

    구문

    ceph fs add_data_pool FILE_SYSTEM_NAME DATA_POOL_NAME

    [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec01

    이 예제에서는 새 데이터 풀 cephfs-data-ec01 을 기존 erasure-coded 파일 시스템 cephfs-ec 에 추가합니다.

  6. erasure 코딩된 풀이 Ceph 파일 시스템에 추가되었는지 확인합니다.

    구문

    ceph fs status FILE_SYSTEM_NAME

    [root@mon ~]# ceph fs status cephfs-ec
    cephfs-ec - 14 clients
    =========
    RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
     0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
           POOL           TYPE     USED  AVAIL
    cephfs-metadata-ec  metadata   787M  8274G
      cephfs-data-ec      data    2360G  12.1T
     cephfs-data-ec01     data       0   12.1T
    
           STANDBY MDS
    cephfs-ec.example.irsrql
    cephfs-ec.example.cauuaj

  7. 새 디렉터리에 파일 레이아웃을 설정합니다.

    구문

    mkdir PATH_TO_DIRECTORY
    setfattr -n ceph.dir.layout.pool -v DATA_POOL_NAME PATH_TO_DIRECTORY

    [root@mon ~]# mkdir /mnt/cephfs/newdir
    [root@mon ~]# setfattr -n ceph.dir.layout.pool -v cephfs-data-ec01 /mnt/cephfs/newdir

    이 예에서 /mnt/cephfs/newdir 디렉터리에 생성된 모든 새 파일은 디렉터리 레이아웃을 상속하고 새로 추가된 erasure-coded 풀에 데이터를 배치합니다.

추가 리소스

3.4. Ceph 파일 시스템용 클라이언트 사용자 생성

Red Hat Ceph Storage는 인증을 위해 cephx 를 사용하며 이는 기본적으로 활성화되어 있습니다. Ceph 파일 시스템과 함께 cephx 를 사용하려면 Ceph Monitor 노드에서 올바른 권한 부여 기능이 있는 사용자를 생성하고 Ceph 파일 시스템이 마운트될 노드에서 키를 사용할 수 있도록 합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • Ceph Metadata Server 데몬(ceph-mds)의 설치 및 구성.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.
  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.

프로세스

  1. 모니터 노드의 Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  2. Ceph Monitor 노드에서 클라이언트 사용자를 생성합니다.

    구문

    ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] PERMISSIONS ...

    • 클라이언트가 파일 시스템 cephfs_atemp 디렉터리에만 기록되도록 제한하려면 다음을 수행합니다.

      [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 / r /temp rw
      
      client.1
        key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==

    • 클라이언트를 temp 디렉토리로 완전히 제한하려면 루트(/) 디렉터리를 제거합니다.

      [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 /temp rw

    참고

    파일 시스템 이름으로 전체 또는 별표를 제공하면 모든 파일 시스템에 대한 액세스 권한이 부여됩니다. 일반적으로 쉘에서 보호하려면 별표를 따옴표로 묶어야 합니다.

  3. 생성된 키를 확인합니다.

    구문

    ceph auth get client.ID

    [ceph: root@host01 /]# ceph auth get client.1
    
    client.1
      key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
      caps mds = "allow r, allow rw path=/temp"
      caps mon = "allow r"
      caps osd = "allow rw tag cephfs data=cephfs_a"

  4. 인증 키를 클라이언트에 복사합니다.

    1. Ceph Monitor 노드에서 인증 키를 파일로 내보냅니다.

      구문

      ceph auth get client.ID -o ceph.client.ID.keyring

      [ceph: root@host01 /]# ceph auth get client.1 -o ceph.client.1.keyring
      exported keyring for client.1

    2. Ceph Monitor 노드에서 클라이언트 노드의 /etc/ceph/ 디렉터리에 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME 을 Ceph 클라이언트 노드 이름 또는 IP로 바꿉니다.

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

  5. 클라이언트 노드에서 키 링 파일에 대한 적절한 권한을 설정합니다.

    구문

    chmod 644 ceph.client.ID.keyring

    예제

    [root@client01 ~]# chmod 644 /etc/ceph/ceph.client.1.keyring

추가 리소스

3.5. Ceph 파일 시스템을 커널 클라이언트로 마운트

Ceph 파일 시스템(CephFS)을 시스템 부팅 시 수동으로 또는 자동으로 커널 클라이언트로 마운트할 수 있습니다.

중요

Red Hat Enterprise Linux를 제외한 다른 Linux 배포판에서 실행되는 클라이언트는 허용되지만 지원되지 않습니다. 이러한 클라이언트를 사용할 때 CephFS 메타데이터 서버 또는 스토리지 클러스터의 기타 부분에서 문제가 발견되면 Red Hat에서 문제를 해결합니다. 클라이언트 측에 원인을 발견하면 Linux 배포판의 커널 벤더가 문제를 해결해야 합니다.

사전 요구 사항

  • Linux 기반 클라이언트 노드에 대한 루트 수준 액세스.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.
  • 기존 Ceph 파일 시스템.

프로세스

  1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

    1. Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms

    2. ceph-common 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-common
    3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      [root@host01 ~]# cephadm shell

    4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

    5. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

    6. 클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf
    7. 자동 또는 수동으로 마운트를 선택합니다.

수동으로 마운트

  1. 클라이언트 노드에 마운트 디렉터리를 생성합니다.

    구문

    mkdir -p MOUNT_POINT

    [root@client01 ~]# mkdir -p /mnt/cephfs

  2. Ceph 파일 시스템을 마운트합니다. 여러 Ceph Monitor 주소를 지정하려면 mount 명령에 쉼표로 구분하고 마운트 지점을 지정하고 클라이언트 이름을 설정합니다.

    참고

    Red Hat Ceph Storage 4.1부터 mount.ceph 는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다. name=CLIENT_ID를 사용하여 클라이언트 ID 를 지정하고 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

    구문

    mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID,fs=FILE_SYSTEM_NAME

    [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1,fs=cephfs01

    참고

    단일 호스트 이름이 여러 IP 주소로 확인되도록 DNS 서버를 구성할 수 있습니다. 그런 다음 쉼표로 구분된 목록을 제공하는 대신 mount 명령과 함께 해당 단일 호스트 이름을 사용할 수 있습니다.

    참고

    Monitor 호스트 이름을 :/mount 문자열로 교체할 수도 있습니다.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

    참고

    이제sync 옵션을 Red Hat Ceph Storage 클러스터에서 비동기식으로 파일 생성 및 제거를 실행할 수 있습니다. 이로 인해 일관성에 영향을 주지 않고 이러한 시스템 호출에 대한 왕복 대기 시간을 방지하여 일부 워크로드의 성능이 향상됩니다. nowsync 옵션에는 Red Hat Enterprise Linux 9.0 이상의 커널 클라이언트가 필요합니다.

    [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o nowsync,name=1,fs=cephfs01

  3. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

    구문

    stat -f MOUNT_POINT

    [root@client01 ~]# stat -f /mnt/cephfs

자동 마운트

  1. 클라이언트 호스트에서 Ceph 파일 시스템을 마운트할 새 디렉터리를 만듭니다.

    구문

    mkdir -p MOUNT_POINT

    [root@client01 ~]# mkdir -p /mnt/cephfs

  2. /etc/fstab 파일을 다음과 같이 편집합니다.

    구문

    #DEVICE                                              PATH                      TYPE               OPTIONS
    MON_0_HOST:PORT,            MOUNT_POINT          ceph         name=CLIENT_ID,
    MON_1_HOST:PORT,                                                         ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,                                                       fs=FILE_SYSTEM_NAME,
    MON_2_HOST:PORT:/q[_VOL_]/SUB_VOL/UID_SUB_VOL,            [ADDITIONAL_OPTIONS]

    첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

    두 번째 열은 마운트 지점을 설정합니다.

    세 번째 열은 CephFS의 파일 시스템 유형(이 경우 ceph )을 설정합니다.

    네 번째 열은 namesecretfile 옵션을 사용하여 사용자 이름 및 시크릿 파일과 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다.

    중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다.

    다섯 번째 및 여섯 번째 열을 0으로 설정합니다.

    #DEVICE         PATH                   TYPE    OPTIONS         DUMP  FSCK
    mon1:6789,      /mnt/cephfs            ceph    name=1,            0     0
    mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
    mon3:6789:/                                    fs=cephfs01,
                                                   _netdev,noatime

    Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.

    참고

    Red Hat Ceph Storage 4.1부터 mount.ceph 는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다. name=CLIENT_ID를 사용하여 클라이언트 ID 를 지정하고 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

    참고

    Monitor 호스트 이름을 :/mount 문자열로 교체할 수도 있습니다.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

추가 리소스

3.6. Ceph 파일 시스템을 FUSE 클라이언트로 마운트

Ceph 파일 시스템(CephFS)을 시스템 부팅 시 수동으로 또는 자동으로 사용자 공간(FUSE) 클라이언트의 파일 시스템으로 마운트할 수 있습니다.

사전 요구 사항

  • Linux 기반 클라이언트 노드에 대한 루트 수준 액세스.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.
  • 기존 Ceph 파일 시스템.

프로세스

  1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

    1. Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-8-x86_64-rpms

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-9-x86_64-rpms

    2. ceph-fuse 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-fuse
    3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      [root@host01 ~]# cephadm shell

    4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

    5. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

    6. 클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf
    7. 자동 또는 수동으로 마운트를 선택합니다.

수동으로 마운트

  1. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

    구문

    mkdir PATH_TO_MOUNT_POINT

    [root@client01 ~]# mkdir /mnt/mycephfs

    참고

    MDS 기능과 함께 경로 옵션을 사용한 경우 마운트 지점은 경로에서 지정한 범위 내에 있어야 합니다.

  2. ceph-fuse 유틸리티를 사용하여 Ceph 파일 시스템을 마운트합니다.

    구문

    ceph-fuse -n client.CLIENT_ID --client_fs FILE_SYSTEM_NAME MOUNT_POINT

    [root@client01 ~]# ceph-fuse -n client.1 --client_fs cephfs01 /mnt/mycephfs

    참고

    사용자 인증 키의 기본 이름과 위치를 사용하지 않는 경우, 이는 /etc/ceph/ceph.client.CLIENT_ID.keyring 인 경우 --keyring 옵션을 사용하여 사용자 인증 키의 경로를 지정합니다. 예를 들면 다음과 같습니다.

    [root@client01 ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs

    참고

    -r 옵션을 사용하여 클라이언트에 해당 경로를 root로 처리하도록 지시합니다.

    구문

    ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH

    [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs

    참고

    제거된 Ceph 클라이언트를 자동으로 다시 연결하려면 --client_reconnect_stale=true 옵션을 추가합니다.

    [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs --client_reconnect_stale=true

  3. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

    구문

    stat -f MOUNT_POINT

    [root@client01 ~]# stat -f /mnt/cephfs

자동 마운트

  1. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

    구문

    mkdir PATH_TO_MOUNT_POINT

    [root@client01 ~]# mkdir /mnt/mycephfs

    참고

    MDS 기능과 함께 경로 옵션을 사용한 경우 마운트 지점은 경로에서 지정한 범위 내에 있어야 합니다.

  2. /etc/fstab 파일을 다음과 같이 편집합니다.

    구문

    #DEVICE                 PATH           TYPE          OPTIONS                  DUMP  FSCK
    HOST_NAME:PORT,     MOUNT_POINT fuse.ceph     ceph.id=CLIENT_ID,        0     0
    HOST_NAME:PORT,                                  ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,
    HOST_NAME:PORT:/                                 ceph.client_fs=FILE_SYSTEM_NAME,ceph.name=USERNAME,ceph.keyring=/etc/ceph/KEYRING_FILE,
                                                         [ADDITIONAL_OPTIONS]

    첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

    두 번째 열은 마운트 지점을 설정합니다.

    세 번째 열은 CephFS의 파일 시스템 유형(이 경우 fuse.ceph )을 설정합니다.

    네 번째 열은 ceph.nameceph.keyring 옵션을 사용하여 사용자 이름 및 인증 키와 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다. 액세스할 Ceph 파일 시스템을 지정하려면 ceph.client_fs 옵션을 사용합니다. 중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다. 제거 후 자동으로 다시 연결하려면 client_reconnect_stale=true 옵션을 설정합니다.

    다섯 번째 및 여섯 번째 열을 0으로 설정합니다.

    #DEVICE         PATH              TYPE         OPTIONS         DUMP  FSCK
    mon1:6789,      /mnt/mycephfs       fuse.ceph    ceph.id=1,         0     0
    mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
    mon3:6789:/                                    ceph.client_fs=cephfs01,ceph.name=client.1,ceph.keyring=/etc/ceph/client1.keyring,
                                                   _netdev,defaults

    Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.

추가 리소스

추가 리소스

4장. Ceph 파일 시스템 볼륨, 하위 볼륨 그룹 및 하위 볼륨 관리

스토리지 관리자는 Red Hat의 Ceph Container Storage Interface(CSI)를 사용하여 Ceph File System(CephFS) 내보내기를 관리할 수 있습니다. 또한 와 상호 작용할 수 있는 공통 명령줄 인터페이스를 통해 OpenStack의 파일 시스템 서비스(Manila)와 같은 기타 서비스를 사용할 수 있습니다. Ceph Manager 데몬(ceph-mgr)의 volumes 모듈은 Ceph File Systems(CephFS)를 내보내는 기능을 구현합니다.

Ceph Manager volumes 모듈은 다음 파일 시스템 내보내기 추상화를 구현합니다.

  • CephFS 볼륨
  • CephFS 하위 볼륨 그룹
  • CephFS 하위 볼륨

4.1. Ceph 파일 시스템 볼륨

스토리지 관리자는 Ceph File System(CephFS) 볼륨을 생성, 나열 및 제거할 수 있습니다. CephFS 볼륨은 Ceph 파일 시스템의 추상화입니다.

이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.

4.1.1. Ceph 파일 시스템 볼륨 생성

Ceph Orchestrator는 Ceph 파일 시스템(CephFS)에 대한 메타데이터 서버(MDS)를 생성하는 Ceph Manager용 모듈입니다. 이 섹션에서는 CephFS 볼륨을 생성하는 방법을 설명합니다.

참고

이렇게 하면 데이터 및 메타데이터 풀과 함께 Ceph 파일 시스템이 생성됩니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  • 모니터 노드에 CephFS 볼륨을 생성합니다.

    구문

    ceph fs volume create VOLUME_NAME

    [ceph: root@host01 /]# ceph fs volume create cephfs

4.1.2. Ceph 파일 시스템 볼륨 나열

이 섹션에서는 Ceph 파일 시스템(CephFS) 볼륨을 나열하는 단계에 대해 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 볼륨.

프로세스

  • CephFS 볼륨을 나열합니다.

    [ceph: root@host01 /]# ceph fs volume ls

4.1.3. Ceph 파일 시스템 볼륨에 대한 정보 보기

Ceph 파일 시스템(CephFS) 볼륨에 대한 기본 세부 정보(예: CephFS 볼륨의 데이터 및 메타데이터 풀, 보류 중인 하위 볼륨 삭제 수 등)를 나열할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 볼륨이 생성되었습니다.

프로세스

  • CephFS 볼륨에 대한 정보를 확인합니다.

    구문

    ceph fs volume info VOLUME_NAME

    [ceph: root@host01 /]# ceph fs volume info cephfs
    {
        "mon_addrs": [
            "192.168.1.7:40977",
        ],
        "pending_subvolume_deletions": 0,
        "pools": {
            "data": [
                {
                    "avail": 106288709632,
                    "name": "cephfs.cephfs.data",
                    "used": 4096
                }
            ],
            "metadata": [
                {
                    "avail": 106288709632,
                    "name": "cephfs.cephfs.meta",
                    "used": 155648
                }
            ]
        },
        "used_size": 0
    }

ceph fs volume info 명령의 출력에는 다음이 포함됩니다.

  • mon_addrs: 모니터 주소 목록입니다.
  • pending_subvolume_deletions: 삭제 보류 중인 하위 볼륨 수
  • : 데이터 및 메타데이터 풀의 속성입니다.

    • 사용 가능한 공간의 양은 바이트 단위입니다.The amount of free space available in bytes.
    • Name : 풀의 이름입니다.
    • 사용됨: 바이트 단위로 소비되는 스토리지의 양입니다.
  • used_size: CephFS 볼륨의 현재 사용된 크기(바이트)입니다.

4.1.4. Ceph 파일 시스템 볼륨 제거

Ceph Orchestrator는 Ceph 파일 시스템(CephFS)의 메타데이터 서버(MDS)를 제거하는 Ceph Manager의 모듈입니다. 이 섹션에서는 Ceph 파일 시스템(CephFS) 볼륨을 제거하는 방법을 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 볼륨.

프로세스

  1. mon_allow_pool_delete 옵션이 true 로 설정되지 않은 경우 CephFS 볼륨을 제거하기 전에 true 로 설정합니다.

    [ceph: root@host01 /]# ceph config set mon mon_allow_pool_delete true

  2. CephFS 볼륨을 제거합니다.

    구문

    ceph fs volume rm VOLUME_NAME [--yes-i-really-mean-it]

    [ceph: root@host01 /]# ceph fs volume rm cephfs --yes-i-really-mean-it

4.2. Ceph 파일 시스템 하위 볼륨 그룹

스토리지 관리자는 절대 경로를 생성, 나열, 가져오고 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거할 수 있습니다. CephFS 하위 볼륨 그룹은 디렉터리 수준에서 추상화되며, 하위 볼륨 세트에서 파일 레이아웃과 같은 정책이 영향을 미칩니다.

Red Hat Ceph Storage 5.0부터 하위 볼륨 그룹 스냅샷 기능은 지원되지 않습니다. 이러한 하위 볼륨 그룹의 기존 스냅샷만 나열하고 제거할 수 있습니다.

이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.

4.2.1. 파일 시스템 하위 볼륨 그룹 생성

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 생성하는 방법을 설명합니다.

참고

하위 볼륨 그룹을 생성할 때 8진수 숫자에서 데이터 풀 레이아웃, uid, gid 및 파일 모드를 지정할 수 있습니다. 기본적으로 하위 그룹은 8진수 파일 모드 '755', uid '0', gid '0' 및 상위 디렉터리의 데이터 풀 레이아웃을 사용하여 생성됩니다.

참고

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소 읽기 액세스 권한.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  • CephFS 하위 볼륨을 생성합니다.

    구문

    ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--pool_layout DATA_POOL_NAME --uid UID --gid GID --mode OCTAL_MODE]

    [ceph: root@host01 /]# ceph fs subvolumegroup create cephfs subgroup0

    하위 볼륨 그룹이 이미 존재하는 경우에도 명령이 성공합니다.

4.2.2. 파일 시스템 하위 볼륨 그룹에서 할당량 설정 및 관리

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨 그룹에서 할당량을 설정하고 관리하는 방법을 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  1. 바이트 단위로 크기를 제공하여 하위 볼륨을 생성하는 동안 할당량을 설정합니다.

    구문

    ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--size SIZE_IN_BYTES] [--pool_layout DATA_POOL_NAME] [--uid UID] [--gid GID] [--mode OCTAL_MODE]

    [ceph: root@host01 /]# ceph fs subvolumegroup create cephfs subvolgroup_2 10737418240

  2. 하위 볼륨 그룹의 크기를 조정합니다.

    구문

    ceph fs subvolumegroup resize VOLUME_NAME GROUP_NAME new_size [--no_shrink]

    [ceph: root@host01 /]# ceph fs subvolumegroup resize cephfs subvolgroup_2 20737418240
    [
        {
            "bytes_used": 10768679044
        },
        {
            "bytes_quota": 20737418240
        },
        {
            "bytes_pcent": "51.93"
        }
    ]

  3. 하위 볼륨 그룹의 메타데이터를 가져옵니다.

    구문

    ceph fs subvolumegroup info VOLUME_NAME GROUP_NAME

    [ceph: root@host01 /]# ceph fs subvolumegroup info cephfs subvolgroup_2
    {
        "atime": "2022-10-05 18:00:39",
        "bytes_pcent": "51.85",
        "bytes_quota": 20768679043,
        "bytes_used": 10768679044,
        "created_at": "2022-10-05 18:00:39",
        "ctime": "2022-10-05 18:21:26",
        "data_pool": "cephfs.cephfs.data",
        "gid": 0,
        "mode": 16877,
        "mon_addrs": [
            "60.221.178.236:1221",
            "205.64.75.112:1221",
            "20.209.241.242:1221"
        ],
        "mtime": "2022-10-05 18:01:25",
        "uid": 0
    }

4.2.3. 파일 시스템 하위 볼륨 그룹 나열

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨 그룹을 나열하는 단계를 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 그룹입니다.

프로세스

  • CephFS 하위 볼륨을 나열합니다.

    구문

    ceph fs subvolumegroup ls VOLUME_NAME

    [ceph: root@host01 /]# ceph fs subvolumegroup ls cephfs

4.2.4. 파일 시스템 하위 그룹의 절대 경로 가져오기

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 절대 경로를 가져오는 방법을 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 그룹입니다.

프로세스

  • CephFS 하위 볼륨 그룹의 절대 경로를 가져옵니다.

    구문

    ceph fs subvolumegroup getpath VOLUME_NAME GROUP_NAME

    [ceph: root@host01 /]# ceph fs subvolumegroup getpath cephfs subgroup0

4.2.5. 파일 시스템 하위 그룹의 스냅샷 나열

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 나열하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 그룹입니다.
  • subvolume 그룹의 스냅샷입니다.

프로세스

  • CephFS 하위 볼륨의 스냅샷을 나열합니다.

    구문

    ceph fs subvolumegroup snapshot ls VOLUME_NAME GROUP_NAME

    [ceph: root@host01 /]# ceph fs subvolumegroup snapshot ls cephfs subgroup0

4.2.6. 파일 시스템 하위 볼륨의 스냅샷 제거

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 제거하는 단계를 제공합니다.

참고

--force 플래그를 사용하면 스냅샷이 없는 경우 명령이 성공할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • Ceph 파일 시스템 볼륨.
  • subvolume 그룹의 스냅샷입니다.

프로세스

  • CephFS 하위 볼륨 그룹의 스냅샷을 제거합니다.

    구문

    ceph fs subvolumegroup snapshot rm VOLUME_NAME GROUP_NAME SNAP_NAME [--force]

    [ceph: root@host01 /]# ceph fs subvolumegroup snapshot rm cephfs subgroup0 snap0 --force

4.2.7. 파일 시스템 하위 볼륨 그룹 제거

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거하는 방법을 보여줍니다.

참고

하위 볼륨 그룹이 비어 있지 않거나 존재하지 않는 경우 제거가 실패합니다. --force 플래그를 사용하면 존재하지 않는 하위 볼륨을 제거할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 그룹입니다.

프로세스

  • CephFS 하위 볼륨을 제거합니다.

    구문

    ceph fs subvolumegroup rm VOLUME_NAME GROUP_NAME [--force]

    [ceph: root@host01 /]# ceph fs subvolumegroup rm cephfs subgroup0 --force

4.3. Ceph 파일 시스템 하위 볼륨

스토리지 관리자는 절대 경로, 가져오기, 메타데이터 가져오기, Ceph 파일 시스템(CephFS) 하위 볼륨을 생성, 나열, 가져올 수 있습니다. 또한 이러한 하위 볼륨의 스냅샷을 생성, 나열 및 제거할 수도 있습니다. CephFS 하위 볼륨은 독립 Ceph File Systems 디렉터리 트리에 대한 추상화입니다.

이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.

4.3.1. 파일 시스템 하위 볼륨 생성

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 생성하는 방법을 설명합니다.

참고

하위 볼륨을 생성할 때 하위 볼륨 그룹, 데이터 풀 레이아웃, uid, gid, 파일 모드를 8진수 숫자, 바이트 단위로 지정할 수 있습니다. --namespace-isolated 옵션을 지정하여 별도의 RADOS 네임스페이스에 하위 볼륨을 생성할 수 있습니다. 기본적으로 하위 볼륨은 기본 하위 볼륨 그룹 내에 생성되고 8진수 파일 모드 '755', 하위 볼륨 그룹의 uid, 하위 볼륨 그룹의 gid, 상위 디렉터리의 데이터 풀 레이아웃, 크기 제한 없이 생성됩니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  • CephFS 하위 볼륨을 생성합니다.

    구문

    ceph fs subvolume create VOLUME_NAME SUBVOLUME_NAME [--size SIZE_IN_BYTES --group_name SUBVOLUME_GROUP_NAME --pool_layout DATA_POOL_NAME --uid _UID --gid GID --mode OCTAL_MODE] [--namespace-isolated]

    [root@mon ~]# ceph fs subvolume create cephfs sub0 --group_name subgroup0 --namespace-isolated

    하위 볼륨이 이미 존재하는 경우에도 명령이 성공합니다.

4.3.2. 파일 시스템 하위 볼륨 나열

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 나열하는 단계를 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.

프로세스

  • CephFS 하위 볼륨을 나열합니다.

    구문

    ceph fs subvolume ls VOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume ls cephfs --group_name subgroup0

4.3.3. 파일 시스템 하위 볼륨 크기 조정

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 크기를 조정하는 단계를 설명합니다.

참고

ceph fs 하위 볼륨 크기 조정 명령은 new_size 에서 지정한 크기를 사용하여 하위 볼륨 할당량의 크기를 조정합니다. --no_shrink 플래그를 사용하면 하위 볼륨이 현재 사용 중인 하위 볼륨보다 아래로 축소되지 않습니다. subvolume은 new_size 로서 inf 또는 infinite 을 전달하여 무한으로 크기를 조정할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.

프로세스

  • CephFS 하위 볼륨의 크기를 조정합니다.

    구문

    ceph fs subvolume resize VOLUME_NAME SUBVOLUME_NAME NEW_SIZE [--group_name SUBVOLUME_GROUP_NAME] [--no_shrink]

    [root@mon ~]# ceph fs subvolume resize cephfs sub0 1024000000 --group_name subgroup0 --no_shrink

4.3.4. 파일 시스템 하위 볼륨의 절대 경로 가져오기

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 절대 경로를 가져오는 방법을 설명합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.

프로세스

  • CephFS 하위 볼륨의 절대 경로를 가져옵니다.

    구문

    ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME [--group_name _SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume getpath cephfs sub0 --group_name subgroup0

4.3.5. 파일 시스템 하위 볼륨의 메타데이터 가져오기

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 메타데이터를 가져오는 방법을 보여줍니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.

프로세스

  • CephFS 하위 볼륨의 메타데이터를 가져옵니다.

    구문

    ceph fs subvolume info VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume info cephfs sub0 --group_name subgroup0

    출력 예

    # ceph fs subvolume info cephfs sub0
    {
        "atime": "2023-07-14 08:52:46",
        "bytes_pcent": "0.00",
        "bytes_quota": 1024000000,
        "bytes_used": 0,
        "created_at": "2023-07-14 08:52:46",
        "ctime": "2023-07-14 08:53:54",
        "data_pool": "cephfs.cephfs.data",
        "features": [
            "snapshot-clone",
            "snapshot-autoprotect",
            "snapshot-retention"
        ],
        "flavor": "2",
        "gid": 0,
        "mode": 16877,
        "mon_addrs": [
            "10.0.208.172:6789",
            "10.0.211.197:6789",
            "10.0.209.212:6789"
        ],
        "mtime": "2023-07-14 08:52:46",
        "path": "/volumes/_nogroup/sub0/834c5cbc-f5db-4481-80a3-aca92ff0e7f3",
        "pool_namespace": "",
        "state": "complete",
        "type": "subvolume",
        "uid": 0
    }

출력 형식은 JSON이며 다음 필드를 포함합니다.

  • Atime: "YYYY-MM-DD HH:MM:SS" 형식으로 하위 볼륨 경로의 액세스 시간입니다.
  • bytes_pcent: 할당량이 설정된 경우 백분율로 사용되는 할당량은 "정의되지 않음"을 표시합니다.
  • bytes_quota: 할당량이 설정된 경우 바이트 단위이며, 그렇지 않으면 "infinite"가 표시됩니다.
  • bytes_used: 하위 볼륨의 현재 사용된 크기(바이트)입니다.
  • created_at: "YYYY-MM-DD HH:MM:SS" 형식으로 하위 볼륨을 생성하는 시간입니다.
  • ctime: "YYYY-MM-DD HH:MM:SS" 형식의 하위 볼륨 경로의 시간을 변경합니다.
  • data_pool: 하위 볼륨이 속한 데이터 풀입니다.
  • features: 하위 볼륨에서 지원하는 기능 (예: "snapshot-clone", "snapshot-autoprotect" 또는 "snapshot-retention").
  • 플레이버: 하위 볼륨 버전, 버전 2의 경우 1 또는 2 의 경우 1입니다.
  • GID: 하위 볼륨 경로의 그룹 ID입니다.
  • mode: 하위 볼륨 경로의 모드입니다.
  • mon_addrs: 모니터 주소 목록입니다.
  • mtime: "YYYY-MM-DD HH:MM:SS" 형식의 하위 볼륨 경로 수정 시간입니다.
  • path: 하위 볼륨의 절대 경로입니다.
  • pool_namespace: 하위 볼륨의 RADOS 네임스페이스입니다.
  • state: "complete" 또는 "snapshot-retained"과 같은 하위 볼륨의 현재 상태입니다.
  • type: clone 또는 subvolume인지 여부를 나타내는 하위 볼륨 유형입니다.
  • UID: 하위 볼륨 경로의 사용자 ID입니다.

4.3.6. 파일 시스템 하위 볼륨의 스냅샷 생성

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 생성하는 방법을 보여줍니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.
  • 클라이언트는 읽기(r) 및 쓰기(w) 기능 외에도 파일 시스템 내의 디렉터리 경로에 s 플래그가 필요합니다.

프로세스

  1. s 플래그가 디렉터리에 설정되어 있는지 확인합니다.

    구문

    ceph auth get CLIENT_NAME

    [root@mon ~]# ceph auth get client.0
    [client.0]
        key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw==
        caps mds = "allow rw, allow rws path=/bar" 1
        caps mon = "allow r"
        caps osd = "allow rw tag cephfs data=cephfs_a" 2

    1 2
    예제에서 client.0 은 파일 시스템 cephfs_abar 디렉토리에 스냅샷을 생성하거나 삭제할 수 있습니다.
  2. Ceph File System 하위 볼륨의 스냅샷을 생성합니다.

    구문

    ceph fs subvolume snapshot create VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name GROUP_NAME]

    [root@mon ~]# ceph fs subvolume snapshot create cephfs sub0 snap0 --group_name subgroup0

4.3.7. 스냅샷에서 하위 볼륨 복제

하위 볼륨 스냅샷을 복제하여 하위 볼륨을 생성할 수 있습니다. 스냅샷에서 하위 볼륨으로 데이터를 복사하는 비동기 작업입니다.

참고

복제는 매우 큰 데이터 세트에는 비효율적입니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • 스냅샷을 만들거나 삭제하려면 읽기 및 쓰기 기능 외에도 클라이언트에 파일 시스템 내의 디렉터리 경로에 s 플래그가 필요합니다.

    구문

    CLIENT_NAME
        key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw==
        caps mds = allow rw, allow rws path=DIRECTORY_PATH
        caps mon = allow r
        caps osd = allow rw tag cephfs data=DIRECTORY_NAME

    다음 예에서 client.0 은 파일 시스템 cephfs_abar 디렉토리에 스냅샷을 생성하거나 삭제할 수 있습니다.

    [client.0]
        key = AQAz7EVWygILFRAAdIcuJ12opU/JKyfFmxhuaw==
        caps mds = "allow rw, allow rws path=/bar"
        caps mon = "allow r"
        caps osd = "allow rw tag cephfs data=cephfs_a"

프로세스

  1. Ceph 파일 시스템(CephFS) 볼륨을 생성합니다.

    구문

    ceph fs volume create VOLUME_NAME

    [root@mon ~]# ceph fs volume create cephfs

    이렇게 하면 CephFS 파일 시스템, 해당 데이터 및 메타데이터 풀이 생성됩니다.

  2. 하위 볼륨 그룹을 생성합니다. 기본적으로 하위 볼륨은 8진수 파일 모드 '755' 및 상위 디렉터리의 데이터 풀 레이아웃을 사용하여 생성됩니다.

    구문

    ceph fs subvolumegroup create VOLUME_NAME GROUP_NAME [--pool_layout DATA_POOL_NAME --uid UID --gid GID --mode OCTAL_MODE]

    [root@mon ~]# ceph fs subvolumegroup create cephfs subgroup0

  3. 하위 볼륨을 생성합니다. 기본적으로 하위 볼륨은 기본 하위 볼륨 그룹 내에 생성되고 8진수 파일 모드 '755', 하위 볼륨 그룹의 uid, 하위 볼륨 그룹의 gid, 상위 디렉터리의 데이터 풀 레이아웃, 크기 제한 없이 생성됩니다.

    구문

    ceph fs subvolume create VOLUME_NAME SUBVOLUME_NAME [--size SIZE_IN_BYTES --group_name SUBVOLUME_GROUP_NAME --pool_layout DATA_POOL_NAME --uid _UID --gid GID --mode OCTAL_MODE]

    [root@mon ~]# ceph fs subvolume create cephfs sub0 --group_name subgroup0

  4. 하위 볼륨의 스냅샷을 생성합니다.

    구문

    ceph fs subvolume snapshot create VOLUME_NAME _SUBVOLUME_NAME SNAP_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume snapshot create cephfs sub0 snap0  --group_name subgroup0

  5. 복제 작업을 시작합니다.

    참고

    기본적으로 복제된 하위 볼륨은 기본 그룹에 생성됩니다.

    1. source 하위 볼륨 및 대상 복제가 기본 그룹에 있는 경우 다음 명령을 실행합니다.

      구문

      ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME

      [root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0

    2. source 하위 볼륨이 기본이 아닌 그룹에 있는 경우 다음 명령에서 source 하위 볼륨 그룹을 지정합니다.

      구문

      ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME --group_name SUBVOLUME_GROUP_NAME

      [root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0 --group_name subgroup0

    3. 대상 복제가 기본이 아닌 그룹에 해당하는 경우 다음 명령에서 대상 그룹을 지정합니다.

      구문

      ceph fs subvolume snapshot clone VOLUME_NAME SUBVOLUME_NAME SNAP_NAME TARGET_CLONE_NAME --target_group_name SUBVOLUME_GROUP_NAME

      [root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 clone0 --target_group_name subgroup1

  6. 복제 작업의 상태를 확인합니다.

    구문

    ceph fs clone status VOLUME_NAME CLONE_NAME [--group_name TARGET_GROUP_NAME]

    예제

    [root@mon ~]# ceph fs clone status cephfs clone0 --group_name subgroup1
    
    {
      "status": {
        "state": "complete"
      }
    }

추가 리소스

4.3.8. 파일 시스템 하위 볼륨의 스냅샷 나열

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 나열하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.
  • 하위 볼륨의 스냅샷입니다.

프로세스

  • CephFS 하위 볼륨의 스냅샷을 나열합니다.

    구문

    ceph fs subvolume snapshot ls VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume snapshot ls cephfs sub0 --group_name subgroup0

4.3.9. 파일 시스템 하위 볼륨의 스냅샷 메타데이터 가져오기

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷 메타데이터를 가져오는 단계를 제공합니다.

사전 요구 사항

  • CephFS가 배포된 작동 중인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.
  • 하위 볼륨의 스냅샷입니다.

프로세스

  1. CephFS 하위 볼륨의 스냅샷 메타데이터를 가져옵니다.

    구문

    ceph fs subvolume snapshot info VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [root@mon ~]# ceph fs subvolume snapshot info cephfs sub0 snap0 --group_name subgroup0

    출력 예

    {
        "created_at": "2022-05-09 06:18:47.330682",
        "data_pool": "cephfs_data",
        "has_pending_clones": "no",
        "size": 0
    }

출력 형식은 JSON이며 다음 필드를 포함합니다.

  • created_at: "YYYY-MM-DD HH:MM:SS:ffffff" 형식으로 스냅샷 생성 시간입니다.
  • data_pool: 스냅샷이 속한 데이터 풀입니다.
  • has_pending_clones: 스냅샷 복제가 진행 중인 경우 "yes", 그렇지 않으면 "no"입니다.
  • size: 스냅샷 크기(바이트 단위)입니다.

4.3.10. 파일 시스템 하위 볼륨 제거

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨을 제거하는 단계를 설명합니다.

참고

ceph fs 하위 볼륨 rm 명령은 하위 볼륨과 해당 콘텐츠를 두 단계로 제거합니다. 먼저 하위 볼륨을 휴지통 폴더로 이동한 다음 내용을 비동기적으로 제거합니다.

하위 볼륨은 --retain-snapshots 옵션을 사용하여 하위 볼륨의 기존 스냅샷을 제거할 수 있습니다. 스냅샷이 유지되는 경우 보존된 스냅샷과 관련이 없는 모든 작업에 대해 하위 볼륨이 비어 있는 것으로 간주됩니다. 보존된 스냅샷을 복제 소스로 사용하여 하위 볼륨을 다시 생성하거나 최신 하위 볼륨에 복제할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨.

프로세스

  1. CephFS 하위 볼륨을 제거합니다.

    구문

    ceph fs subvolume rm VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME] [--force] [--retain-snapshots]

    [root@mon ~]# ceph fs subvolume rm cephfs sub0 --group_name subgroup0 --retain-snapshots

  2. 보존 스냅샷에서 하위 볼륨을 다시 생성하려면 다음을 수행합니다.

    구문

    ceph fs subvolume snapshot clone VOLUME_NAME DELETED_SUBVOLUME RETAINED_SNAPSHOT NEW_SUBVOLUME --group_name SUBVOLUME_GROUP_NAME --target_group_name SUBVOLUME_TARGET_GROUP_NAME

    • NEW_SUBVOLUME 은 이전에 삭제된 것과 동일한 하위 볼륨이거나 새 하위 볼륨에 복제할 수 있습니다.

    [root@mon ~]# ceph fs subvolume snapshot clone cephfs sub0 snap0 sub1 --group_name subgroup0 --target_group_name subgroup0

4.3.11. 파일 시스템 하위 볼륨의 스냅샷 제거

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷을 제거하는 단계를 제공합니다.

참고

--force 플래그를 사용하면 스냅샷이 없는 경우 명령이 성공할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • Ceph 파일 시스템 볼륨.
  • subvolume 그룹의 스냅샷입니다.

프로세스

  • CephFS 하위 볼륨의 스냅샷을 제거합니다.

    구문

    ceph fs subvolume snapshot rm VOLUME_NAME SUBVOLUME_NAME SNAP_NAME [--group_name GROUP_NAME --force]

    예제

    [root@mon ~]# ceph fs subvolume snapshot rm cephfs sub0 snap0 --group_name subgroup0 --force

추가 리소스

4.4. Ceph 파일 시스템 하위 볼륨에 대한 메타데이터 정보

스토리지 관리자는 Ceph File System(CephFS) 하위 볼륨의 메타데이터 정보를 설정, 가져오기, 나열 및 제거할 수 있습니다.

사용자 지정 메타데이터는 사용자가 해당 메타데이터를 하위 볼륨에 저장할 수 있는 것입니다. 사용자는 xattr 과 유사한 키-값 쌍을 Ceph 파일 시스템에 저장할 수 있습니다.

이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.

4.4.1. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 설정

파일 시스템 하위 볼륨에서 사용자 지정 메타데이터를 키-값 쌍으로 설정할 수 있습니다.

참고

key_name 이 이미 있으면 이전 값이 새 값으로 교체됩니다.

참고

KEY_NAMEVALUE 는 python의 string.printable 에 지정된 대로 ASCII 문자 문자열이어야 합니다. KEY_NAME 은 대소문자를 구분하지 않으며 항상 소문자로 저장됩니다.

중요

하위 볼륨의 사용자 정의 메타데이터는 하위 볼륨을 스냅 샷할 때 보존되지 않으므로 하위 볼륨 스냅샷을 복제할 때 보존되지도 않습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 파일 시스템(CephFS), CephFS 볼륨, 하위 볼륨 그룹, 생성된 하위 볼륨.

프로세스

  1. CephFS 하위 볼륨에서 메타데이터를 설정합니다.

    구문

    ceph fs subvolume metadata set VOLUME_NAME SUBVOLUME_NAME KEY_NAME VALUE [--group_name SUBVOLUME_GROUP_NAME]

    [ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 test_meta cluster --group_name subgroup0

  2. 선택 사항: KEY_NAME:의 공백으로 사용자 지정 메타데이터를 설정합니다.

    [ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 "test meta" cluster --group_name subgroup0

    그러면 VALUE 클러스터테스트 메타KEY_NAME 을 사용하여 또 다른 메타데이터가 생성됩니다.

  3. 선택 사항: 다른 값으로 동일한 메타데이터를 설정할 수도 있습니다.

    [ceph: root@host01 /]# ceph fs subvolume metadata set cephfs sub0 "test_meta" cluster2 --group_name subgroup0

4.4.2. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 가져오기

볼륨에 Ceph File System(CephFS)의 사용자 지정 메타데이터, 키-값 쌍을 가져오고 선택적으로 특정 하위 볼륨 그룹에서 가져올 수 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
  • CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.

프로세스

  • CephFS 하위 볼륨에서 메타데이터를 가져옵니다.

    구문

    ceph fs subvolume metadata get VOLUME_NAME SUBVOLUME_NAME KEY_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [ceph: root@host01 /]# ceph fs subvolume metadata get cephfs sub0 test_meta --group_name subgroup0
    
    cluster

4.4.3. 파일 시스템 하위 볼륨에 사용자 지정 메타데이터 나열

Ceph 파일 시스템(CephFS)의 키와 연결된 사용자 지정 메타데이터를 볼륨에서 나열하고 선택적으로 특정 하위 볼륨 그룹에 나열할 수 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
  • CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.

프로세스

  • CephFS 하위 볼륨의 메타데이터를 나열합니다.

    구문

    ceph fs subvolume metadata ls VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [ceph: root@host01 /]# ceph fs subvolume metadata ls cephfs sub0
    {
        "test_meta": "cluster"
    }

4.4.4. 파일 시스템 하위 볼륨에서 사용자 지정 메타데이터 제거

볼륨의 Ceph File System(CephFS)의 사용자 지정 메타데이터, 키-값 쌍, 특정 하위 볼륨 그룹에서 선택적으로 제거할 수 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • CephFS 볼륨, 하위 볼륨 그룹 및 하위 볼륨이 생성되었습니다.
  • CephFS 하위 볼륨에서 생성된 사용자 정의 메타데이터입니다.

프로세스

  1. CephFS 하위 볼륨에서 사용자 지정 메타데이터를 제거합니다.

    구문

    ceph fs subvolume metadata rm VOLUME_NAME SUBVOLUME_NAME KEY_NAME [--group_name SUBVOLUME_GROUP_NAME]

    [ceph: root@host01 /]# ceph fs subvolume metadata rm cephfs sub0 test_meta --group_name subgroup0

  2. 메타데이터를 나열합니다.

    [ceph: root@host01 /]# ceph fs subvolume metadata ls cephfs sub0
    
    {}

5장. Ceph 파일 시스템 관리

스토리지 관리자는 다음과 같은 일반적인 Ceph 파일 시스템(CephFS) 관리 작업을 수행할 수 있습니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph Metadata Server 데몬(ceph-mds)의 설치 및 구성.
  • Ceph 파일 시스템을 생성하고 마운트합니다.

5.1. cephfs-top 유틸리티 사용

Ceph 파일 시스템(CephFS)은 Ceph 파일 시스템에 지표를 실시간으로 표시하는 최상위유틸리티(예:)를 제공합니다. cephfs-top 유틸리티는 Ceph Manager 통계 모듈을 사용하여 클라이언트 성능 지표를 가져오고 표시하는 큐 기반 Python 스크립트입니다.

현재 cephfs-top 유틸리티는 거의 10k 클라이언트를 지원합니다.

참고

현재 Red Hat Enterprise Linux 9.2 커널에서는 일부 성능 통계를 사용할 수 없습니다. CephFS-top 는 Red Hat Enterprise Linux 9 이상에서 지원되며 Red Hat Enterprise Linux의 표준 터미널 중 하나를 사용합니다.

중요

cephfs-top 유틸리티에 대해 호환되는 최소 python 버전은 3.6.0입니다.

사전 요구 사항

  • 정상적이고 실행 중인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.
  • cephfs-top 패키지 설치

프로세스

  1. 아직 활성화되지 않은 경우 Red Hat Ceph Storage 8 툴 리포지토리를 활성화합니다.

    Red Hat Enterprise Linux 9

    [root@client ~]# subscription-manager repos --enable=rhceph-8-tools-for-rhel-9-x86_64-rpms

  2. cephfs-top 패키지를 설치합니다.

    [root@client ~]# dnf install cephfs-top

  3. Ceph Manager 통계 플러그인을 활성화합니다.

    [root@client ~]# ceph mgr module enable stats

  4. client.fstop Ceph 사용자를 생성합니다.

    [root@client ~]# ceph auth get-or-create client.fstop mon 'allow r' mds 'allow r' osd 'allow r' mgr 'allow r' > /etc/ceph/ceph.client.fstop.keyring

    참고

    선택적으로 --id 인수를 사용하여 client.fstop 이외의 다른 Ceph 사용자를 지정합니다.

  5. cephfs-top 유틸리티를 시작합니다.

    [root@client ~]# cephfs-top
    cephfs-top - Wed Nov 30 15:26:05 2022
    
    All Filesystem Info
    Total Client(s): 4 - 3 FUSE, 1 kclient, 0 libcephfs
    COMMANDS: m - select a filesystem | s - sort menu | l - limit number of clients | r - reset to default | q - quit
    
      client_id mount_root chit(%) dlease(%) ofiles oicaps oinodes rtio(MB) raio(MB) rsp(MB/s) wtio(MB) waio(MB) wsp(MB/s) rlatavg(ms) rlatsd(ms) wlatavg(ms) wlatsd(ms) mlatavg(ms) mlatsd(ms) mount_point@host/addr
    
    Filesystem: cephfs1 - 2 client(s)
    
    
      4500     /          100.0   100.0	     0	    751    0       0.0	    0.0	     0.0	   578.13   0.03     0.0       N/A         N/A        N/A         N/A       N/A        N/A       N/A@example/192.168.1.4
      4501     /          100.0   0.0      0	    1    0       0.0	    0.0	     0.0	   0.0   0.0     0.0       0.0         0.0        0.0         0.0        0.41        0.0       /mnt/cephfs2@example/192.168.1.4
    
    Filesystem: cephfs2 - 2 client(s)
    
    
      4512     /          100.0   0.0	     0	    1      0       0.0	    0.0	     0.0	   0.0      0.0      0.0       0.0         0.0        0.0         0.0        0.4        0.0        /mnt/cephfs3@example/192.168.1.4
      4518     /          100.0   0.0	     0	    1      0       0.0	    0.0	     0.0	   0.0      0.0      0.0       0.0         0.0        0.0         0.0        0.52        0.0        /mnt/cephfs4@example/192.168.1.4

5.1.1. cephfs-top 유틸리티 대화형 명령

특정 파일 시스템을 선택하고 cephfs-top 유틸리티 대화형 명령을 사용하여 해당 파일 시스템과 관련된 지표를 확인합니다.

m
설명
파일 시스템 선택: 선택할 수 있는 파일 시스템의 메뉴를 표시합니다.
q
설명
quit: 모든 파일 시스템 정보가 있는 홈 화면에 있는 경우 유틸리티를 종료합니다. 홈 화면에 없는 경우 홈 화면으로 돌아갑니다.
s
설명
sort 필드 선택: 정렬 필드를 디자인합니다. 'cap_hit'가 기본값입니다.
l
설명
클라이언트 제한: 표시할 클라이언트 수에 제한을 설정합니다.
r
설명
reset: sort 필드를 재설정하고 값을 기본값으로 설정합니다.

메트릭 디스플레이는 화살표 키, PgUp/PgDn, Home/End 및 마우스를 사용하여 스크롤할 수 있습니다.

파일 시스템 선택 메뉴를 입력하고 종료하는 예

[root@client ~]# m

                       Filesystems
Press "q" to go back to home (all filesystem info) screen



                        cephfs01
                        cephfs02
[root@client ~]# q

cephfs-top - Thu Oct 20 07:29:35 2022
Total Client(s): 3 - 2 FUSE, 1 kclient, 0 libcephfs

5.1.2. cephfs-top 유틸리티 옵션

cephfs-top 유틸리티 명령을 다양한 옵션과 함께 사용할 수 있습니다.

[root@client ~]# cephfs-top --selftest
selftest ok

--cluster NAME_OF_THE_CLUSTER
설명
이 옵션을 사용하면 기본이 아닌 클러스터 이름에 연결할 수 있습니다. 기본 이름은 ceph 입니다.
--ID USER
설명
이는 Ceph 클러스터에 연결하고 기본적으로 fstop 인 클라이언트입니다.
--selftest
설명
이 옵션을 사용하면 selftest를 수행할 수 있습니다. 이 모드는 stats 모듈의 sanity 검사를 수행합니다.
--conffile PATH_TO_THE_CONFIGURATION_FILE
설명
이 옵션을 사용하면 Ceph 클러스터 구성 파일의 경로를 제공할 수 있습니다.
-d/-delay INTERVAL_IN_SECONDS
설명

cephfs-top 유틸리티는 기본적으로 1초마다 통계를 새로 고칩니다. 이 옵션을 사용하면 새로 고침 간격을 변경할 수 있습니다.

참고

간격은 1초보다 크거나 같아야 합니다. 소수 초가 적용됩니다.

--dump
설명
이 옵션을 사용하면 curses 디스플레이 사용을 생성하지 않고 메트릭을 stdout에 덤프할 수 있습니다.
--dumpfs FILE_SYSTEM_NAME
설명
이 옵션을 사용하면 지정된 파일 시스템의 메트릭을 curses 디스플레이 사용을 생성하지 않고 stdout에 덤프할 수 있습니다.

5.2. MDS 자동 스케일러 모듈 사용

MDS Autoscaler 모듈은 Ceph 파일 시스템(CephFS)을 모니터링하여 충분한 MDS 데몬을 사용할 수 있도록 합니다. MDS 서비스의 Orchestrator 백엔드에 대한 배치 사양을 조정하여 작동합니다.

모듈은 다음 파일 시스템 설정을 모니터링하여 배치 수 조정을 알립니다.

  • max_mds 파일 시스템 설정
  • standby_count_wanted 파일 시스템 설정

Ceph 모니터 데몬은 이러한 설정에 따라 MDS를 승격하거나 중지해야 합니다. mds_autoscaler 는 오케스트레이터가 생성하는 MDS 수를 간단히 조정합니다.

사전 요구 사항

  • 정상적이고 실행 중인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  • MDS 자동 스케일러 모듈을 활성화합니다.

    [ceph: root@host01 /]# ceph mgr module enable mds_autoscaler

5.3. 커널 클라이언트로 마운트된 Ceph 파일 시스템 마운트 해제

커널 클라이언트로 마운트된 Ceph 파일 시스템을 마운트 해제하는 방법.

사전 요구 사항

  • 마운트를 수행하는 노드에 대한 루트 수준 액세스.

프로세스

  • 커널 클라이언트로 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.

    구문

    umount MOUNT_POINT

    예제

    [root@client ~]# umount /mnt/cephfs

추가 리소스

  • umount(8) 매뉴얼 페이지

5.4. FUSE 클라이언트로 마운트된 Ceph 파일 시스템 마운트 해제

사용자 공간(FUSE) 클라이언트에서 파일 시스템으로 마운트된 Ceph 파일 시스템을 마운트 해제합니다.

사전 요구 사항

  • FUSE 클라이언트 노드에 대한 루트 수준 액세스.

프로세스

  • FUSE에 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.

    구문

    fusermount -u MOUNT_POINT

    예제

    [root@client ~]# fusermount -u /mnt/cephfs

추가 리소스

  • ceph-fuse(8) 매뉴얼 페이지

5.5. 디렉터리 트리를 Metadata Server 데몬 순위에 매핑

디렉터리와 해당 하위 디렉터리를 특정 활성 메타데이터 서버(MDS) 순위에 매핑하여 해당 메타데이터가 해당 순위를 보유하는 MDS 데몬에서만 관리되도록 할 수 있습니다. 이 방법을 사용하면 애플리케이션 로드 또는 사용자 메타데이터 요청의 제한 영향을 전체 스토리지 클러스터에 균등하게 분산할 수 있습니다.

중요

내부 밸런서는 이미 애플리케이션 로드를 동적으로 분배합니다. 따라서 신중하게 선택한 특정 애플리케이션에 대한 순위만 디렉토리 트리를 매핑합니다.

또한 디렉터리가 순위로 매핑되면 밸런서를 분할할 수 없습니다. 결과적으로 매핑된 디렉터리 내의 많은 작업이 이를 관리하는 순위 및 MDS 데몬을 오버로드할 수 있습니다.

사전 요구 사항

  • 활성 MDS 데몬 두 개 이상
  • CephFS 클라이언트 노드에 대한 사용자 액세스입니다.
  • 마운트된 Ceph 파일 시스템이 있는 CephFS 클라이언트 노드에 attr 패키지가 설치되었는지 확인합니다.

프로세스

  1. Ceph 사용자의 기능에 p 플래그를 추가합니다.

    구문

    ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

    [user@client ~]$ ceph fs authorize cephfs_a client.1 /temp rwp
    
    client.1
      key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
      caps: [mds] allow r, allow rwp path=/temp
      caps: [mon] allow r
      caps: [osd] allow rw tag cephfs data=cephfs_a

  2. 디렉터리에 ceph.dir.pin 확장 속성을 설정합니다.

    구문

    setfattr -n ceph.dir.pin -v RANK DIRECTORY

    [user@client ~]$ setfattr -n ceph.dir.pin -v 2 /temp

    이 예에서는 /temp 디렉토리와 모든 하위 디렉토리를 2 순위로 할당합니다.

추가 리소스

5.6. 메타데이터 서버 데몬 순위의 디렉터리 트리 연결 해제

특정 활성 메타데이터 서버(MDS) 순위에서 디렉터리의 연결을 끊습니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS) 클라이언트 노드에 대한 사용자 액세스.
  • attr 패키지가 마운트된 CephFS를 사용하여 클라이언트 노드에 설치되어 있는지 확인합니다.

프로세스

  • 디렉터리에서 ceph.dir.pin 확장 속성을 -1로 설정합니다.

    구문

    setfattr -n ceph.dir.pin -v -1 DIRECTORY

    [user@client ~]$ setfattr -n ceph.dir.pin -v -1 /home/ceph-user

    참고

    /home/ceph-user/ 의 별도로 매핑된 하위 디렉터리는 영향을 받지 않습니다.

추가 리소스

5.7. 데이터 풀 추가

Ceph 파일 시스템(CephFS)은 데이터를 저장하는 데 사용할 두 개 이상의 풀 추가를 지원합니다. 이 기능은 다음에 유용할 수 있습니다.

  • 중복 풀 감소에 로그 데이터 저장.
  • SSD 또는 NVMe 풀에 사용자 홈 디렉터리 저장.
  • 기본 데이터 분리.

Ceph 파일 시스템에서 다른 데이터 풀을 사용하기 전에 이 섹션에 설명된 대로 추가해야 합니다.

기본적으로 CephFS는 파일 데이터를 저장하기 위해 생성 중에 지정된 초기 데이터 풀을 사용합니다. 보조 데이터 풀을 사용하려면 파일 및 디렉터리 레이아웃을 사용하여 해당 풀의 네임스페이스 또는 선택적으로 해당 풀에 파일 데이터를 저장하도록 파일 시스템 계층 구조의 일부를 구성해야 합니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. 새 데이터 풀을 생성합니다.

    구문

    ceph osd pool create POOL_NAME

    교체:

    • POOL_NAME (풀 이름)입니다.

    [ceph: root@host01 /]# ceph osd pool create cephfs_data_ssd
    
    pool 'cephfs_data_ssd' created

  2. 메타데이터 서버 제어 아래에 새로 생성된 풀을 추가합니다.

    구문

    ceph fs add_data_pool FS_NAME POOL_NAME

    교체:

    • FS_NAME 파일 시스템의 이름입니다.
    • POOL_NAME (풀 이름)입니다.

    예제:

    [ceph: root@host01 /]# ceph fs add_data_pool cephfs cephfs_data_ssd
    
    added data pool 6 to fsmap

  3. 풀이 성공적으로 추가되었는지 확인합니다.

    [ceph: root@host01 /]# ceph fs ls
    
    name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data cephfs_data_ssd]

  4. 선택 사항: 파일 시스템에서 데이터 풀을 제거합니다.

    구문

    ceph fs rm_data_pool FS_NAME POOL_NAME

    예제:

    [ceph: root@host01 /]# ceph fs rm_data_pool cephfs cephfs_data_ssd
    
    removed data pool 6 from fsmap

    1. 풀이 성공적으로 제거되었는지 확인합니다.

      [ceph: root@host01 /]# ceph fs ls
      
      name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data]

  5. cephx 인증을 사용하는 경우 클라이언트가 새 풀에 액세스할 수 있는지 확인합니다.

추가 리소스

5.8. Ceph 파일 시스템 클러스터 제거

down 플래그를 true 로 설정하여 Ceph 파일 시스템(CephFS) 클러스터를 중단할 수 있습니다. 이렇게 하면 저널을 메타데이터 풀로 플러시하고 모든 클라이언트 I/O를 중지하여 메타데이터 서버(MDS) 데몬이 정상적으로 종료됩니다.

또한 CephFS 클러스터를 사용하여 파일 시스템의 삭제를 테스트하고 재해 복구 시나리오를 작성할 때 메타데이터 서버(MDS) 데몬을 중단할 수도 있습니다. 이렇게 하면 MDS 대기 데몬이 파일 시스템을 활성화하지 못하도록 함께 사용할 있는 플래그가 설정됩니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. CephFS 클러스터를 종료하려면 다음을 수행합니다.

    구문

    ceph fs set FS_NAME down true

    [ceph: root@host01 /]# ceph fs set cephfs down true

    1. CephFS 클러스터를 백업하려면 다음을 수행합니다.

      구문

      ceph fs set FS_NAME down false

      [ceph: root@host01 /]# ceph fs set cephfs down false

    또는

  1. CephFS 클러스터를 신속하게 중단하려면 다음을 수행합니다.

    구문

    ceph fs fail FS_NAME

    [ceph: root@host01 /]# ceph fs fail cephfs

    참고

    CephFS 클러스터를 백업하려면 cephfsjoinable 으로 설정합니다.

    구문

    ceph fs set FS_NAME joinable true

    [ceph: root@host01 /]# ceph fs set cephfs joinable true
    
    cephfs marked joinable; MDS may join as newly active.

5.9. Ceph 파일 시스템 제거

Ceph 파일 시스템(CephFS)을 제거할 수 있습니다. 이렇게하기 전에 모든 데이터를 백업하고 모든 클라이언트가 파일 시스템을 로컬로 마운트 해제했는지 확인하는 것이 좋습니다.

주의

이 작업은 안전하지 않으며 Ceph 파일 시스템에 저장된 데이터에 영구적으로 액세스할 수 없게 됩니다.

사전 요구 사항

  • 데이터를 백업하십시오.
  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. 스토리지 클러스터를 down으로 표시합니다.

    구문

    ceph fs set FS_NAME down true

    대체 버전
    • 제거하려는 Ceph 파일 시스템의 이름이 FS_NAME 입니다.

    [ceph: root@host01 /]# ceph fs set cephfs down true
    
    cephfs marked down.

  2. Ceph 파일 시스템의 상태를 표시합니다.

    ceph fs status

    [ceph: root@host01 /]# ceph fs status
    
    cephfs - 0 clients
    ======
    +-------------------+----------+-------+-------+
    |       POOL        |   TYPE   |  USED | AVAIL |
    +-----------------+------------+-------+-------+
    |cephfs.cephfs.meta | metadata | 31.5M |  52.6G|
    |cephfs.cephfs.data |   data   |    0  |  52.6G|
    +-----------------+----------+-------+---------+
                   STANDBY MDS
    cephfs.ceph-host01
    cephfs.ceph-host02
    cephfs.ceph-host03

  3. Ceph 파일 시스템을 제거합니다.

    구문

    ceph fs rm FS_NAME --yes-i-really-mean-it

    대체 버전
    • 제거하려는 Ceph 파일 시스템의 이름이 FS_NAME 입니다.

    [ceph: root@host01 /]# ceph fs rm cephfs --yes-i-really-mean-it

  4. 파일 시스템이 성공적으로 제거되었는지 확인합니다.

    [ceph: root@host01 /]# ceph fs ls

  5. 선택 사항입니다. 제거된 파일 시스템과 관련된 데이터 및 메타데이터 풀을 제거합니다.

추가 리소스

  • Red Hat Ceph Storage Storage Strategies GuideDelete a Pool 섹션을 참조하십시오.

5.10. ceph mds fail 명령 사용

ceph mds fail 명령을 사용하여 다음을 수행합니다.

  • MDS 데몬을 실패로 표시합니다. 데몬이 활성 상태이고 적절한 대기 데몬을 사용할 수 있고 대기 -replay 구성을 비활성화한 후 대기 데몬이 활성화된 경우 이 명령을 사용하면 대기 데몬으로 장애 조치를 강제 적용합니다. standby-replay 데몬을 비활성화하면 새로운 standby-replay 데몬이 할당되지 않습니다.
  • 실행 중인 MDS 데몬을 다시 시작합니다. 데몬이 활성 상태이고 적절한 대기 데몬을 사용할 수 있는 경우 "실패" 데몬이 대기 데몬이 됩니다.

사전 요구 사항

  • Ceph MDS 데몬 설치 및 구성

프로세스

  • 데몬에 실패하면 다음을 수행합니다.

    구문

    ceph mds fail MDS_NAME

    여기서 MDS_NAMEstandby-replay MDS 노드의 이름입니다.

    [ceph: root@host01 /]# ceph mds fail example01

    참고

    ceph fs status 명령에서 Ceph MDS 이름을 찾을 수 있습니다.

추가 리소스

5.11. 클라이언트 기능

클라이언트가 Ceph 파일 시스템을 사용하려면 클라이언트가 지원해야 하는 Ceph 파일 시스템(CephFS) 기능을 설정할 수 있습니다. 이러한 기능이 없는 클라이언트는 다른 CephFS 클라이언트가 중단되거나 예기치 않은 방식으로 작동할 수 있습니다. 또한 오래된 것을 방지하기 위해 새로운 기능이 필요할 수 있으며 버그 클라이언트가 Ceph 파일 시스템에 연결하지 못할 수도 있습니다.

중요

새로 추가된 기능이 누락된 CephFS 클라이언트가 자동으로 제거됩니다.

fs features ls 명령을 사용하여 모든 CephFS 기능을 나열할 수 있습니다. fs required_client_features 명령을 사용하여 요구 사항을 추가하거나 제거할 수 있습니다.

구문

fs required_client_features FILE_SYSTEM_NAME add FEATURE_NAME
fs required_client_features FILE_SYSTEM_NAME rm FEATURE_NAME

기능 설명

reply_encoding
설명
클라이언트가 이 기능을 지원하는 경우 Ceph Metadata Server(MDS)는 응답 요청을 확장 가능한 형식으로 인코딩합니다.
reclaim_client
설명
Ceph MDS를 사용하면 새 클라이언트가 종료된 클라이언트 상태일 수 있는 다른 클라이언트를 회수할 수 있습니다. 이 기능은 NFS Ganesha에서 사용됩니다.
lazy_caps_wanted
설명
오래된 클라이언트가 다시 시작되면 클라이언트가 이 기능을 지원하는 경우 Ceph MDS는 명시적으로 원하는 기능만 다시 발행해야 합니다.
multi_reconnect
설명
Ceph MDS 페일오버 이벤트 후 클라이언트는 MDS에 다시 연결 메시지를 전송하여 캐시 상태를 다시 설정합니다. 클라이언트는 큰 재연결 메시지를 여러 메시지로 분할할 수 있습니다.
deleg_ino
설명
클라이언트가 이 기능을 지원하는 경우 Ceph MDS는 inode 번호를 클라이언트에 위임합니다. inode 번호를 위임하는 것은 클라이언트가 async 파일 생성을 수행하려면 사전 요구 사항입니다.
metric_collect
설명
CephFS 클라이언트는 성능 지표를 Ceph MDS로 보낼 수 있습니다.
alternate_name
설명
CephFS 클라이언트는 디렉터리 항목의 대체 이름을 설정하고 이해할 수 있습니다. 이 기능을 사용하면 암호화된 파일 이름을 사용할 수 있습니다.

5.12. Ceph 파일 시스템 클라이언트 제거

Ceph 파일 시스템(CephFS) 클라이언트가 응답하지 않거나 오작동하는 경우, 강제로 종료하거나 CephFS 액세스에서 제거해야 할 수 있습니다. CephFS 클라이언트를 제거하면 메타데이터 서버(MDS) 데몬 및 Ceph OSD 데몬과 추가로 통신할 수 없습니다. 제거 시 CephFS 클라이언트가 CephFS에 I/O를 버퍼링하는 경우 플러시되지 않은 데이터가 손실됩니다. CephFS 클라이언트 제거 프로세스는 FUSE 마운트, 커널 마운트, NFS 게이트웨이 및 libcephfs API 라이브러리를 사용하는 모든 프로세스에 적용됩니다.

MDS 데몬과 즉시 통신하지 못하거나 수동으로 CephFS 클라이언트를 제거할 수 있습니다.

자동 클라이언트 제거

이러한 시나리오로 인해 자동 CephFS 클라이언트 제거가 발생합니다.

  • CephFS 클라이언트가 기본값인 300초 동안 또는 session_autoclose 옵션에 설정된 활성 MDS 데몬과 통신하지 않은 경우.
  • mds_cap_revoke_eviction_timeout 옵션이 설정되어 있고 CephFS 클라이언트가 설정된 시간 동안 제한 취소 메시지에 응답하지 않은 경우. mds_cap_revoke_eviction_timeout 옵션은 기본적으로 비활성화되어 있습니다.
  • MDS 시작 또는 장애 조치 중에 MDS 데몬은 모든 CephFS 클라이언트가 새 MDS 데몬에 연결할 때까지 대기하고 다시 연결 단계를 진행합니다. CephFS 클라이언트가 기본 시간 창 45초 내에 다시 연결하지 못하거나 mds_reconnect_timeout 옵션으로 설정된 경우입니다.

추가 리소스

5.13. Blocklist Ceph 파일 시스템 클라이언트

Ceph 파일 시스템(CephFS) 클라이언트 차단 목록은 기본적으로 활성화되어 있습니다. 단일 메타데이터 서버(MDS) 데몬에 제거 명령을 보내면 blocklist를 다른 MDS 데몬에 전파합니다. 이는 CephFS 클라이언트가 데이터 오브젝트에 액세스하지 못하도록 하기 위해 다른 CephFS 클라이언트 및 차단된 클라이언트 항목이 포함된 최신 Ceph OSD 맵을 사용하여 MDS 데몬을 업데이트해야 합니다.

Ceph OSD 맵을 업데이트할 때 내부 "osdmap epoch barrier" 메커니즘이 사용됩니다. 장벽의 목적은 ENOSPC 또는 차단 목록에 있는 클라이언트의 제거와 같이 취소된 작업과 경쟁하지 않을 수 있는 기능을 할당하기 전에 기능을 수신하는 CephFS 클라이언트에 충분히 최근의 Ceph OSD 맵이 있는지 확인하는 것입니다.

느린 노드 또는 신뢰할 수 없는 네트워크로 인해 CephFS 클라이언트 제거가 자주 발생하고 기본 문제를 해결할 수 없는 경우 MDS에 덜 엄격하게 요청할 수 있습니다. MDS 세션을 간단히 삭제하여 속도가 느린 CephFS 클라이언트에 응답할 수 있지만 CephFS 클라이언트가 세션을 다시 열고 Ceph OSD에 계속 통신할 수 있습니다. mds_session_blocklist_on_timeoutmds_session_blocklist_on_evict 옵션을 false 로 설정하면 이 모드를 활성화합니다.

참고

차단 목록이 비활성화되면 제거된 CephFS 클라이언트는 명령을 보내는 MDS 데몬에만 영향을 미칩니다. 활성 MDS 데몬이 여러 개인 시스템에서 각 활성 데몬에 제거 명령을 보내야 합니다.

5.14. 수동으로 Ceph 파일 시스템 클라이언트 제거

클라이언트가 잘못 작동하고 클라이언트가 클라이언트 노드에 액세스할 수 없는 경우 Ceph 파일 시스템(CephFS) 클라이언트를 수동으로 제거하고 클라이언트가 종료되고 클라이언트 세션이 시간 초과될 때까지 기다리지 않으려는 경우가 있습니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. 클라이언트 목록을 검토합니다.

    구문

    ceph tell DAEMON_NAME client ls

    [ceph: root@host01 /]# ceph tell mds.0 client ls
    [
        {
            "id": 4305,
            "num_leases": 0,
            "num_caps": 3,
            "state": "open",
            "replay_requests": 0,
            "completed_requests": 0,
            "reconnecting": false,
            "inst": "client.4305 172.21.9.34:0/422650892",
            "client_metadata": {
                "ceph_sha1": "79f0367338897c8c6d9805eb8c9ad24af0dcd9c7",
                "ceph_version": "ceph version 16.2.8-65.el8cp (79f0367338897c8c6d9805eb8c9ad24af0dcd9c7)",
                "entity_id": "0",
                "hostname": "senta04",
                "mount_point": "/tmp/tmpcMpF1b/mnt.0",
                "pid": "29377",
                "root": "/"
            }
        }
    ]

  2. 지정된 CephFS 클라이언트를 제거합니다.

    구문

    ceph tell DAEMON_NAME client evict id=ID_NUMBER

    [ceph: root@host01 /]# ceph tell mds.0 client evict id=4305

5.15. blocklist에서 Ceph 파일 시스템 클라이언트 제거

경우에 따라 이전에 차단된 Ceph 파일 시스템(CephFS) 클라이언트가 스토리지 클러스터에 다시 연결할 수 있도록 하는 것이 유용할 수 있습니다.

중요

blocklist에서 CephFS 클라이언트를 제거하면 데이터 무결성을 위험하게 만들 수 있으며 결과적으로 완전히 정상적이고 기능적인 CephFS 클라이언트를 보장하지 않습니다. 제거 후 완전히 정상 CephFS 클라이언트를 가져오는 가장 좋은 방법은 CephFS 클라이언트를 마운트 해제하고 새로 마운트하는 것입니다. 다른 CephFS 클라이언트가 차단 목록에 있는 CephFS 클라이언트가 I/O를 버퍼링한 파일에 액세스하는 경우 데이터가 손상될 수 있습니다.

사전 요구 사항

  • Ceph Monitor 노드에 대한 루트 수준 액세스.

프로세스

  1. blocklist를 검토합니다.

    [ceph: root@host01 /]# ceph osd blocklist ls
    
    listed 1 entries
    127.0.0.1:0/3710147553 2022-05-09 11:32:24.716146

  2. blocklist에서 CephFS 클라이언트를 제거합니다.

    구문

    ceph osd blocklist rm CLIENT_NAME_OR_IP_ADDR

    [ceph: root@host01 /]# ceph osd blocklist rm 127.0.0.1:0/3710147553
    
    un-blocklisting 127.0.0.1:0/3710147553

  3. 선택적으로 블록 목록에서 커널 기반 CephFS 클라이언트를 제거할 때 자동으로 다시 연결할 수 있습니다. 커널 기반 CephFS 클라이언트에서 수동 마운트를 수행할 때 또는 /etc/fstab 파일의 항목을 사용하여 자동으로 마운트되도록 다음 옵션을 설정합니다.

    recover_session=clean
  4. 선택적으로 블록 목록에서 제거할 때 FUSE 기반 CephFS 클라이언트를 자동으로 다시 연결할 수 있습니다. FUSE 클라이언트에서 수동 마운트를 수행할 때 또는 /etc/fstab 파일의 항목을 사용하여 자동으로 마운트하는 경우 다음 옵션을 true 로 설정합니다.

    client_reconnect_stale=true

추가 리소스

6장. Ceph 파일 시스템 할당량

스토리지 관리자는 파일 시스템의 모든 디렉터리에서 할당량을 확인, 설정, 제거할 수 있습니다. 바이트 수 또는 디렉터리 내의 파일 수에 할당량 제한을 배치할 수 있습니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • attr 패키지가 설치되어 있는지 확인합니다.

6.1. Ceph 파일 시스템 할당량

Ceph 파일 시스템(CephFS) 할당량을 사용하면 바이트 수 또는 디렉터리 구조에 저장된 파일 수를 제한할 수 있습니다. Ceph 파일 시스템 할당량은 FUSE 클라이언트를 사용하거나 커널 클라이언트, 버전 4.17 이상을 사용하여 완전히 지원됩니다.

제한

  • CephFS 할당량은 구성된 제한에 도달할 때 데이터 쓰기를 중지하기 위해 파일 시스템을 마운트하는 클라이언트의 협업에 의존합니다. 그러나 할당량만으로는 신뢰할 수 없는 보조 클라이언트가 파일 시스템을 채우는 것을 방지할 수 없습니다.
  • 파일 시스템에 데이터를 쓰는 프로세스가 구성된 한도에 도달하면 데이터 양이 할당량 제한에 도달하는 경우 프로세스가 데이터 쓰기를 중지하는 시점 간의 짧은 기간이 단축됩니다. 시간 기간은 일반적으로 10초 내에 측정됩니다. 그러나 프로세스는 해당 기간 동안 계속 데이터를 작성합니다. 프로세스에서 작성하는 추가 데이터의 양은 중지되기 전 경과된 시간에 따라 다릅니다.
  • 경로 기반 액세스 제한을 사용하는 경우 클라이언트가 제한된 디렉터리 또는 그 아래에 중첩된 디렉터리에 할당량을 구성해야 합니다. 클라이언트가 MDS 기능을 기반으로 특정 경로에 대한 액세스를 제한하고 클라이언트가 액세스할 수 없는 상위 디렉터리에 할당량이 구성된 경우 클라이언트는 할당량을 적용하지 않습니다. 예를 들어 클라이언트가 /home/ 디렉터리에 액세스할 수 없고 할당량이 /home/ 에 구성된 경우 클라이언트는 /home/ user/ 디렉터리에 해당 할당량을 적용할 수 없습니다.
  • 삭제되거나 변경된 스냅샷 파일 데이터는 할당량에 포함되지 않습니다.
  • setxattr 을 사용할 때 NFS 클라이언트의 할당량을 지원하지 않으며 NFS에서 파일 수준 할당량을 지원하지 않습니다. NFS 공유에서 할당량을 사용하려면 subvolumes를 사용하여 내보내기하고 --size 옵션을 설정할 수 있습니다.

6.2. 할당량 보기

getfattr 명령과 ceph.quota 확장 속성을 사용하여 디렉터리의 할당량 설정을 확인합니다.

참고

속성이 디렉터리 inode에 표시되면 해당 디렉터리에 구성된 할당량이 있습니다. inode에 속성이 나타나지 않으면 상위 디렉터리에 할당량이 구성되어 있을 수 있지만 디렉터리에 할당량이 설정되지 않습니다. 확장 속성 값이 0 이면 할당량이 설정되지 않습니다.

사전 요구 사항

  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.
  • attr 패키지가 설치되어 있습니다.

프로세스

  1. CephFS 할당량을 보려면 다음을 수행합니다.

    1. 바이트 제한 할당량 사용:

      구문

      getfattr -n ceph.quota.max_bytes DIRECTORY

      [root@client ~]# getfattr -n ceph.quota.max_bytes /mnt/cephfs/
      getfattr: Removing leading '/' from absolute path names
      # file: mnt/cephfs/
      ceph.quota.max_bytes="100000000"

      이 예제에서 100000000 은 100MB입니다.

    2. 파일 제한 할당량 사용:

      구문

      getfattr -n ceph.quota.max_files DIRECTORY

      [root@client ~]# getfattr -n ceph.quota.max_files /mnt/cephfs/
      getfattr: Removing leading '/' from absolute path names
      # file: mnt/cephfs/
      ceph.quota.max_files="10000"

      이 예에서 10000 은 10,000개의 파일과 같습니다.

추가 리소스

  • 자세한 내용은 getfattr(1) 매뉴얼 페이지를 참조하십시오.

6.3. 할당량 설정

이 섹션에서는 setfattr 명령과 ceph.quota 확장 속성을 사용하여 디렉터리의 할당량을 설정하는 방법을 설명합니다.

사전 요구 사항

  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.
  • attr 패키지가 설치되어 있습니다.

프로세스

  • 바이트 제한 할당량을 사용하여 direcotry 할당량을 설정합니다.

    참고

    바이트 제한 할당량에 대해 지원되는 값은 K, Ki, M, Mi, G, Gi, T, Ti입니다.

    구문

    setfattr -n ceph.quota.max_bytes -v LIMIT_VALUE DIRECTORY

    [root@client ~]# setfattr -n ceph.quota.max_bytes -v 2T /cephfs/

  • 파일 제한 할당량을 사용하여 디렉터리에 대한 할당량을 설정합니다.

    구문

    setfattr -n ceph.quota.max_files -v LIMIT_VALUE DIRECTORY

    [root@client ~]# setfattr -n ceph.quota.max_files -v 10000 /cephfs/

    이 예에서 10000 은 10,000개의 파일과 같습니다.

    참고

    파일 LIMIT_VALUE.에 대해 숫자 값만 지원됩니다.

추가 리소스

  • 자세한 내용은 setfattr(1) 매뉴얼 페이지를 참조하십시오.

6.4. 할당량 제거

이 섹션에서는 setfattr 명령과 ceph.quota 확장 속성을 사용하여 디렉터리에서 할당량을 제거하는 방법을 설명합니다.

사전 요구 사항

  • Ceph 클라이언트 노드에 대한 루트 수준 액세스.
  • attr 패키지가 설치되어 있는지 확인합니다.

프로세스

  1. CephFS 할당량을 제거하려면 다음을 수행합니다.

    1. 바이트 제한 할당량 사용:

      구문

      setfattr -n ceph.quota.max_bytes -v 0 DIRECTORY

      [root@client ~]# setfattr -n ceph.quota.max_bytes -v 0 /mnt/cephfs/

    2. 파일 제한 할당량 사용:

      구문

      setfattr -n ceph.quota.max_files -v 0 DIRECTORY

      [root@client ~]# setfattr -n ceph.quota.max_files -v 0 /mnt/cephfs/

추가 리소스

  • 자세한 내용은 setfattr(1) 매뉴얼 페이지를 참조하십시오.

추가 리소스

7장. 파일 및 디렉터리 레이아웃

스토리지 관리자는 파일 또는 디렉터리 데이터가 개체에 매핑되는 방법을 제어할 수 있습니다.

이 섹션에서는 다음을 수행하는 방법에 대해 설명합니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • attr 패키지 설치.

7.1. 파일 및 디렉터리 레이아웃 개요

이 섹션에서는 Ceph 파일 시스템의 컨텍스트에 있는 파일 및 디렉터리 레이아웃에 대해 설명합니다.

파일 또는 디렉터리의 레이아웃은 해당 콘텐츠를 Ceph RADOS 오브젝트에 매핑하는 방법을 제어합니다. 디렉터리 레이아웃은 주로 해당 디렉터리의 새 파일에 대해 상속된 레이아웃을 설정하는 데 사용됩니다.

파일 또는 디렉터리 레이아웃을 보고 설정하려면 가상 확장 속성 또는 확장 파일 속성(xattrs)을 사용합니다. 레이아웃 속성의 이름은 파일이 일반 파일인지 디렉터리인지에 따라 달라집니다.

  • 일반 파일 레이아웃 속성은 ceph.file.layout 이라고 합니다.
  • 디렉터리 레이아웃 속성은 ceph.dir.layout 이라고 합니다.

레이아웃 Inheritance

파일은 상위 디렉터리의 레이아웃을 생성할 때 상속됩니다. 그러나 상위 디렉터리 레이아웃에 대한 후속 변경 사항은 하위 항목에 영향을 미치지 않습니다. 디렉터리에 레이아웃이 설정되지 않은 경우 파일은 가장 가까운 디렉터리에서 디렉터리 구조의 레이아웃으로 레이아웃을 상속합니다.

7.2. 파일 및 디렉터리 레이아웃 필드 설정

setfattr 명령을 사용하여 파일 또는 디렉터리에 레이아웃 필드를 설정합니다.

중요

파일의 레이아웃 필드를 수정할 때 파일이 비어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

사전 요구 사항

  • 노드에 대한 루트 수준 액세스.

프로세스

  • 파일 또는 디렉터리에서 레이아웃 필드를 수정하려면 다음을 수행합니다.

    구문

    setfattr -n ceph.TYPE.layout.FIELD -v VALUE PATH

    교체:

    • 파일 또는 디렉터리 가 있는 TYPE .
    • 필드의 이름으로 FIELD 입니다.
    • 필드의 새 값을 사용하여 VALUE 입니다.
    • 파일 또는 디렉터리의 경로가 있는 PATH 입니다.

    [root@mon ~]# setfattr -n ceph.file.layout.stripe_unit -v 1048576 test

추가 리소스

7.3. 파일 및 디렉터리 레이아웃 필드 보기

getfattr 명령을 사용하여 파일 또는 디렉터리의 레이아웃 필드를 보려면 다음을 수행합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 스토리지 클러스터의 모든 노드에 대한 루트 수준 액세스.

프로세스

  • 파일 또는 디렉터리의 레이아웃 필드를 단일 문자열로 보려면 다음을 수행합니다.

    구문

    getfattr -n ceph.TYPE.layout PATH

    대체 버전
    • 파일 또는 디렉터리의 경로가 있는 PATH 입니다.
    • 파일 또는 디렉터리 가 있는 TYPE .

    [root@mon ~]# getfattr -n ceph.dir.layout /home/test
    ceph.dir.layout="stripe_unit=4194304 stripe_count=2 object_size=4194304 pool=cephfs_data"

참고

디렉터리에는 설정할 때까지 명시적 레이아웃이 없습니다. 결과적으로 첫 번째 설정 없이 레이아웃을 확인하려고 하면 표시할 변경 사항이 없기 때문에 실패합니다.

추가 리소스

7.4. 개별 레이아웃 필드 보기

getfattr 명령을 사용하여 파일 또는 디렉터리의 개별 레이아웃 필드를 확인합니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 스토리지 클러스터의 모든 노드에 대한 루트 수준 액세스.

프로세스

  • 파일 또는 디렉터리의 개별 레이아웃 필드를 보려면 다음을 수행합니다.

    구문

    getfattr -n ceph.TYPE.layout.FIELD _PATH

    대체 버전
    • 파일 또는 디렉터리 가 있는 TYPE .
    • 필드의 이름으로 FIELD 입니다.
    • 파일 또는 디렉터리의 경로가 있는 PATH 입니다.

    [root@mon ~]# getfattr -n ceph.file.layout.pool test
    ceph.file.layout.pool="cephfs_data"

    참고

    풀 필드의 풀은 이름으로 표시됩니다. 그러나 새로 생성된 풀은 ID로 표시할 수 있습니다.

추가 리소스

  • getfattr(1) 매뉴얼 페이지.

7.5. 디렉터리 레이아웃 제거

setfattr 명령을 사용하여 디렉터리에서 레이아웃을 제거합니다.

참고

파일 레이아웃을 설정하면 변경하거나 제거할 수 없습니다.

사전 요구 사항

  • 레이아웃이 있는 디렉터리입니다.

프로세스

  1. 디렉터리에서 레이아웃을 제거하려면 다음을 수행합니다.

    구문

    setfattr -x ceph.dir.layout DIRECTORY_PATH

    [user@client ~]$ setfattr -x ceph.dir.layout /home/cephfs

  2. pool_namespace 필드를 제거하려면 다음을 수행합니다.

    구문

    setfattr -x ceph.dir.layout.pool_namespace DIRECTORY_PATH

    [user@client ~]$ setfattr -x ceph.dir.layout.pool_namespace /home/cephfs

    참고

    pool_namespace 필드는 별도로 제거할 수 있는 유일한 필드입니다.

추가 리소스

  • setfattr(1) 매뉴얼 페이지

추가 리소스

8장. Ceph 파일 시스템 스냅샷

스토리지 관리자는 Ceph 파일 시스템(CephFS) 디렉터리의 지정 시간 스냅샷을 만들 수 있습니다. CephFS 스냅샷은 비동기식이며 생성된 디렉터리 스냅샷을 선택할 수 있습니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.

8.1. Ceph 파일 시스템 스냅샷

새 Ceph 파일 시스템에서 Ceph 파일 시스템(CephFS) 스냅샷팅 기능은 기본적으로 활성화되어 있지만 기존 Ceph 파일 시스템에서 수동으로 활성화해야 합니다. CephFS 스냅샷은 Ceph 파일 시스템의 변경 불가능한 시점 보기를 생성합니다. CephFS 스냅샷은 비동기적이며 CephFS 디렉터리의 .snap 디렉터리에 있는 특수 숨겨진 디렉터리에 보관됩니다. Ceph 파일 시스템 내의 모든 디렉터리에 대해 스냅샷 생성을 지정할 수 있습니다. 디렉터리를 지정할 때 스냅샷에는 그 아래의 모든 하위 디렉터리도 포함됩니다.

주의

각 Ceph Metadata Server(MDS) 클러스터는 snap ID를 독립적으로 할당합니다. 단일 풀을 공유하는 여러 Ceph 파일 시스템에 스냅샷을 사용하면 스냅샷 충돌이 발생하여 파일 데이터가 누락됩니다.

추가 리소스

8.2. Ceph 파일 시스템의 스냅샷 생성

스냅샷을 생성하여 Ceph 파일 시스템(CephFS)의 변경 불가능한 시점 보기를 생성할 수 있습니다.

참고

새 Ceph 파일 시스템의 경우 스냅샷은 기본적으로 활성화됩니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • Ceph Metadata Server(MDS) 노드에 대한 루트 수준 액세스.

프로세스

  1. Cephadm 쉘에 로그인합니다.

    [root@mds ~]# cephadm shell

  2. 기존 Ceph 파일 시스템의 경우 스냅샷 기능을 활성화합니다.

    구문

    ceph fs set FILE_SYSTEM_NAME allow_new_snaps true

    [ceph: root@mds ~]# ceph fs set cephfs01 allow_new_snaps true

  3. .snap 디렉터리에 새 스냅샷 하위 디렉터리를 생성합니다.

    구문

    mkdir NEW_DIRECTORY_PATH

    [ceph: root@mds ~]# mkdir /.snap/new-snaps

    이 예제에서는 new-snaps 하위 디렉터리를 생성하고, 그러면 Ceph Metadata Server(MDS)에 스냅샷 생성을 시작하도록 알립니다.

    1. 스냅샷을 삭제하려면 다음을 수행합니다.

      구문

      rmdir NEW_DIRECTORY_PATH

      [ceph: root@mds ~]# rmdir /.snap/new-snaps

      중요

      기본 스냅샷을 포함할 수 있는 루트 수준 스냅샷을 삭제하려고 하면 실패합니다.

추가 리소스

9장. Ceph 파일 시스템 스냅샷 예약

스토리지 관리자는 Ceph 파일 시스템(CephFS) 디렉터리의 지정 시간 스냅샷을 만들 수 있습니다. CephFS 스냅샷은 비동기식이며 생성된 디렉터리 스냅샷을 선택할 수 있습니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.

9.1. Ceph 파일 시스템 스냅샷 스케줄

Ceph 파일 시스템(CephFS)은 파일 시스템 디렉터리의 스냅샷을 예약할 수 있습니다. 스냅샷 예약은 Ceph Manager에서 관리하며 Python 타이머를 사용합니다. 스냅샷 일정 데이터는 CephFS 메타데이터 풀에 오브젝트로 저장되며 런타임 시 모든 일정 데이터는 직렬화된 SQLite 데이터베이스에 있습니다.

중요

스케줄러는 스토리지 클러스터가 일반 로드 상태에 있을 때 스냅샷을 별도로 유지하기 위해 지정된 시간을 정확하게 기반으로 합니다. Ceph Manager가 부하가 많은 경우 스냅샷이 즉시 예약되지 않아 스냅샷이 약간 지연될 수 있습니다. 이 경우 예약된 다음 스냅샷은 지연이 없는 것처럼 작동합니다. 지연된 스냅샷은 전체 일정에 드리프트가 발생하지 않습니다.

사용법

Ceph 파일 시스템(CephFS)의 스냅샷 예약은 snap_schedule Ceph Manager 모듈에서 관리합니다. 이 모듈은 스냅샷 일정을 추가, 쿼리 및 삭제하고 보존 정책을 관리하는 인터페이스를 제공합니다. 이 모듈은 스케줄 및 보존 정책을 관리하기 위한 여러 하위 명령과 함께 ceph fs snap-schedule 명령을 구현합니다. 모든 하위 명령은 CephFS 볼륨 경로와 하위 경로 인수를 사용하여 여러 Ceph File Systems를 사용할 때 파일 시스템 경로를 지정합니다. CephFS 볼륨 경로를 지정하지 않으면 인수가 fs_map 에 나열된 첫 번째 파일 시스템으로 기본 설정되며 하위 경로 인수는 기본값을 지정하지 않습니다.

스냅샷 스케줄은 파일 시스템 경로, 반복 간격 및 시작 시간으로 식별됩니다. 반복 간격은 두 개의 후속 스냅샷 사이의 시간을 정의합니다. 간격 형식은 숫자와 시간 지정자( h(our), d(ay) 또는 w(eek)입니다. 예를 들어, 간격이 4h 인 경우 4시간마다 하나의 스냅샷을 의미합니다. 시작 시간은 ISO 형식 %Y-%m-%dT%H:%M:%M:%S 의 문자열 값이며 지정되지 않은 경우 시작 시간은 마지막 자정의 기본값을 사용합니다. 예를 들어 기본 시작 시간 값을 1h 의 반복 간격으로 사용하여 14:45 에 스냅샷을 예약하면 첫 번째 스냅샷이 15:00에 수행됩니다.

보존 정책은 파일 시스템 경로 및 보존 정책 사양으로 식별됩니다. 보존 정책을 정의하는 것은 COUNT TIME_PERIOD 형식의 숫자와 시간 지정자 또는 연결된 쌍으로 구성됩니다. 정책을 사용하면 여러 스냅샷이 유지되며 스냅샷은 최소한 지정된 기간 동안 분리됩니다. 시간 지정자는 h(our), d(ay), w(eek), m(onth), y(ear) 및 n 입니다. n 시간 간격 지정자는 타이밍에 관계없이 마지막 스냅샷 수를 유지하는 특수 수정자입니다. 예를 들어 4d 는 1일 이상 또는 서로 더 긴 스냅샷 4개를 유지하는 것을 의미합니다.

추가 리소스

9.2. Ceph 파일 시스템의 스냅샷 일정 추가

아직 존재하지 않는 CephFS 경로의 스냅샷 일정을 추가합니다. 단일 경로에 대해 하나 이상의 스케줄을 생성할 수 있습니다. 반복 간격과 시작 시간이 다른 경우 스케줄은 다른 것으로 간주됩니다.

CephFS 경로에는 보존 정책이 하나만 있을 수 있지만 보존 정책에는 여러 카운트 시간 기간 쌍이 있을 수 있습니다.

참고

스케줄러 모듈이 활성화되면 ceph fs snap-schedule 명령을 실행하면 사용 가능한 하위 명령과 사용 형식이 표시됩니다.

사전 요구 사항

  • 실행 중이고 정상적인 Red Hat Ceph Storage 클러스터입니다.
  • Ceph 파일 시스템 배포.
  • Ceph Manager 및 Metadata Server(MDS) 노드에 대한 루트 수준 액세스.
  • 파일 시스템에서 CephFS 스냅샷을 활성화합니다.

프로세스

  1. Ceph Manager 노드의 Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  2. snap_schedule 모듈을 활성화합니다.

    [ceph: root@host01 /]# ceph mgr module enable snap_schedule

  3. 클라이언트 노드에 로그인합니다.

    [root@host02 ~]# cephadm shell

  4. Ceph 파일 시스템의 새 일정을 추가합니다.

    구문

    ceph fs snap-schedule add FILE_SYSTEM_VOLUME_PATH REPEAT_INTERVAL [START_TIME] --fs CEPH_FILE_SYSTEM_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00 --fs mycephfs

    참고

    START_TIME 은 ISO 8601 형식으로 표시됩니다.

    이 예에서는 파일 시스템 cephfs 내에 경로 /cephfs 에 대한 스냅샷 일정을 생성하고 2022년 6월 27일 스냅 샷을 2022년 6월 9:50 PM에서 시작합니다.

  5. CephFS 볼륨 경로의 스냅샷에 대한 새 보존 정책을 추가합니다.

    구문

    ceph fs snap-schedule retention add FILE_SYSTEM_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

    [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs h 14 1
    [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs d 4 2
    [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs 14h4w 3

    1
    이 예에서는 14개의 스냅샷을 최소 1시간 간격으로 유지합니다.
    2
    이 예에서는 하루에 최소 4개의 스냅샷을 유지합니다.
    3
    이 예에서는 14시간, 주별 스냅샷 4개를 유지합니다.
  6. 스냅샷 일정을 나열하여 새 일정이 생성되었는지 확인합니다.

    구문

    ceph fs snap-schedule list FILE_SYSTEM_VOLUME_PATH [--format=plain|json] [--recursive=true]

    [ceph: root@host02 /]# ceph fs snap-schedule list /cephfs --recursive=true

    이 예에서는 디렉터리 트리의 모든 일정을 나열합니다.

  7. 스냅샷 일정의 상태를 확인합니다.

    구문

    ceph fs snap-schedule status FILE_SYSTEM_VOLUME_PATH [--format=plain|json]

    [ceph: root@host02 /]# ceph fs snap-schedule status /cephfs --format=json

    이 예에서는 CephFS /cephfs 경로의 스냅샷 일정 상태를 JSON 형식으로 표시합니다. 지정되지 않은 경우 기본 형식은 일반 텍스트입니다.

추가 리소스

9.3. Ceph File System 하위 볼륨의 스냅샷 일정 추가

Ceph File System (CephFS) 하위 스냅샷의 보존 정책을 관리하기 위해 단일 경로에 대해 다른 일정을 가질 수 있습니다.

반복 간격과 시작 시간이 다른 경우 스케줄은 다른 것으로 간주됩니다.

아직 존재하지 않는 CephFS 파일 경로에 대한 스냅샷 일정을 추가합니다. CephFS 경로에는 보존 정책이 하나만 있을 수 있지만 보존 정책에는 여러 카운트 시간 기간 쌍이 있을 수 있습니다.

참고

스케줄러 모듈이 활성화되면 ceph fs snap-schedule 명령을 실행하면 사용 가능한 하위 명령과 사용 형식이 표시됩니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.

다음에 대한 스냅샷 일정을 생성할 수 있습니다.

  • 하위 볼륨의 디렉터리입니다.
  • 기본 그룹의 하위 볼륨.
  • 기본이 아닌 그룹의 하위 볼륨.

그러나 명령은 다릅니다.

프로세스

  • 하위 볼륨에서 디렉터리에 대한 스냅샷 일정을 생성하려면 다음을 수행합니다.

    1. 디렉터리가 존재하는 하위 볼륨의 절대 경로를 가져옵니다.

      구문

      ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME SUBVOLUME_GROUP_NAME

      [ceph: root@host02 /]# ceph fs subvolume getpath cephfs subvol_1 subvolgroup_1

    2. 하위 볼륨의 디렉터리에 스냅샷 일정을 추가합니다.

      구문

      ceph fs snap-schedule add SUBVOLUME_DIR_PATH SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME

      참고

      snap-schedule 명령의 경로는 <absolute_path_of_ subvolume>/<relative_path_of_test_dir>, subvolume의 absolute_path를 참조하십시오.

      [ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00 --fs cephfs --subvol subvol_1
      Schedule set for path /..

      참고

      START_TIME 은 ISO 8601 형식으로 표시됩니다.

      이 예에서는 하위 볼륨 경로에 대한 스냅샷 일정을 생성하고, 시간마다 스냅 샷을 생성하며 2022년 6월 27일 오전 9:50 PM에서 시작됩니다.

  • 기본 그룹에 하위 볼륨의 스냅샷 일정을 생성하려면 다음 명령을 실행합니다.

    구문

    ceph fs snap-schedule add /.. SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol _SUBVOLUME_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule add - 2M --subvol sv_non_def_1

    참고

    경로는 정의되어야 하며 비워 둘 수 없습니다.Length 문자열 값에 대한 종속성이 없으며 / , -' 또는 /. . .로 정의할 수 있습니다.

  • 기본이 아닌 그룹에 하위 볼륨의 스냅샷 일정을 생성하려면 다음 명령을 실행합니다.

    구문

    ceph fs snap-schedule add /.. SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME --subvol _SUBVOLUME_NAME --group NON_DEFAULT_SUBVOLGROUP_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule add - 2M --fs cephfs --subvol sv_non_def_1 --group svg1

    참고

    경로는 정의되어야 하며 비워 둘 수 없습니다.Length 문자열 값에 대한 종속성이 없으며 / , -' 또는 /. . .로 정의할 수 있습니다.

9.3.1. CephFS 볼륨 경로의 스냅샷 스케줄에 대한 보존 정책 추가

언제든지 볼륨 경로에 유지할 스냅샷 수를 정의하려면 스냅샷 일정을 생성한 후 보존 정책을 추가해야 합니다.

하위 볼륨 그룹, 기본 그룹 내의 하위 볼륨 및 기본이 아닌 그룹을 사용하여 하위 볼륨에 대한 보존 정책을 생성할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
  • Ceph 모니터에서 최소 읽기 액세스 권한.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
  • 스냅샷 스케줄입니다.

프로세스

  • CephFS 하위 볼륨의 디렉터리에 스냅샷 스케줄의 새 보존 정책을 추가합니다.

    구문

    ceph fs snap-schedule retention add SUBVOLUME_DIR_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

    [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. h 14 1
    [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. d 4 2
    [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 14h4w 3
    
    Retention added to path /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..

    1
    이 예에서는 14개의 스냅샷을 최소 1시간 간격으로 유지합니다.
    2
    이 예에서는 하루에 최소 4개의 스냅샷을 유지합니다.
    3
    이 예에서는 14시간, 주별 스냅샷 4개를 유지합니다.
  • default 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정에 보존 정책을 추가합니다.

    구문

    ceph fs snap-schedule retention add / [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD_COUNT --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule retention add / 5h --fs cephfs --subvol sv_sched
    Retention added to path /volumes/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨 그룹에 대해 생성된 스냅샷 일정에 보존 정책을 추가합니다.

    구문

    ceph fs snap-schedule retention add / [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD_COUNT --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON_DEFAULT_SUBVOLGROUP_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule retention add / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Retention added to path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a54j0dda7f16/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

9.3.2. CephFS 스냅샷 일정 나열

스냅샷 일정을 나열하고 준수하면 강력한 데이터 보호와 효율적인 관리를 보장할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
  • Ceph 모니터에서 최소 읽기 액세스 권한.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
  • 스냅샷 스케줄입니다.

프로세스

  • 스냅샷 일정을 나열합니다.

    구문

    ceph fs snap-schedule list SUBVOLUME_VOLUME_PATH [--format=plain|json] [--recursive=true]

    [ceph: root@host02 /]# ceph fs snap-schedule list / --recursive=true
    
    /volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 4h

    이 예에서는 디렉터리 트리의 모든 일정을 나열합니다.

9.3.3. CephFS 스냅샷 스케줄의 상태 확인

하위 볼륨의 디렉터리에 생성된 스냅샷의 명령, 기본 하위 볼륨 그룹의 하위 볼륨 및 기본값이 아닌 그룹에 생성된 하위 볼륨의 경우 명령을 사용하여 스냅샷 스케줄의 상태를 확인할 수 있습니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 실행 중이고 정상적인 IBM Storage Ceph 클러스터입니다.
  • Ceph 모니터에서 최소 읽기 액세스 권한.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 및 하위 볼륨 그룹이 생성되었습니다.
  • 스냅샷 스케줄입니다.

프로세스

  • 하위 볼륨의 디렉터리에 대해 생성된 스냅샷 일정의 상태를 확인합니다.

    구문

    ceph fs snap-schedule status SUBVOLUME_DIR_PATH [--format=plain|json]

    [ceph: root@host02 /]# ceph fs snap-schedule status /volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. --format=json
    
    {"fs": "cephfs", "subvol": "subvol_1", "path": "/volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..", "rel_path": "/..", "schedule": "4h", "retention": {"h": 14}, "start": "2022-05-16T14:00:00", "created": "2023-03-20T08:47:18", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}

    이 예에서는 /volumes/_nogroup/subv1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/... path를 JSON 형식으로 표시합니다. 지정되지 않은 경우 기본 형식은 일반 텍스트입니다.

  • default 그룹에서 하위 볼륨에 대해 생성된 스냅샷 일정의 상태를 확인합니다.

    구문

    ceph fs snap-schedule status --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule status --fs cephfs --subvol sv_sched
    {"fs": "cephfs", "subvol": "sv_sched", "group": "subvolgroup_cg", "path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "rel_path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "schedule": "1h", "retention": {"h": 5}, "start": "2024-05-21T00:00:00", "created": "2024-05-21T09:18:58", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정의 상태를 확인합니다. .Syntax
ceph fs snap-schedule status --fs _CEPH_FILE_SYSTEM_NAME_ --subvol _SUBVOLUME_NAME_ --group _NON-DEFAULT_SUBVOLGROUP_NAME_

[ceph: root@host02 /]# ceph fs snap-schedule status --fs cephfs --subvol sv_sched --group subvolgroup_cg
{"fs": "cephfs", "subvol": "sv_sched", "group": "subvolgroup_cg", "path": "/volumes/subvolgroup_cg/sv_sched/e564329a-kj87-4763-gh0y-b56c8sev7t23/..", "rel_path": "/volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..", "schedule": "1h", "retention": {"h": 5}, "start": "2024-05-21T00:00:00", "created": "2024-05-21T09:18:58", "first": null, "last": null, "last_pruned": null, "created_count": 0, "pruned_count": 0, "active": true}

+ 중요: 경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

9.4. Ceph 파일 시스템의 스냅샷 일정 활성화

이 섹션에서는 Ceph 파일 시스템(CephFS)에 대해 스냅샷 일정을 활성으로 수동으로 설정하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  • 스냅샷 일정을 활성화합니다.

    구문

    ceph fs snap-schedule activate FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL]

    [ceph: root@host01 /]# ceph fs snap-schedule activate /cephfs

    이 예에서는 CephFS /cephfs 경로에 대한 모든 스케줄을 활성화합니다.

9.5. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 활성화

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨에 대해 스냅샷 일정을 활성으로 수동으로 설정하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능

프로세스

  • 하위 볼륨의 디렉터리에 대해 생성된 스냅샷 일정을 활성화합니다.

    구문

    ceph fs snap-schedule activate SUBVOL_DIR_PATH [REPEAT_INTERVAL]

    [ceph: root@host01 /]# ceph fs snap-schedule activate /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..

    이 예에서는 CephFS /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/... 경로에 대한 모든 스케줄을 활성화합니다.

  • default 그룹에서 하위 볼륨에 대해 생성된 스냅샷 일정을 활성화합니다.

    구문

    ceph fs snap-schedule activate /.. REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule activate / --fs cephfs --subvol sv_sched
    Schedule activated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 활성화합니다.

    구문

    ceph fs snap-schedule activate /.. [REPEAT_INTERVAL] --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME

    [ceph: root@host02 /]# ceph fs snap-schedule activate / --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Schedule activated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

9.6. Ceph 파일 시스템의 스냅샷 일정 비활성화

이 섹션에서는 Ceph 파일 시스템(CephFS)의 스냅샷 일정을 비활성으로 수동으로 설정하는 단계를 제공합니다. 이 작업은 다시 활성화될 때까지 스케줄링에서 스냅샷을 제외합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • 스냅샷 일정이 생성되고 활성 상태입니다.

프로세스

  • CephFS 경로의 스냅샷 일정을 비활성화합니다.

    구문

    ceph fs snap-schedule deactivate FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL]

    [ceph: root@host02 ~]# ceph fs snap-schedule deactivate /cephfs 1d

    이 예에서는 /cephfs 경로의 일일 스냅샷을 비활성화하여 추가 스냅샷 생성을 일시 중지합니다.

9.7. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 비활성화

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨에 대해 스냅샷 일정을 비활성으로 수동으로 설정하는 단계를 제공합니다. 이 작업에서는 스냅샷이 다시 활성화될 때까지 스케줄링에서 제외됩니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • 스냅샷 일정이 생성되고 활성 상태입니다.

프로세스

  • CephFS 하위 볼륨에서 디렉터리에 대한 스냅샷 일정을 비활성화합니다.

    구문

    ceph fs snap-schedule deactivate SUBVOL_DIR_PATH [REPEAT_INTERVAL]

    [ceph: root@host02 ~]# ceph fs snap-schedule deactivate /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 1d

    이 예제에서는 /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/... 경로를 비활성화하므로 추가 스냅샷 생성을 정지합니다.

  • default 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 비활성화합니다.

    구문

    ceph fs snap-schedule deactivate / REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule deactivate / --fs cephfs --subvol sv_sched
    Schedule deactivated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨에 대해 생성된 스냅샷 일정을 비활성화합니다.

    구문

    ceph fs snap-schedule deactivate / REPEAT_INTERVAL --fs CEPH_FILE_SYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule deactivate / --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Schedule deactivated for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

9.8. Ceph 파일 시스템의 스냅샷 일정 제거

이 섹션에서는 Ceph 파일 시스템(CephFS)의 스냅샷 일정을 제거하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • 스냅샷 일정이 생성됩니다.

프로세스

  1. 특정 스냅샷 일정을 제거합니다.

    구문

    ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL] [START_TIME]

    [ceph: root@host02 ~]# ceph fs snap-schedule remove /cephfs 4h 2022-05-16T14:00:00

    이 예에서는 4시간마다 스냅 샷하고 2022년 5월 16일 오전 2시부터 시작되는 /cephfs 볼륨의 특정 스냅샷 일정을 제거합니다.

  2. 특정 CephFS 볼륨 경로의 모든 스냅샷 스케줄을 제거합니다.

    구문

    ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH

    [ceph: root@host02 ~]# ceph fs snap-schedule remove /cephfs

    이 예에서는 /cephfs 볼륨 경로에 대한 모든 스냅샷 스케줄을 제거합니다.

9.9. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 제거

이 섹션에서는 Ceph 파일 시스템(CephFS) 하위 볼륨의 스냅샷 일정을 제거하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • 스냅샷 일정이 생성됩니다.

프로세스

  • CephFS 하위 볼륨에서 디렉터리에 대해 생성된 특정 스냅샷 일정을 제거합니다.

    구문

    ceph fs snap-schedule remove SUBVOL_DIR_PATH [REPEAT_INTERVAL] [START_TIME]

    [ceph: root@host02 ~]# ceph fs snap-schedule remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 4h 2022-05-16T14:00:00

    이 예에서는 /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/... 볼륨, 즉 4시간마다 스냅 샷을 제거하고 2022년 5월 16일에 시작됩니다.

  • default 그룹에서 하위 볼륨에 대해 생성된 특정 스냅샷 일정을 제거합니다.

    구문

    ceph fs snap-schedule remove / --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule remove / --fs cephfs --subvol sv_sched
    Schedule removed for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨에 대해 생성된 특정 스냅샷 일정을 제거합니다.

    구문

    ceph fs snap-schedule remove / --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule remove / --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Schedule removed for path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

9.10. Ceph 파일 시스템의 스냅샷 일정 보존 정책 제거

이 섹션에서는 Ceph 파일 시스템(CephFS)에 대해 예약된 스냅샷의 보존 정책을 제거하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 볼륨 경로에 대해 생성된 스냅샷 스케줄입니다.

프로세스

  • CephFS 경로에서 보존 정책을 제거합니다.

    구문

    ceph fs snap-schedule retention remove FILE_SYSTEM_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /cephfs h 4 1
    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /cephfs 14d4w 2

    1
    이 예에서는 시간별 스냅샷 4개를 제거합니다.
    2
    이 예에서는 매일 14개, 매주 4개의 스냅샷을 제거합니다.

9.11. Ceph 파일 시스템 하위 볼륨의 스냅샷 일정 보존 정책 제거

이 섹션에서는 Ceph File System(CephFS) 하위 볼륨에 대해 예약된 스냅샷의 보존 정책을 제거하는 단계를 제공합니다.

사전 요구 사항

  • Ceph 파일 시스템(CephFS)이 배포된 작동 중인 Red Hat Ceph Storage 클러스터.
  • Ceph 모니터에서 최소한 읽기 액세스 권한이 있어야 합니다.
  • Ceph Manager 노드의 읽기 및 쓰기 기능
  • CephFS 하위 볼륨 경로에 대해 생성된 스냅샷 스케줄입니다.

프로세스

  • CephFS 하위 볼륨에서 디렉터리에 대한 보존 정책을 제거합니다.

    구문

    ceph fs snap-schedule retention remove SUBVOL_DIR_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. h 4 1
    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 14d4w 2

    1
    이 예에서는 시간별 스냅샷 4개를 제거합니다.
    2
    이 예에서는 매일 14개, 매주 4개의 스냅샷을 제거합니다.
  • default 그룹의 하위 볼륨의 스냅샷 일정에 생성된 보존 정책을 제거합니다.

    구문

    ceph fs snap-schedule retention remove / TIME_PERIOD_PAIR TIME_PERIOD COUNT --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Retention removed from path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

  • 기본이 아닌 그룹의 하위 볼륨의 스냅샷 일정에 생성된 보존 정책을 제거합니다.

    구문

    ceph fs snap-schedule retention remove / TIME_PERIOD_PAIR TIME_PERIOD COUNT --fs CEPH_FILESYSTEM_NAME --subvol SUBVOLUME_NAME --group NON-DEFAULT_GROUP_NAME

    [ceph: root@host02 ~]# ceph fs snap-schedule retention remove / 5h --fs cephfs --subvol sv_sched --group subvolgroup_cg
    Retention removed from path /volumes/subvolgroup_cg/sv_sched/e704342a-ff07-4763-bb0b-a46d9dda6f27/..

    중요

    경로(/ )를 정의해야 하며 비워 둘 수 없습니다. 경로 문자열 값에 종속되지 않으며 /, - 또는 /…​로 정의할 수 있습니다.

10장. Ceph 파일 시스템 스냅샷 미러링

스토리지 관리자는 Ceph 파일 시스템(CephFS)을 다른 Red Hat Ceph Storage 클러스터의 원격 Ceph 파일 시스템에 복제할 수 있습니다.

사전 요구 사항

  • 소스 및 대상 스토리지 클러스터는 Red Hat Ceph Storage 6.0 이상을 실행 중이어야 합니다.

Ceph 파일 시스템(CephFS)은 다른 Red Hat Ceph Storage 클러스터의 원격 CephFS에 대한 비동기식 스냅샷 복제를 지원합니다. 스냅샷 동기화는 스냅샷 데이터를 원격 Ceph 파일 시스템에 복사하고 동일한 이름으로 원격 대상에 새 스냅샷을 생성합니다. 스냅샷 동기화를 위해 특정 디렉터리를 구성할 수 있습니다.

CephFS 미러 관리는 CephFS 미러링 데몬(cephfs-mirror)에서 수행합니다. 이 스냅샷 데이터는 원격 CephFS에 대량 복사를 수행하여 동기화됩니다. 스냅샷 쌍 동기화의 선택한 순서는 snap-id 를 사용한 생성을 기반으로 합니다.

중요

하드 링크 동기화는 지원되지 않습니다. 하드 링크된 파일은 일반 파일로 동기화됩니다.

CephFS 스냅샷 미러링에는 스냅샷 포함 또는 고가용성과 같은 기능이 포함됩니다. 권장 제어 인터페이스인 Ceph Manager 미러링 모듈을 통해 관리할 수 있습니다.

Ceph Manager 모듈 및 인터페이스

Ceph Manager 미러링 모듈은 기본적으로 비활성화되어 있습니다. 디렉터리 스냅샷의 미러링을 관리하기 위한 인터페이스를 제공합니다. Ceph Manager 인터페이스는 CephFS 미러링을 관리하기 위한 모니터 명령에 대한 래퍼입니다. 권장되는 제어 인터페이스입니다.

Ceph Manager 미러링 모듈은 Ceph Manager 플러그인으로 구현됩니다. 동기화를 위해 cephfs-mirror 데몬에 디렉터리를 할당해야 합니다.

Ceph Manager 미러링 모듈에서는 디렉터리 스냅샷의 미러링을 제어하는 명령 세트도 제공합니다. 미러링 모듈은 cephfs-mirror 데몬을 관리하지 않습니다. cephfs-mirror 데몬 중지, 시작, 다시 시작 및 활성화는 systemctl 에서 제어하지만 cephadm 에 의해 관리됩니다.

참고

미러링 모듈 명령은 fs 미러 접두사가 있는 모니터 명령과 비교하여 fs 스냅샷 미러 접두사를 사용합니다. 모듈 명령 접두사를 사용하여 디렉터리 스냅샷의 미러링을 제어하도록 합니다.

스냅샷 구현

동일한 이름과 다른 콘텐츠로 스냅샷을 삭제하고 다시 생성할 수 있습니다. 사용자는 이전에 "오래된" 스냅샷을 동기화하고 미러링이 비활성화된 경우 스냅샷을 다시 생성할 수 있습니다. 스냅샷 이름을 사용하여 시점을 유추하면 "새" 스냅샷, 구현되지 않으며 동기화를 위해 선택되지 않습니다.

보조 파일 시스템의 스냅샷은 동기화된 스냅샷의 snap-id 를 저장합니다. 이 메타데이터는 Ceph Metadata Server의 SnapInfo 구조에 저장됩니다.

고가용성

두 개 이상의 노드에 여러 cephfs-mirror 데몬을 배포하여 디렉터리 스냅샷의 동기화에서 동시성을 수행할 수 있습니다. cephfs-mirror 데몬이 배포되거나 종료되면 Ceph Manager 미러링 모듈에서 수정된 cephfs-mirror 데몬 세트를 검색하고 새 세트 간에 디렉터리 할당을 재조정하여 고가용성을 제공합니다.

CephFS-mirror 데몬은 간단한 M/N 정책을 사용하여 동기화 부하를 공유합니다. 여기서 M은 디렉터리 수이고 N은 cephfs-mirror 데몬 수입니다.

Ceph 파일 시스템 미러 피어 추가

다른 클러스터의 CephFS에 피어를 다시 추가하거나 다시 할당하는 경우 모든 미러 데몬이 피어에 대한 동기화를 중지했는지 확인합니다. fs mirror status 명령을 사용하여 이를 확인할 수 있습니다. 명령 출력에 Peer UUID가 표시되지 않아야 합니다.

피어에서 동기화된 디렉터리를 다른 CephFS, 특히 새 기본 파일 시스템에 있을 수 있는 디렉터리에 다시 추가합니다. 이전에 동기화한 것과 동일한 기본 파일 시스템에 피어를 다시 추가하는 경우에는 필요하지 않습니다.

추가 리소스

10.1. Ceph 파일 시스템의 스냅샷 미러 구성

미러링을 위해 Ceph File System(CephFS)을 구성하여 원격 Red Hat Ceph Storage 클러스터의 다른 CephFS에 스냅샷을 복제할 수 있습니다.

참고

원격 스토리지 클러스터에 동기화하는 시간은 파일 크기 및 미러링 경로의 총 파일 수에 따라 달라집니다.

사전 요구 사항

  • 소스 및 대상 스토리지 클러스터는 정상이어야 하며 Red Hat Ceph Storage 8.0 이상을 실행해야 합니다.
  • 소스 및 대상 스토리지 클러스터의 Ceph Monitor 노드에 대한 루트 수준 액세스.
  • 스토리지 클러스터에 하나 이상의 Ceph 파일 시스템이 배포되었습니다.

프로세스

  1. Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  2. 소스 스토리지 클러스터에서 CephFS 미러링 데몬을 배포합니다.

    구문

    ceph orch apply cephfs-mirror ["NODE_NAME"]

    [ceph: root@host01 /]# ceph orch apply cephfs-mirror "node1.example.com"
    Scheduled cephfs-mirror update...

    이 명령은 cephfs-mirror 라는 Ceph 사용자를 생성하고 지정된 노드에 cephfs-mirror 데몬을 배포합니다.

    1. 선택 사항: 여러 CephFS 미러링 데몬을 배포하고 고가용성을 달성합니다.

      구문

      ceph orch apply cephfs-mirror --placement="PLACEMENT_SPECIFICATION"

      [ceph: root@host01 /]# ceph orch apply cephfs-mirror --placement="3 host1 host2 host3"
      Scheduled cephfs-mirror update...

      이 예제에서는 다른 호스트에 세 개의 cephfs-mirror 데몬을 배포합니다.

      주의

      다음과 같은 오류가 발생하므로 쉼표로 호스트를 분리하지 마십시오.

      Error EINVAL: name component must include only a-z, 0-9, and -
  3. 대상 스토리지 클러스터에서 각 CephFS 피어에 대한 사용자를 생성합니다.

    구문

    ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME / rwps

    [ceph: root@host01 /]# ceph fs authorize cephfs client.mirror_remote / rwps
    [client.mirror_remote]
            key = AQCjZ5Jg739AAxAAxduIKoTZbiFJ0lgose8luQ==

  4. 소스 스토리지 클러스터에서 CephFS 미러링 모듈을 활성화합니다.

    [ceph: root@host01 /]# ceph mgr module enable mirroring

  5. 소스 스토리지 클러스터에서 Ceph 파일 시스템에서 미러링을 활성화합니다.

    구문

    ceph fs snapshot mirror enable FILE_SYSTEM_NAME

    [ceph: root@host01 /]# ceph fs snapshot mirror enable cephfs

    1. 선택 사항: 스냅샷 미러링을 비활성화합니다.

      구문

      ceph fs snapshot mirror disable FILE_SYSTEM_NAME

      [ceph: root@host01 /]# ceph fs snapshot mirror disable cephfs

      주의

      파일 시스템에서 스냅샷 미러링을 비활성화하면 구성된 피어가 제거됩니다. 피어를 부트 스트랩하여 다시 가져와야 합니다.

  6. 대상 피어 스토리지 클러스터를 준비합니다.

    1. 대상 노드에서 Ceph Manager 모듈 미러링 을 활성화합니다.

      [ceph: root@host01 /]# ceph mgr module enable mirroring

    2. 동일한 대상 노드에서 피어 부트스트랩을 생성합니다.

      구문

      ceph fs snapshot mirror peer_bootstrap create FILE_SYSTEM_NAME CLIENT_NAME SITE_NAME

      SITE_NAME 은 대상 스토리지 클러스터를 식별하는 사용자 정의 문자열입니다.

      [ceph: root@host01 /]# ceph fs snapshot mirror peer_bootstrap create cephfs client.mirror_remote remote-site
      {"token": "eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ=="}

      다음 단계에서 사용할 큰따옴표 사이에 토큰 문자열을 복사합니다.

  7. 소스 스토리지 클러스터에서 대상 스토리지 클러스터에서 부트스트랩 토큰을 가져옵니다.

    구문

    ceph fs snapshot mirror peer_bootstrap import FILE_SYSTEM_NAME TOKEN

    [ceph: root@host01 /]# ceph fs snapshot mirror peer_bootstrap import cephfs eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ==

  8. 소스 스토리지 클러스터에서 CephFS 미러 피어를 나열합니다.

    구문

    ceph fs snapshot mirror peer_list FILE_SYSTEM_NAME

    [ceph: root@host01 /]# ceph fs snapshot mirror peer_list cephfs
    {"e5ecb883-097d-492d-b026-a585d1d7da79": {"client_name": "client.mirror_remote", "site_name": "remote-site", "fs_name": "cephfs", "mon_host": "[v2:10.0.211.54:3300/0,v1:10.0.211.54:6789/0] [v2:10.0.210.56:3300/0,v1:10.0.210.56:6789/0] [v2:10.0.210.65:3300/0,v1:10.0.210.65:6789/0]"}}

    1. 선택 사항: 스냅샷 피어를 제거합니다.

      구문

      ceph fs snapshot mirror peer_remove FILE_SYSTEM_NAME PEER_UUID

      [ceph: root@host01 /]# ceph fs snapshot mirror peer_remove cephfs e5ecb883-097d-492d-b026-a585d1d7da79

      참고

      피어 UUID 값을 찾는 방법은 Ceph 파일 시스템의 미러 상태 보기를 참조하십시오.

  9. 소스 스토리지 클러스터에서 스냅샷 미러링을 위한 디렉터리를 구성합니다.

    구문

    ceph fs snapshot mirror add FILE_SYSTEM_NAME PATH

    [ceph: root@host01 /]# ceph fs snapshot mirror add cephfs /volumes/_nogroup/subvol_1

    중요

    Ceph 파일 시스템 내부의 절대 경로만 유효합니다.

    참고

    Ceph Manager 미러링 모듈은 경로를 정규화합니다. 예를 들어 /d1/d2/.../dN 디렉터리는 /d1/d2 와 동일합니다. 미러링을 위해 디렉터리를 추가하면 미러링을 위해 상위 디렉터리 및 하위 디렉터리가 추가되지 않습니다.

    1. 선택 사항: 디렉터리의 스냅샷 미러링을 중지합니다.

      구문

      ceph fs snapshot mirror remove FILE_SYSTEM_NAME PATH

      [ceph: root@host01 /]# ceph fs snapshot mirror remove cephfs /home/user1

추가 리소스

10.2. Ceph 파일 시스템의 미러 상태 보기

Ceph 파일 시스템(CephFS) 미러 데몬(cephfs-mirror)은 피어 업데이트와 함께 CephFS 미러링 상태의 변경 사항에 대한 비동기 알림을 가져옵니다. CephFS 미러링 모듈은 미러 데몬 상태 인터페이스를 제공하여 미러 데몬 상태를 확인합니다. 자세한 내용은 명령을 사용하여 cephfs-mirror 관리 소켓을 쿼리하여 미러 상태 및 피어 상태를 검색할 수 있습니다.

사전 요구 사항

  • 실행 중인 Red Hat Ceph Storage 클러스터.
  • 미러링이 활성화된 Ceph 파일 시스템을 하나 이상 배포합니다.
  • CephFS 미러링 데몬을 실행하는 노드에 대한 루트 수준 액세스입니다.

프로세스

  1. Cephadm 쉘에 로그인합니다.

    [root@host01 ~]# cephadm shell

  2. cephfs-mirror 데몬 상태를 확인합니다.

    구문

    ceph fs snapshot mirror daemon status

    [ceph: root@host01 /]# ceph fs snapshot mirror daemon status
    [
      {
        "daemon_id": 15594,
        "filesystems": [
          {
            "filesystem_id": 1,
            "name": "cephfs",
            "directory_count": 1,
            "peers": [
              {
                "uuid": "e5ecb883-097d-492d-b026-a585d1d7da79",
                "remote": {
                  "client_name": "client.mirror_remote",
                  "cluster_name": "remote-site",
                  "fs_name": "cephfs"
                },
                "stats": {
                  "failure_count": 1,
                  "recovery_count": 0
                }
              }
            ]
          }
        ]
      }
    ]

    자세한 내용은 아래에 설명된 대로 admin 소켓 인터페이스를 사용합니다.

  3. CephFS 미러링 데몬을 실행하는 노드에서 Ceph File System ID를 찾습니다.

    구문

    ceph --admin-daemon PATH_TO_THE_ASOK_FILE help

    [ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/1011435c-9e30-4db6-b720-5bf482006e0e/ceph-client.cephfs-mirror.node1.bndvox.asok help
    {
        ...
        "fs mirror peer status cephfs@11 1011435c-9e30-4db6-b720-5bf482006e0e": "get peer mirror status",
        "fs mirror status cephfs@11": "get filesystem mirror status",
        ...
    }

    이 예제의 Ceph 파일 시스템 ID는 cephfs@11 입니다.

    참고

    미러링이 비활성화되면 파일 시스템의 각 fs 미러 상태 명령이 도움말 명령에 표시되지 않습니다.

  4. 미러 상태를 확인합니다.

    구문

    ceph --admin-daemon PATH_TO_THE_ASOK_FILE fs mirror status FILE_SYSTEM_NAME@_FILE_SYSTEM_ID

    [ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/1011435c-9e30-4db6-b720-5bf482006e0e/ceph-client.cephfs-mirror.node1.bndvox.asok fs mirror status cephfs@11
    {
      "rados_inst": "192.168.0.5:0/1476644347",
      "peers": {
          "1011435c-9e30-4db6-b720-5bf482006e0e": { 1
              "remote": {
                  "client_name": "client.mirror_remote",
                  "cluster_name": "remote-site",
                  "fs_name": "cephfs"
              }
          }
      },
      "snap_dirs": {
          "dir_count": 1
      }
    }

    1
    고유한 피어 UUID입니다.
  5. 피어 상태를 확인합니다.

    구문

    ceph --admin-daemon PATH_TO_ADMIN_SOCKET fs mirror status FILE_SYSTEM_NAME@FILE_SYSTEM_ID PEER_UUID

    [ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/cephfs-mirror.asok fs mirror peer status cephfs@11 1011435c-9e30-4db6-b720-5bf482006e0e
    {
      "/home/user1": {
          "state": "idle", 1
          "last_synced_snap": {
              "id": 120,
              "name": "snap1",
              "sync_duration": 0.079997898999999997,
              "sync_time_stamp": "274900.558797s"
          },
          "snaps_synced": 2, 2
          "snaps_deleted": 0, 3
          "snaps_renamed": 0
      }
    }

    상태는 다음 세 값 중 하나일 수 있습니다.

    1
    idle 는 디렉터리가 현재 동기화되지 않음을 의미합니다.
    2
    동기화 는 디렉터리가 현재 동기화되고 있음을 의미합니다.
    3
    Failed 는 디렉터리가 연속 실패의 상한에 도달했음을 의미합니다.

기본 연속 실패 수는 10초이며 기본 재시도 간격은 60초입니다.

  1. cephfs-mirror 데몬이 매핑되는 디렉터리를 표시합니다.

    구문

    ceph fs snapshot mirror dirmap FILE_SYSTEM_NAME PATH

    [ceph: root@host01 /]# ceph fs snapshot mirror dirmap cephfs /volumes/_nogroup/subvol_1
    {
      "instance_id": "25184", 1
      "last_shuffled": 1661162007.012663,
      "state": "mapped"
    }

    1
    instance_idcephfs-mirror 데몬과 연결된 RADOS instance-ID입니다.

    [ceph: root@host01 /]# ceph fs snapshot mirror dirmap cephfs /volumes/_nogroup/subvol_1
    {
      "reason": "no mirror daemons running",
      "state": "stalled" 1
    }

    1
    stalled 상태는 CephFS 미러링이 중지됨을 의미합니다.

    두 번째 예는 미러 데몬이 실행되지 않는 경우 명령 출력을 보여줍니다.

추가 리소스

10.3. Ceph 파일 시스템 스냅샷 미러링 메트릭 보기

이러한 메트릭을 보는 것은 성능 및 동기화 진행 상황을 모니터링하는 데 도움이 됩니다. 카운터 덤프를 사용하여 Ceph File System 스냅샷 미러 상태 및 볼륨 지표를 확인합니다.

전제 조건

  • 실행 중인 IBM Storage Ceph 클러스터입니다.
  • Ceph File System 스냅샷 미러링이 활성화된 최소 하나의 배포입니다.
  • Ceph 파일 시스템 미러링 데몬을 실행하는 노드에 대한 루트 수준 액세스.

프로세스

  1. asok 파일의 이름을 가져옵니다. 미러링 데몬이 실행 중이고 cephadm 쉘 내의 /var/run/ceph/ 에 있는 asok 파일을 사용할 수 있습니다.
  2. CephFS 미러링 데몬을 실행하는 노드에서 다음 명령을 실행하여 미러링 메트릭 및 동기화 상태를 확인합니다.

    구문

    [ceph: root@mirror-host01 /]# ceph --admin-daemon ASOK_FILE_NAME counter dump

    [ceph: root@mirror-host01 /]# ceph --admin-daemon ceph-client.cephfs-mirror.ceph1-hk-n-0mfqao-node7.pnbrlu.2.93909288073464.asok counter dump
    
    [
      {
        "key": "cephfs_mirror",
        "value": [
          {
            "labels": {},
            "counters": {
              "mirrored_filesystems": 1,
              "mirror_enable_failures": 0
            }
          }
        ]
      },
      {
        "key": "cephfs_mirror_mirrored_filesystems",
        "value": [
          {
            "labels": {
              "filesystem": "cephfs"
            },
            "counters": {
              "mirroring_peers": 1,
              "directory_count": 1
            }
          }
        ]
      },
      {
        "key": "cephfs_mirror_peers",
        "value": [
          {
            "labels": {
              "peer_cluster_filesystem": "cephfs",
              "peer_cluster_name": "remote_site",
              "source_filesystem": "cephfs",
              "source_fscid": "1"
            },
            "counters": {
              "snaps_synced": 1,
              "snaps_deleted": 0,
              "snaps_renamed": 0,
              "sync_failures": 0,
              "avg_sync_time": {
                "avgcount": 1,
                "sum": 4.216959457,
                "avgtime": 4.216959457
              },
              "sync_bytes": 132
            }
          }
        ]
      }
    ]

메트릭 설명:

레이블이 지정된 Perf Cryostats는 OCP/ODF 대시보드에서 지역 복제 모니터링을 제공하기 위해 OCP/ODF 대시보드에서 사용할 수 있는 메트릭을 생성합니다.

그러면 cephfs_mirror 동기화의 진행 상황을 생성하고 모니터링 기능을 제공합니다. 내보낸 지표는 다음 경고를 기반으로 모니터링을 활성화합니다.

mirroring_peers
미러링에 관련된 피어 수입니다.
directory_count
동기화 중인 총 디렉터리 수입니다.
mirrored_filesystems
미러링된 총 파일 시스템 수입니다.
mirror_enable_failures
미러링 실패를 활성화합니다.
snaps_synced
총 스냅샷 수가 성공적으로 동기화되었습니다.
sync_bytes
동기화되는 총 바이트 수
sync_failures
총 실패한 스냅샷 동기화 수입니다.
snaps_deleted
삭제된 총 스냅샷 수입니다.
snaps_renamed
총 스냅샷 수의 이름이 변경됩니다.
avg_synced_time
모든 스냅샷 동기화에서 가져온 평균 시간입니다.
last_synced_start
마지막으로 동기화된 스냅샷의 동기화 시작 시간입니다.
last_synced_end
마지막으로 동기화된 스냅샷의 동기화 종료 시간입니다.
last_synced_duration
마지막 동기화의 시간 기간입니다.
last_synced_bytes
마지막으로 동기화된 스냅샷에 대해 동기화되는 총 바이트입니다.

추가 리소스

부록 A. Ceph 파일 시스템의 상태 메시지

클러스터 상태 점검

Ceph Monitor 데몬은 메타데이터 서버(MDS)의 특정 상태에 대한 응답으로 상태 메시지를 생성합니다. 다음은 상태 메시지 목록과 설명입니다.

MDS 순위 <ranks>에 실패했습니다.
하나 이상의 MDS 순위는 현재 MDS 데몬에 할당되지 않습니다. 적절한 교체 데몬이 시작될 때까지 스토리지 클러스터는 복구되지 않습니다.
MDS 순위 <ranks>가 손상되었습니다.
하나 이상의 MDS 순위는 저장된 메타데이터에 심각한 손상을 발생했으며 메타데이터가 복구될 때까지 다시 시작할 수 없습니다.
MDS 클러스터의 성능이 저하됨
하나 이상의 MDS 순위는 현재 실행 중이 아니므로 클라이언트가 이 상황이 해결될 때까지 메타데이터 I/O를 일시 중지할 수 있습니다. 여기에는 실패 또는 손상된 순위가 포함되며 MDS에서 실행 중이지만 아직 활성 상태에 있지 않은 순위는 재생 상태의 순위입니다.
MDS <names>는 지연입니다.
MDS 데몬은 mds_beacon_interval 옵션에 지정된 간격으로 모니터에 비컨 메시지를 전송해야 하며 기본값은 4초입니다. MDS 데몬이 mds_beacon_grace 옵션으로 지정한 시간 내에 메시지를 보내지 못하는 경우 기본값은 15초입니다. Ceph Monitor는 MDS 데몬을 지연으로 표시하고 사용 가능한 경우 대기 데몬으로 자동 대체합니다.

daemon-reported 상태 점검

MDS 데몬은 다양한 원하지 않는 조건을 식별하고 ceph status 명령의 출력에 반환할 수 있습니다. 이러한 조건에는 사람이 읽을 수 있는 메시지가 있으며 JSON 출력에 표시되는 MDS_HEALTH 를 시작하는 고유한 코드도 있습니다. 다음은 데몬 메시지, 코드 및 설명 목록입니다.

"behind on trimming…​"

코드: MDS_HEALTH_TRIM

CephFS는 로그 세그먼트로 분할되는 메타데이터 저널을 유지 관리합니다. 저널 길이( 세그먼트 수)는 mds_log_max_segments 설정에 의해 제어됩니다. 세그먼트 수가 해당 설정을 초과하면 MDS에서 가장 오래된 세그먼트를 제거(trim)할 수 있도록 백 메타데이터 쓰기를 시작합니다. 이 프로세스가 너무 느리거나 소프트웨어 버그가 트리밍을 방지하는 경우 이 상태 메시지가 표시됩니다. 이 메시지가 표시될 임계값은 세그먼트 수가 double mds_log_max_segments 인 경우입니다.

참고

트리밍 경고가 발생하면 mds_log_max_segments 를 늘리는 것이 좋습니다. 그러나 클러스터 상태가 복구되고 트리밍 경고가 더 이상 표시되지 않을 때 이 구성이 기본값으로 재설정되어야 합니다. MDS가 트리밍으로 catch할 수 있도록 mds_log_max_segments 를 256으로 설정하는 것이 좋습니다.

"client <name>이 기능 릴리스에 응답하지 않음

코드: MDS_HEALTH_CLIENT_LATE_RELEASE, MDS_HEALTH_CLIENT_LATE_RELEASE_MANY

CephFS 클라이언트는 MDS에서 제공하는 기능을 제공합니다. 기능은 잠금과 같이 작동합니다. 예를 들어 다른 클라이언트가 액세스해야 하는 경우 MDS는 클라이언트가 기능을 해제하도록 요청합니다. 클라이언트가 응답하지 않는 경우 즉시 수행하지 못하거나 전혀 수행하지 못할 수 있습니다. 이 메시지는 클라이언트가 mds_revoke_cap_timeout 옵션에 지정된 시간보다 준수하는 데 시간이 오래 걸리는 경우 표시됩니다(기본값은 60초).

"client <name>이 캐시 부족에 응답하지 않음

코드: MDS_HEALTH_CLIENT_RECALL, MDS_HEALTH_CLIENT_RECALL_MANY

클라이언트는 메타데이터 캐시를 유지합니다. 클라이언트 캐시의 inode와 같은 항목도 MDS 캐시에 고정됩니다. MDS에서 캐시를 축소하여 자체 캐시 크기 제한 내에서 유지해야 하는 경우 MDS는 클라이언트에 메시지를 보내 캐시를 축소합니다. 클라이언트가 응답하지 않는 경우 MDS가 캐시 크기 내에 제대로 유지되지 않도록 할 수 있으며 MDS는 결국 메모리가 부족하여 예기치 않게 종료될 수 있습니다. 이 메시지는 클라이언트가 mds_recall_state_timeout 옵션에 지정된 시간보다 준수하는 데 더 많은 시간이 걸리는 경우 표시됩니다(기본값은 60초). 자세한 내용은 Metadata Server 캐시 크기 제한 섹션을 참조하십시오.

"클라이언트 이름이 가장 오래된 클라이언트/플루시 tid를 발전하지 못했습니다."

코드: MDS_HEALTH_CLIENT_OLDEST_TID, MDS_HEALTH_CLIENT_OLDEST_TID_MANY

클라이언트와 MDS 서버 간의 통신에 필요한 CephFS 프로토콜은 가장 오래된 tid 라는 필드를 사용하여 MDS에서 MDS가 잊어 버릴 수 있도록 클라이언트 요청이 완전히 완료된지 MDS에 알립니다. 응답하지 않는 클라이언트가 이 필드를 진행하지 못하면 MDS에서 클라이언트 요청에서 사용하는 리소스를 올바르게 정리하지 못할 수 있습니다. 이 메시지는 클라이언트가 MDS 측에서 완료되었지만 클라이언트의 가장 오래된 tid 값을 아직 고려하지 않은 max_completed_requests 옵션에 지정된 수보다 많은 요청이 있는 경우 표시됩니다.

"메타데이터 손상이 감지됨"

코드: MDS_HEALTH_DAMAGE

메타데이터 풀에서 읽을 때 손상되거나 누락된 메타데이터가 발생했습니다. 이 메시지는 손상된 하위 트리에 대한 클라이언트 액세스에서 I/O 오류를 반환하더라도 MDS가 계속 작동하도록 손상이 충분히 격리되었음을 나타냅니다. damage ls administration socket 명령을 사용하여 손상에 대한 세부 정보를 확인합니다. 이 메시지는 손상이 발생하는 즉시 표시됩니다.

"MDS in read-only mode"

코드: MDS_HEALTH_READ_ONLY

MDS가 읽기 전용 모드로 입력되었으며 모든 메타데이터를 수정하려는 클라이언트 작업으로 EROFS 오류 코드를 반환합니다. MDS는 읽기 전용 모드로 전환됩니다.

  • 메타데이터 풀에 쓰는 동안 쓰기 오류가 발생하면 다음을 수행합니다.
  • 관리자가 force_readonly 관리 소켓 명령을 사용하여 MDS가 읽기 전용 모드로 전환하도록 강제 적용하는 경우.
"<N> 느린 요청이 차단되었습니다.

코드: MDS_HEALTH_SLOW_REQUEST

MDS가 매우 느리게 실행 중이거나 버그가 있음을 나타내는 하나 이상의 클라이언트 요청이 즉시 완료되지 않았습니다. ops 관리 소켓 명령을 사용하여 미해결 메타데이터 작업을 나열합니다. 이 메시지는 클라이언트 요청이 mds_op_complaint_time 옵션에서 지정한 값보다 더 많은 시간을 소요한 경우 표시됩니다(기본값은 30초).

" cache에 너무 많은 inode가 있음"
코드: MDS_HEALTH_CACHE_OVERSIZED

MDS에서 관리자가 설정한 제한을 준수하기 위해 캐시를 트리밍하지 못했습니다. MDS 캐시가 너무 크면 데몬에서 사용 가능한 메모리가 소진되어 예기치 않게 종료될 수 있습니다. 기본적으로 MDS 캐시 크기가 제한보다 50% 큰 경우 이 메시지가 표시됩니다.

추가 리소스

부록 B. 메타데이터 서버 데몬 구성 참조

메타데이터 서버(MDS) 데몬 구성에 사용할 수 있는 명령 목록을 참조하십시오.

mon_force_standby_active
설명
true 로 설정하면 모니터에서 대기 재생 모드에서 MDS를 강제로 활성화합니다. Ceph 구성 파일의 [mon] 또는 [global] 섹션에서 설정합니다.
유형
부울
기본
true
max_mds
설명
클러스터 생성 중 활성 MDS 데몬 수입니다. Ceph 구성 파일의 [mon] 또는 [global] 섹션에서 설정합니다.
유형
32비트 정수
기본
1
mds_cache_memory_limit
설명
MDS가 해당 캐시에 적용하는 메모리 제한입니다. mds 캐시 크기 매개변수 대신 이 매개변수를 사용하는 것이 좋습니다.
유형
64비트 정수 서명되지 않음
기본
4294967296
mds_cache_reservation
설명
MDS 캐시가 유지 관리하는 캐시 예약, 메모리 또는 inode입니다. 값은 구성된 최대 캐시의 백분율입니다. MDS가 예약으로 분할이 시작되면 캐시 크기가 축소되어 예약을 복원할 때까지 클라이언트 상태를 호출합니다.
유형
플로트
기본
0.05
mds_cache_size
설명
캐시할 inode 수입니다. 값 0은 무제한을 나타냅니다. Red Hat은 mds_cache_memory_limit 를 사용하여 MDS 캐시가 사용하는 메모리 양을 제한하는 것이 좋습니다.
유형
32비트 정수
기본
0
mds_cache_mid
설명
캐시 LRU의 새 항목에 대한 삽입 지점(상단)입니다.
유형
플로트
기본
0.7
mds_dir_commit_ratio
설명
Ceph가 부분 업데이트 대신 전체 업데이트를 사용하여 커밋하기 전에 잘못된 정보가 포함된 디렉터리의 일부입니다.
유형
플로트
기본
0.5
mds_dir_max_commit_size
설명
Ceph가 디렉터리를 더 작은 트랜잭션으로 이동하기 전에 MB로 디렉터리 업데이트의 최대 크기입니다.
유형
32비트 정수
기본
90
mds_decay_halflife
설명
MDS 캐시 온도의 반감입니다.
유형
플로트
기본
5
mds_beacon_interval
설명
모니터로 전송되는 비컨 메시지의 빈도(초)입니다.
유형
플로트
기본
4
mds_beacon_grace
설명
Ceph가 MDS 지연을 선언하고 이를 대체하기 전에 비컨이 없는 간격입니다.
유형
플로트
기본
15
mds_blacklist_interval
설명
OSD 맵에서 실패한 MDS 데몬의 블랙리스트 기간입니다.
유형
플로트
기본
24.0*60.0
mds_session_timeout
설명
Ceph가 기능 및 리스를 시간 초과하기 전에 클라이언트 비활성 간격(초)입니다.
유형
플로트
기본
60
mds_session_autoclose
설명
Ceph가 지연 클라이언트의 세션을 종료하기 전 간격 ( 초)입니다.
유형
플로트
기본
300
mds_reconnect_timeout
설명
MDS를 다시 시작하는 동안 클라이언트가 다시 연결될 때까지 대기하는 간격(초)입니다.
유형
플로트
기본
45
mds_tick_interval
설명
MDS가 내부 주기적인 작업을 수행하는 빈도입니다.
유형
플로트
기본
5
mds_dirstat_min_interval
설명
트리에 재귀 통계를 전파하지 않도록 하는 최소 간격(초)입니다.
유형
플로트
기본
1
mds_scatter_nudge_interval
설명
디렉터리 통계가 전파되는 속도가 얼마나 빨리 변경됩니까.
유형
플로트
기본
5
mds_client_prealloc_inos
설명
클라이언트 세션당 사전 할당할 inode 번호 수입니다.
유형
32비트 정수
기본
1000
mds_early_reply
설명
MDS에서 저널에 커밋하기 전에 클라이언트에서 요청 결과를 볼 수 있는지 여부를 결정합니다.
유형
부울
기본
true
mds_use_tmap
설명
디렉터리 업데이트에 trivialmap 을 사용합니다.
유형
부울
기본
true
mds_default_dir_hash
설명
디렉터리 조각에서 파일을 해시하는 데 사용할 함수입니다.
유형
32비트 정수
기본
2, 즉, rjenkins
mds_log
설명
MDS에서 메타데이터 업데이트를 저널링해야 하는 경우 true 로 설정합니다. 벤치마킹 전용은 비활성화합니다.
유형
부울
기본
true
mds_log_skip_corrupt_events
설명
MDS가 저널 재생 중에 손상된 저널 이벤트를 건너뛰려고 하는지 여부를 결정합니다.
유형
부울
기본
false
mds_log_max_events
설명
Ceph가 트리밍을 시작하기 전 저널의 최대 이벤트입니다. 제한을 비활성화하려면 -1 로 설정합니다.
유형
32비트 정수
기본
-1
mds_log_max_segments
설명
Ceph가 트리밍을 시작하기 전에 저널의 최대 세그먼트 또는 오브젝트 수입니다. 제한을 비활성화하려면 -1 로 설정합니다.
유형
32비트 정수
기본
30
mds_log_max_expiring
설명
병렬로 만료할 최대 세그먼트 수입니다.
유형
32비트 정수
기본
20
mds_log_eopen_size
설명
EOpen 이벤트의 최대 inode 수입니다.
유형
32비트 정수
기본
100
mds_bal_sample_interval
설명
조각화 결정을 내릴 때 디렉토리 온도를 샘플링하는 빈도를 결정합니다.
유형
플로트
기본
3
mds_bal_replicate_threshold
설명
Ceph가 다른 노드에 메타데이터를 복제하기 전의 최대 온도입니다.
유형
플로트
기본
8000
mds_bal_unreplicate_threshold
설명
Ceph가 다른 노드에 메타데이터 복제를 중지하기 전의 최소 온도입니다.
유형
플로트
기본
0
mds_bal_frag
설명
MDS 조각 디렉터리가 있는지 여부를 결정합니다.
유형
부울
기본
false
mds_bal_split_size
설명
MDS에서 디렉터리 조각을 더 작은 비트로 분할하기 전의 최대 디렉터리 크기입니다. 루트 디렉터리에는 기본 조각 크기 제한이 10000입니다.
유형
32비트 정수
기본
10000
mds_bal_split_rd
설명
Ceph가 디렉터리 조각을 분할하기 전에 최대 디렉터리 읽기 온도입니다.
유형
플로트
기본
25000
mds_bal_split_wr
설명
Ceph가 디렉터리 조각을 분할하기 전에 최대 디렉터리 쓰기 온도입니다.
유형
플로트
기본
10000
mds_bal_split_bits
설명
디렉터리 조각을 분할하는 비트 수입니다.
유형
32비트 정수
기본
3
mds_bal_merge_size
설명
Ceph가 인접한 디렉터리 조각을 병합하기 전의 최소 디렉터리 크기입니다.
유형
32비트 정수
기본
50
mds_bal_merge_rd
설명
Ceph가 인접한 디렉터리 조각을 병합하기 전에 최소 읽기 온도입니다.
유형
플로트
기본
1000
mds_bal_merge_wr
설명
Ceph가 인접한 디렉터리 조각을 병합하기 전 최소 쓰기 온도입니다.
유형
플로트
기본
1000
mds_bal_interval
설명
MDS 노드 간 워크로드 교환 빈도(초)입니다.
유형
32비트 정수
기본
10
mds_bal_fragment_interval
설명
디렉터리 조각화를 조정하는 빈도(초)입니다.
유형
32비트 정수
기본
5
mds_bal_idle_threshold
설명
Ceph가 하위 트리를 다시 상위로 마이그레이션하기 전의 최소 온도입니다.
유형
플로트
기본
0
mds_bal_max
설명
Ceph가 중지되기 전에 밸런서를 실행할 반복 횟수입니다. 테스트 목적으로만 사용됩니다.
유형
32비트 정수
기본
-1
mds_bal_max_until
설명
Ceph가 중지되기 전에 밸랜서를 실행하는 데 걸리는 시간(초)입니다. 테스트 목적으로만 사용됩니다.
유형
32비트 정수
기본
-1
mds_bal_mode
설명

MDS 로드를 계산하는 방법:

  • 1 = 하이브리드.
  • 2 = 요청 속도 및 대기 시간.
  • 3 = CPU 로드.
유형
32비트 정수
기본
0
mds_bal_min_rebalance
설명
Ceph가 마이그레이션하기 전 최소 하위 트리 온도입니다.
유형
플로트
기본
0.1
mds_bal_min_start
설명
Ceph가 하위 트리를 검색하기 전에 최소 하위 트리 온도입니다.
유형
플로트
기본
0.2
mds_bal_need_min
설명
허용할 대상 하위 트리 크기의 최소 분수입니다.
유형
플로트
기본
0.8
mds_bal_need_max
설명
허용할 대상 하위 트리 크기의 최대 분수입니다.
유형
플로트
기본
1.2
mds_bal_midchunk
설명
Ceph는 대상 하위 트리 크기 중 이 부분보다 큰 하위 트리를 마이그레이션합니다.
유형
플로트
기본
0.3
mds_bal_minchunk
설명
Ceph는 대상 하위 트리 크기 중 이 분수보다 작은 하위 트리를 무시합니다.
유형
플로트
기본
0.001
mds_bal_target_removal_min
설명
Ceph가 MDS 맵에서 이전 MDS 대상을 제거하기 전에 최소 밸런서 반복 수입니다.
유형
32비트 정수
기본
5
mds_bal_target_removal_max
설명
Ceph가 MDS 맵에서 이전 MDS 대상을 제거하기 전에 반복되는 최대 밸런서 수입니다.
유형
32비트 정수
기본
10
mds_replay_interval
설명
대기 대기 모드가 대기 중일 때 저널 폴링 간격 입니다.
유형
플로트
기본
1
mds_shutdown_check
설명
MDS 종료 중에 캐시를 폴링하는 간격입니다.
유형
32비트 정수
기본
0
mds_thrash_exports
설명
Ceph는 노드 간에 하위 트리를 임의로 내보냅니다. 테스트 목적으로만 사용됩니다.
유형
32비트 정수
기본
0
mds_thrash_fragments
설명
Ceph는 디렉터리를 임의로 분할하거나 병합합니다.
유형
32비트 정수
기본
0
mds_dump_cache_on_map
설명
Ceph는 MDS 캐시 콘텐츠를 각 MDS 맵의 파일에 덤프합니다.
유형
부울
기본
false
mds_dump_cache_after_rejoin
설명
Ceph는 복구 중에 캐시에 다시 가입한 후 MDS 캐시 콘텐츠를 파일에 덤프합니다.
유형
부울
기본
false
mds_verify_scatter
설명
Ceph는 다양한 이관/gather 불변성이 true 라고 어설션합니다. 개발자의 경우에만 사용합니다.
유형
부울
기본
false
mds_debug_scatterstat
설명
Ceph는 다양한 재귀 통계 불변성이 true 라고 어설션합니다. 개발자의 경우에만 사용합니다.
유형
부울
기본
false
mds_debug_frag
설명
편리한 경우 Ceph는 디렉터리 조각의 불변성을 확인합니다. 개발자의 경우에만 사용합니다.
유형
부울
기본
false
mds_debug_auth_pins
설명
디버그 인증 고정 고정입니다. 개발자의 경우에만 사용합니다.
유형
부울
기본
false
mds_debug_subtrees
설명
하위 트리 불변 디버깅. 개발자의 경우에만 사용합니다.
유형
부울
기본
false
mds_kill_mdstable_at
설명
Ceph는 MDS 테이블 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
유형
32비트 정수
기본
0
mds_kill_export_at
설명
Ceph는 하위 트리 내보내기 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
유형
32비트 정수
기본
0
mds_kill_import_at
설명
Ceph 하위 트리 가져오기 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
유형
32비트 정수
기본
0
mds_kill_link_at
설명
Ceph는 하드 링크 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
유형
32비트 정수
기본
0
mds_kill_rename_at
설명
Ceph는 이름 변경 코드에 MDS 오류를 삽입합니다. 개발자의 경우에만 사용합니다.
유형
32비트 정수
기본
0
mds_wipe_sessions
설명
Ceph는 시작 시 모든 클라이언트 세션을 삭제합니다. 테스트 목적으로만 사용됩니다.
유형
부울
기본
0
mds_wipe_ino_prealloc
설명
Ceph는 시작 시 inode 사전 할당 메타데이터를 삭제합니다. 테스트 목적으로만 사용됩니다.
유형
부울
기본
0
mds_skip_ino
설명
시작 시 건너뛸 inode 번호 수입니다. 테스트 목적으로만 사용됩니다.
유형
32비트 정수
기본
0
mds_standby_for_name
설명
MDS 데몬은 이 설정에 지정된 이름의 다른 MDS 데몬을 대기합니다.
유형
문자열
기본
해당 없음
mds_standby_for_rank
설명
MDS 데몬 인스턴스는 이 순위의 다른 MDS 데몬 인스턴스에 대한 대기입니다.
유형
32비트 정수
기본
-1
mds_standby_replay
설명
핫 대기 시간으로 사용할 때 MDS 데몬이 활성 MDS의 로그를 폴링하고 재생하는지 여부를 결정합니다.
유형
부울
기본
false

부록 C. 저널러 구성 참조

저널러 구성에 사용할 수 있는 list 명령을 참조합니다.

journaler_write_head_interval
설명
저널 헤드 오브젝트를 업데이트하는 빈도입니다.
유형
정수
필수 항목
없음
기본
15
journaler_prefetch_periods
설명
저널 재생 시 미리 읽을 스트라이프 기간 수입니다.
유형
정수
필수 항목
없음
기본
10
journaler_prezero_periods
설명
쓰기 위치 앞의 0으로의 스트라이프 기간 수입니다.
유형
정수
필수 항목
없음
기본
10
journaler_batch_interval
설명
인위적으로 발생하는 최대 대기 시간(초)입니다.
유형
double
필수 항목
없음
기본
.001
journaler_batch_max
설명
플러시가 지연되는 최대 바이트 수입니다.
유형
64비트 서명되지 않은 정수
필수 항목
없음
기본
0

부록 D. Ceph 파일 시스템 미러 구성 참조

이 섹션에는 Ceph 파일 시스템(CephFS) 미러의 구성 옵션이 나열되어 있습니다.

cephfs_mirror_max_concurrent_directory_syncs
설명
cephfs-mirror 데몬에서 동시에 동기화할 수 있는 최대 디렉터리 스냅샷 수입니다. 동기화 스레드 수를 제어합니다.
유형
정수
기본
3
1
cephfs_mirror_action_update_interval
설명
보류 중인 미러 업데이트 작업을 처리하는 간격(초)입니다.
유형
기본
2
1
cephfs_mirror_restart_mirror_on_blocklist_interval
설명
블록 목록에 있는 미러 인스턴스를 재시작하는 간격(초)입니다. 0(0)으로 설정하면 차단 목록 인스턴스를 다시 시작할 수 없습니다.
유형
기본
30
0
cephfs_mirror_max_snapshot_sync_per_cycle
설명
작업자 스레드의 미러링을 위해 디렉터리를 선택할 때 미러링할 최대 스냅샷 수입니다.
유형
정수
기본
3
1
cephfs_mirror_directory_scan_interval
설명
스냅샷 미러링을 위해 구성된 디렉터리를 스캔하는 간격(초)입니다.
유형
정수
기본
10
1
cephfs_mirror_max_consecutive_failures_per_directory
설명
디렉터리를 "실패"로 표시하는 연속적인 스냅샷 동기화 실패 수입니다. 실패한 디렉터리는 동기화를 위해 다시 시도됩니다.
유형
정수
기본
10
0
cephfs_mirror_retry_failed_directories_interval
설명
실패한 디렉터리에 대한 동기화를 재시도하는 간격(초)입니다.
유형
정수
기본
60
1
cephfs_mirror_restart_mirror_on_failure_interval
설명
실패한 미러 인스턴스를 재시작하는 간격(초)입니다. 0(0)으로 설정하면 실패한 미러 인스턴스를 다시 시작할 수 없습니다.
유형
기본
20
0
cephfs_mirror_mount_timeout
설명
cephfs-mirror 데몬의 기본 또는 보조 CephFS를 마운트하기 위한 제한 시간(초)입니다. 이 값을 더 높은 값으로 설정하면 클러스터에 연결할 수 없는 경우 파일 시스템을 마운트할 때 미러 데몬이 중단될 수 있습니다. 이 옵션은 일반적인 client_mount_timeout 을 재정의하는 데 사용됩니다.
유형
기본
10
0

법적 공지

Copyright © 2025 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.
Red Hat logoGithubRedditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

© 2024 Red Hat, Inc.