파일 시스템 가이드

절차

1. max_mds 매개변수를 원하는 개수의 활성 MDS 데몬으로 설정합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 2

   이 예에서는 cephfs라는 CephFS에서 활성 MDS 데몬 수를 두 개로 늘립니다.

   참고

   예비 MDS 데몬을 사용하여 새 순위를 사용할 수 있는 경우 Ceph에서만 CephFS에서 실제 순위 수를 늘립니다.

2. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+
   | Rank | State  |  MDS  |    Activity   |  dns  |  inos |
   +------+--------+-------+---------------+-------+-------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |
   +------+--------+-------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   +-------------+

절차

1. 특정 CephFS에 대해 예상되는 Wait 데몬 수를 설정합니다.

   구문

   ceph fs set FS_NAME standby_count_wanted NUMBER

   참고

   NUMBER 를 0으로 설정하면 데몬 상태 점검이 비활성화됩니다.

   예제

   [root@mon]# ceph fs set cephfs standby_count_wanted 2

   이 예에서는 예상되는 Wait daemon 수를 2로 설정합니다.

절차

1. 특정 CephFS에 대해 Wait-replay를 설정합니다.

   구문

   ceph fs set FS_NAME allow_standby_replay 1

   예제

   [root@mon]# ceph fs set cephfs allow_standby_replay 1

   이 예제에서 부울 값은 1 입니다. 이 값을 사용하면 Wait-replay 데몬을 활성 Ceph MDS 데몬에 할당할 수 있습니다.

   참고

   allow_standby_replay 부울 값을 0 으로 다시 설정하면 새 Wait-replay 데몬이 할당되지 않습니다. 실행 중인 데몬도 중지하려면 ceph mds fail 명령을 사용하여 실패한 것으로 표시합니다.

절차

1. max_mds 매개변수에 지정된 대로 동일한 MDS 데몬 수를 설정합니다.

   구문

   ceph fs status NAME

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+
   | Rank | State  |  MDS  |    Activity   |  dns  |  inos |
   +------+--------+-------+---------------+-------+-------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |
   +------+--------+-------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   +-------------+

2. 관리 기능이 있는 노드에서 max_mds 매개변수를 원하는 수의 활성 MDS 데몬으로 변경합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 1

3. Ceph File System 상태를 확인하여 스토리지 클러스터가 새로운 max_mds 값으로 안정화될 때까지 기다립니다.

4. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+
   | Rank | State  |  MDS  |    Activity   |  dns  |  inos |
   +------+--------+-------+---------------+-------+-------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |
   +------+--------+-------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+

절차

1. 두 개의 풀, 즉 데이터를 저장하기 위한 풀과 메타데이터를 저장하기 위한 풀을 생성합니다.

   구문

   ceph osd pool create NAME _PG_NUM

   예제

   [root@mon ~]# ceph osd pool create cephfs_data 64
   [root@mon ~]# ceph osd pool create cephfs_metadata 64

   일반적으로 메타데이터 풀은 일반적으로 데이터 풀보다 훨씬 적은 수의 배치 그룹(PG)으로 시작할 수 있습니다. 필요한 경우 PG 수를 늘릴 수 있습니다. 권장되는 메타데이터 풀 범위는 64 PG에서 512 PG까지입니다. 데이터 풀의 크기는 파일 시스템에서 예상하는 파일의 수와 크기에 비례합니다.

   중요

   메타데이터 풀의 경우 다음을 사용합니다.

   • 이 풀에 대한 데이터가 손실되어 전체 파일 시스템에 액세스할 수 없기 때문에 복제 수준이 높아집니다.
   • SSD(Solid-State Drive) 디스크와 같은 대기 시간이 짧은 스토리지가 클라이언트의 파일 시스템 작업 대기 시간에 직접 영향을 미치기 때문입니다.

2. CephFS를 생성합니다.

   구문

   ceph fs new NAME METADATA_POOL DATA_POOL

   예제

   [root@mon ~]# ceph fs new cephfs cephfs_metadata cephfs_data

3. 하나 이상의 MDS가 구성에 따라 활성 상태로 전환되는지 확인합니다.

   구문

   ceph fs status NAME

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+
   | Rank | State  |  MDS  |    Activity   |  dns  |  inos |
   +------+--------+-------+---------------+-------+-------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |
   +------+--------+-------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+----

절차

1. CephFS 메타데이터에 대한 복제된 메타데이터 풀을 생성합니다.

   구문

   ceph osd pool create METADATA_POOL PG_NUM

   예제

   [root@mon ~]# ceph osd pool create cephfs-metadata 64

   이 예제에서는 배치 그룹이 64개인 cephfs-metadata 풀을 생성합니다.

2. CephFS에 대한 기본 복제 데이터 풀을 생성합니다.

   구문

   ceph osd pool create DATA_POOL PG_NUM

   예제

   [root@mon ~]# ceph osd pool create cephfs-data 64

   이 예제에서는 64개의 배치 그룹을 사용하여 cephfs-data 라는 복제된 풀을 생성합니다.

3. CephFS에 대한 deletesure-coded 데이터 풀을 생성합니다.

   구문

   ceph osd pool create DATA_POOL PG_NUM erasure

   예제

   [root@mon ~]# ceph osd pool create cephfs-data-ec 64 erasure

   이 예제에서는 64개의 배치 그룹을 사용하여 cephfs-data-ec 라는 삭제가 코딩된 풀을 생성합니다.

4. deletesure-coded 풀에서 덮어 쓰기를 활성화합니다.

   구문

   ceph osd pool set DATA_POOL allow_ec_overwrites true

   예제

   [root@mon ~]# ceph osd pool set cephfs-data-ec allow_ec_overwrites true

   이 예제에서는 cephfs-data-ec 라는 삭제-코딩된 풀에서 덮어 쓰기를 활성화합니다.

5. invokesure-coded 데이터 풀을 CephFS 메타데이터 서버(MDS)에 추가합니다.

   구문

   ceph fs add_data_pool cephfs-ec DATA_POOL

   예제

   [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec

   1. 선택적으로 데이터 풀이 추가되었는지 확인합니다.

      [root@mon ~]# ceph fs ls

6. CephFS를 생성합니다.

   구문

   ceph fs new cephfs METADATA_POOL DATA_POOL

   예제

   [root@mon ~]# ceph fs new cephfs cephfs-metadata cephfs-data

   중요

   기본 데이터 풀에 deletesure-coded 풀을 사용하는 것은 권장되지 않습니다.

7. 삭제 코딩을 사용하여 CephFS를 생성합니다.

   구문

   ceph fs new cephfs-ec METADATA_POOL DATA_POOL

   예제

   [root@mon ~]# ceph fs new cephfs-ec cephfs-metadata cephfs-data-ec

8. 하나 이상의 Ceph FS 메타데이터 서버(MDS)가 활성 상태인지 확인합니다.

   구문

   ceph fs status FS_EC

   예제

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+
   | Rank | State  |  MDS  |    Activity   |  dns  |  inos |
   +------+--------+-------+---------------+-------+-------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |
   +------+--------+-------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs-metadata | metadata | 4638  | 26.7G |
   |  cephfs-data    |   data   |    0  | 26.7G |
   |  cephfs-data-ec |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+

9. 기존 파일 시스템에 새 삭제-코딩된 데이터 풀을 추가하려면 다음을 수행합니다.

   1. CephFS에 대한 deletesure-coded 데이터 풀을 생성합니다.

      구문

      ceph osd pool create DATA_POOL PG_NUM erasure

      예제

      [root@mon ~]# ceph osd pool create cephfs-data-ec1 64 erasure

   2. deletesure-coded 풀에서 덮어 쓰기를 활성화합니다.

      구문

      ceph osd pool set DATA_POOL allow_ec_overwrites true

      예제

      [root@mon ~]# ceph osd pool set cephfs-data-ec1 allow_ec_overwrites true

   3. invokesure-coded 데이터 풀을 CephFS 메타데이터 서버(MDS)에 추가합니다.

      구문

      ceph fs add_data_pool cephfs-ec DATA_POOL

      예제

      [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec1

10. 삭제 코딩을 사용하여 CephFS를 생성합니다.

    구문

    ceph fs new cephfs-ec METADATA_POOL DATA_POOL

    예제

    [root@mon ~]# ceph fs new cephfs-ec cephfs-metadata cephfs-data-ec1

절차

1. Ceph 모니터 노드에서 클라이언트 사용자를 생성합니다.

   구문

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   • 클라이언트가 파일 시스템 cephfs_a 의 temp 디렉터리만 작성하도록 제한하려면 다음을 수행합니다.

     예제

     [root@mon ~]# ceph fs authorize cephfs_a client.1 / r /temp rw
     
     client.1
       key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
       caps: [mds] allow r, allow rw path=/temp
       caps: [mon] allow r
       caps: [osd] allow rw tag cephfs data=cephfs_a

   • 클라이언트를 temp 디렉토리로 완전히 제한하려면 루트(/) 디렉토리를 제거하십시오.

     예제

     [root@mon ~]# ceph fs authorize cephfs_a client.1 /temp rw

   참고

   모든 또는 별표를 파일 시스템 이름으로 제공하면 모든 파일 시스템에 액세스할 수 있습니다. 일반적으로 쉘에서 보호하려면 별표를 인용해야 합니다.

2. 생성된 키를 확인합니다.

   구문

   ceph auth get client.ID

   예제

   [root@mon ~]# ceph auth get client.1

3. 인증 키를 클라이언트에 복사합니다.

   1. Ceph Monitor 노드에서 인증 키를 파일로 내보냅니다.

      구문

      ceph auth get client.ID -o ceph.client.ID.keyring

      예제

      [root@mon ~]# ceph auth get client.1 -o ceph.client.1.keyring
      exported keyring for client.1

   2. Ceph Monitor 노드의 클라이언트 인증 키를 클라이언트 노드의 /etc/ceph/ 디렉터리에 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/root/ceph.client.1.keyring /etc/ceph/

      Ceph Monitor 노드 이름 또는 IP로 Replace_SERVICEITOR_NODE_NAME_with Ceph Monitor 노드 이름 또는 IP

      예제

      [root@client ~]# scp root@mon:/root/ceph.client.1.keyring /etc/ceph/ceph.client.1.keyring

4. 인증 키 파일에 적절한 권한을 설정합니다.

   구문

   chmod 644 KEYRING

   예제

   [root@client ~]# chmod 644 /etc/ceph/ceph.client.1.keyring

절차

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage 4 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 7

      [root@client ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

   2. ceph-common 패키지를 설치합니다.

      Red Hat Enterprise Linux 7

      [root@client ~]# yum install ceph-common

      Red Hat Enterprise Linux 8

      [root@client ~]# dnf install ceph-common

   3. Ceph 모니터 노드에서 클라이언트 노드에 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 교체합니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

   4. Ceph Monitor 노드의 Ceph 구성 파일을 클라이언트 노드로 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 교체합니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

   5. 구성 파일에 적절한 권한을 설정합니다.

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf

2. 클라이언트 노드에 마운트 디렉터리를 생성합니다.

   구문

   mkdir -p MOUNT_POINT

   예제

   [root@client]# mkdir -p /mnt/cephfs

3. Ceph 파일 시스템을 마운트합니다. 여러 Ceph Monitor 주소를 지정하려면 mount 명령에서 쉼표로 구분하고 마운트 지점을 지정하고 클라이언트 이름을 설정합니다.

   참고

   Red Hat Ceph Storage 4.1부터 mount.ceph 는 인증 키 파일을 직접 읽을 수 있습니다. 따라서 보안 파일은 더 이상 필요하지 않습니다. name=CLIENT_ID를 사용하여 클라이언트 ID 를 지정하면 mount.ceph 가 올바른 인증 키 파일을 찾습니다.

   구문

   mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID

   예제

   [root@client ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1

   참고

   단일 호스트 이름이 여러 IP 주소로 확인되도록 DNS 서버를 구성할 수 있습니다. 그런 다음 쉼표로 구분된 목록을 제공하는 대신 mount 명령과 함께 단일 호스트 이름을 사용할 수 있습니다.

   참고

   모니터 호스트 이름을 :/ 문자열로 교체할 수도 있습니다.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   예제

   [root@client ~]# stat -f /mnt/cephfs

절차

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage 4 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 7

      [root@client ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

   2. ceph-fuse 패키지를 설치합니다.

      Red Hat Enterprise Linux 7

      [root@client ~]# yum install ceph-fuse

      Red Hat Enterprise Linux 8

      [root@client ~]# dnf install ceph-fuse

   3. Ceph 모니터 노드에서 클라이언트 노드에 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 교체합니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

   4. Ceph Monitor 노드의 Ceph 구성 파일을 클라이언트 노드로 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 교체합니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

   5. 구성 파일에 적절한 권한을 설정합니다.

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf

   6. 자동 또는 수동으로 마운트를 선택합니다.

수동 마운트

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   예제

   [root@client ~]# mkdir /mnt/mycephfs

   참고

   MDS 기능에 path 옵션을 사용하는 경우 경로에서 지정하는 마운트 지점이어야 합니다.

3. ceph-fuse 유틸리티를 사용하여 Ceph 파일 시스템을 마운트합니다.

   구문

   ceph-fuse -n client.CLIENT_ID MOUNT_POINT

   예제

   [root@client ~]# ceph-fuse -n client.1 /mnt/mycephfs

   참고

   사용자 인증 키의 기본 이름과 위치를 사용하지 않는 경우, 즉 /etc/ceph/ceph.client.CLIENT_ID.keyring. keyring 옵션을 사용하여 사용자 인증 키의 경로를 지정합니다. 예를 들면 다음과 같습니다.

   예제

   [root@client ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs

   참고

   -r 옵션을 사용하여 클라이언트에 해당 경로를 root로 처리하도록 지시합니다.

   구문

   ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH

   예제

   [root@client ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   예제

   [user@client ~]$ stat -f /mnt/cephfs

자동 마운트

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   예제

   [root@client ~]# mkdir /mnt/mycephfs

   참고

   MDS 기능에 path 옵션을 사용하는 경우 경로에서 지정하는 마운트 지점이어야 합니다.

3. 다음과 같이 /etc/fstab 파일을 편집합니다.

   구문

   #DEVICE                 PATH           TYPE          OPTIONS                  DUMP  FSCK
   HOST_NAME:_PORT_,     MOUNT_POINT  fuse.ceph     ceph.id=CLIENT_ID,        0     0
   HOST_NAME:_PORT_,                                  ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,
   HOST_NAME:_PORT_:/                                 [ADDITIONAL_OPTIONS]

   첫 번째 열 은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

   두 번째 열 은 마운트 지점을 설정

   세 번째 열 은 CephFS에 대한 파일 시스템 유형(이 경우 fuse.ceph )을 설정합니다.

   네 번째 열 은 각각 name 및 secretfile 옵션을 사용하여 사용자 이름 및 시크릿 파일과 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨, 하위 볼륨을 설정할 수도 있습니다. 중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다.

   다섯 번째 및 여섯 번째 열을 0으로 설정합니다.

   예제

   #DEVICE         PATH              TYPE         OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/cephfs       fuse.ceph    ceph.id=1,         0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    _netdev,defaults

   Ceph 파일 시스템은 다음 시스템 부팅 시 마운트됩니다.

절차

1. 커널 클라이언트로 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.

   구문

   umount MOUNT_POINT

   예제

   [root@client ~]# umount /mnt/cephfs

절차

1. FUSE에 마운트된 Ceph 파일 시스템을 마운트 해제하려면 다음을 수행합니다.

   구문

   fusermount -u MOUNT_POINT

   예제

   [root@client ~]# fusermount -u /mnt/cephfs

절차

1. Ceph 사용자의 기능에 p 플래그를 추가합니다.

   구문

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   예제

   [user@client ~]$ ceph fs authorize cephfs_a client.1 /temp rwp
   
   client.1
     key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps: [mds] allow r, allow rwp path=/temp
     caps: [mon] allow r
     caps: [osd] allow rw tag cephfs data=cephfs_a

2. 디렉터리에 ceph.dir.pin extended 속성을 설정합니다.

   구문

   setfattr -n ceph.dir.pin -v RANK DIRECTORY

   예제

   [user@client ~]$ setfattr -n ceph.dir.pin -v 2 /temp

   이 예에서는 /temp 디렉토리 및 모든 하위 디렉토리를 순위 2로 할당합니다.

절차

1. 디렉터리에서 ceph.dir.pin extended 속성을 -1로 설정합니다.

   구문

   setfattr -n ceph.dir.pin -v -1 DIRECTORY

   예제

   [user@client ~]$ serfattr -n ceph.dir.pin -v -1 /home/ceph-user

   참고

   /home/ceph-user/ 의 별도로 매핑된 하위 디렉터리는 영향을 받지 않습니다.

절차

1. 새 데이터 풀을 생성합니다.

   구문

   ceph osd pool create POOL_NAME PG_NUMBER

   교체:

   • POOL_NAME 풀에 이름을 지정합니다.
   • PG_NUMBER, 배치 그룹 수(PG)

   예제

   [root@mon ~]# ceph osd pool create cephfs_data_ssd 64
   pool 'cephfs_data_ssd' created

2. 메타데이터 서버 제어 아래에 새로 생성된 풀을 추가합니다.

   구문

   ceph fs add_data_pool FS_NAME POOL_NAME

   교체:

   • FS_NAME 파일 시스템의 이름입니다.
   • POOL_NAME 풀에 이름을 지정합니다.

   예제:

   [root@mon ~]# ceph fs add_data_pool cephfs cephfs_data_ssd
   added data pool 6 to fsmap

3. 풀이 성공적으로 추가되었는지 확인합니다.

   예제

   [root@mon ~]# ceph fs ls
   name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data cephfs_data_ssd]

4. RuntimeClass 인증을 사용하는 경우 클라이언트가 새 풀에 액세스할 수 있는지 확인합니다.

절차

1. CephFS 클러스터를 down으로 표시하려면 다음을 수행합니다.

   구문

   ceph fs set FS_NAME down true

   Exmaple

   [root@mon]# ceph fs set cephfs down true

   1. CephFS 클러스터를 다시 표시하려면 다음을 수행합니다.

      구문

      ceph fs set FS_NAME down false

      Exmaple

      [root@mon]# ceph fs set cephfs down false

   또는

1. CephFS 클러스터를 신속하게 축소하려면 다음을 수행합니다.

   구문

   ceph fs fail FS_NAME

   Exmaple

   [root@mon]# ceph fs fail cephfs

절차

1. CephFS 상태를 표시하여 MDS 순위를 확인합니다.

   구문

   ceph fs status

   예제

   [root@mon ~]# ceph fs status
   cephfs - 0 clients
   ======
   +------+--------+----------------+---------------+-------+-------+
   | Rank | State  |      MDS       |    Activity   |  dns  |  inos |
   +------+--------+----------------+---------------+-------+-------+
   |  0   | active | cluster1-node6 | Reqs:    0 /s |   10  |   13  |
   +------+--------+----------------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 2688k | 15.0G |
   |   cephfs_data   |   data   |    0  | 15.0G |
   +-----------------+----------+-------+-------+
   +----------------+
   |  Standby MDS   |
   +----------------+
   | cluster1-node5 |
   +----------------+

   위의 예에서 랭크는 0 입니다.

2. CephFS를 down으로 표시합니다.

   구문

   ceph fs set FS_NAME down true

   FS_NAME 을 제거할 CephFS의 이름으로 교체합니다.

   예제

   [root@mon]# ceph fs set cephfs down true
   marked down

3. CephFS의 상태를 표시하여 중지되었는지 확인합니다.

   구문

   ceph fs status

   예제

   [root@mon ~]# ceph fs status
   cephfs - 0 clients
   ======
   +------+----------+----------------+----------+-------+-------+
   | Rank |  State   |      MDS       | Activity |  dns  |  inos |
   +------+----------+----------------+----------+-------+-------+
   |  0   | stopping | cluster1-node6 |          |   10  |   12  |
   +------+----------+----------------+----------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 2688k | 15.0G |
   |   cephfs_data   |   data   |    0  | 15.0G |
   +-----------------+----------+-------+-------+
   +----------------+
   |  Standby MDS   |
   +----------------+
   | cluster1-node5 |
   +----------------+

   잠시 후 MDS가 더 이상 나열되지 않습니다.

   예제

   [root@mon ~]# ceph fs status
   cephfs - 0 clients
   ======
   +------+-------+-----+----------+-----+------+
   | Rank | State | MDS | Activity | dns | inos |
   +------+-------+-----+----------+-----+------+
   +------+-------+-----+----------+-----+------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 2688k | 15.0G |
   |   cephfs_data   |   data   |    0  | 15.0G |
   +-----------------+----------+-------+-------+
   +----------------+
   |  Standby MDS   |
   +----------------+
   | cluster1-node5 |
   +----------------+

4. 단계 1의 상태에 표시된 모든 MDS 순위를 검색합니다.

   구문

   ceph mds fail RANK

   RANK 를 실패할 MDS 데몬 순위로 교체합니다.

   예제

   [root@mon]# ceph mds fail 0

5. CephFS를 제거합니다.

   구문

   ceph fs rm FS_NAME --yes-i-really-mean-it

   FS_NAME 을 제거할 Ceph 파일 시스템의 이름으로 바꿉니다.

   예제

   [root@mon]# ceph fs rm cephfs --yes-i-really-mean-it

6. 파일 시스템이 제거되었는지 확인합니다.

   구문

   ceph fs ls

   예제

   [root@mon ~]# ceph fs ls
   No filesystems enabled

7. 선택 사항: CephFS에서 사용한 풀을 제거합니다.

   1. Ceph Monitor 노드에서 풀을 나열합니다.

      구문

      ceph osd pool ls

      예제

      [root@mon ~]# ceph osd pool ls
      rbd
      cephfs_data
      cephfs_metadata

      예제 출력에서 cephfs_metadata 및 cephfs_data 는 CephFS에서 사용하는 풀입니다.

   2. 메타데이터 풀을 제거합니다.

      구문

      ceph osd pool delete CEPH_METADATA_POOL CEPH_METADATA_POOL --yes-i-really-really-mean-it

      CEPH_METADATA_POOL 을 풀 이름을 두 번 포함하여 메타데이터 스토리지에 사용되는 풀 CephFS로 교체합니다.

      예제

      [root@mon ~]# ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
      pool 'cephfs_metadata' removed

   3. 데이터 풀을 제거합니다.

      구문

      ceph osd pool delete CEPH_DATA_POOL CEPH_DATA_POOL --yes-i-really-really-mean-it

      CEPH_DATA_POOL 을 풀 이름을 두 번 포함하여 데이터 스토리지에 사용되는 풀 CephFS로 교체합니다.

      예제

      [root@mon ~]# ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
      pool 'cephfs_data' removed

절차

1. /usr/share/ceph-ansible/ 디렉터리로 이동합니다.

   [admin@admin ~]$ cd /usr/share/ceph-ansible

2. Ansible 인벤토리 파일에서 [mds] 섹션을 검토하여 Ceph Metadata Server(MDS) 노드를 식별합니다. Ansible 관리 노드에서 /usr/share/ceph-ansible/hosts 를 엽니다.

   예제

   [mdss]
   cluster1-node5
   cluster1-node6

   예에서는 cluster1-node5 및 cluster1-node6 은 MDS 노드입니다.

3. max_mds 매개변수를 1 로 설정합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 1

4. 제거할 메타데이터 서버(MDS)를 지정하여 shrink-mds.yml 플레이북을 실행합니다.

   구문

   ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=MDS_NODE -i hosts

   MDS_NODE 를 삭제하려는 메타데이터 서버 노드로 바꿉니다. Ansible Playbook은 클러스터를 축소할지 묻는 메시지를 표시합니다. yes 를 입력하고 Enter 키를 누릅니다.

   예제

   [admin@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=cluster1-node6 -i hosts

5. 선택 사항: 추가 MDS 노드의 프로세스를 반복합니다.

   구문

   ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=MDS_NODE -i hosts

   MDS_NODE 를 삭제하려는 메타데이터 서버 노드로 바꿉니다. Ansible Playbook은 클러스터를 축소할지 묻는 메시지를 표시합니다. yes 를 입력하고 Enter 키를 누릅니다.

   예제

   [admin@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=cluster1-node5 -i hosts

6. CephFS의 상태를 확인합니다.

   구문

   ceph fs status

   예제

   [root@mon ~]# ceph fs status
   cephfs - 0 clients
   ======
   +------+--------+----------------+---------------+-------+-------+
   | Rank | State  |      MDS       |    Activity   |  dns  |  inos |
   +------+--------+----------------+---------------+-------+-------+
   |  0   | failed | cluster1-node6 | Reqs:    0 /s |   10  |   13  |
   +------+--------+----------------+---------------+-------+-------+
   +-----------------+----------+-------+-------+
   |       Pool      |   type   |  used | avail |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 2688k | 15.0G |
   |   cephfs_data   |   data   |    0  | 15.0G |
   +-----------------+----------+-------+-------+
   +----------------+
   |  Standby MDS   |
   +----------------+
   | cluster1-node5 |
   +----------------+

7. [mds] 섹션과 Ansible 인벤토리 파일에서 해당 노드를 제거하여 나중에 site.yml 또는 site-container.yml 플레이북의 메타데이터 서버로 다시 프로비저닝되지 않습니다. Ansible 인벤토리 파일 /usr/share/ceph-ansible/hosts 를 편집하기 위해 을 엽니다.

   예제

   [mdss]
   cluster1-node5
   cluster1-node6

   [mds] 섹션과 해당 섹션 아래의 모든 노드를 제거합니다.

8. CephFS를 제거합니다.

   구문

   ceph fs rm FS_NAME --yes-i-really-mean-it

   FS_NAME 을 제거할 Ceph 파일 시스템의 이름으로 바꿉니다.

   예제

   [root@mon]# ceph fs rm cephfs --yes-i-really-mean-it

9. 선택 사항: CephFS에서 사용한 풀을 제거합니다.

   1. Ceph Monitor 노드에서 풀을 나열합니다.

      구문

      ceph osd pool ls

      CephFS에서 사용한 풀을 찾습니다.

      예제

      [root@mon ~]# ceph osd pool ls
      rbd
      cephfs_data
      cephfs_metadata

      예제 출력에서 cephfs_metadata 및 cephfs_data 는 CephFS에서 사용하는 풀입니다.

   2. 메타데이터 풀을 제거합니다.

      구문

      ceph osd pool delete CEPH_METADATA_POOL CEPH_METADATA_POOL --yes-i-really-really-mean-it

      CEPH_METADATA_POOL 을 풀 이름을 두 번 포함하여 메타데이터 스토리지에 사용되는 풀 CephFS로 교체합니다.

      예제

      [root@mon ~]# ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
      pool 'cephfs_metadata' removed

   3. 데이터 풀을 제거합니다.

      구문

      ceph osd pool delete CEPH_DATA_POOL CEPH_DATA_POOL --yes-i-really-really-mean-it

      CEPH_METADATA_POOL 을 풀 이름을 두 번 포함하여 메타데이터 스토리지에 사용되는 풀 CephFS로 교체합니다.

      예제

      [root@mon ~]# ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
      pool 'cephfs_data' removed

   4. 풀이 더 이상 존재하지 않는지 확인합니다.

      예제

      [root@mon ~]# ceph osd pool ls
      rbd

      cephfs_metadata 및 cephfs_data 풀은 더 이상 나열되지 않습니다.

절차

1. 최소 클라이언트 버전을 설정합니다.

   ceph fs set name min_compat_client release

   name 을 Ceph File System의 이름으로 바꾸고 릴리스를 최소 클라이언트 버전으로 변경합니다. 예를 들어, cephfs Ceph 파일 시스템에서 nautilus 업스트림 버전을 최소로 사용하도록 클라이언트를 제한하려면 다음을 수행합니다.

   $ ceph fs set cephfs min_compat_client nautilus

   사용 가능한 값의 전체 목록과 Red Hat Ceph Storage 버전에 해당하는 방법은 표 4.1. “min_compat_client values” 에서 참조하십시오.

절차

1. 데몬에 실패하면 다음을 수행합니다.

   구문

   ceph mds fail MDS_NAME

   여기서 MDS_NAME 은 Wait -replay MDS 노드의 이름입니다.

   예제

   [root@mds ~]# ceph mds fail example01

   참고

   Ceph MDS 이름은 ceph fs status 명령에서 찾을 수 있습니다.

절차

1. 클라이언트 목록을 검토합니다.

   구문

   ceph tell DAEMON_NAME client ls

   Exmaple

   [root@mon]# ceph tell mds.0 client ls
   [
       {
           "id": 4305,
           "num_leases": 0,
           "num_caps": 3,
           "state": "open",
           "replay_requests": 0,
           "completed_requests": 0,
           "reconnecting": false,
           "inst": "client.4305 172.21.9.34:0/422650892",
           "client_metadata": {
               "ceph_sha1": "ae81e49d369875ac8b569ff3e3c456a31b8f3af5",
               "ceph_version": "ceph version 12.0.0-1934-gae81e49 (ae81e49d369875ac8b569ff3e3c456a31b8f3af5)",
               "entity_id": "0",
               "hostname": "senta04",
               "mount_point": "/tmp/tmpcMpF1b/mnt.0",
               "pid": "29377",
               "root": "/"
           }
       }
   ]

2. 지정된 CephFS 클라이언트를 제거합니다.

   구문

   ceph tell DAEMON_NAME client evict id=ID_NUMBER

   Exmaple

   [root@mon]# ceph tell mds.0 client evict id=4305

절차

1. 블랙리스트를 확인합니다.

   Exmaple

   [root@mon]# ceph osd blacklist ls
   listed 1 entries
   127.0.0.1:0/3710147553 2020-03-19 11:32:24.716146

2. 블랙리스트에서 CephFS 클라이언트를 제거합니다.

   구문

   ceph osd blacklist rm CLIENT_NAME_OR_IP_ADDR

   Exmaple

   [root@mon]# ceph osd blacklist rm 127.0.0.1:0/3710147553
   un-blacklisting 127.0.0.1:0/3710147553

3. 필요한 경우 FUSE 기반 CephFS 클라이언트가 블랙리스트에서 제거할 때 자동으로 다시 연결을 시도합니다. FUSE 클라이언트에서 다음 옵션을 true 로 설정합니다.

   client_reconnect_stale = true