파일 시스템 가이드

절차

1. Ceph 파일 시스템의 현재 상태를 확인합니다.

   예제

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 399
   ...
   Filesystem 'cephfs01' (27)
   ...
   e399
   max_mds 1
   in      0
   up      {0=20384}
   failed
   damaged
   stopped
   ...
   [mds.a{0:20384} state up:active seq 239 addr [v2:127.0.0.1:6854/966242805,v1:127.0.0.1:6855/966242805]]
   
   Standby daemons:
   
   [mds.b{-1:10420} state up:standby seq 2 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]]

   Copy to Clipboard

2. 파일 시스템 유사성을 설정합니다.

   구문

   ceph config set STANDBY_DAEMON mds_join_fs FILE_SYSTEM_NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph config set mds.b mds_join_fs cephfs01

   Copy to Clipboard

   Ceph MDS 페일오버 이벤트 후에는 파일 시스템에서 선호도가 설정된 standby 데몬을 선호합니다.

   예제

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 405
   e405
   ...
   Filesystem 'cephfs01' (27)
   ...
   max_mds 1
   in      0
   up      {0=10420}
   failed
   damaged
   stopped
   ...
   [mds.b{0:10420} state up:active seq 274 join_fscid=27 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]] 

   1

   
   
   Standby daemons:
   
   [mds.a{-1:10720} state up:standby seq 2 addr [v2:127.0.0.1:6854/1340357658,v1:127.0.0.1:6855/1340357658]]

   Copy to Clipboard

   1

   mds.b 데몬은 파일 시스템 덤프 출력에 join_fscid=27 이 있습니다.

   중요

   파일 시스템이 성능이 저하되거나 크기가 낮은 상태인 경우 파일 시스템 선호도를 적용하기 위해 페일오버가 발생하지 않습니다.

절차

1. max_mds 매개변수를 원하는 수의 활성 MDS 데몬으로 설정합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 2

   Copy to Clipboard

   이 예에서는 cephfs라는 CephFS에서 활성 MDS 데몬 수가 2개로 증가합니다.

   참고

   예비 MDS 데몬을 사용하여 새 순위를 지정할 수 있는 경우에만 Ceph에서 CephFS의 실제 순위 수를 늘립니다.

2. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | STANDBY MDS |
   +-------------+
   |    node3    |
   +-------------+

   Copy to Clipboard

절차

1. max_mds 매개변수에 지정된 것과 동일한 MDS 데몬 수를 설정합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   +-------------+

   Copy to Clipboard

2. 관리 기능이 있는 노드에서 max_mds 매개변수를 원하는 수의 활성 MDS 데몬으로 변경합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 1

   Copy to Clipboard

3. Ceph 파일 시스템 상태를 확인하여 스토리지 클러스터가 새로운 max_mds 값으로 안정화될 때까지 기다립니다.

4. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------|--------+
   +-----------------+----------+-------+-------+
   |       POOl      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+

   Copy to Clipboard

절차

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Copy to Clipboard

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard

   2. ceph-fuse 패키지를 설치합니다.

      [root@client ~]# dnf install ceph-fuse

      Copy to Clipboard

   3. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      Copy to Clipboard

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

      Copy to Clipboard

   4. Ceph 모니터 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      Copy to Clipboard

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      Copy to Clipboard

   5. 구성 파일에 적절한 권한을 설정합니다.

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard

2. Ceph 파일 시스템을 만듭니다.

   구문

   ceph fs volume create FILE_SYSTEM_NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs volume create cephfs01

   Copy to Clipboard

   이 단계를 반복하여 추가 파일 시스템을 생성합니다.

   참고

   이 명령을 실행하면 Ceph에서 새 풀을 자동으로 생성하고 새 파일 시스템을 지원하기 위해 새 Ceph 메타데이터 서버(MDS) 데몬을 배포합니다. 또한 MDS 선호도도 구성합니다.

3. Ceph 클라이언트에서 새 Ceph 파일 시스템에 대한 액세스 권한을 확인합니다.

   1. 새 파일 시스템에 액세스할 Ceph 클라이언트를 인증합니다.

      구문

      ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME DIRECTORY PERMISSIONS

      Copy to Clipboard

      중요

      PERMISSIONS 에 대해 지원되는 값은 r (읽기) 및 rw (읽기/쓰기)입니다.

      예제

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      exported keyring for client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      Copy to Clipboard

      참고

      선택적으로 root_squash 옵션을 지정하여 안전 측정값을 추가할 수 있습니다. 이로 인해 실수로 uid=0 또는 gid=0 인 클라이언트가 쓰기 작업을 수행하지 못하여 삭제 시나리오를 방지할 수 있지만 읽기 작업을 계속 수행할 수 있습니다.

      예제

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw root_squash /volumes rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01 root_squash, allow rw fsname=cephfs01 path=/volumes"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      Copy to Clipboard

      이 예에서 /volumes 디렉토리 트리 내에서는 cephfs01 파일 시스템에 대해 root_squash 가 활성화됩니다.

      중요

      Ceph 클라이언트는 인증된 CephFS만 볼 수 있습니다.

   2. Ceph 사용자의 인증 키를 Ceph 클라이언트 노드에 복사합니다.

      구문

      ceph auth get CLIENT_NAME > OUTPUT_FILE_NAME
      scp OUTPUT_FILE_NAME TARGET_NODE_NAME:/etc/ceph

      Copy to Clipboard

      예제

      [root@mon ~]# ceph auth get client.1 > ceph.client.1.keyring
      exported keyring for client.1
      [root@mon ~]# scp ceph.client.1.keyring client:/etc/ceph
      root@client's password:
      ceph.client.1.keyring                     100%  178   333.0KB/s   00:00

      Copy to Clipboard

   3. Ceph 클라이언트 노드에서 새 디렉터리를 생성합니다.

      구문

      mkdir PATH_TO_NEW_DIRECTORY_NAME

      Copy to Clipboard

      예제

      [root@client ~]# mkdir /mnt/mycephfs

      Copy to Clipboard

   4. Ceph 클라이언트 노드에서 새 Ceph 파일 시스템을 마운트합니다.

      구문

      ceph-fuse PATH_TO_NEW_DIRECTORY_NAME -n CEPH_USER_NAME --client-fs=_FILE_SYSTEM_NAME

      Copy to Clipboard

      예제

      [root@client ~]# ceph-fuse /mnt/mycephfs/ -n client.1 --client-fs=cephfs01
      ceph-fuse[555001]: starting ceph client
      2022-05-09T07:33:27.158+0000 7f11feb81200 -1 init, newargv = 0x55fc4269d5d0 newargc=15
      ceph-fuse[555001]: starting fuse

      Copy to Clipboard

   5. Ceph 클라이언트 노드에서 새 마운트 지점의 디렉터리 내용을 나열하거나 새 마운트 지점에 파일을 만듭니다.

절차

1. CephFS의 삭제로 코딩된 데이터 풀을 생성합니다.

   구문

   ceph osd pool create DATA_POOL_NAME erasure

   Copy to Clipboard

   예제

   [root@mon ~]# ceph osd pool create cephfs-data-ec01 erasure
   pool 'cephfs-data-ec01' created

   Copy to Clipboard

2. 풀이 추가되었는지 확인합니다.

   예제

   [root@mon ~]# ceph osd lspools

   Copy to Clipboard

3. 삭제로 코딩된 풀에서 덮어쓰기를 활성화합니다.

   구문

   ceph osd pool set DATA_POOL_NAME allow_ec_overwrites true

   Copy to Clipboard

   예제

   [root@mon ~]# ceph osd pool set cephfs-data-ec01 allow_ec_overwrites true
   set pool 15 allow_ec_overwrites to true

   Copy to Clipboard

4. Ceph 파일 시스템의 상태를 확인합니다.

   구문

   ceph fs status FILE_SYSTEM_NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

   Copy to Clipboard

5. 삭제로 코딩된 데이터 풀을 기존 CephFS에 추가합니다.

   구문

   ceph fs add_data_pool FILE_SYSTEM_NAME DATA_POOL_NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec01

   Copy to Clipboard

   이 예제에서는 새 데이터 풀 cephfs-data-ec01 을 기존 삭제 코딩 파일 시스템인 cephfs-ec 에 추가합니다.

6. 삭제로 코딩된 풀이 Ceph 파일 시스템에 추가되었는지 확인합니다.

   구문

   ceph fs status FILE_SYSTEM_NAME

   Copy to Clipboard

   예제

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
    cephfs-data-ec01     data       0   12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

   Copy to Clipboard

7. 새 디렉터리에서 파일 레이아웃을 설정합니다.

   구문

   mkdir PATH_TO_DIRECTORY
   setfattr -n ceph.dir.layout.pool -v DATA_POOL_NAME PATH_TO_DIRECTORY

   Copy to Clipboard

   예제

   [root@mon ~]# mkdir /mnt/cephfs/newdir
   [root@mon ~]# setfattr -n ceph.dir.layout.pool -v cephfs-data-ec01 /mnt/cephfs/newdir

   Copy to Clipboard

   이 예에서 /mnt/cephfs/newdir 디렉터리에 생성된 모든 새 파일은 디렉터리 레이아웃을 상속하고 새로 추가된 erasure-coded 풀에 데이터를 배치합니다.

절차

1. 모니터 노드의 Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

   Copy to Clipboard

2. Ceph Monitor 노드에서 클라이언트 사용자를 생성합니다.

   구문

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   Copy to Clipboard

   • 클라이언트를 파일 시스템 cephfs_a 의 temp 디렉토리에만 작성하도록 제한하려면 다음을 수행합니다.

     예제

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 / r /temp rw
     
     client.1
       key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==

     Copy to Clipboard

   • 클라이언트를 temp 디렉토리로 완전히 제한하려면 루트 (/) 디렉토리를 제거합니다.

     예제

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 /temp rw

     Copy to Clipboard

   참고

   파일 시스템 이름으로 모든 파일 시스템에 대한 액세스 권한을 부여합니다. 일반적으로 쉘에서 별표 를 따옴표로 묶어야 합니다.

3. 생성된 키를 확인합니다.

   구문

   ceph auth get client.ID

   Copy to Clipboard

   예제

   [ceph: root@host01 /]# ceph auth get client.1
   
   client.1
     key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps mds = "allow r, allow rw path=/temp"
     caps mon = "allow r"
     caps osd = "allow rw tag cephfs data=cephfs_a"

   Copy to Clipboard

4. 인증 키를 클라이언트에 복사합니다.

   1. Ceph Monitor 노드에서 인증 키를 파일로 내보냅니다.

      구문

      ceph auth get client.ID -o ceph.client.ID.keyring

      Copy to Clipboard

      예제

      [ceph: root@host01 /]# ceph auth get client.1 -o ceph.client.1.keyring
      exported keyring for client.1

      Copy to Clipboard

   2. Ceph Monitor 노드에서 클라이언트 인증 키를 클라이언트 노드의 /etc/ceph/ 디렉터리에 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard

      CLIENT_NODE_NAME 을 Ceph 클라이언트 노드 이름 또는 IP로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard

5. 클라이언트 노드에서 인증 키 파일에 대한 적절한 권한을 설정합니다.

   구문

   chmod 644 ceph.client.ID.keyring

   Copy to Clipboard

   예제

   [root@client01 ~]# chmod 644 /etc/ceph/ceph.client.1.keyring

   Copy to Clipboard

절차

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Copy to Clipboard

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard

   2. ceph-common 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-common

      Copy to Clipboard

   3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      예제

      [root@host01 ~]# cephadm shell

      Copy to Clipboard

   4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard

   5. Ceph 모니터 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      Copy to Clipboard

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

      Copy to Clipboard

   6. 클라이언트 노드에서 구성 파일에 대한 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard
   7. 자동 또는 수동으로 마운팅을 선택합니다.

수동 마운트 중

2. 클라이언트 노드에 마운트 디렉터리를 생성합니다.

   구문

   mkdir -p MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# mkdir -p /mnt/cephfs

   Copy to Clipboard

3. Ceph 파일 시스템 마운트. 여러 Ceph 모니터 주소를 지정하려면 mount 명령에서 쉼표로 구분하고 마운트 지점을 지정하고 클라이언트 이름을 설정합니다.

   참고

   Red Hat Ceph Storage 4.1부터 mount.ceph 는 인증 키 파일을 직접 읽을 수 있습니다. 따라서 시크릿 파일이 더 이상 필요하지 않습니다. name=CLIENT_ID 를 사용하여 클라이언트 ID만 지정하면 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

   구문

   mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID,fs=FILE_SYSTEM_NAME

   Copy to Clipboard

   예제

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1,fs=cephfs01

   Copy to Clipboard

   참고

   단일 호스트 이름이 여러 IP 주소로 확인되도록 DNS 서버를 구성할 수 있습니다. 그런 다음 쉼표로 구분된 목록을 제공하는 대신 mount 명령과 함께 단일 호스트 이름을 사용할 수 있습니다.

   참고

   Monitor 호스트 이름을 :/ 문자열로 바꾸고 mount.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

   참고

   Red Hat Ceph Storage 클러스터에서 파일 생성 및 제거를 비동기적으로 실행하도록 nowsync 옵션을 설정할 수 있습니다. 이렇게 하면 일관성에 영향을 주지 않고 이러한 시스템 호출의 왕복 대기 시간을 방지하여 일부 워크로드의 성능이 향상됩니다. nowsync 옵션에는 Red Hat Enterprise Linux 8.4 이상의 커널 클라이언트가 필요합니다.

   예제

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o nowsync,name=1,fs=cephfs01

   Copy to Clipboard

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# stat -f /mnt/cephfs

   Copy to Clipboard

자동 마운트 중

2. 클라이언트 호스트에서 Ceph 파일 시스템을 마운트하기 위한 새 디렉터리를 만듭니다.

   구문

   mkdir -p MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# mkdir -p /mnt/cephfs

   Copy to Clipboard

3. 다음과 같이 /etc/fstab 파일을 편집합니다.

   구문

   #DEVICE                                              PATH                      TYPE               OPTIONS
   MON_0_HOST:PORT,            MOUNT_POINT          ceph         name=CLIENT_ID,
   MON_1_HOST:PORT,                                                         ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,                                                       fs=FILE_SYSTEM_NAME,
   MON_2_HOST:PORT:/q[_VOL_]/SUB_VOL/UID_SUB_VOL,            [ADDITIONAL_OPTIONS]

   Copy to Clipboard

   첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

   두 번째 열은 마운트 지점을 설정합니다.

   세 번째 열에서는 CephFS의 파일 시스템 유형(이 경우 ceph )을 설정합니다.

   네 번째 열 은 이름 및 secretfile 옵션을 사용하여 사용자 이름 및 시크릿 파일과 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다.

   중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템을 시작한 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다.

   다섯 번째 열과 여섯 번째 열을 0으로 설정합니다.

   예제

   #DEVICE         PATH                   TYPE    OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/cephfs            ceph    name=1,            0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    fs=cephfs01,
                                                  _netdev,noatime

   Copy to Clipboard

   Ceph 파일 시스템이 다음 시스템 부팅 시 마운트됩니다.

   참고

   Red Hat Ceph Storage 4.1부터 mount.ceph 는 인증 키 파일을 직접 읽을 수 있습니다. 따라서 시크릿 파일이 더 이상 필요하지 않습니다. name=CLIENT_ID 를 사용하여 클라이언트 ID만 지정하면 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

   참고

   Monitor 호스트 이름을 :/ 문자열로 바꾸고 mount.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

절차

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Copy to Clipboard

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard

   2. ceph-fuse 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-fuse

      Copy to Clipboard

   3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      예제

      [root@host01 ~]# cephadm shell

      Copy to Clipboard

   4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard

   5. Ceph 모니터 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      Copy to Clipboard

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

      Copy to Clipboard

   6. 클라이언트 노드에서 구성 파일에 대한 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard
   7. 자동 또는 수동으로 마운팅을 선택합니다.

수동 마운트 중

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# mkdir /mnt/mycephfs

   Copy to Clipboard

   참고

   경로 옵션을 MDS 기능과 함께 사용한 경우 마운트 지점은 경로에서 지정하는 범위 내에 있어야 합니다.

3. ceph-fuse 유틸리티를 사용하여 Ceph 파일 시스템을 마운트합니다.

   구문

   ceph-fuse -n client.CLIENT_ID --client_fs FILE_SYSTEM_NAME MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# ceph-fuse -n client.1 --client_fs cephfs01 /mnt/mycephfs

   Copy to Clipboard

   참고

   사용자 인증 키의 기본 이름 및 위치를 사용하지 않는 경우, 즉 /etc/ceph/ceph.client.CLIENT_ID.keyring 인 경우 --keyring 옵션을 사용하여 사용자 인증 키의 경로를 지정합니다.

   예제

   [root@client01 ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs

   Copy to Clipboard

   참고

   r 옵션을 사용하여 해당 경로를 루트로 처리하도록 클라이언트에 지시합니다.

   구문

   ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH

   Copy to Clipboard

   예제

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs

   Copy to Clipboard

   참고

   제거된 Ceph 클라이언트를 자동으로 다시 연결하려면 --client_reconnect_stale=true 옵션을 추가합니다.

   예제

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs --client_reconnect_stale=true

   Copy to Clipboard

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# stat -f /mnt/cephfs

   Copy to Clipboard

자동 마운트 중

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   Copy to Clipboard

   예제

   [root@client01 ~]# mkdir /mnt/mycephfs

   Copy to Clipboard

   참고

   경로 옵션을 MDS 기능과 함께 사용한 경우 마운트 지점은 경로에서 지정하는 범위 내에 있어야 합니다.

3. 다음과 같이 /etc/fstab 파일을 편집합니다.

   구문

   #DEVICE                 PATH           TYPE          OPTIONS                  DUMP  FSCK
   HOST_NAME:PORT,     MOUNT_POINT fuse.ceph     ceph.id=CLIENT_ID,        0     0
   HOST_NAME:PORT,                                  ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,
   HOST_NAME:PORT:/                                 ceph.client_fs=FILE_SYSTEM_NAME,ceph.name=USERNAME,ceph.keyring=/etc/ceph/KEYRING_FILE,
                                                        [ADDITIONAL_OPTIONS]

   Copy to Clipboard

   첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

   두 번째 열은 마운트 지점을 설정합니다.

   세 번째 열은 CephFS에 대한 파일 시스템 유형(이 경우 fuse.ceph )을 설정합니다.

   네 번째 열 은 ceph.name 및 ceph.keyring 옵션을 사용하여 사용자 이름 및 인증 키와 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다. 액세스할 Ceph 파일 시스템을 지정하려면 ceph.client_fs 옵션을 사용합니다. 중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템을 시작한 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다. 제거 후 자동으로 다시 연결하려면 client_reconnect_stale=true 옵션을 설정합니다.

   다섯 번째 열과 여섯 번째 열을 0으로 설정합니다.

   예제

   #DEVICE         PATH              TYPE         OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/mycephfs       fuse.ceph    ceph.id=1,         0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    ceph.client_fs=cephfs01,ceph.name=client.1,ceph.keyring=/etc/ceph/client1.keyring,
                                                  _netdev,defaults

   Copy to Clipboard

   Ceph 파일 시스템이 다음 시스템 부팅 시 마운트됩니다.

절차

1. Red Hat Ceph Storage 5 툴 리포지토리가 아직 활성화되어 있지 않은 경우 활성화합니다.

   Red Hat Enterprise Linux 8

   [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

   Copy to Clipboard

   Red Hat Enterprise Linux 9

   [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   Copy to Clipboard

2. cephfs-top 패키지를 설치합니다.

   예제

   [root@client ~]# dnf install cephfs-top

   Copy to Clipboard

3. Ceph Manager 통계 플러그인을 활성화합니다.

   예제

   [root@client ~]# ceph mgr module enable stats

   Copy to Clipboard

4. client.fstop Ceph 사용자를 만듭니다.

   예제

   [root@client ~]# ceph auth get-or-create client.fstop mon 'allow r' mds 'allow r' osd 'allow r' mgr 'allow r' > /etc/ceph/ceph.client.fstop.keyring

   Copy to Clipboard

   참고

   선택적으로 --id 인수를 사용하여 client.fstop 이외의 다른 Ceph 사용자를 지정합니다.

5. cephfs-top 유틸리티를 시작합니다.

   예제

   [root@client ~]# cephfs-top
   cephfs-top - Thu Jun 15 16:27:14 2023
   
   All Filesystem Info
   Total Client(s): 4 - 3 FUSE, 1 kclient, 0 libcephfs
   COMMANDS: m - select a filesystem | s - sort menu | l - limit number of clients | r -reset to default | q - quit
   
   
      client_id  mount_root  chit(%)  dlease(%)  ofiles  oicaps  oinodes  rtio(MB)  raio(MB)  rsp(ms)  wtio(ms)  waio(MB)  wsp(MB/s)  rlatavg(ms)  rlatsd(ms)  wlatavg(ms)  wlatsd(ms)  mlatavg(ms)  mlatsd(ms)  mount_point@host/addr
   
      Filesystem: cephfs1 - 2 clients(s)
   
      4482            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           27.36        0.0       N/A@example/192.168.1.4
      4488            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.34        0.0        /mnt/cephfs2@example/192.168.1.4
   
      Filesystem: cephfs2 - 2 clients(s)
   
      4494            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.37        0.0        /mnt/cephfs3@example/192.168.1.4
      4500            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.29        0.0        /mnt/cephfs4@example/192.168.1.4

   Copy to Clipboard

   참고

   기본적으로 cephfs-top 는 스토리지 클러스터 이름 ceph 에 연결됩니다. 기본이 아닌 스토리지 클러스터 이름을 사용하려면 cephfs-top 유틸리티와 함께 --cluster NAME 옵션을 사용할 수 있습니다.

절차

1. Ceph 사용자의 기능에 p 플래그를 추가합니다.

   구문

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   Copy to Clipboard

   예제

   [user@client ~]$ ceph fs authorize cephfs_a client.1 /temp rwp
   
   client.1
     key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps: [mds] allow r, allow rwp path=/temp
     caps: [mon] allow r
     caps: [osd] allow rw tag cephfs data=cephfs_a

   Copy to Clipboard

2. 디렉터리에 ceph.dir.pin 확장 속성을 설정합니다.

   구문

   setfattr -n ceph.dir.pin -v RANK DIRECTORY

   Copy to Clipboard

   예제

   [user@client ~]$ setfattr -n ceph.dir.pin -v 2 /temp

   Copy to Clipboard

   이 예에서는 /temp 디렉토리와 모든 하위 디렉토리를 2 순위를 할당합니다.

절차

1. 새 데이터 풀을 생성합니다.

   구문

   ceph osd pool create POOL_NAME

   Copy to Clipboard

   교체:

   • 풀 이름이 있는 POOL_NAME.

   예제

   [ceph: root@host01 /]# ceph osd pool create cephfs_data_ssd
   
   pool 'cephfs_data_ssd' created

   Copy to Clipboard

2. 메타데이터 서버의 제어 아래에 새로 생성된 풀을 추가합니다.

   구문

   ceph fs add_data_pool FS_NAME POOL_NAME

   Copy to Clipboard

   교체:

   • 파일 시스템 이름이 있는 FS_NAME.
   • 풀 이름이 있는 POOL_NAME.

   예제:

   [ceph: root@host01 /]# ceph fs add_data_pool cephfs cephfs_data_ssd
   
   added data pool 6 to fsmap

   Copy to Clipboard

3. 풀이 성공적으로 추가되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph fs ls
   
   name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data cephfs_data_ssd]

   Copy to Clipboard

4. 선택 사항: 파일 시스템에서 데이터 풀을 제거합니다.

   구문

   ceph fs rm_data_pool FS_NAME POOL_NAME

   Copy to Clipboard

   예제:

   [ceph: root@host01 /]# ceph fs rm_data_pool cephfs cephfs_data_ssd
   
   removed data pool 6 from fsmap

   Copy to Clipboard

   1. 풀이 성공적으로 제거되었는지 확인합니다.

      예제

      [ceph: root@host01 /]# ceph fs ls
      
      name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data]

      Copy to Clipboard

5. cephx 인증을 사용하는 경우 클라이언트가 새 풀에 액세스할 수 있는지 확인합니다.

절차

1. CephFS 클러스터를 종료하려면 다음을 수행합니다.

   구문

   ceph fs set FS_NAME down true

   Copy to Clipboard

   예제

   [ceph: root@host01 /]# ceph fs set cephfs down true

   Copy to Clipboard

   1. CephFS 클러스터를 백업하려면 다음을 수행합니다.

      구문

      ceph fs set FS_NAME down false

      Copy to Clipboard

      예제

      [ceph: root@host01 /]# ceph fs set cephfs down false

      Copy to Clipboard

   또는

1. CephFS 클러스터를 신속하게 중단하려면 다음을 수행합니다.

   구문

   ceph fs fail FS_NAME

   Copy to Clipboard

   예제

   [ceph: root@host01 /]# ceph fs fail cephfs

   Copy to Clipboard

   참고

   CephFS 클러스터를 다시 가져오려면 cephfs 를 조인 가능 으로 설정합니다.

   구문

   ceph fs set FS_NAME joinable true

   Copy to Clipboard

   예제

   [ceph: root@host01 /]# ceph fs set cephfs joinable true
   cephfs marked joinable; MDS may join as newly active.

   Copy to Clipboard

절차

1. 스토리지 클러스터를 down으로 표시합니다.

   구문

   ceph fs set FS_NAME down true

   Copy to Clipboard

   교체

   • 제거할 Ceph 파일 시스템 이름이 있는 FS_NAME.

   예제

   [ceph: root@host01 /]# ceph fs set cephfs down true
   cephfs marked down.

   Copy to Clipboard

2. Ceph File System의 상태를 표시합니다.

   ceph fs status

   Copy to Clipboard

   예제

   [ceph: root@host01 /]# ceph fs status
   cephfs - 0 clients
   ======
   +-------------------+----------+-------+-------+
   |       POOL        |   TYPE   |  USED | AVAIL |
   +-----------------+------------+-------+-------+
   |cephfs.cephfs.meta | metadata | 31.5M |  52.6G|
   |cephfs.cephfs.data |   data   |    0  |  52.6G|
   +-----------------+----------+-------+---------+
                  STANDBY MDS
   cephfs.ceph-host01
   cephfs.ceph-host02
   cephfs.ceph-host03

   Copy to Clipboard

3. Ceph 파일 시스템을 제거합니다.

   구문

   ceph fs rm FS_NAME --yes-i-really-mean-it

   Copy to Clipboard

   교체

   • 제거할 Ceph 파일 시스템 이름이 있는 FS_NAME.

   예제

   [ceph: root@host01 /]# ceph fs rm cephfs --yes-i-really-mean-it

   Copy to Clipboard

4. 파일 시스템이 성공적으로 제거되었는지 확인합니다.

   [ceph: root@host01 /]# ceph fs ls

   Copy to Clipboard
5. 선택 사항: 제거된 파일 시스템과 관련된 데이터 및 메타데이터 풀을 제거합니다.