파일 시스템 가이드

프로세스

1. Ceph 파일 시스템의 현재 상태를 확인합니다.

   예제

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 399
   ...
   Filesystem 'cephfs01' (27)
   ...
   e399
   max_mds 1
   in      0
   up      {0=20384}
   failed
   damaged
   stopped
   ...
   [mds.a{0:20384} state up:active seq 239 addr [v2:127.0.0.1:6854/966242805,v1:127.0.0.1:6855/966242805]]
   
   Standby daemons:
   
   [mds.b{-1:10420} state up:standby seq 2 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]]

   Copy to Clipboard Toggle word wrap

2. 파일 시스템 선호도를 설정합니다.

   구문

   ceph config set STANDBY_DAEMON mds_join_fs FILE_SYSTEM_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph config set mds.b mds_join_fs cephfs01

   Copy to Clipboard Toggle word wrap

   Ceph MDS 페일오버 이벤트 후 파일 시스템은 선호도가 설정된 대기 데몬을 선호합니다.

   예제

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 405
   e405
   ...
   Filesystem 'cephfs01' (27)
   ...
   max_mds 1
   in      0
   up      {0=10420}
   failed
   damaged
   stopped
   ...
   [mds.b{0:10420} state up:active seq 274 join_fscid=27 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]] 

   1

   
   
   Standby daemons:
   
   [mds.a{-1:10720} state up:standby seq 2 addr [v2:127.0.0.1:6854/1340357658,v1:127.0.0.1:6855/1340357658]]

   Copy to Clipboard Toggle word wrap

   1

   이제 mds.b 데몬에서 파일 시스템 덤프 출력에 join_fscid=27 이 있습니다.

   중요

   파일 시스템이 성능이 저하되거나 크기가 낮은 상태인 경우 파일 시스템 선호도를 적용하기 위해 장애 조치가 발생하지 않습니다.

프로세스

1. max_mds 매개변수를 원하는 활성 MDS 데몬 수로 설정합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 2

   Copy to Clipboard Toggle word wrap

   이 예에서는 cephfs라는 CephFS에서 활성 MDS 데몬 수를 2개로 늘립니다.

   참고

   Ceph는 새 순위를 지정할 수 있는 예비 MDS 데몬을 사용할 수 있는 경우에만 CephFS의 실제 순위 수를 늘립니다.

2. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | STANDBY MDS |
   +-------------+
   |    node3    |
   +-------------+

   Copy to Clipboard Toggle word wrap

프로세스

1. max_mds 매개변수에 지정된 것과 동일한 MDS 데몬 수를 설정합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   +-------------+

   Copy to Clipboard Toggle word wrap

2. 관리 기능이 있는 노드에서 max_mds 매개변수를 원하는 수의 활성 MDS 데몬으로 변경합니다.

   구문

   ceph fs set NAME max_mds NUMBER

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs set cephfs max_mds 1

   Copy to Clipboard Toggle word wrap

3. Ceph 파일 시스템 상태를 확인하여 스토리지 클러스터가 새 max_mds 값을 안정화할 때까지 기다립니다.

4. 활성 MDS 데몬 수를 확인합니다.

   구문

   ceph fs status NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------|--------+
   +-----------------+----------+-------+-------+
   |       POOl      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+

   Copy to Clipboard Toggle word wrap

프로세스

1. mds 서비스의 이름을 가져옵니다.

   구문

   [ceph: root@mds-host01 /]# ceph orch ps | grep mds

   Copy to Clipboard Toggle word wrap

2. 클라이언트 메트릭당 MDS를 확인합니다.

   구문

   [ceph: root@mds-host01 /]# ceph tell MDS_SERVICE_NAME counter dump

   Copy to Clipboard Toggle word wrap

   예제

   [root@ceph2-hk-n-0mfqao-node1-installer ~]# ceph tell mds.cephfs.ceph2-hk-n-0mfqao-node4.isztbk counter dump
   
   [
     {
       "key": "mds_client_metrics",
       "value": [
         {
           "labels": {
             "fs_name": "cephfs",
             "id": "24379"
           },
           "counters": {
             "num_clients": 4
           }
         }
       ]
     },
     {
       "key": "mds_client_metrics-cephfs",
       "value": [
         {
           "labels": {
             "client": "client.24413",
             "rank": "0"
           },
           "counters": {
             "cap_hits": 56,
             "cap_miss": 9,
             "avg_read_latency": 0E-9,
             "avg_write_latency": 0E-9,
             "avg_metadata_latency": 0E-9,
             "dentry_lease_hits": 2,
             "dentry_lease_miss": 12,
             "opened_files": 0,
             "opened_inodes": 9,
             "pinned_icaps": 4,
             "total_inodes": 9,
             "total_read_ops": 0,
             "total_read_size": 0,
             "total_write_ops": 0,
             "total_write_size": 0
           }
         },
         {
           "labels": {
             "client": "client.24502",
             "rank": "0"
           },
           "counters": {
             "cap_hits": 921403,
             "cap_miss": 102382,
             "avg_read_latency": 0E-9,
             "avg_write_latency": 0E-9,
             "avg_metadata_latency": 0E-9,
             "dentry_lease_hits": 17117,
             "dentry_lease_miss": 204710,
             "opened_files": 0,
             "opened_inodes": 9,
             "pinned_icaps": 7,
             "total_inodes": 9,
             "total_read_ops": 0,
             "total_read_size": 0,
             "total_write_ops": 1,
             "total_write_size": 132
           }
         },
         {
           "labels": {
             "client": "client.24508",
             "rank": "0"
           },
           "counters": {
             "cap_hits": 928694,
             "cap_miss": 103183,
             "avg_read_latency": 0E-9,
             "avg_write_latency": 0E-9,
             "avg_metadata_latency": 0E-9,
             "dentry_lease_hits": 17217,
             "dentry_lease_miss": 206348,
             "opened_files": 0,
             "opened_inodes": 9,
             "pinned_icaps": 7,
             "total_inodes": 9,
             "total_read_ops": 0,
             "total_read_size": 0,
             "total_write_ops": 1,
             "total_write_size": 132
           }
         },
         {
           "labels": {
             "client": "client.24520",
             "rank": "0"
           },
           "counters": {
             "cap_hits": 56,
             "cap_miss": 9,
             "avg_read_latency": 0E-9,
             "avg_write_latency": 0E-9,
             "avg_metadata_latency": 0E-9,
             "dentry_lease_hits": 2,
             "dentry_lease_miss": 12,
             "opened_files": 0,
             "opened_inodes": 9,
             "pinned_icaps": 4,
             "total_inodes": 9,
             "total_read_ops": 0,
             "total_read_size": 0,
             "total_write_ops": 0,
             "total_write_size": 0
           }
         }
       ]
     }
   ]

   Copy to Clipboard Toggle word wrap

프로세스

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage Tools 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-8-x86_64-rpms

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard Toggle word wrap

   2. ceph-fuse 패키지를 설치합니다.

      [root@client ~]# dnf install ceph-fuse

      Copy to Clipboard Toggle word wrap

   3. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      Copy to Clipboard Toggle word wrap

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

      Copy to Clipboard Toggle word wrap

   4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

      MONITOR_NODE_NAME 을 Ceph Monitor 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

   5. 구성 파일에 적절한 권한을 설정합니다.

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

2. Ceph 파일 시스템을 생성합니다.

   구문

   ceph fs volume create FILE_SYSTEM_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs volume create cephfs01

   Copy to Clipboard Toggle word wrap

   추가 파일 시스템을 생성하려면 이 단계를 반복합니다.

   참고

   이 명령을 실행하면 Ceph에서 새 풀을 자동으로 생성하고 새 파일 시스템을 지원하기 위해 새 Ceph Metadata Server(MDS) 데몬을 배포합니다. 또한 MDS 선호도도 적절하게 구성합니다.

3. Ceph 클라이언트에서 새 Ceph 파일 시스템에 대한 액세스를 확인합니다.

   1. Ceph 클라이언트에 새 파일 시스템에 액세스할 수 있도록 권한을 부여합니다.

      구문

      ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME DIRECTORY PERMISSIONS

      Copy to Clipboard Toggle word wrap

      예제

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      exported keyring for client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      Copy to Clipboard Toggle word wrap

      참고

      선택적으로 root_squash 옵션을 지정하여 안전 조치를 추가할 수 있습니다. 이렇게 하면 uid=0 또는 gid=0 인 클라이언트가 쓰기 작업을 수행할 수 없지만 읽기 작업을 허용하여 실수로 삭제 시나리오를 방지할 수 있습니다.

      예제

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw root_squash /volumes rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01 root_squash, allow rw fsname=cephfs01 path=/volumes"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      Copy to Clipboard Toggle word wrap

      이 예에서 /volumes 디렉터리 트리를 제외하고 파일 시스템 cephfs01 에 대해 root_squash 가 활성화됩니다.

      중요

      Ceph 클라이언트는 권한이 부여된 CephFS만 볼 수 있습니다.

   2. Ceph 사용자의 인증 키를 Ceph 클라이언트 노드에 복사합니다.

      구문

      ceph auth get CLIENT_NAME > OUTPUT_FILE_NAME
      scp OUTPUT_FILE_NAME TARGET_NODE_NAME:/etc/ceph

      Copy to Clipboard Toggle word wrap

      예제

      [root@mon ~]# ceph auth get client.1 > ceph.client.1.keyring
      exported keyring for client.1
      [root@mon ~]# scp ceph.client.1.keyring client:/etc/ceph
      root@client's password:
      ceph.client.1.keyring                     100%  178   333.0KB/s   00:00

      Copy to Clipboard Toggle word wrap

   3. Ceph 클라이언트 노드에서 새 디렉터리를 생성합니다.

      구문

      mkdir PATH_TO_NEW_DIRECTORY_NAME

      Copy to Clipboard Toggle word wrap

      예제

      [root@client ~]# mkdir /mnt/mycephfs

      Copy to Clipboard Toggle word wrap

   4. Ceph 클라이언트 노드에서 새 Ceph 파일 시스템을 마운트합니다.

      구문

      ceph-fuse PATH_TO_NEW_DIRECTORY_NAME -n CEPH_USER_NAME --client-fs=_FILE_SYSTEM_NAME

      Copy to Clipboard Toggle word wrap

      예제

      [root@client ~]# ceph-fuse /mnt/mycephfs/ -n client.1 --client-fs=cephfs01
      ceph-fuse[555001]: starting ceph client
      2022-05-09T07:33:27.158+0000 7f11feb81200 -1 init, newargv = 0x55fc4269d5d0 newargc=15
      ceph-fuse[555001]: starting fuse

      Copy to Clipboard Toggle word wrap

   5. Ceph 클라이언트 노드에서 새 마운트 지점의 디렉터리 콘텐츠를 나열하거나 새 마운트 지점에 파일을 만듭니다.

프로세스

1. CephFS에 대해 삭제 코딩된 데이터 풀을 생성합니다.

   구문

   ceph osd pool create DATA_POOL_NAME erasure

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph osd pool create cephfs-data-ec01 erasure
   pool 'cephfs-data-ec01' created

   Copy to Clipboard Toggle word wrap

2. 풀이 추가되었는지 확인합니다.

   예제

   [root@mon ~]# ceph osd lspools

   Copy to Clipboard Toggle word wrap

3. erasure-coded 풀에서 덮어 쓰기를 활성화합니다.

   구문

   ceph osd pool set DATA_POOL_NAME allow_ec_overwrites true

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph osd pool set cephfs-data-ec01 allow_ec_overwrites true
   set pool 15 allow_ec_overwrites to true

   Copy to Clipboard Toggle word wrap

4. Ceph 파일 시스템의 상태를 확인합니다.

   구문

   ceph fs status FILE_SYSTEM_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

   Copy to Clipboard Toggle word wrap

5. 기존 CephFS에 erasure-coded 데이터 풀을 추가합니다.

   구문

   ceph fs add_data_pool FILE_SYSTEM_NAME DATA_POOL_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec01

   Copy to Clipboard Toggle word wrap

   이 예제에서는 새 데이터 풀 cephfs-data-ec01 을 기존 erasure-coded 파일 시스템 cephfs-ec 에 추가합니다.

6. erasure 코딩된 풀이 Ceph 파일 시스템에 추가되었는지 확인합니다.

   구문

   ceph fs status FILE_SYSTEM_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
    cephfs-data-ec01     data       0   12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

   Copy to Clipboard Toggle word wrap

7. 새 디렉터리에 파일 레이아웃을 설정합니다.

   구문

   mkdir PATH_TO_DIRECTORY
   setfattr -n ceph.dir.layout.pool -v DATA_POOL_NAME PATH_TO_DIRECTORY

   Copy to Clipboard Toggle word wrap

   예제

   [root@mon ~]# mkdir /mnt/cephfs/newdir
   [root@mon ~]# setfattr -n ceph.dir.layout.pool -v cephfs-data-ec01 /mnt/cephfs/newdir

   Copy to Clipboard Toggle word wrap

   이 예에서 /mnt/cephfs/newdir 디렉터리에 생성된 모든 새 파일은 디렉터리 레이아웃을 상속하고 새로 추가된 erasure-coded 풀에 데이터를 배치합니다.

프로세스

1. 모니터 노드의 Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

   Copy to Clipboard Toggle word wrap

2. Ceph Monitor 노드에서 클라이언트 사용자를 생성합니다.

   구문

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] PERMISSIONS ...

   Copy to Clipboard Toggle word wrap

   • 클라이언트가 파일 시스템 cephfs_a 의 temp 디렉터리에만 기록되도록 제한하려면 다음을 수행합니다.

     예제

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 / r /temp rw
     
     client.1
       key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==

     Copy to Clipboard Toggle word wrap

   • 클라이언트를 temp 디렉토리로 완전히 제한하려면 루트(/) 디렉터리를 제거합니다.

     예제

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 /temp rw

     Copy to Clipboard Toggle word wrap

   참고

   파일 시스템 이름으로 전체 또는 별표를 제공하면 모든 파일 시스템에 대한 액세스 권한이 부여됩니다. 일반적으로 쉘에서 보호하려면 별표를 따옴표로 묶어야 합니다.

3. 생성된 키를 확인합니다.

   구문

   ceph auth get client.ID

   Copy to Clipboard Toggle word wrap

   예제

   [ceph: root@host01 /]# ceph auth get client.1
   
   client.1
     key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps mds = "allow r, allow rw path=/temp"
     caps mon = "allow r"
     caps osd = "allow rw tag cephfs data=cephfs_a"

   Copy to Clipboard Toggle word wrap

4. 인증 키를 클라이언트에 복사합니다.

   1. Ceph Monitor 노드에서 인증 키를 파일로 내보냅니다.

      구문

      ceph auth get client.ID -o ceph.client.ID.keyring

      Copy to Clipboard Toggle word wrap

      예제

      [ceph: root@host01 /]# ceph auth get client.1 -o ceph.client.1.keyring
      exported keyring for client.1

      Copy to Clipboard Toggle word wrap

   2. Ceph Monitor 노드에서 클라이언트 노드의 /etc/ceph/ 디렉터리에 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard Toggle word wrap

      CLIENT_NODE_NAME 을 Ceph 클라이언트 노드 이름 또는 IP로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard Toggle word wrap

5. 클라이언트 노드에서 키 링 파일에 대한 적절한 권한을 설정합니다.

   구문

   chmod 644 ceph.client.ID.keyring

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# chmod 644 /etc/ceph/ceph.client.1.keyring

   Copy to Clipboard Toggle word wrap

프로세스

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage 7 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=rhceph-6-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard Toggle word wrap

   2. ceph-common 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-common

      Copy to Clipboard Toggle word wrap

   3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      예제

      [root@host01 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard Toggle word wrap

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard Toggle word wrap

   5. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

   6. 클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap
   7. 자동 또는 수동으로 마운트를 선택합니다.

수동으로 마운트

2. 클라이언트 노드에 마운트 디렉터리를 생성합니다.

   구문

   mkdir -p MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# mkdir -p /mnt/cephfs

   Copy to Clipboard Toggle word wrap

3. Ceph 파일 시스템을 마운트합니다. 여러 Ceph Monitor 주소를 지정하려면 mount 명령에 쉼표로 구분하고 마운트 지점을 지정하고 클라이언트 이름을 설정합니다.

   참고

   Red Hat Ceph Storage 4.1부터 mount.ceph 는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다. name=CLIENT_ID를 사용하여 클라이언트 ID 를 지정하고 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

   구문

   mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID,fs=FILE_SYSTEM_NAME

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1,fs=cephfs01

   Copy to Clipboard Toggle word wrap

   참고

   단일 호스트 이름이 여러 IP 주소로 확인되도록 DNS 서버를 구성할 수 있습니다. 그런 다음 쉼표로 구분된 목록을 제공하는 대신 mount 명령과 함께 해당 단일 호스트 이름을 사용할 수 있습니다.

   참고

   Monitor 호스트 이름을 :/ 및 mount 문자열로 교체할 수도 있습니다.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

   참고

   이제sync 옵션을 Red Hat Ceph Storage 클러스터에서 비동기식으로 파일 생성 및 제거를 실행할 수 있습니다. 이로 인해 일관성에 영향을 주지 않고 이러한 시스템 호출에 대한 왕복 대기 시간을 방지하여 일부 워크로드의 성능이 향상됩니다. nowsync 옵션에는 Red Hat Enterprise Linux 9.0 이상의 커널 클라이언트가 필요합니다.

   예제

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o nowsync,name=1,fs=cephfs01

   Copy to Clipboard Toggle word wrap

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# stat -f /mnt/cephfs

   Copy to Clipboard Toggle word wrap

자동 마운트

2. 클라이언트 호스트에서 Ceph 파일 시스템을 마운트할 새 디렉터리를 만듭니다.

   구문

   mkdir -p MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# mkdir -p /mnt/cephfs

   Copy to Clipboard Toggle word wrap

3. /etc/fstab 파일을 다음과 같이 편집합니다.

   구문

   #DEVICE                                              PATH                      TYPE               OPTIONS
   MON_0_HOST:PORT,            MOUNT_POINT          ceph         name=CLIENT_ID,
   MON_1_HOST:PORT,                                                         ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,                                                       fs=FILE_SYSTEM_NAME,
   MON_2_HOST:PORT:/q[_VOL_]/SUB_VOL/UID_SUB_VOL,            [ADDITIONAL_OPTIONS]

   Copy to Clipboard Toggle word wrap

   첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

   두 번째 열은 마운트 지점을 설정합니다.

   세 번째 열은 CephFS의 파일 시스템 유형(이 경우 ceph )을 설정합니다.

   네 번째 열은 name 및 secretfile 옵션을 사용하여 사용자 이름 및 시크릿 파일과 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다.

   중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다.

   다섯 번째 및 여섯 번째 열을 0으로 설정합니다.

   예제

   #DEVICE         PATH                   TYPE    OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/cephfs            ceph    name=1,            0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    fs=cephfs01,
                                                  _netdev,noatime

   Copy to Clipboard Toggle word wrap

   Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.

   참고

   Red Hat Ceph Storage 4.1부터 mount.ceph 는 키 링 파일을 직접 읽을 수 있습니다. 따라서 더 이상 시크릿 파일이 필요하지 않습니다. name=CLIENT_ID를 사용하여 클라이언트 ID 를 지정하고 mount.ceph 에서 올바른 인증 키 파일을 찾습니다.

   참고

   Monitor 호스트 이름을 :/ 및 mount 문자열로 교체할 수도 있습니다.ceph 는 Ceph 구성 파일을 읽고 연결할 모니터를 결정합니다.

프로세스

1. Ceph 스토리지 클러스터를 사용하도록 클라이언트 노드를 구성합니다.

   1. Red Hat Ceph Storage 7 툴 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 8

      [root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-8-x86_64-rpms

      Copy to Clipboard Toggle word wrap

      Red Hat Enterprise Linux 9

      [root@client01 ~]# subscription-manager repos --enable=6-tools-for-rhel-9-x86_64-rpms

      Copy to Clipboard Toggle word wrap

   2. ceph-fuse 패키지를 설치합니다.

      [root@client01 ~]# dnf install ceph-fuse

      Copy to Clipboard Toggle word wrap

   3. 모니터 노드의 Cephadm 쉘에 로그인합니다.

      예제

      [root@host01 ~]# cephadm shell

      Copy to Clipboard Toggle word wrap

   4. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 클라이언트 인증 키를 복사합니다.

      구문

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      Copy to Clipboard Toggle word wrap

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

      Copy to Clipboard Toggle word wrap

   5. Ceph Monitor 노드에서 클라이언트 노드로 Ceph 구성 파일을 복사합니다.

      구문

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

      CLIENT_NODE_NAME 을 Ceph 클라이언트 호스트 이름 또는 IP 주소로 바꿉니다.

      예제

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap

   6. 클라이언트 노드에서 구성 파일에 적절한 권한을 설정합니다.

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

      Copy to Clipboard Toggle word wrap
   7. 자동 또는 수동으로 마운트를 선택합니다.

수동으로 마운트

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# mkdir /mnt/mycephfs

   Copy to Clipboard Toggle word wrap

   참고

   MDS 기능과 함께 경로 옵션을 사용한 경우 마운트 지점은 경로에서 지정한 범위 내에 있어야 합니다.

3. ceph-fuse 유틸리티를 사용하여 Ceph 파일 시스템을 마운트합니다.

   구문

   ceph-fuse -n client.CLIENT_ID --client_fs FILE_SYSTEM_NAME MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# ceph-fuse -n client.1 --client_fs cephfs01 /mnt/mycephfs

   Copy to Clipboard Toggle word wrap

   참고

   사용자 인증 키의 기본 이름과 위치를 사용하지 않는 경우, 이는 /etc/ceph/ceph.client.CLIENT_ID.keyring 인 경우 --keyring 옵션을 사용하여 사용자 인증 키의 경로를 지정합니다. 예를 들면 다음과 같습니다.

   예제

   [root@client01 ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs

   Copy to Clipboard Toggle word wrap

   참고

   -r 옵션을 사용하여 클라이언트에 해당 경로를 root로 처리하도록 지시합니다.

   구문

   ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs

   Copy to Clipboard Toggle word wrap

   참고

   제거된 Ceph 클라이언트를 자동으로 다시 연결하려면 --client_reconnect_stale=true 옵션을 추가합니다.

   예제

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs --client_reconnect_stale=true

   Copy to Clipboard Toggle word wrap

4. 파일 시스템이 성공적으로 마운트되었는지 확인합니다.

   구문

   stat -f MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# stat -f /mnt/cephfs

   Copy to Clipboard Toggle word wrap

자동 마운트

2. 클라이언트 노드에서 마운트 지점의 디렉터리를 생성합니다.

   구문

   mkdir PATH_TO_MOUNT_POINT

   Copy to Clipboard Toggle word wrap

   예제

   [root@client01 ~]# mkdir /mnt/mycephfs

   Copy to Clipboard Toggle word wrap

   참고

   MDS 기능과 함께 경로 옵션을 사용한 경우 마운트 지점은 경로에서 지정한 범위 내에 있어야 합니다.

3. /etc/fstab 파일을 다음과 같이 편집합니다.

   구문

   #DEVICE                 PATH           TYPE          OPTIONS                  DUMP  FSCK
   HOST_NAME:PORT,     MOUNT_POINT fuse.ceph     ceph.id=CLIENT_ID,        0     0
   HOST_NAME:PORT,                                  ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,
   HOST_NAME:PORT:/                                 ceph.client_fs=FILE_SYSTEM_NAME,ceph.name=USERNAME,ceph.keyring=/etc/ceph/KEYRING_FILE,
                                                        [ADDITIONAL_OPTIONS]

   Copy to Clipboard Toggle word wrap

   첫 번째 열은 Ceph Monitor 호스트 이름과 포트 번호를 설정합니다.

   두 번째 열은 마운트 지점을 설정합니다.

   세 번째 열은 CephFS의 파일 시스템 유형(이 경우 fuse.ceph )을 설정합니다.

   네 번째 열은 ceph.name 및 ceph.keyring 옵션을 사용하여 사용자 이름 및 인증 키와 같은 다양한 옵션을 설정합니다. ceph.client_mountpoint 옵션을 사용하여 특정 볼륨, 하위 볼륨 그룹 및 하위 볼륨을 설정할 수도 있습니다. 액세스할 Ceph 파일 시스템을 지정하려면 ceph.client_fs 옵션을 사용합니다. 중단 및 네트워킹 문제를 방지하기 위해 네트워킹 하위 시스템이 시작된 후 파일 시스템이 마운트되도록 _netdev 옵션을 설정합니다. 액세스 시간 정보가 필요하지 않은 경우 noatime 옵션을 설정하면 성능이 향상될 수 있습니다. 제거 후 자동으로 다시 연결하려면 client_reconnect_stale=true 옵션을 설정합니다.

   다섯 번째 및 여섯 번째 열을 0으로 설정합니다.

   예제

   #DEVICE         PATH              TYPE         OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/mycephfs       fuse.ceph    ceph.id=1,         0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    ceph.client_fs=cephfs01,ceph.name=client.1,ceph.keyring=/etc/ceph/client1.keyring,
                                                  _netdev,defaults

   Copy to Clipboard Toggle word wrap

   Ceph 파일 시스템은 다음 시스템 부팅에 마운트됩니다.