관리 가이드

1. 클라이언트에서 이 클러스터 및 기타 클라이언트에서 Block Device images RADOS Gateway - Ceph Object Gateway를 사용하지 못하도록 중지합니다.

2. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

3. 계속하기 전에 클러스터가 정상 상태(Health_OK 및 모든 PGs active+clean)여야 합니다. 클라이언트 키(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드)가 있는 호스트에서 ceph 상태를 실행하여 클러스터가 정상인지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s

4. Ceph File System(CephFS)을 사용하는 경우 CephFS 클러스터를 종료합니다.

   구문

   ceph fs set FS_NAME max_mds 1
   ceph fs fail FS_NAME
   ceph status
   ceph fs set FS_NAME joinable false

   예제

   [ceph: root@host01 /]# ceph fs set cephfs max_mds 1
   [ceph: root@host01 /]# ceph fs fail cephfs
   [ceph: root@host01 /]# ceph status
   [ceph: root@host01 /]# ceph fs set cephfs joinable false

5. noout,norecover,norebalance,nobackfill,nodown, pause 플래그를 설정합니다. 클라이언트 인증 키가 있는 노드에서 다음을 실행합니다(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드).

   예제

   [ceph: root@host01 /]# ceph osd set noout
   [ceph: root@host01 /]# ceph osd set norecover
   [ceph: root@host01 /]# ceph osd set norebalance
   [ceph: root@host01 /]# ceph osd set nobackfill
   [ceph: root@host01 /]# ceph osd set nodown
   [ceph: root@host01 /]# ceph osd set pause

   중요

   위의 예제는 OSD 노드에서 서비스와 각 OSD를 중지하는 데만 사용되며 각 OSD 노드에서 반복해야 합니다.

6. MDS 및 Ceph Object Gateway 노드가 자체 전용 노드에 있는 경우 해당 노드의 전원을 끕니다.

7. 데몬의 systemd 대상을 가져옵니다.

   예제

   [root@host01 ~]# systemctl list-units --type target | grep ceph
   ceph-0b007564-ec48-11ee-b736-525400fd02f8.target loaded active active Ceph cluster 0b007564-ec48-11ee-b736-525400fd02f8
   ceph.target                                      loaded active active All Ceph clusters and services

8. 클러스터 FSID를 포함하는 대상을 비활성화합니다.

   예제

   [root@host01 ~]# systemctl disable ceph-0b007564-ec48-11ee-b736-525400fd02f8.target
   
   Removed "/etc/systemd/system/multi-user.target.wants/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target".
   Removed "/etc/systemd/system/ceph.target.wants/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target".

9. 대상을 중지합니다.

   예제

   [root@host01 ~]# systemctl stop ceph-0b007564-ec48-11ee-b736-525400fd02f8.target

   이렇게 하면 중지해야 하는 호스트의 모든 데몬이 중지됩니다.

10. 노드를 종료합니다.

    예제

    [root@host01 ~]# shutdown
    Shutdown scheduled for Wed 2024-03-27 11:47:19 EDT, use 'shutdown -c' to cancel.

11. 클러스터의 모든 노드에 대해 위의 단계를 반복합니다.

1. 네트워크 장치가 관련된 경우 Ceph 호스트 또는 노드의 전원을 켜기 전에 전원이 켜지고 안정적인지 확인하십시오.
2. 관리 노드의 전원을 켭니다.

3. systemd 대상을 활성화하여 모든 데몬을 실행합니다.

   예제

   [root@host01 ~]# systemctl enable ceph-0b007564-ec48-11ee-b736-525400fd02f8.target
   Created symlink /etc/systemd/system/multi-user.target.wants/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target → /etc/systemd/system/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target.
   Created symlink /etc/systemd/system/ceph.target.wants/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target → /etc/systemd/system/ceph-0b007564-ec48-11ee-b736-525400fd02f8.target.

4. systemd 대상을 시작합니다.

   예제

   [root@host01 ~]# systemctl start ceph-0b007564-ec48-11ee-b736-525400fd02f8.target

5. 모든 노드가 나타날 때까지 기다립니다. 모든 서비스가 실행 중이고 노드 간에 연결 문제가 없는지 확인합니다.

6. noout,norecover,norebalance,nobackfill,nodown 및 pause 플래그를 설정 해제합니다. 클라이언트 인증 키가 있는 노드에서 다음을 실행합니다(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드).

   예제

   [ceph: root@host01 /]# ceph osd unset noout
   [ceph: root@host01 /]# ceph osd unset norecover
   [ceph: root@host01 /]# ceph osd unset norebalance
   [ceph: root@host01 /]# ceph osd unset nobackfill
   [ceph: root@host01 /]# ceph osd unset nodown
   [ceph: root@host01 /]# ceph osd unset pause

7. Ceph File System(CephFS)을 사용하는 경우 joinable 플래그를 true 로 설정하여 CephFS 클러스터를 백업합니다.

   구문

   ceph fs set FS_NAME joinable true

   예제

   [ceph: root@host01 /]# ceph fs set cephfs joinable true

1. 이 클러스터 및 기타 클라이언트에서 사용자 Block Device Image 및 Ceph Object Gateway를 사용하지 못하도록 합니다.

2. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

3. 계속하기 전에 클러스터가 정상 상태(Health_OK 및 모든 PGs active+clean)여야 합니다. 클라이언트 키(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드)가 있는 호스트에서 ceph 상태를 실행하여 클러스터가 정상인지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s

4. Ceph File System(CephFS)을 사용하는 경우 CephFS 클러스터를 종료합니다.

   구문

   ceph fs set FS_NAME max_mds 1
   ceph fs fail FS_NAME
   ceph status
   ceph fs set FS_NAME joinable false
   ceph mds fail FS_NAME:N

   예제

   [ceph: root@host01 /]# ceph fs set cephfs max_mds 1
   [ceph: root@host01 /]# ceph fs fail cephfs
   [ceph: root@host01 /]# ceph status
   [ceph: root@host01 /]# ceph fs set cephfs joinable false
   [ceph: root@host01 /]# ceph mds fail cephfs:1

5. noout,norecover,norebalance,nobackfill,nodown, pause 플래그를 설정합니다. 클라이언트 인증 키가 있는 노드에서 다음을 실행합니다(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드).

   예제

   [ceph: root@host01 /]# ceph osd set noout
   [ceph: root@host01 /]# ceph osd set norecover
   [ceph: root@host01 /]# ceph osd set norebalance
   [ceph: root@host01 /]# ceph osd set nobackfill
   [ceph: root@host01 /]# ceph osd set nodown
   [ceph: root@host01 /]# ceph osd set pause

6. MDS 서비스를 중지합니다.

   1. MDS 서비스 이름을 가져옵니다.

      예제

      [ceph: root@host01 /]# ceph orch ls --service-type mds

   2. 이전 단계에서 가져온 이름을 사용하여 MDS 서비스를 중지합니다.

      구문

      ceph orch stop SERVICE-NAME

7. Ceph Object Gateway 서비스를 중지합니다. 배포된 각 서비스에 대해 반복합니다.

   1. Ceph Object Gateway 서비스 이름을 가져옵니다.

      예제

      [ceph: root@host01 /]# ceph orch ls --service-type rgw

   2. 가져온 이름을 사용하여 Ceph Object Gateway 서비스를 중지합니다.

      구문

      ceph orch stop SERVICE-NAME

8. Alertmanager 서비스를 중지합니다.

   예제

   [ceph: root@host01 /]# ceph orch stop alertmanager

9. 모니터링 스택의 일부인 node-exporter 서비스를 중지합니다.

   예제

   [ceph: root@host01 /]# ceph orch stop node-exporter

10. Prometheus 서비스를 중지합니다.

    예제

    [ceph: root@host01 /]# ceph orch stop prometheus

11. Grafana 대시보드 서비스를 중지합니다.

    예제

    [ceph: root@host01 /]# ceph orch stop grafana

12. 크래시 서비스를 중지합니다.

    예제

    [ceph: root@host01 /]# ceph orch stop crash

13. cephadm 노드에서 하나씩 OSD 노드를 종료합니다. 클러스터의 모든 OSD에 대해 이 단계를 반복합니다.

    1. OSD ID를 가져옵니다.

       예제

       [ceph: root@host01 /]# ceph orch ps --daemon-type=osd

    2. 가져온 OSD ID를 사용하여 OSD 노드를 종료합니다.

       예제

       [ceph: root@host01 /]# ceph orch daemon stop osd.1
       Scheduled to stop osd.1 on host 'host02'

14. 모니터를 하나씩 중지합니다.

    1. 모니터를 호스팅하는 호스트를 확인합니다.

       예제

       [ceph: root@host01 /]# ceph orch ps --daemon-type mon

    2. 각 호스트에서 모니터를 중지합니다.

       1. systemctl 단위 이름을 확인합니다.

          예제

          [ceph: root@host01 /]# systemctl list-units ceph-* | grep mon

       2. 서비스를 중지합니다.

          구문

          systemct stop SERVICE-NAME

15. 모든 호스트를 종료합니다.

1. 네트워크 장치가 관련된 경우 Ceph 호스트 또는 노드의 전원을 켜기 전에 전원이 켜지고 안정적인지 확인하십시오.
2. 모든 Ceph 호스트의 전원을 켭니다.

3. Cephadm 쉘에서 관리 노드에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

4. 모든 서비스가 실행 중인지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch ls

5. 클러스터 상태가 'Health_OK'status인지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s

6. noout,norecover,norebalance,nobackfill,nodown 및 pause 플래그를 설정 해제합니다. 클라이언트 인증 키가 있는 노드에서 다음을 실행합니다(예: Ceph Monitor 또는 OpenStack 컨트롤러 노드).

   예제

   [ceph: root@host01 /]# ceph osd unset noout
   [ceph: root@host01 /]# ceph osd unset norecover
   [ceph: root@host01 /]# ceph osd unset norebalance
   [ceph: root@host01 /]# ceph osd unset nobackfill
   [ceph: root@host01 /]# ceph osd unset nodown
   [ceph: root@host01 /]# ceph osd unset pause

7. Ceph File System(CephFS)을 사용하는 경우 joinable 플래그를 true 로 설정하여 CephFS 클러스터를 백업합니다.

   구문

   ceph fs set FS_NAME joinable true

   예제

   [ceph: root@host01 /]# ceph fs set cephfs joinable true

절차

1. 를 사용하여 ceph 유틸리티를 대화형 모드로 실행합니다.

   구문

   podman exec -it ceph-mon-MONITOR_NAME /bin/bash

   replace

   • podman ps 명령을 실행하여 찾은 Ceph Monitor 컨테이너의 이름이 있는 MONITOR_NAME 입니다.

   예제

   [root@host01 ~]# podman exec -it ceph-499829b4-832f-11eb-8d6d-001a4a000635-mon.host01 /bin/bash

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   root@host01 ~]# cephadm shell

2. 다음 명령을 사용하여 Ceph 스토리지 클러스터의 상태를 확인할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph health
   HEALTH_OK

3. ceph status 명령을 실행하여 Ceph 스토리지 클러스터의 상태를 확인할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph status

   출력은 다음과 같은 정보를 제공합니다.

   • 클러스터 ID
   • 클러스터 상태
   • 모니터 맵 epoch 및 모니터 쿼럼의 상태.
   • OSD는 epoch 및 OSD의 상태를 매핑합니다.
   • Ceph Manager의 상태입니다.
   • 오브젝트 게이트웨이의 상태입니다.
   • 배치 그룹 맵 버전.
   • 배치 그룹 및 풀 수입니다.
   • 저장된 데이터 양과 저장된 오브젝트 수입니다.

   • 저장된 총 데이터 양입니다.

     Ceph 클러스터를 시작하면 HEALTH_WARN XXX 배치 그룹이 오래된 상태 경고가 발생할 수 있습니다. 잠시 기다렸다가 다시 확인하십시오. 스토리지 클러스터가 준비되면 ceph 상태가 HEALTH _OK 와 같은 메시지를 반환해야 합니다. 이 시점에서 클러스터 사용을 시작하는 것이 좋습니다.

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   root@host01 ~]# cephadm shell

2. 클러스터의 진행 중인 이벤트를 조사하려면 다음 명령을 실행합니다.

   예제

   [ceph: root@host01 /]# ceph -w
     cluster:
       id:     8c9b0072-67ca-11eb-af06-001a4a0002a0
       health: HEALTH_OK
   
     services:
       mon: 2 daemons, quorum Ceph5-2,Ceph5-adm (age 3d)
       mgr: Ceph5-1.nqikfh(active, since 3w), standbys: Ceph5-adm.meckej
       osd: 5 osds: 5 up (since 2d), 5 in (since 8w)
       rgw: 2 daemons active (test_realm.test_zone.Ceph5-2.bfdwcn, test_realm.test_zone.Ceph5-adm.acndrh)
   
     data:
       pools:   11 pools, 273 pgs
       objects: 459 objects, 32 KiB
       usage:   2.6 GiB used, 72 GiB / 75 GiB avail
       pgs:     273 active+clean
   
     io:
       client:   170 B/s rd, 730 KiB/s wr, 0 op/s rd, 729 op/s wr
   
   2021-06-02 15:45:21.655871 osd.0 [INF] 17.71 deep-scrub ok
   2021-06-02 15:45:47.880608 osd.1 [INF] 1.0 scrub ok
   2021-06-02 15:45:48.865375 osd.1 [INF] 1.3 scrub ok
   2021-06-02 15:45:50.866479 osd.1 [INF] 1.4 scrub ok
   2021-06-02 15:45:01.345821 mon.0 [INF] pgmap v41339: 952 pgs: 952 active+clean; 17130 MB data, 115 GB used, 167 GB / 297 GB avail
   2021-06-02 15:45:05.718640 mon.0 [INF] pgmap v41340: 952 pgs: 1 active+clean+scrubbing+deep, 951 active+clean; 17130 MB data, 115 GB used, 167 GB / 297 GB avail
   2021-06-02 15:45:53.997726 osd.1 [INF] 1.5 scrub ok
   2021-06-02 15:45:06.734270 mon.0 [INF] pgmap v41341: 952 pgs: 1 active+clean+scrubbing+deep, 951 active+clean; 17130 MB data, 115 GB used, 167 GB / 297 GB avail
   2021-06-02 15:45:15.722456 mon.0 [INF] pgmap v41342: 952 pgs: 952 active+clean; 17130 MB data, 115 GB used, 167 GB / 297 GB avail
   2021-06-02 15:46:06.836430 osd.0 [INF] 17.75 deep-scrub ok
   2021-06-02 15:45:55.720929 mon.0 [INF] pgmap v41343: 952 pgs: 1 active+clean+scrubbing+deep, 951 active+clean; 17130 MB data, 115 GB used, 167 GB / 297 GB avail

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 스토리지 클러스터 상태를 확인하려면 다음을 실행합니다.

   예제

   [ceph: root@host01 /]# ceph status

   또는

   예제

   [ceph: root@host01 /]# ceph -s

3. 대화형 모드에서 ceph 를 입력하고 Enter 를 누릅니다.

   예제

   [ceph: root@host01 /]# ceph
   ceph> status
     cluster:
       id:     499829b4-832f-11eb-8d6d-001a4a000635
       health: HEALTH_WARN
               1 stray daemon(s) not managed by cephadm
               1/3 mons down, quorum host03,host02
               too many PGs per OSD (261 > max 250)
   
     services:
       mon:     3 daemons, quorum host03,host02 (age 3d), out of quorum: host01
       mgr:     host01.hdhzwn(active, since 9d), standbys: host05.eobuuv, host06.wquwpj
       osd:     12 osds: 11 up (since 2w), 11 in (since 5w)
       rgw:     2 daemons active (test_realm.test_zone.host04.hgbvnq, test_realm.test_zone.host05.yqqilm)
       rgw-nfs: 1 daemon active (nfs.foo.host06-rgw)
   
     data:
       pools:   8 pools, 960 pgs
       objects: 414 objects, 1.0 MiB
       usage:   5.7 GiB used, 214 GiB / 220 GiB avail
       pgs:     960 active+clean
   
     io:
       client:   41 KiB/s rd, 0 B/s wr, 41 op/s rd, 27 op/s wr
   
   ceph> health
   HEALTH_WARN 1 stray daemon(s) not managed by cephadm; 1/3 mons down, quorum host03,host02; too many PGs per OSD (261 > max 250)
   
   ceph> mon stat
   e3: 3 mons at {host01=[v2:10.74.255.0:3300/0,v1:10.74.255.0:6789/0],host02=[v2:10.74.249.253:3300/0,v1:10.74.249.253:6789/0],host03=[v2:10.74.251.164:3300/0,v1:10.74.251.164:6789/0]}, election epoch 6688, leader 1 host03, quorum 1,2 host03,host02

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. Ceph 모니터 맵을 표시하려면 다음을 실행합니다.

   예제

   [ceph: root@host01 /]# ceph mon stat

   또는

   예제

   [ceph: root@host01 /]# ceph mon dump

3. 스토리지 클러스터의 쿼럼 상태를 확인하려면 다음을 실행합니다.

   [ceph: root@host01 /]# ceph quorum_status -f json-pretty

   Ceph에서 쿼럼 상태를 반환합니다.

   예제

   {
       "election_epoch": 6686,
       "quorum": [
           0,
           1,
           2
       ],
       "quorum_names": [
           "host01",
           "host03",
           "host02"
       ],
       "quorum_leader_name": "host01",
       "quorum_age": 424884,
       "features": {
           "quorum_con": "4540138297136906239",
           "quorum_mon": [
               "kraken",
               "luminous",
               "mimic",
               "osdmap-prune",
               "nautilus",
               "octopus",
               "pacific",
               "elector-pinging"
           ]
       },
       "monmap": {
           "epoch": 3,
           "fsid": "499829b4-832f-11eb-8d6d-001a4a000635",
           "modified": "2021-03-15T04:51:38.621737Z",
           "created": "2021-03-12T12:35:16.911339Z",
           "min_mon_release": 16,
           "min_mon_release_name": "pacific",
           "election_strategy": 1,
           "disallowed_leaders: ": "",
           "stretch_mode": false,
           "features": {
               "persistent": [
                   "kraken",
                   "luminous",
                   "mimic",
                   "osdmap-prune",
                   "nautilus",
                   "octopus",
                   "pacific",
                   "elector-pinging"
               ],
               "optional": []
           },
           "mons": [
               {
                   "rank": 0,
                   "name": "host01",
                   "public_addrs": {
                       "addrvec": [
                           {
                               "type": "v2",
                               "addr": "10.74.255.0:3300",
                               "nonce": 0
                           },
                           {
                               "type": "v1",
                               "addr": "10.74.255.0:6789",
                               "nonce": 0
                           }
                       ]
                   },
                   "addr": "10.74.255.0:6789/0",
                   "public_addr": "10.74.255.0:6789/0",
                   "priority": 0,
                   "weight": 0,
                   "crush_location": "{}"
               },
               {
                   "rank": 1,
                   "name": "host03",
                   "public_addrs": {
                       "addrvec": [
                           {
                               "type": "v2",
                               "addr": "10.74.251.164:3300",
                               "nonce": 0
                           },
                           {
                               "type": "v1",
                               "addr": "10.74.251.164:6789",
                               "nonce": 0
                           }
                       ]
                   },
                   "addr": "10.74.251.164:6789/0",
                   "public_addr": "10.74.251.164:6789/0",
                   "priority": 0,
                   "weight": 0,
                   "crush_location": "{}"
               },
               {
                   "rank": 2,
                   "name": "host02",
                   "public_addrs": {
                       "addrvec": [
                           {
                               "type": "v2",
                               "addr": "10.74.249.253:3300",
                               "nonce": 0
                           },
                           {
                               "type": "v1",
                               "addr": "10.74.249.253:6789",
                               "nonce": 0
                           }
                       ]
                   },
                   "addr": "10.74.249.253:6789/0",
                   "public_addr": "10.74.249.253:6789/0",
                   "priority": 0,
                   "weight": 0,
                   "crush_location": "{}"
               }
           ]
       }
   }

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 소켓을 사용하려면 다음을 수행합니다.

   구문

   ceph daemon MONITOR_ID COMMAND

   replace:

   • 데몬의 MONITOR_ID

   • 실행할 명령과 함께 COMMAND 입니다. 도움말 을 사용하여 지정된 데몬에 사용 가능한 명령을 나열합니다.

     Ceph 모니터의 상태를 보려면 다음을 수행합니다.

     예제

     [ceph: root@host01 /]# ceph daemon mon.host01 help
     {
         "add_bootstrap_peer_hint": "add peer address as potential bootstrap peer for cluster bringup",
         "add_bootstrap_peer_hintv": "add peer address vector as potential bootstrap peer for cluster bringup",
         "compact": "cause compaction of monitor's leveldb/rocksdb storage",
         "config diff": "dump diff of current config and default config",
         "config diff get": "dump diff get <field>: dump diff of current and default config setting <field>",
         "config get": "config get <field>: get the config value",
         "config help": "get config setting schema and descriptions",
         "config set": "config set <field> <val> [<val> ...]: set a config variable",
         "config show": "dump current config settings",
         "config unset": "config unset <field>: unset a config variable",
         "connection scores dump": "show the scores used in connectivity-based elections",
         "connection scores reset": "reset the scores used in connectivity-based elections",
         "dump_historic_ops": "dump_historic_ops",
         "dump_mempools": "get mempool stats",
         "get_command_descriptions": "list available commands",
         "git_version": "get git sha1",
         "heap": "show heap usage info (available only if compiled with tcmalloc)",
         "help": "list available commands",
         "injectargs": "inject configuration arguments into running daemon",
         "log dump": "dump recent log entries to log file",
         "log flush": "flush log entries to log file",
         "log reopen": "reopen log file",
         "mon_status": "report status of monitors",
         "ops": "show the ops currently in flight",
         "perf dump": "dump perfcounters value",
         "perf histogram dump": "dump perf histogram values",
         "perf histogram schema": "dump perf histogram schema",
         "perf reset": "perf reset <name>: perf reset all or one perfcounter name",
         "perf schema": "dump perfcounters schema",
         "quorum enter": "force monitor back into quorum",
         "quorum exit": "force monitor out of the quorum",
         "sessions": "list existing sessions",
         "smart": "Query health metrics for underlying device",
         "sync_force": "force sync of and clear monitor store",
         "version": "get ceph version"
     }

     예제

     [ceph: root@host01 /]# ceph daemon mon.host01 mon_status
     
     {
         "name": "host01",
         "rank": 0,
         "state": "leader",
         "election_epoch": 120,
         "quorum": [
             0,
             1,
             2
         ],
         "quorum_age": 206358,
         "features": {
             "required_con": "2449958747317026820",
             "required_mon": [
                 "kraken",
                 "luminous",
                 "mimic",
                 "osdmap-prune",
                 "nautilus",
                 "octopus",
                 "pacific",
                 "elector-pinging"
             ],
             "quorum_con": "4540138297136906239",
             "quorum_mon": [
                 "kraken",
                 "luminous",
                 "mimic",
                 "osdmap-prune",
                 "nautilus",
                 "octopus",
                 "pacific",
                 "elector-pinging"
             ]
         },
         "outside_quorum": [],
         "extra_probe_peers": [],
         "sync_provider": [],
         "monmap": {
             "epoch": 3,
             "fsid": "81a4597a-b711-11eb-8cb8-001a4a000740",
             "modified": "2021-05-18T05:50:17.782128Z",
             "created": "2021-05-17T13:13:13.383313Z",
             "min_mon_release": 16,
             "min_mon_release_name": "pacific",
             "election_strategy": 1,
             "disallowed_leaders: ": "",
             "stretch_mode": false,
             "features": {
                 "persistent": [
                     "kraken",
                     "luminous",
                     "mimic",
                     "osdmap-prune",
                     "nautilus",
                     "octopus",
                     "pacific",
                     "elector-pinging"
                 ],
                 "optional": []
             },
             "mons": [
                 {
                     "rank": 0,
                     "name": "host01",
                     "public_addrs": {
                         "addrvec": [
                             {
                                 "type": "v2",
                                 "addr": "10.74.249.41:3300",
                                 "nonce": 0
                             },
                             {
                                 "type": "v1",
                                 "addr": "10.74.249.41:6789",
                                 "nonce": 0
                             }
                         ]
                     },
                     "addr": "10.74.249.41:6789/0",
                     "public_addr": "10.74.249.41:6789/0",
                     "priority": 0,
                     "weight": 0,
                     "crush_location": "{}"
                 },
                 {
                     "rank": 1,
                     "name": "host02",
                     "public_addrs": {
                         "addrvec": [
                             {
                                 "type": "v2",
                                 "addr": "10.74.249.55:3300",
                                 "nonce": 0
                             },
                             {
                                 "type": "v1",
                                 "addr": "10.74.249.55:6789",
                                 "nonce": 0
                             }
                         ]
                     },
                     "addr": "10.74.249.55:6789/0",
                     "public_addr": "10.74.249.55:6789/0",
                     "priority": 0,
                     "weight": 0,
                     "crush_location": "{}"
                 },
                 {
                     "rank": 2,
                     "name": "host03",
                     "public_addrs": {
                         "addrvec": [
                             {
                                 "type": "v2",
                                 "addr": "10.74.249.49:3300",
                                 "nonce": 0
                             },
                             {
                                 "type": "v1",
                                 "addr": "10.74.249.49:6789",
                                 "nonce": 0
                             }
                         ]
                     },
                     "addr": "10.74.249.49:6789/0",
                     "public_addr": "10.74.249.49:6789/0",
                     "priority": 0,
                     "weight": 0,
                     "crush_location": "{}"
                 }
             ]
         },
         "feature_map": {
             "mon": [
                 {
                     "features": "0x3f01cfb9fffdffff",
                     "release": "luminous",
                     "num": 1
                 }
             ],
             "osd": [
                 {
                     "features": "0x3f01cfb9fffdffff",
                     "release": "luminous",
                     "num": 3
                 }
             ]
         },
         "stretch_mode": false
     }

3. 또는 소켓 파일을 사용하여 Ceph 데몬을 지정합니다.

   구문

   ceph daemon /var/run/ceph/SOCKET_FILE COMMAND

4. osd.2 라는 Ceph OSD의 상태를 보려면 다음을 수행합니다.

   예제

   [ceph: root@host01 /]# ceph daemon /var/run/ceph/ceph-osd.2.asok status

5. Ceph 프로세스의 모든 소켓 파일을 나열하려면 다음을 수행합니다.

   예제

   [ceph: root@host01 /]# ls /var/run/ceph

절차

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 배치 그룹 목록을 검색하려면 다음을 수행합니다.

   예제

   [ceph: root@host01 /]# ceph pg dump

3. 지정된 배치 그룹에 대해 동작 집합 또는 Up Set 에 있는 Ceph OSD를 확인합니다.

   구문

   ceph pg map PG_NUM

   예제

   [ceph: root@host01 /]# ceph pg map 128

   참고

   Up Set 및 Acting Set이 일치하지 않는 경우, 스토리지 클러스터의 자체 또는 스토리지 클러스터에 잠재적인 문제가 있음을 나타내는 표시일 수 있습니다.

절차

1. 정지된 배치 그룹을 식별하려면 다음을 실행합니다.

   구문

   ceph pg dump_stuck {inactive|unclean|stale|undersized|degraded [inactive|unclean|stale|undersized|degraded...]} {<int>}

   예제

   [ceph: root@host01 /]# ceph pg dump_stuck stale
   OK

절차

1. 오브젝트 위치를 찾으려면 오브젝트 이름과 풀 이름이 필요합니다.

   구문

   ceph osd map POOL_NAME OBJECT_NAME

   예제

   [ceph: root@host01 /]# ceph osd map mypool myobject

절차

1. 새 스토리지 클러스터를 부트스트랩하는 경우 Red Hat Ceph Storage 클러스터에 노드를 추가하는 서비스 구성 .yaml 파일을 생성하고 서비스가 실행되어야 하는 위치에 대한 특정 레이블을 설정할 수도 있습니다.

   예제

   service_type: host
   addr: host01
   hostname: host01
   location:
     root: default
     datacenter: DC1
   labels:
     - osd
     - mon
     - mgr
   ---
   service_type: host
   addr: host02
   hostname: host02
   location:
     datacenter: DC1
   labels:
     - osd
     - mon
   ---
   service_type: host
   addr: host03
   hostname: host03
   location:
     datacenter: DC1
   labels:
     - osd
     - mds
     - rgw
   ---
   service_type: host
   addr: host04
   hostname: host04
   location:
     root: default
     datacenter: DC2
   labels:
     - osd
     - mon
     - mgr
   ---
   service_type: host
   addr: host05
   hostname: host05
   location:
     datacenter: DC2
   labels:
     - osd
     - mon
   ---
   service_type: host
   addr: host06
   hostname: host06
   location:
     datacenter: DC2
   labels:
     - osd
     - mds
     - rgw
   ---
   service_type: host
   addr: host07
   hostname: host07
   labels:
     - mon
   ---
   service_type: mon
   placement:
     label: "mon"
   ---
   service_id: cephfs
   placement:
     label: "mds"
   ---
   service_type: mgr
   service_name: mgr
   placement:
     label: "mgr"
   ---
   service_type: osd
   service_id: all-available-devices
   service_name: osd.all-available-devices
   placement:
     label: "osd"
   spec:
     data_devices:
       all: true
   ---
   service_type: rgw
   service_id: objectgw
   service_name: rgw.objectgw
   placement:
     count: 2
     label: "rgw"
   spec:
     rgw_frontend_port: 8080

2. --apply-spec 옵션을 사용하여 스토리지 클러스터를 부트스트랩합니다.

   구문

   cephadm bootstrap --apply-spec CONFIGURATION_FILE_NAME --mon-ip MONITOR_IP_ADDRESS --ssh-private-key PRIVATE_KEY --ssh-public-key PUBLIC_KEY --registry-url REGISTRY_URL --registry-username USER_NAME --registry-password PASSWORD

   예제

   [root@host01 ~]# cephadm bootstrap --apply-spec initial-config.yaml --mon-ip 10.10.128.68 --ssh-private-key /home/ceph/.ssh/id_rsa --ssh-public-key /home/ceph/.ssh/id_rsa.pub --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

   중요

   cephadm bootstrap 명령을 사용하여 다양한 명령 옵션을 사용할 수 있습니다. 그러나 서비스 구성 파일을 사용하고 호스트 위치를 구성하는 --apply-spec 옵션을 항상 포함합니다.

절차

1. 버킷을 datacenter 로 지정하여 non-tiebreaker 모니터의 위치를 CloudEvent 맵에 설정하려는 두 개의 버킷을 추가합니다.

   구문

   ceph osd crush add-bucket BUCKET_NAME BUCKET_TYPE

   예제

   [ceph: root@host01 /]# ceph osd crush add-bucket DC1 datacenter
   [ceph: root@host01 /]# ceph osd crush add-bucket DC2 datacenter

2. root=default 아래의 버킷을 이동합니다.

   구문

   ceph osd crush move BUCKET_NAME root=default

   예제

   [ceph: root@host01 /]# ceph osd crush move DC1 root=default
   [ceph: root@host01 /]# ceph osd crush move DC2 root=default

3. 필요한 CloudEvent 배치에 따라 OSD 호스트를 이동합니다.

   구문

   ceph osd crush move HOST datacenter=DATACENTER

   예제

   [ceph: root@host01 /]# ceph osd crush move host01 datacenter=DC1

절차

1. 각 모니터의 위치를 설정하고 CloudEvent 맵과 일치합니다.

   구문

   ceph mon set_location HOST datacenter=DATACENTER

   예제

   [ceph: root@host01 /]# ceph mon set_location host01 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host04 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host05 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3

2. 각 데이터 센터에 두 개의 사본을 배치하는 CloudEvent 규칙을 생성합니다.

   구문

   ceph osd getcrushmap > COMPILED_CRUSHMAP_FILENAME
   crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

   예제

   [ceph: root@host01 /]# ceph osd getcrushmap > crush.map.bin
   [ceph: root@host01 /]# crushtool -d crush.map.bin -o crush.map.txt

   1. deECDHEECDHE 맵 파일을 편집하여 새 규칙을 추가합니다.

      예제

      rule stretch_rule {
              id 1 1
              type replicated
              min_size 1
              max_size 10
              step take DC1 2
              step chooseleaf firstn 2 type host
              step emit
              step take DC2 3
              step chooseleaf firstn 2 type host
              step emit
      }

      1

      규칙 ID 는 고유해야 합니다. 이 예에서는 id 0 이 있는 규칙이 하나 더 있으므로 ID 1 이 사용되지만 기존 규칙의 수에 따라 다른 규칙 ID를 사용해야 할 수 있습니다.

      2 3

      이 예에서는 DC1 과 DC2 라는 두 개의 데이터 센터 버킷이 있습니다.

      참고

      이 규칙을 사용하면 클러스터에 데이터 센터 DC1 에 대한 읽기 방지가 포함됩니다. 따라서 모든 읽기 또는 쓰기는 DC1 에 배치된 Ceph OSD를 통해 이루어집니다.

      이 동작이 바람직하지 않고 읽기 또는 쓰기를 영역 전체에 균등하게 분산해야 하는 경우 crush 규칙은 다음과 같습니다.

      예제

      rule stretch_rule {
      id 1
      type replicated
      min_size 1
      max_size 10
      step take default
      step choose firstn 0 type datacenter
      step chooseleaf firstn 2 type host
      step emit
      }

      이 규칙에서 데이터 센터는 임의로 선택되고 자동으로 선택됩니다.

      firstn 및 indep 옵션에 대한 자세한 내용은 CloudEvent 규칙 을 참조하십시오.

3. CloudEvent 맵을 주입하여 클러스터에서 규칙을 사용할 수 있도록 합니다.

   구문

   crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME
   ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

   예제

   [ceph: root@host01 /]# crushtool -c crush.map.txt -o crush2.map.bin
   [ceph: root@host01 /]# ceph osd setcrushmap -i crush2.map.bin

4. 연결 모드에서 모니터를 실행하지 않는 경우 선택 전략을 connectivity 로 설정합니다.

   예제

   [ceph: root@host01 /]# ceph mon set election_strategy connectivity

5. 데이터 센터 간에 분할할 tiebreaker 모니터의 위치를 설정하여 스트레치 모드를 시작합니다.

   구문

   ceph mon set_location HOST datacenter=DATACENTER
   ceph mon enable_stretch_mode HOST stretch_rule datacenter

   예제

   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3
   [ceph: root@host01 /]# ceph mon enable_stretch_mode host07 stretch_rule datacenter

   이 예에서 모니터 mon.host07 은 tiebreaker입니다.

   중요

   tiebreaker 모니터의 위치는 이전에 non-tiebreaker 모니터를 설정한 데이터 센터와 달라야 합니다. 위의 예에서 데이터 센터 DC3 입니다.

   중요

   이 데이터 센터를 CloudEvent 맵에 추가하지 마십시오. 스트레치 모드로 전환하려고 할 때 다음과 같은 오류가 발생합니다.

   Error EINVAL: there are 3 datacenters in the cluster but stretch mode currently only works with 2!

   참고

   Ceph 배포를 위한 자체 툴링을 작성하는 경우 ceph mon set_location 명령을 실행하는 대신 모니터를 부팅할 때 새로운 --set-crush-location 옵션을 사용할 수 있습니다. 이 옵션은 단일 bucket=location 쌍만 허용합니다(예: ceph-mon --set-crush-location 'datacenter=DC1' ). 이는 enable_stretch_mode 명령을 실행할 때 지정한 버킷 유형과 일치해야 합니다.

6. 확장 모드가 성공적으로 활성화되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd dump
   
   epoch 361
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   created 2023-01-16T05:47:28.482717+0000
   modified 2023-01-17T17:36:50.066183+0000
   flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
   crush_version 31
   full_ratio 0.95
   backfillfull_ratio 0.92
   nearfull_ratio 0.85
   require_min_compat_client luminous
   min_compat_client luminous
   require_osd_release quincy
   stretch_mode_enabled true
   stretch_bucket_count 2
   degraded_stretch_mode 0
   recovering_stretch_mode 0
   stretch_mode_bucket 8

   stretch_mode_enabled 를 true 로 설정해야 합니다. 또한 스트레치 버킷 수, 스트레치 모드 버킷의 수와 스트레치 모드가 저하되거나 복구되는 경우 확인할 수 있습니다.

7. 모니터가 적절한 위치에 있는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host07
   disallowed_leaders host07
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host07; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

   어떤 모니터가 동그레이너인지와 모니터 선택 전략을 확인할 수도 있습니다.

절차

1. OSD를 배포할 사용 가능한 장치를 나열합니다.

   구문

   ceph orch device ls [--hostname=HOST_1 HOST_2] [--wide] [--refresh]

   예제

   [ceph: root@host01 /]# ceph orch device ls

2. 특정 호스트 또는 사용 가능한 모든 장치에 OSD를 배포합니다.

   • 특정 호스트의 특정 장치에서 OSD를 생성합니다.

     구문

     ceph orch daemon add osd HOST:DEVICE_PATH

     예제

     [ceph: root@host01 /]# ceph orch daemon add osd host03:/dev/sdb

   • 사용 가능하고 사용되지 않는 장치에 OSD를 배포합니다.

     중요

     이 명령은 배치된 WAL 및 DB 장치를 생성합니다. 배치되지 않은 장치를 생성하려면 이 명령을 사용하지 마십시오.

     예제

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

3. CloudEvent 버킷 아래에 OSD 호스트를 이동합니다.

   구문

   ceph osd crush move HOST datacenter=DATACENTER

   예제

   [ceph: root@host01 /]# ceph osd crush move host03 datacenter=DC1
   [ceph: root@host01 /]# ceph osd crush move host06 datacenter=DC2

   참고

   두 사이트에 동일한 토폴로지 노드를 추가해야 합니다. 호스트가 한 사이트에만 추가되면 문제가 발생할 수 있습니다.

절차

1. 스토리지 클러스터의 사용자를 나열하려면 다음을 실행합니다.

   예제

   [ceph: root@host01 /]# ceph auth list
   installed auth entries:
   
   osd.10
   	key: AQBW7U5gqOsEExAAg/CxSwZ/gSh8iOsDV3iQOA==
   	caps: [mgr] allow profile osd
   	caps: [mon] allow profile osd
   	caps: [osd] allow *
   osd.11
   	key: AQBX7U5gtj/JIhAAPsLBNG+SfC2eMVEFkl3vfA==
   	caps: [mgr] allow profile osd
   	caps: [mon] allow profile osd
   	caps: [osd] allow *
   osd.9
   	key: AQBV7U5g1XDULhAAKo2tw6ZhH1jki5aVui2v7g==
   	caps: [mgr] allow profile osd
   	caps: [mon] allow profile osd
   	caps: [osd] allow *
   client.admin
   	key: AQADYEtgFfD3ExAAwH+C1qO7MSLE4TWRfD2g6g==
   	caps: [mds] allow *
   	caps: [mgr] allow *
   	caps: [mon] allow *
   	caps: [osd] allow *
   client.bootstrap-mds
   	key: AQAHYEtgpbkANBAANqoFlvzEXFwD8oB0w3TF4Q==
   	caps: [mon] allow profile bootstrap-mds
   client.bootstrap-mgr
   	key: AQAHYEtg3dcANBAAVQf6brq3sxTSrCrPe0pKVQ==
   	caps: [mon] allow profile bootstrap-mgr
   client.bootstrap-osd
   	key: AQAHYEtgD/QANBAATS9DuP3DbxEl86MTyKEmdw==
   	caps: [mon] allow profile bootstrap-osd
   client.bootstrap-rbd
   	key: AQAHYEtgjxEBNBAANho25V9tWNNvIKnHknW59A==
   	caps: [mon] allow profile bootstrap-rbd
   client.bootstrap-rbd-mirror
   	key: AQAHYEtgdE8BNBAAr6rLYxZci0b2hoIgH9GXYw==
   	caps: [mon] allow profile bootstrap-rbd-mirror
   client.bootstrap-rgw
   	key: AQAHYEtgwGkBNBAAuRzI4WSrnowBhZxr2XtTFg==
   	caps: [mon] allow profile bootstrap-rgw
   client.crash.host04
   	key: AQCQYEtgz8lGGhAAy5bJS8VH9fMdxuAZ3CqX5Q==
   	caps: [mgr] profile crash
   	caps: [mon] profile crash
   client.crash.host02
   	key: AQDuYUtgqgfdOhAAsyX+Mo35M+HFpURGad7nJA==
   	caps: [mgr] profile crash
   	caps: [mon] profile crash
   client.crash.host03
   	key: AQB98E5g5jHZAxAAklWSvmDsh2JaL5G7FvMrrA==
   	caps: [mgr] profile crash
   	caps: [mon] profile crash
   client.nfs.foo.host03
   	key: AQCgTk9gm+HvMxAAHbjG+XpdwL6prM/uMcdPdQ==
   	caps: [mon] allow r
   	caps: [osd] allow rw pool=nfs-ganesha namespace=foo
   client.nfs.foo.host03-rgw
   	key: AQCgTk9g8sJQNhAAPykcoYUuPc7IjubaFx09HQ==
   	caps: [mon] allow r
   	caps: [osd] allow rwx tag rgw *=*
   client.rgw.test_realm.test_zone.host01.hgbvnq
   	key: AQD5RE9gAQKdCRAAJzxDwD/dJObbInp9J95sXw==
   	caps: [mgr] allow rw
   	caps: [mon] allow *
   	caps: [osd] allow rwx tag rgw *=*
   client.rgw.test_realm.test_zone.host02.yqqilm
   	key: AQD0RE9gkxA4ExAAFXp3pLJWdIhsyTe2ZR6Ilw==
   	caps: [mgr] allow rw
   	caps: [mon] allow *
   	caps: [osd] allow rwx tag rgw *=*
   mgr.host01.hdhzwn
   	key: AQAEYEtg3lhIBxAAmHodoIpdvnxK0llWF80ltQ==
   	caps: [mds] allow *
   	caps: [mon] profile mgr
   	caps: [osd] allow *
   mgr.host02.eobuuv
   	key: AQAn6U5gzUuiABAA2Fed+jPM1xwb4XDYtrQxaQ==
   	caps: [mds] allow *
   	caps: [mon] profile mgr
   	caps: [osd] allow *
   mgr.host03.wquwpj
   	key: AQAd6U5gIzWsLBAAbOKUKZlUcAVe9kBLfajMKw==
   	caps: [mds] allow *
   	caps: [mon] profile mgr
   	caps: [osd] allow *

절차

1. 특정 사용자, 키 및 기능을 검색하려면 다음을 실행합니다.

   구문

   ceph auth export TYPE.ID

   예제

   [ceph: root@host01 /]# ceph auth export mgr.host02.eobuuv

2. -o FILE_NAME 옵션을 사용할 수도 있습니다.

   구문

   ceph auth export TYPE.ID -o FILE_NAME

   예제

   [ceph: root@host01 /]# ceph auth export osd.9 -o filename
   export auth(key=AQBV7U5g1XDULhAAKo2tw6ZhH1jki5aVui2v7g==)

절차

1. 기능을 추가하려면 다음 양식을 사용하십시오.

   구문

   ceph auth caps USERTYPE.USERID DAEMON 'allow [r|w|x|*|...] [pool=POOL_NAME] [namespace=NAMESPACE_NAME]'

   예제

   [ceph: root@host01 /]# ceph auth caps client.john mon 'allow r' osd 'allow rw pool=mypool'
   [ceph: root@host01 /]# ceph auth caps client.paul mon 'allow rw' osd 'allow rwx pool=mypool'
   [ceph: root@host01 /]# ceph auth caps client.brian-manager mon 'allow *' osd 'allow *'

2. 기능을 제거하려면 기능을 재설정할 수 있습니다. 사용자가 이전에 설정된 특정 데몬에 대한 액세스 권한이 없도록 하려면 빈 문자열을 지정합니다.

   예제

   [ceph: root@host01 /]# ceph auth caps client.ringo mon ' ' osd ' '

절차

1. 사용자를 삭제하려면 ceph auth del 을 사용합니다.

   구문

   ceph auth del TYPE.ID

   예제

   [ceph: root@host01 /]# ceph auth del osd.6

절차

1. 사용자의 인증 키를 표준 출력에 출력하려면 다음을 실행합니다.

   구문

   ceph auth print-key TYPE.ID

   예제

   [ceph: root@host01 /]# ceph auth print-key osd.6
   
   AQBQ7U5gAry3JRAA3NoPrqBBThpFMcRL6Sr+5w==[ceph: root@host01 /]#

2. 사용자 키를 인쇄하는 것은 사용자 키를 사용하여 클라이언트 소프트웨어를 채워야 할 때 유용합니다(예: libvirt ).

   구문

   mount -t ceph HOSTNAME:/MOUNT_POINT -o name=client.user,secret=ceph auth print-key client.user

   예제

   [ceph: root@host01 /]#  mount -t ceph host02:/ceph -o name=client.user,secret=`ceph auth print-key client.user`