4.3. 데몬의 CRUSH 위치 설정

프로세스

1. CRUSH 맵과 일치하는 각 모니터의 위치를 설정합니다.

   구문

   ceph mon set_location HOST datacenter=DATACENTER

   예

   [ceph: root@host01 /]# ceph mon set_location host01 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host04 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host05 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3

2. 각 데이터 센터에 두 개의 복사본을 배치하는 CRUSH 규칙을 생성합니다.

   구문

   ceph osd getcrushmap > COMPILED_CRUSHMAP_FILENAME
   crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

   예

   [ceph: root@host01 /]# ceph osd getcrushmap > crush.map.bin
   [ceph: root@host01 /]# crushtool -d crush.map.bin -o crush.map.txt

   1. 해제된 CRUSH 맵 파일을 편집하여 새 규칙을 추가합니다.

      예

      rule stretch_rule {
              id 1 

      1

      
              type replicated
              min_size 1
              max_size 10
              step take DC1 

      2

      
              step chooseleaf firstn 2 type host
              step emit
              step take DC2 

      3

      
              step chooseleaf firstn 2 type host
              step emit
      }

      1

      규칙 ID 는 고유해야 합니다. 이 예에서는 id 0 이 있는 규칙이 하나만 있으므로 id 1 이 사용되지만 기존 규칙 수에 따라 다른 규칙 ID를 사용해야 할 수 있습니다.

      2 3

      이 예제에는 DC1 및 DC2 라는 두 개의 데이터 센터 버킷이 있습니다.

      참고

      이 규칙은 클러스터에 데이터 센터 DC1 에 대한 읽기 방지를 제공합니다. 따라서 모든 읽기 또는 쓰기는 DC1 에 배치된 Ceph OSD를 통해 수행됩니다.

      이 방법이 바람직하지 않고 읽기 또는 쓰기를 영역에 균등하게 분산하는 경우 CRUSH 규칙은 다음과 같습니다.

      예

      rule stretch_rule {
      id 1
      type replicated
      min_size 1
      max_size 10
      step take default
      step choose firstn 0 type datacenter
      step chooseleaf firstn 2 type host
      step emit
      }

      이 규칙에서는 데이터 센터가 임의로 자동으로 선택됩니다.

      firstn 및 indep 옵션에 대한 자세한 내용은 CRUSH 규칙을 참조하십시오.

3. CRUSH 맵을 삽입하여 클러스터에서 규칙을 사용할 수 있도록 합니다.

   구문

   crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME
   ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

   예

   [ceph: root@host01 /]# crushtool -c crush.map.txt -o crush2.map.bin
   [ceph: root@host01 /]# ceph osd setcrushmap -i crush2.map.bin

4. 연결 모드에서 모니터를 실행하지 않으면 선택 전략을 connectivity 로 설정합니다.

   예

   [ceph: root@host01 /]# ceph mon set election_strategy connectivity

5. 데이터 센터 간에 분할되도록 연결 장치 모니터의 위치를 설정하여 스트레치 모드로 전환합니다.

   구문

   ceph mon set_location HOST datacenter=DATACENTER
   ceph mon enable_stretch_mode HOST stretch_rule datacenter

   예

   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3
   [ceph: root@host01 /]# ceph mon enable_stretch_mode host07 stretch_rule datacenter

   이 예에서 모니터 mon.host07 은 타이블러입니다.

   중요

   tiebreaker 모니터의 위치는 이전에 비대신 모니터를 설정한 데이터 센터와 달라야 합니다. 위의 예에서 데이터 센터 DC3 입니다.

   중요

   이 데이터 센터를 CRUSH 맵에 추가하지 마십시오. 이 데이터 센터를 스트레치 모드로 전환하려고 할 때 다음과 같은 오류가 발생합니다.

   Error EINVAL: there are 3 datacenters in the cluster but stretch mode currently only works with 2!

   참고

   Ceph 배포를 위해 자체 툴링을 작성하는 경우 ceph mon set_location 명령을 실행하는 대신 모니터를 부팅할 때 새로운 --set-crush-location 옵션을 사용할 수 있습니다. 이 옵션은 enable_stretch_mode 명령을 실행할 때 지정한 버킷 유형과 일치해야 하는 ceph-mon --set-crush-location 'datacenter=DC1' 과 같은 단일 bucket=location 쌍만 허용합니다.

6. 스트레치 모드가 성공적으로 활성화되었는지 확인합니다.

   예

   [ceph: root@host01 /]# ceph osd dump
   
   epoch 361
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   created 2023-01-16T05:47:28.482717+0000
   modified 2023-01-17T17:36:50.066183+0000
   flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
   crush_version 31
   full_ratio 0.95
   backfillfull_ratio 0.92
   nearfull_ratio 0.85
   require_min_compat_client luminous
   min_compat_client luminous
   require_osd_release quincy
   stretch_mode_enabled true
   stretch_bucket_count 2
   degraded_stretch_mode 0
   recovering_stretch_mode 0
   stretch_mode_bucket 8

   stretch_mode_enabled 를 true 로 설정해야 합니다. 스트레치 버킷 수, 스트레치 모드 버킷, 스트레치 모드의 성능이 저하되거나 복구되는 경우에도 볼 수 있습니다.

7. 모니터가 적절한 위치에 있는지 확인합니다.

   예

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host07
   disallowed_leaders host07
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host07; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

   또한 어떤 모니터가 묶인 모니터와 모니터 선택 전략을 확인할 수 있습니다.

프로세스

1. crushtool 명령을 사용하기 위해 ceph-base RPM 패키지를 설치하여 이 OSD crush 토폴로지를 사용하는 CRUSH 규칙을 만듭니다.

   구문

   dnf -y install ceph-base

2. 클러스터에서 컴파일된 CRUSH 맵을 가져옵니다.

   구문

   ceph osd getcrushmap > /etc/ceph/crushmap.bin

3. CRUSH 맵을 컴파일하고 텍스트 파일로 변환하여 편집합니다.

   구문

   crushtool -d /etc/ceph/crushmap.bin -o /etc/ceph/crushmap.txt

4. 파일 끝에 /etc/ceph/crushmap.txt 를 편집하여 CRUSH 맵에 다음 규칙을 추가합니다. 이 규칙은 데이터 센터에 읽기 및 쓰기를 균등하게 분배합니다.

   구문

   rule stretch_rule {
           id 1
           type replicated
           step take default
           step choose firstn 0 type datacenter
           step chooseleaf firstn 2 type host
           step emit
    }

   1. 선택적으로 데이터 센터 1에 대한 읽기/쓰기 선호도가 있는 클러스터가 있어야 합니다.

      구문

      rule stretch_rule {
               id 1
               type replicated
               step take DC1
               step chooseleaf firstn 2 type host
               step emit
               step take DC2
               step chooseleaf firstn 2 type host
               step emit
       }

      The CRUSH rule declared contains the following information:
           Rule name
                Description: A unique name for identifying the rule.
                Value: stretch_rule
           id
                Description: A unique whole number for identifying the rule.
                Value: 1
           type
                Description: Describes a rule for either a storage drive replicated or erasure-coded.
                Value: replicated
           step take default
                Description: Takes the root bucket called default, and begins iterating down the tree.
           step take DC1
                Description: Takes the bucket called DC1, and begins iterating down the tree.
           step choose firstn 0 type datacenter
                Description: Selects the datacenter bucket, and goes into its subtrees.
           step chooseleaf firstn 2 type host
                Description: Selects the number of buckets of the given type. In this case, it is two different hosts located in the datacenter it entered at the previous level.
           step emit
                Description: Outputs the current value and empties the stack. Typically used at the end of a rule, but may also be used to pick from different trees in the same rule.

5. /etc/ceph/crushmap.txt 에서 새 CRUSH 맵을 컴파일하고 바이너리 파일 /etc/ceph/crushmap2.bin 로 변환합니다.

   구문

   crushtool -c /path/to/crushmap.txt -o /path/to/crushmap2.bin

   예

   [ceph: root@host01 /]# crushtool -c /etc/ceph/crushmap.txt -o /etc/ceph/crushmap2.bin

6. 새로 생성된 CRUSH 맵을 클러스터에 다시 삽입합니다.

   구문

   ceph osd setcrushmap -i /path/to/compiled_crushmap

   예

   [ceph: root@host01 /]# ceph osd setcrushmap -i /path/to/compiled_crushmap
   17

   참고

   숫자 17은 CRUSH 맵에 적용된 변경 사항에 따라 카운터 및 증가(18,19)입니다.