스토리지 전략 가이드

Ceph Client 및 Ceph OSD는 모두ECDHE 맵과ECDHE 알고리즘을 사용합니다.

여러 개체 복제본 또는 M dissure 코딩 청크를 사용하면 데이터 손실을 방지하는 데 도움이 되지만 고가용성을 해결하는 것만으로는 충분하지 않습니다. Ceph Storage Cluster의 기본 물리적 조직을 반영하여ECDHE은 모델링하여 관련 장치 오류의 주소 가능 소스를 모델링할 수 있습니다. 클러스터의 토폴로지를 클러스터 맵으로 인코딩하면ECDHE 배치 정책은 다양한 실패 도메인에서 오브젝트 복제본 또는 삭제 코딩 청크를 분리하면서 원하는 의사 무작위 배포를 유지할 수 있습니다. 예를 들어, 동시 오류 가능성을 해결하기 위해 데이터 복제본 또는 삭제 코딩 청크가 다른 보류, 랙, 전원 공급 장치, 컨트롤러 또는 물리적 위치를 사용하는 장치에 있는지 확인하는 것이 좋습니다. 이렇게 하면 데이터 손실을 방지하고 성능이 저하된 상태에서 클러스터가 작동할 수 있습니다.

Ceph는 여러 계층 구조를 다른 유형의 하드웨어 성능 프로필과 분리하도록 지원할 수 있습니다. 예를 들어ECDHE은 하드 디스크 드라이브에 대해 하나의 계층과 SSD에 대한 다른 계층 구조를 만들 수 있습니다. 기본 하드웨어의 성능 프로파일을 고려하여 성능 도메인 - 다양한 성능 특성을 지원해야 하므로 점점 더 널리 사용되고 있습니다. 운영상 이러한 맵은 둘 이상의 루트 유형 버킷이 있는 맵입니다. 사용 사례 예는 다음과 같습니다.

DestinationRule 맵은 장치 클래스 의 개념을 지원합니다. Ceph는 스토리지 장치의 측면을 검색하고 hdd,ssd 또는 nvme 와 같은 클래스를 자동으로 할당할 수 있습니다. 그러나 DestinationRule은 이러한 기본값에 국한되지 않습니다. 예를 들어ECDHE 계층을 사용하여 다른 유형의 워크로드를 분리할 수도 있습니다. 예를 들어 SSD는 저널 또는 쓰기 로그, 버킷 인덱스 또는 원시 오브젝트 스토리지에 사용될 수 있습니다. FlexVolume은 ssd-bucket-index 또는 ssd-object-storage 와 같은 다른 장치 클래스를 지원할 수 있으므로 Ceph는 서로 다른 워크로드에 동일한 스토리지 미디어를 사용하지 않도록 하여 성능을 보다 예측 가능하고 일관되게 만듭니다.

백그라운드에서 Ceph는 각 장치 클래스에 대해 crush 루트를 생성합니다. 이러한 루트는 OSD에서 장치 클래스를 설정하거나 변경하는 경우에만 수정해야 합니다. 다음 명령을 사용하여 생성된 루트를 볼 수 있습니다.

[ceph: root@host01 /]# ceph osd crush tree --show-shadow
ID   CLASS  WEIGHT    TYPE NAME
-24    ssd   4.54849  root default~ssd
-19    ssd   0.90970      host ceph01~ssd
  8    ssd   0.90970          osd.8
-20    ssd   0.90970      host ceph02~ssd
  7    ssd   0.90970          osd.7
-21    ssd   0.90970      host ceph03~ssd
  3    ssd   0.90970          osd.3
-22    ssd   0.90970      host ceph04~ssd
  5    ssd   0.90970          osd.5
-23    ssd   0.90970      host ceph05~ssd
  6    ssd   0.90970          osd.6
 -2    hdd  50.94173  root default~hdd
 -4    hdd   7.27739      host ceph01~hdd
 10    hdd   7.27739          osd.10
-12    hdd  14.55478      host ceph02~hdd
  0    hdd   7.27739          osd.0
 12    hdd   7.27739          osd.12
 -6    hdd  14.55478      host ceph03~hdd
  4    hdd   7.27739          osd.4
 11    hdd   7.27739          osd.11
-10    hdd   7.27739      host ceph04~hdd
  1    hdd   7.27739          osd.1
 -8    hdd   7.27739      host ceph05~hdd
  2    hdd   7.27739          osd.2
 -1         55.49022  root default
 -3          8.18709      host ceph01
 10    hdd   7.27739          osd.10
  8    ssd   0.90970          osd.8
-11         15.46448      host ceph02
  0    hdd   7.27739          osd.0
 12    hdd   7.27739          osd.12
  7    ssd   0.90970          osd.7
 -5         15.46448      host ceph03
  4    hdd   7.27739          osd.4
 11    hdd   7.27739          osd.11
  3    ssd   0.90970          osd.3
 -9          8.18709      host ceph04
  1    hdd   7.27739          osd.1
  5    ssd   0.90970          osd.5
 -7          8.18709      host ceph05
  2    hdd   7.27739          osd.2
  6    ssd   0.90970          osd.6

[ceph: root@host01 /]# ceph osd crush tree --show-shadow
ID   CLASS  WEIGHT    TYPE NAME
-24    ssd   4.54849  root default~ssd
-19    ssd   0.90970      host ceph01~ssd
  8    ssd   0.90970          osd.8
-20    ssd   0.90970      host ceph02~ssd
  7    ssd   0.90970          osd.7
-21    ssd   0.90970      host ceph03~ssd
  3    ssd   0.90970          osd.3
-22    ssd   0.90970      host ceph04~ssd
  5    ssd   0.90970          osd.5
-23    ssd   0.90970      host ceph05~ssd
  6    ssd   0.90970          osd.6
 -2    hdd  50.94173  root default~hdd
 -4    hdd   7.27739      host ceph01~hdd
 10    hdd   7.27739          osd.10
-12    hdd  14.55478      host ceph02~hdd
  0    hdd   7.27739          osd.0
 12    hdd   7.27739          osd.12
 -6    hdd  14.55478      host ceph03~hdd
  4    hdd   7.27739          osd.4
 11    hdd   7.27739          osd.11
-10    hdd   7.27739      host ceph04~hdd
  1    hdd   7.27739          osd.1
 -8    hdd   7.27739      host ceph05~hdd
  2    hdd   7.27739          osd.2
 -1         55.49022  root default
 -3          8.18709      host ceph01
 10    hdd   7.27739          osd.10
  8    ssd   0.90970          osd.8
-11         15.46448      host ceph02
  0    hdd   7.27739          osd.0
 12    hdd   7.27739          osd.12
  7    ssd   0.90970          osd.7
 -5         15.46448      host ceph03
  4    hdd   7.27739          osd.4
 11    hdd   7.27739          osd.11
  3    ssd   0.90970          osd.3
 -9          8.18709      host ceph04
  1    hdd   7.27739          osd.1
  5    ssd   0.90970          osd.5
 -7          8.18709      host ceph05
  2    hdd   7.27739          osd.2
  6    ssd   0.90970          osd.6

location은 FlexVolume 맵의 계층 구조 측면에서 OSD의 위치입니다. 명령줄 인터페이스에서 location on the command line을 나타내는 경우, aECDHE location0:0은 OSD의 위치를 설명하는 이름/값 쌍의 목록을 사용합니다. 예를 들어 OSD가 특정 행, 랙, 섀시 및 호스트에 있고 기본 ECDHE 트리의 일부인 경우 해당 crush 위치를 다음과 같이 설명할 수 있습니다.

root=default row=a rack=a2 chassis=a2a host=a2a1

root=default row=a rack=a2 chassis=a2a host=a2a1

참고:

bucket 인스턴스를ECDHE 계층 구조에 추가하려면 버킷 이름과 해당 유형을 지정합니다. 버킷 이름은 DestinationRule 맵에서 고유해야 합니다.

ceph osd crush add-bucket {name} {type}

ceph osd crush add-bucket {name} {type}

예를 들어 하드웨어 성능 프로필과 같이 여러 계층 구조를 사용하려는 경우 하드웨어 유형 또는 사용 사례에 따라 버킷 이름을 지정하는 것이 좋습니다.

예를 들어 솔리드 스테이트 드라이브(ssd), SSD 저널이 있는 SAS 디스크의 계층 구조, SATA 드라이브의 계층 구조(hdd-journal)를 만들 수 있습니다.

ceph osd crush add-bucket ssd-root root
ceph osd crush add-bucket hdd-journal-root root
ceph osd crush add-bucket hdd-root root

ceph osd crush add-bucket ssd-root root
ceph osd crush add-bucket hdd-journal-root root
ceph osd crush add-bucket hdd-root root

Ceph CLI 출력:

added bucket ssd-root type root to crush map
added bucket hdd-journal-root type root to crush map
added bucket hdd-root type root to crush map

added bucket ssd-root type root to crush map
added bucket hdd-journal-root type root to crush map
added bucket hdd-root type root to crush map

계층에 필요한 각 버킷 유형의 인스턴스를 추가합니다. 다음 예제에서는 SSD 호스트 랙과 오브젝트 스토리지용 호스트 랙이 있는 행에 버킷을 추가하는 방법을 보여줍니다.

ceph osd crush add-bucket ssd-row1 row
ceph osd crush add-bucket ssd-row1-rack1 rack
ceph osd crush add-bucket ssd-row1-rack1-host1 host
ceph osd crush add-bucket ssd-row1-rack1-host2 host
ceph osd crush add-bucket hdd-row1 row
ceph osd crush add-bucket hdd-row1-rack2 rack
ceph osd crush add-bucket hdd-row1-rack1-host1 host
ceph osd crush add-bucket hdd-row1-rack1-host2 host
ceph osd crush add-bucket hdd-row1-rack1-host3 host
ceph osd crush add-bucket hdd-row1-rack1-host4 host

ceph osd crush add-bucket ssd-row1 row
ceph osd crush add-bucket ssd-row1-rack1 rack
ceph osd crush add-bucket ssd-row1-rack1-host1 host
ceph osd crush add-bucket ssd-row1-rack1-host2 host
ceph osd crush add-bucket hdd-row1 row
ceph osd crush add-bucket hdd-row1-rack2 rack
ceph osd crush add-bucket hdd-row1-rack1-host1 host
ceph osd crush add-bucket hdd-row1-rack1-host2 host
ceph osd crush add-bucket hdd-row1-rack1-host3 host
ceph osd crush add-bucket hdd-row1-rack1-host4 host

이 단계를 완료하면 트리를 봅니다.

ceph osd tree

ceph osd tree

계층 구조는 플랫으로 유지됩니다. 버킷을 DestinationRule 맵에 추가한 후 계층적 위치로 이동해야 합니다.

초기 클러스터를 생성할 때 Ceph에는 default 라는 루트 버킷이 있는 기본 DestinationRule 맵이 있으며 초기 OSD 호스트가 기본 버킷 아래에 표시됩니다. FlexVolume 맵에 버킷 인스턴스를 추가하면 DestinationRule 계층 구조에 표시되지만 특정 버킷 아래에는 표시되지 않습니다.

버킷 인스턴스를ECDHE 계층 구조의 특정 위치로 이동하려면 버킷 이름과 해당 유형을 지정합니다. 예를 들면 다음과 같습니다.

ceph osd crush move ssd-row1 root=ssd-root
ceph osd crush move ssd-row1-rack1 row=ssd-row1
ceph osd crush move ssd-row1-rack1-host1 rack=ssd-row1-rack1
ceph osd crush move ssd-row1-rack1-host2 rack=ssd-row1-rack1

ceph osd crush move ssd-row1 root=ssd-root
ceph osd crush move ssd-row1-rack1 row=ssd-row1
ceph osd crush move ssd-row1-rack1-host1 rack=ssd-row1-rack1
ceph osd crush move ssd-row1-rack1-host2 rack=ssd-row1-rack1

이 단계를 완료하면 트리를 볼 수 있습니다.

ceph osd tree

ceph osd tree

DestinationRule 계층에서 버킷 인스턴스를 제거하려면 버킷 이름을 지정합니다. 예를 들면 다음과 같습니다.

ceph osd crush remove {bucket-name}

ceph osd crush remove {bucket-name}

또는 다음을 수행합니다.

ceph osd crush rm {bucket-name}

ceph osd crush rm {bucket-name}

상위 수준 버킷 (예: 기본)과 같은 루트를 제거하는 경우 풀에서 해당 버킷을 선택하는ECDHE 규칙을 사용하는지 확인하십시오. 그렇지 않으면 peering이 실패합니다.

Ceph CLI를 사용하여 버킷을 생성할 때 Ceph는 기본적으로 알고리즘을 straw2 로 설정합니다. Ceph는 4개의 버킷 알고리즘을 지원하며 각 알고리즘은 성능과 재구성 효율성 간의 균형을 나타냅니다. 어떤 버킷 유형을 사용할지 확실하지 않은 경우 straw2 버킷을 사용하는 것이 좋습니다. 버킷 알고리즘은 다음과 같습니다.

ceph osd crush tree 명령은 DestinationRule 버킷과 트리 보기의 항목을 출력합니다. 이 명령을 사용하여 특정 버킷의 OSD 목록을 확인합니다. ceph osd 트리 와 유사한 출력을 출력합니다.

추가 세부 정보를 반환하려면 다음을 실행합니다.

ceph osd crush tree -f json-pretty

# ceph osd crush tree -f json-pretty

명령은 다음과 유사한 출력을 반환합니다.

[
    {
        "id": -2,
        "name": "ssd",
        "type": "root",
        "type_id": 10,
        "items": [
            {
                "id": -6,
                "name": "dell-per630-11-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 6,
                        "name": "osd.6",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -7,
                "name": "dell-per630-12-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 7,
                        "name": "osd.7",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -8,
                "name": "dell-per630-13-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 8,
                        "name": "osd.8",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            }
        ]
    },
    {
        "id": -1,
        "name": "default",
        "type": "root",
        "type_id": 10,
        "items": [
            {
                "id": -3,
                "name": "dell-per630-11",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 0,
                        "name": "osd.0",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 3,
                        "name": "osd.3",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -4,
                "name": "dell-per630-12",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 1,
                        "name": "osd.1",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 4,
                        "name": "osd.4",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -5,
                "name": "dell-per630-13",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 2,
                        "name": "osd.2",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 5,
                        "name": "osd.5",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            }
        ]
    }
]

[
    {
        "id": -2,
        "name": "ssd",
        "type": "root",
        "type_id": 10,
        "items": [
            {
                "id": -6,
                "name": "dell-per630-11-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 6,
                        "name": "osd.6",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -7,
                "name": "dell-per630-12-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 7,
                        "name": "osd.7",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -8,
                "name": "dell-per630-13-ssd",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 8,
                        "name": "osd.8",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.099991,
                        "depth": 2
                    }
                ]
            }
        ]
    },
    {
        "id": -1,
        "name": "default",
        "type": "root",
        "type_id": 10,
        "items": [
            {
                "id": -3,
                "name": "dell-per630-11",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 0,
                        "name": "osd.0",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 3,
                        "name": "osd.3",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -4,
                "name": "dell-per630-12",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 1,
                        "name": "osd.1",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 4,
                        "name": "osd.4",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            },
            {
                "id": -5,
                "name": "dell-per630-13",
                "type": "host",
                "type_id": 1,
                "items": [
                    {
                        "id": 2,
                        "name": "osd.2",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.449997,
                        "depth": 2
                    },
                    {
                        "id": 5,
                        "name": "osd.5",
                        "type": "osd",
                        "type_id": 0,
                        "crush_weight": 0.289993,
                        "depth": 2
                    }
                ]
            }
        ]
    }
]

OSD를 시작하고 Ceph에서 배치 그룹을 OSD 에할당하기 전에 FlexVolume 계층에 Ceph OSD 를 추가하는 것이 최종 단계입니다.

Ceph OSD를 FlexVolume 계층 구조에 추가하기 전에 준비해야 합니다. Ceph Orchestrator와 같은 배포 유틸리티는 이 단계를 수행할 수 있습니다. 예를 들어 단일 노드에 Ceph OSD를 생성합니다.

ceph orch daemon add osd HOST:_DEVICE_,[DEVICE]

ceph orch daemon add osd HOST:_DEVICE_,[DEVICE]

FlexVolume 계층 구조는 개념적이므로 ceph osd crush add 명령을 사용하면 원하는 위치에 OSD를 DestinationRule 계층에 추가할 수 있습니다. 지정하는 위치는 실제 위치를 반영해야 합니다. 하나 이상의 버킷을 지정하면 명령에서 지정한 가장 구체적인 버킷에 OSD를 배치하고 지정한 다른 버킷 아래 해당 버킷을 이동합니다.

OSD를ECDHE 계층 구조에 추가하려면 다음을 수행합니다.

ceph osd crush add ID_OR_NAME WEIGHT [BUCKET_TYPE=BUCKET_NAME ...]

ceph osd crush add ID_OR_NAME WEIGHT [BUCKET_TYPE=BUCKET_NAME ...]

다음 예제에서는 osd.0 을 계층에 추가합니다.

ceph osd crush add osd.0 1.0 root=default datacenter=dc1 room=room1 row=foo rack=bar host=foo-bar-1

ceph osd crush add osd.0 1.0 root=default datacenter=dc1 room=room1 row=foo rack=bar host=foo-bar-1

스토리지 클러스터 토폴로지가 변경되면 DestinationRule 계층 구조에서 OSD를 이동하여 실제 위치를 반영할 수 있습니다.

DestinationRule 계층 내에서 OSD를 이동하려면 다음을 수행합니다.

ceph osd crush set ID_OR_NAME WEIGHT root=POOL_NAME  [BUCKET_TYPE=BUCKET_NAME...]

ceph osd crush set ID_OR_NAME WEIGHT root=POOL_NAME  [BUCKET_TYPE=BUCKET_NAME...]

ECDHE 계층에서 OSD를 제거하는 것이 클러스터에서 OSD를 제거하려는 경우 첫 번째 단계입니다. ECDHE 맵에서 OSD를 제거하면 DestinationRule은 배치 그룹 및 데이터를 적절하게 재조정하는 OSD를 다시 계산합니다. 자세한 내용은 OSD 추가/제거를 참조하십시오.

실행 중인 클러스터의 DestinationRule 맵에서 OSD를 제거하려면 다음을 실행합니다.

ceph osd crush remove NAME

ceph osd crush remove NAME

OSD의 장치 클래스를 설정하려면 다음을 실행합니다.

ceph osd crush set-device-class  CLASS OSD_ID [OSD_ID..]

ceph osd crush set-device-class  CLASS OSD_ID [OSD_ID..]

[ceph: root@host01 /]# ceph osd crush set-device-class hdd osd.0 osd.1
[ceph: root@host01 /]# ceph osd crush set-device-class ssd osd.2 osd.3
[ceph: root@host01 /]# ceph osd crush set-device-class bucket-index osd.4

[ceph: root@host01 /]# ceph osd crush set-device-class hdd osd.0 osd.1
[ceph: root@host01 /]# ceph osd crush set-device-class ssd osd.2 osd.3
[ceph: root@host01 /]# ceph osd crush set-device-class bucket-index osd.4

OSD의 장치 클래스를 제거하려면 다음을 실행합니다.

ceph osd crush rm-device-class CLASS OSD_ID [OSD_ID..]

ceph osd crush rm-device-class CLASS OSD_ID [OSD_ID..]

[ceph: root@host01 /]# ceph osd crush rm-device-class hdd osd.0 osd.1
[ceph: root@host01 /]# ceph osd crush rm-device-class ssd osd.2 osd.3
[ceph: root@host01 /]# ceph osd crush rm-device-class bucket-index osd.4

[ceph: root@host01 /]# ceph osd crush rm-device-class hdd osd.0 osd.1
[ceph: root@host01 /]# ceph osd crush rm-device-class ssd osd.2 osd.3
[ceph: root@host01 /]# ceph osd crush rm-device-class bucket-index osd.4

해당 클래스를 사용하는 모든 OSD의 장치 클래스 이름을 바꾸려면 다음을 실행합니다.

ceph osd crush class rename OLD_NAME NEW_NAME

ceph osd crush class rename OLD_NAME NEW_NAME

[ceph: root@host01 /]# ceph osd crush class rename hdd sas15k

[ceph: root@host01 /]# ceph osd crush class rename hdd sas15k

ECDHE 맵의 장치 클래스를 나열하려면 다음을 실행합니다.

ceph osd crush class ls

ceph osd crush class ls

출력은 다음과 같습니다.

[
    "hdd",
    "ssd",
    "bucket-index"
]

[
    "hdd",
    "ssd",
    "bucket-index"
]

특정 클래스에 속하는 모든 OSD를 나열하려면 다음을 실행합니다.

ceph osd crush class ls-osd CLASS

ceph osd crush class ls-osd CLASS

[ceph: root@host01 /]# ceph osd crush class ls-osd hdd

[ceph: root@host01 /]# ceph osd crush class ls-osd hdd

출력은 OSD 번호 목록일 뿐입니다. 예를 들면 다음과 같습니다.

0
1
2
3
4
5
6

0
1
2
3
4
5
6

동일한 클래스를 참조하는 모든 crush 규칙을 나열하려면 다음을 실행합니다.

ceph osd crush rule ls-by-class CLASS

ceph osd crush rule ls-by-class CLASS

[ceph: root@host01 /]# ceph osd crush rule ls-by-class hdd

[ceph: root@host01 /]# ceph osd crush rule ls-by-class hdd

DestinationRule 맵 내에서 Terabytes에 OSDECDHE 가중치를 설정하려면 다음 명령을 실행합니다.

ceph osd crush reweight _NAME_ _WEIGHT_

ceph osd crush reweight _NAME_ _WEIGHT_

다음과 같습니다.

이 설정은 OSD를 생성한 후 즉시 OSD를 생성하거나 OSD를 추가한 직후에 weight를 조정할 때 사용됩니다. 일반적으로 OSD의 수명 동안 변경되지 않습니다.

ceph osd crush reweight 을 사용하면 시간이 오래 걸릴 수 있습니다. ceph osd crush reweight-subtree 명령을 실행하여 버킷(row, rack, node 등) 아래의 모든 Ceph OSD 가중치를 설정(또는 재설정)할 수 있습니다.

ceph osd crush reweight-subtree NAME

ceph osd crush reweight-subtree NAME

여기서 NAME 은 CRUSH 버킷의 이름입니다.

에서 ceph osd 및 ceph osd out 의 목적으로 OSD는 클러스터에 있거나 클러스터 외부에 있습니다. 모니터에서 OSD 상태를 기록하는 방법입니다. 그러나 OSD는 클러스터에 있지만 수정할 때까지 사용하지 않으려는 등의 문제가 발생할 수 있습니다(예: 스토리지 드라이브 교체, 컨트롤러 변경 등).

다음을 실행하여 특정 OSD(즉, Terabytes의 가중치를 변경하지 않고)의 가중치를 늘리거나 줄일 수 있습니다.

ceph osd reweight ID WEIGHT

ceph osd reweight ID WEIGHT

다음과 같습니다.

DestinationRule은 새 데이터 개체 PG 및 PG를 OSD에 할당하는 쓰기 요청에 대해 균일한 확률 분배로 설계되었습니다. 그러나 클러스터의 불균형이 발생할 수 있습니다. 이는 여러 가지 이유로 발생할 수 있습니다. 예를 들면 다음과 같습니다.

다음을 실행하여 사용률을 통해 OSD를 재조정할 수 있습니다.

ceph osd reweight-by-utilization [THRESHOLD_] [WEIGHT_CHANGE_AMOUNT] [NUMBER_OF_OSDS] [--no-increasing]

ceph osd reweight-by-utilization [THRESHOLD_] [WEIGHT_CHANGE_AMOUNT] [NUMBER_OF_OSDS] [--no-increasing]

[ceph: root@host01 /]# ceph osd test-reweight-by-utilization 110 .5 4 --no-increasing

[ceph: root@host01 /]# ceph osd test-reweight-by-utilization 110 .5 4 --no-increasing

다음과 같습니다.

가중치를 할당하는 이 가중치 명령을 실행하면 이 명령에 의해 할당된 가중치를 재정의합니다(예: osd reweight-by-utilization,osd crush weight,osd weight,in 또는 out).

더 적은 수의 OSD가 있는 hierarchies에서는 일부 OSD가 다른 OSD보다 더 많은 PG를 얻을 수 있어 더 많은 로드가 발생할 수 있습니다. 다음을 실행하여 PG 배포를 통해 OSD를 다시 정렬하여 이 상황을 해결할 수 있습니다.

osd reweight-by-pg POOL_NAME

osd reweight-by-pg POOL_NAME

다음과 같습니다.

ECDHE 트리 버킷은 리프 가중치의 합계여야 합니다. ECDHE 맵 가중치를 수동으로 편집하는 경우 다음을 실행하여 DestinationRule 버킷 트리가 버킷 아래의 리프 OSD의 합계를 정확하게 반영하는지 확인해야 합니다.

osd crush reweight-all

osd crush reweight-all

명령줄에서 규칙 목록을 표시하려면 다음을 실행합니다.

ceph osd crush rule list
ceph osd crush rule ls

ceph osd crush rule list
ceph osd crush rule ls

특정 DestinationRule 규칙의 내용을 덤프하려면 다음을 실행합니다.

ceph osd crush rule dump NAME

ceph osd crush rule dump NAME

DestinationRule 규칙을 추가하려면 규칙 이름, 사용하려는 계층의 루트 노드, 복제할 버킷 유형(예: 'rack', 'row' 등)을 지정해야 합니다.

ceph osd crush rule create-simple RUENAME ROOT BUCKET_NAME FIRSTN_OR_INDEP

ceph osd crush rule create-simple RUENAME ROOT BUCKET_NAME FIRSTN_OR_INDEP

Ceph는 chooseleaf 및 지정한 유형의 버킷을 사용하여 규칙을 생성합니다.

[ceph: root@host01 /]# ceph osd crush rule create-simple deleteme default host firstn

[ceph: root@host01 /]# ceph osd crush rule create-simple deleteme default host firstn

다음 규칙을 생성합니다.

{ "id": 1,
  "rule_name": "deleteme",
  "type": 1,
  "min_size": 1,
  "max_size": 10,
  "steps": [
        { "op": "take",
          "item": -1,
          "item_name": "default"},
        { "op": "chooseleaf_firstn",
          "num": 0,
          "type": "host"},
        { "op": "emit"}]}

{ "id": 1,
  "rule_name": "deleteme",
  "type": 1,
  "min_size": 1,
  "max_size": 10,
  "steps": [
        { "op": "take",
          "item": -1,
          "item_name": "default"},
        { "op": "chooseleaf_firstn",
          "num": 0,
          "type": "host"},
        { "op": "emit"}]}

복제된 풀에 대한 DestinationRule 규칙을 생성하려면 다음을 실행합니다.

ceph osd crush rule create-replicated NAME ROOT FAILURE_DOMAIN CLASS

ceph osd crush rule create-replicated NAME ROOT FAILURE_DOMAIN CLASS

다음과 같습니다.

[ceph: root@host01 /]# ceph osd crush rule create-replicated fast default host ssd

[ceph: root@host01 /]# ceph osd crush rule create-replicated fast default host ssd

경유 코드 풀과 함께 사용하기 위해ECDHE 규칙을 추가하려면 규칙 이름과 지하 코드 프로필을 지정할 수 있습니다.

ceph osd crush rule create-erasure RULE_NAME PROFILE_NAME

ceph osd crush rule create-erasure RULE_NAME PROFILE_NAME

[ceph: root@host01 /]# ceph osd crush rule create-erasure default default

[ceph: root@host01 /]# ceph osd crush rule create-erasure default default

규칙을 제거하려면 다음을 실행하고 DestinationRule 규칙 이름을 지정합니다.

ceph osd crush rule rm NAME

ceph osd crush rule rm NAME

FlexVolume을 튜닝하기 전에 모든 Ceph 클라이언트와 모든 Ceph 데몬이 동일한 버전을 사용하는지 확인해야 합니다. 최근에 업그레이드한 경우 데몬을 재시작하고 클라이언트를 다시 연결했는지 확인합니다.

DestinationRule 튜닝 가능 항목을 조정하는 가장 간단한 방법은 알려진 프로필로 변경하는 것입니다. 다음과 같습니다.

다음 명령을 사용하여 실행 중인 클러스터에서 프로필을 선택할 수 있습니다.

ceph osd crush tunables PROFILE

# ceph osd crush tunables PROFILE

일반적으로 업그레이드 후 또는 경고가 표시되는 경우 DestinationRule 튜닝 가능 항목을 설정해야 합니다. 버전 v0.74부터는 Ceph에서 optimal 값으로 설정되지 않은 경우 상태 경고를 발행하며 최적의 값이 v0.73부터 기본값입니다.

기존 클러스터에서 튜닝 가능 항목을 조정하여 경고를 제거할 수 있습니다. 이로 인해 일부 데이터 이동(10 % 정도)이 발생합니다. 이 경로는 기본 경로이지만 데이터 이동이 성능에 영향을 줄 수 있는 프로덕션 클러스터에서 주의해야 합니다. 다음을 사용하여 최적의 튜닝 가능 항목을 활성화할 수 있습니다.

ceph osd crush tunables optimal

ceph osd crush tunables optimal

작업이 잘못되어(예: 너무 많은 로드) 진행이 이루어지지 않았거나 클라이언트 호환성 문제가 있는 경우 (이전 커널 cephfs 또는 rbd 클라이언트 또는 pre-bobtail librados 클라이언트) 이전 프로파일로 전환할 수 있습니다.

ceph osd crush tunables PROFILE

ceph osd crush tunables PROFILE

예를 들어 pre-v0.48(Argonaut) 값을 복원하려면 다음을 실행합니다.

[ceph: root@host01 /]# ceph osd crush tunables legacy

[ceph: root@host01 /]# ceph osd crush tunables legacy

모든 클라이언트가 최근 코드를 실행하고 있는지 확인할 수 있는 경우ECDHE 맵을 추출하고, 값을 수정하고, 클러스터에 다시 삽입하여 튜닝 가능 항목을 조정할 수 있습니다.

참조를 위해 DestinationRule 튜닝 가능 항목의 레거시 값을 다음을 사용하여 설정할 수 있습니다.

crushtool -i /tmp/crush --set-choose-local-tries 2 --set-choose-local-fallback-tries 5 --set-choose-total-tries 19 --set-chooseleaf-descend-once 0 --set-chooseleaf-vary-r 0 -o /tmp/crush.legacy

crushtool -i /tmp/crush --set-choose-local-tries 2 --set-choose-local-fallback-tries 5 --set-choose-total-tries 19 --set-chooseleaf-descend-once 0 --set-chooseleaf-vary-r 0 -o /tmp/crush.legacy

다시 말해 특수 --enable-unsafe-tunables 옵션이 필요합니다. 또한 위에서 언급했듯이 기능 비트가 완벽하게 적용되지 않기 때문에 기존 값으로 되돌아간 후 ceph-osd 데몬의 이전 버전을 신중하게 실행하십시오.

클러스터의 DestinationRule 맵을 가져오려면 다음을 실행합니다.

ceph osd getcrushmap -o COMPILED_CRUSHMAP_FILENAME

ceph osd getcrushmap -o COMPILED_CRUSHMAP_FILENAME

Ceph는 사용자가 지정한 파일 이름에 컴파일된ECDHE 맵을 출력합니다. ECDHE 맵은 컴파일된 형식이므로 편집하기 전에 먼저 컴파일해야 합니다.

DestinationRule 맵을 컴파일하려면 다음을 실행합니다.

crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

Ceph decompiles(-d) 컴파일되고 출력(-o)을 지정한 파일 이름으로 보냅니다.

클러스터의 DestinationRule 맵을 설정하려면 다음을 실행합니다.

ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

Ceph는 클러스터의ECDHE 맵으로 지정한 파일 이름의 컴파일된ECDHE 맵을 입력합니다.

ECDHE 맵을 컴파일하려면 다음을 실행합니다.

crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME

crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME

Ceph는 컴파일된ECDHE 맵을 지정한 파일 이름에 저장합니다.

Ceph는 영구 데이터 손실을 방지하기 위해 노력합니다. 그러나 OSD에 오류가 발생하면 기존 데이터가 완전히 복구될 때까지 영구 데이터 손실 위험이 증가합니다. 영구 데이터 손실은 드물지만 여전히 가능합니다. 다음 시나리오에서는 Ceph가 세 개의 데이터 사본이 있는 단일 배치 그룹에서 데이터를 영구적으로 손실할 수 있는 방법을 설명합니다.

하드웨어 오류도 예외가 아니라 예상입니다. 상장된 시나리오를 방지하기 위해, 이상적으로 복구 프로세스는 가능한 한 신속하게 실행해야합니다. 클러스터 크기, 하드웨어 구성 및 배치 그룹 수는 전체 복구 시간에 중요한 역할을 합니다.

Ceph는 나머지 9개의 OSD에서 나머지 150개의 배치 그룹을 무작위로 저장할 수 있습니다. 따라서 나머지 각 OSD는 다른 모든 OSD에 오브젝트 사본을 보낼 수 있으며, 나머지 OSD는 현재 할당된 150개의 배치 그룹 중 일부에 대한 책임이 있기 때문에 새 오브젝트도 수신할 수 있습니다.

총 복구 시간은 풀을 지원하는 하드웨어에 따라 다릅니다. 예를 들어 10개의 OSD 클러스터에서 호스트에 1TB SSD가 있는 하나의 OSD가 있고 10GB/s 스위치가 10개의 호스트 각각을 연결하는 경우 복구 시간이 M 분 정도 걸립니다. 반면 호스트에 두 개의 SATA OSD가 있고 1GB/s 스위치가 5개의 호스트를 연결하는 경우 복구 시간이 훨씬 더 오래 걸립니다. 이 크기의 클러스터에서는 배치 그룹의 수가 데이터에 거의 영향을 미치지 않습니다. 배치 그룹 수는 128 또는 8192일 수 있으며 복구 속도가 느릴 수 없습니다.

그러나 10개의 OSD 대신 동일한 Ceph 클러스터를 20개의 OSD로 늘리면 복구 속도를 높이고 데이터 성능을 크게 향상시킬 수 있습니다. 이유가 무엇입니까? 각 OSD는 이제 150개 대신 75개의 배치 그룹에만 참여합니다. 20개의 OSD 클러스터에는 복구하기 위해 동일한 양의 복사 작업을 수행하려면 여전히 19개의 나머지 OSD가 필요합니다. 10개의 OSD 클러스터에서 각 OSD는 약 100GB를 복사해야 했습니다. 20개의 OSD 클러스터에서 각 OSD는 각각 50GB만 복사해야 합니다. 네트워크가 병목 현상인 경우 복구가 두 배 빠르게 수행됩니다. 즉, OSD 수가 증가함에 따라 복구 시간이 감소합니다.

위에서 설명한 10개의 OSD 클러스터에서는 OSD가 실패하는 경우 약 8개의 배치 그룹(즉, 75 pgs / 9 osds 가 복구됨)에 남아 있는 사본만 있습니다. 남아 있는 8개의 OSD 중 하나라도 실패하면 하나의 배치 그룹의 마지막 오브젝트가 손실될 수 있습니다(즉, 남은 사본이 한 개만 있는 8 pgs / 8 osds ). 따라서 다소 큰 클러스터로 시작하는 것이 좋습니다(예: 50개의 OSD).

클러스터 크기가 20개의 OSD로 증가하면 3개의 OSD가 손실되어 발생한 배치 그룹 수가 감소합니다. 손실된 두 번째 OSD는 약 2개(즉, 35개의 pgs / 19 osds 가 복구됨) 대신 성능이 저하되고 세 번째 OSD는 보존된 사본이 포함된 두 개의 OSD 중 하나인 경우에만 데이터가 손실됩니다. 즉, 복구 기간 동안 하나의 OSD를 손실할 가능성이 0.0001% 인 경우 OSD 10개가 있는 클러스터의 8 * 0.0001% 에서 20 개의 OSD가 있는 클러스터에서 0.0001% 로 이동합니다. 512 또는 4096 배치 그룹이 있으면 데이터와 관련된 한 50개 미만의 OSD가 있는 클러스터에서 거의 동일합니다.

OSD를 클러스터에 추가하면 새 OSD를 배치 그룹 및 오브젝트로 채우는 데 시간이 오래 걸릴 수 있습니다. 그러나 개체의 저하는 없으며 OSD를 추가하면 데이터에 영향을 미치지 않습니다.

Ceph는 핫스팟(즉, 일부 OSD)은 다른 OSD보다 훨씬 더 많은 트래픽을 수신합니다. 이상적으로는 배치 그룹이 OSD에 할당될 때(또한 의사 무작위로) 배치 그룹에 개체를 할당하는 것이 좋습니다. 기본 OSD는 클러스터 전체에 균등하게 분산되도록 오브젝트를 저장하고 데이터 배포로 인해 네트워크 초과 문제가 발생할 수 없습니다.

FlexVolume은 각 개체의 배치 그룹을 계산하지만 이 배치 그룹 내의 각 OSD에 저장된 데이터 양을 알 수 없으므로 배치 그룹 수와 OSD 수 간의 비율은 데이터 배포에 크게 영향을 미칠 수 있습니다.

예를 들어 복제본 풀에 10개의 OSD가 있는 배치 그룹만 있는 경우 Ceph는 다른 선택 사항이 없기 때문에 OSD 3개만 사용하여 데이터를 저장합니다. 더 많은 배치 그룹을 사용할 수 있는 경우ECDHE은 OSD 전체에 개체를 균등하게 분배할 수 있습니다. 또한 DestinationRule은 OSD에 배치 그룹을 균등하게 할당합니다.

OSD보다 배치 그룹이 하나 또는 두 개 이상인 한 두 개의 순서가 있어야 합니다. 예를 들어 OSD 3개를 위한 256개의 배치 그룹, 10개의 OSD용 512 또는 1024 배치 그룹 등이 있습니다.

OSD와 배치 그룹의 비율은 일반적으로 오브젝트 스트라이핑과 같은 고급 기능을 구현하는 Ceph 클라이언트에 대한 짝수 없는 데이터 배포 문제를 해결합니다. 예를 들어 4TB 블록 장치는 최대 4MB의 오브젝트를 분할할 수 있습니다.

OSD와 배치 그룹 간의 비율은 다른 경우에는 개체 크기를 고려하지 않기 때문에 짝수 데이터 배포를 처리하지 않습니다. librados 인터페이스를 사용하여 일부 상대적으로 작은 오브젝트를 저장하고 일부 매우 큰 오브젝트를 사용하면 데이터가 균등하게 배포될 수 있습니다. 예를 들어 총 4GB의 1억 4K 개체는 10개의 OSD에서 1000개의 배치 그룹에 균등하게 분배됩니다. 각 OSD에서 4GB/10 = 400MB 를 사용합니다. 400MB 오브젝트가 풀에 추가되는 경우 오브젝트가 배치된 배치 그룹을 지원하는 3개의 OSD는 400MB + 400MB = 800MB 로 채워지며 나머지 7개의 OSD는 400MB로만 사용됩니다.

각 배치 그룹의 경우 OSD 및 Ceph 모니터에는 항상 메모리, 네트워크 및 CPU가 필요하며 복구 중에도 더 많이 필요합니다. 배치 그룹 내에서 오브젝트를 클러스터링하여 이 오버헤드를 공유하는 것은 배치 그룹이 존재하는 주요 이유 중 하나입니다.

배치 그룹 수를 최소화하면 상당한 양의 리소스를 절약할 수 있습니다.

PG(배치 그룹) 계산기는 특정 사용 사례를 처리하는 배치 그룹 수를 계산합니다. PG 계산기는 Ceph Object Gateway와 같은 Ceph 클라이언트를 사용하는 경우 특히 유용하며 일반적으로 동일한 규칙(CRUSH 계층 구조)을 사용하는 풀이 있습니다. 소규모 클러스터의 배치 그룹 수 및 배치 그룹 수 계산에 있는 지침을 사용하여 PG를 수동으로 계산할 수 있습니다. 그러나 PG 계산기는 PG를 계산하는 데 선호되는 방법입니다.

자세한 내용은 Red Hat 고객 포털 의 풀 계산기당 Ceph PG(배치 그룹) 를 참조하십시오.

풀을 생성할 때 풀에 사용할 여러 배치 그룹도 생성합니다. 배치 그룹 수를 지정하지 않으면 Ceph는 기본값 8 을 사용하며 이는 허용되지 않을 수 있습니다. 풀의 배치 그룹 수는 늘릴 수 있지만 적절한 기본값도 설정하는 것이 좋습니다.

osd pool default pg num = 100
osd pool default pgp num = 100

osd pool default pg num = 100
osd pool default pgp num = 100

배치 그룹(total)과 오브젝트에 사용되는 배치 그룹 수(PG 분할에 사용됨)를 모두 설정해야 합니다. 이 둘은 동등해야 합니다.

소규모 클러스터는 많은 배치 그룹의 이점을 얻지 못합니다. OSD 수가 증가함에 따라 pg_num 및 pgp_num 에 대한 올바른 값을 선택하는 것이 클러스터의 동작에 중요한 영향을 미치고 문제가 발생할 때 데이터 확보에 큰 영향을 미치므로 더 중요합니다(즉, 심각한 이벤트가 데이터 손실을 초래할 가능성이 있음). 작은 클러스터가 있는 PG 계산기 를 사용하는 것이 중요합니다.

50개 이상의 OSD가 있는 경우 리소스 사용량, 데이터 배포 및 배포 균형을 유지하기 위해 OSD당 약 50~100개의 배치 그룹을 사용하는 것이 좋습니다. OSD가 50개 미만인 경우 소규모 클러스터의 PG 개수 중에서 선택하는 것이 이상적입니다. 단일 개체 풀의 경우 다음 공식을 사용하여 기준을 가져올 수 있습니다.

                (OSDs * 100)
   Total PGs =  ------------
                 pool size

                (OSDs * 100)
   Total PGs =  ------------
                 pool size

여기서 풀 크기는 복제된 풀의 복제본 수 또는 경유 코딩 풀의 K+M 합계입니다( ceph osdperiodsure-code-profile get에 의해 반환됨).

그런 다음 Ceph 클러스터를 설계하여 데이터 배포, 데이터 배포를 극대화하고 리소스 사용량을 최소화할 수 있는 결과가 적합한지 확인해야 합니다.

결과는 두 가지의 가장 가까운 출력으로 반올림되어야 합니다. 반올림은 선택 사항이지만 placement groups 간에 오브젝트 수의 균형을 균등하게 조정하는 것이 좋습니다.

200개의 OSD가 있고 복제본 풀 크기가 3개인 클러스터의 경우 다음과 같이 PG 수를 추정합니다.

   (200 * 100)
   ----------- = 6667. Nearest power of 2: 8192
        3

   (200 * 100)
   ----------- = 6667. Nearest power of 2: 8192
        3

200개의 OSD에 걸쳐 8192개의 배치 그룹이 배포되어 OSD당 약 41개의 배치 그룹으로 평가됩니다. 또한 각 풀이 배치 그룹을 생성하므로 클러스터에서 사용할 풀 수를 고려해야 합니다. 적절한 최대 배치 그룹 수가 있는지 확인합니다.

오브젝트 저장을 위해 여러 데이터 풀을 사용하는 경우, 적절한 총 배치 그룹에 도달할 수 있도록 풀당 배치 그룹 수와 OSD당 배치 그룹 수의 균형을 조정해야 합니다. 시스템 리소스를 부과하거나 피어링 프로세스의 속도가 너무 느려지지 않도록 OSD당 분산을 적절히 낮추는 것이 목표입니다.

10개의 풀로 구성된 예시적인 Ceph Storage 클러스터에서는 10개의 OSD에서 512개의 배치 그룹이 있는 풀로 구성된 총 5,120개의 배치 그룹이 10개의 OSD 또는 OSD당 512개의 배치 그룹이 있습니다. 하드웨어 구성에 따라 리소스가 너무 많이 사용되지 않을 수 있습니다. 반면, 512개의 배치 그룹이 포함된 풀을 각각 생성하는 경우 OSD는 각각 ~50,000개의 배치 그룹을 처리하고 더 많은 리소스가 필요합니다. OSD당 너무 많은 배치 그룹으로 작동하면 특히 재조정 또는 복구 중에 성능이 크게 저하될 수 있습니다.

Ceph Storage Cluster에는 OSD당 기본 최대 배치 그룹이 300개입니다. Ceph 구성 파일에서 다른 최대값을 설정할 수 있습니다.

mon pg warn max per osd

mon pg warn max per osd

Red Hat Ceph Storage 클러스터의 각 풀에는 PG에 대한 pg_autoscale_mode 속성이 있으며, , 또는 경고를 해제 하도록 설정할 수 있습니다.

자동 스케일러는 대규모 플래그를 사용하여 PG를 완전히 보완하여 시작해야 하는 풀을 결정하고 풀 전체의 사용량 비율도 그렇지 않은 경우에만 축소됩니다. 그러나 풀에 대규모 플래그가 없는 경우 풀은 최소한의 PG로 시작하고 풀에 더 많은 사용량이 있을 때만 풀이 시작됩니다.

풀, 상대 사용률 및 스토리지 클러스터에서 PG 수에 대한 제안된 변경 사항을 볼 수 있습니다.

크기 조정은 풀에 저장된 데이터 양입니다.

TARGET 크기 (있는 경우)는 관리자가 지정한 데이터 양입니다. 시스템은 두 값 중 더 큰 계산을 사용합니다.

RATE 는 풀에서 사용하는 원시 스토리지 용량의 양을 결정하는 풀의 곱셈입니다. 예를 들어 3 개의 복제본 풀은 3.0 의 비율을 가지며 k=4,m=2 dissure 코딩된 풀은 1.5 의 비율을 갖습니다.

RAW CAPACITY 는 풀의 데이터를 저장하는 OSD의 총 원시 스토리지 용량입니다.

RATIO 는 풀이 사용하는 총 용량의 비율입니다. 즉, ratio = size * rate / raw capacity입니다.

TARGET RATIO (있는 경우 TARGET RATIO)는 관리자가 대상 비율이 설정된 다른 풀과 상대적으로 풀이 소비되도록 지정한 스토리지 비율입니다. 대상 크기 바이트와 비율을 모두 지정하면 비율이 우선합니다. TARGET RATIO 의 기본값은 풀을 생성하는 동안 지정된 경우를 제외하고 0 입니다. 풀에 제공할 --target_ratio 가 많을수록 풀이 예상하는 PG가 커집니다.

ECDHEFECTIVE RATIO 는 두 가지 방법으로 조정한 후 대상 비율입니다. 1. 대상 크기 집합을 가진 풀에서 사용할 것으로 예상되는 용량을 뺀다. 2. 대상 비율로 풀 간에 대상 비율을 표준화하여 나머지 공간을 전체적으로 대상으로 합니다. 예를 들어 대상 비율 1.0이 있는 풀 4는 유효 비율이 0.25입니다. 시스템은 실제 비율과 계산에 유효 비율을 사용합니다.

BIAS 는 특정 풀이 보유할 것으로 예상되는 PG에 대한 사전 정보를 기반으로 풀의 PG를 수동으로 조정하는 멀티플라이어로 사용됩니다. 기본적으로 풀을 만들 때 지정하지 않는 한 1.0인 경우 값입니다. 풀에서 제공하는 --bias 가 많을수록 풀에 있을 것으로 예상되는 PG가 더 커집니다.

PG_NUM 은 풀의 현재 PG 수 또는 pg_num 변경이 진행 중인 경우 풀이 진행 중인 PG의 현재 수입니다. NEW PG_NUM (있는 경우)은 제안된 PG 수입니다 (pg_num). 이는 항상 2의 힘이며 제안된 값이 현재 값과 3개 이상의 요인에 따라 달라지는 경우에만 존재합니다.

AUTOSCALE, pg_autoscale_mode 풀이며, ,off 또는 warn 에 있습니다.

BULK 는 PG를 완전히 보완하여 시작해야 하는 풀을 결정하는 데 사용됩니다. 사용량 비율이 풀에서 교차하는 경우에만 BULK 가 축소됩니다. 풀에 이 플래그가 없는 경우 풀은 최소 양의 PG로 시작하고 풀에 더 많은 사용량이 있을 때만 사용됩니다.

BULK 값은 true,false,1 또는 0 입니다. 여기서 1 은 true 와 같고 0 은 false 와 동일합니다. 기본값은 false입니다.

풀 생성 중 또는 후에 BULK 값을 설정합니다.

일괄 플래그를 사용하는 방법에 대한 자세한 내용은 풀 생성 및 배치 그룹 자동 확장 모드를 참조하십시오.

클러스터가 클러스터 사용량에 따라 PG를 자동으로 스케일링할 수 있도록 허용하는 것이 PG를 확장하는 가장 간단한 방법입니다. Red Hat Ceph Storage는 전체 시스템에 사용할 수 있는 총 스토리지와 대상 PG 수를 가져와서 각 풀에 저장된 데이터 양을 비교하고 이에 따라 PG를 적용합니다. 이 명령은 현재 PG 수(pg_num)가 계산된 또는 제안된 PG 번호에서 3배 이상 떨어져 있는 풀만 변경합니다.

OSD당 대상 PG 수는 구성 가능한 mon_target_pg_per_osd 를 기반으로 합니다. 기본값은 100 으로 설정됩니다.

모든 풀에 대해 자동 스케일러를 동시에 활성화하거나 비활성화하려면 noautoscale 글로벌 플래그를 사용할 수 있습니다. 이 글로벌 플래그는 일부 OSD가 초과되거나 클러스터가 유지 관리 중인 경우 스토리지 클러스터를 업그레이드하는 동안 유용합니다. 활동 전에 플래그를 설정하고 작업이 완료되면 설정을 해제할 수 있습니다.

기본적으로 noautoscale 플래그는 off 로 설정됩니다. 이 플래그가 설정되면 모든 풀에 pg_autoscale_mode 가 해제 되고 모든 풀이 자동 스케일러가 비활성화되어 있습니다.

선택 사항 --target-size-bytes <bytes > 인수를 ceph osd pool create 명령에 추가하여 생성 시 풀의 대상 크기를 설정할 수도 있습니다.

선택 사항 --target-size-ratio <ratio > 인수를 ceph osd pool create 명령에 추가하여 생성 시 풀의 대상 크기를 설정할 수도 있습니다.

풀에서 배치 그룹 수를 설정하려면 풀을 생성할 때 배치 그룹 수를 지정해야 합니다. 자세한 내용은 풀 생성 을 참조하십시오. 풀에 배치 그룹을 설정한 후에는 배치 그룹 수를 늘릴 수 있지만 배치 그룹 수는 줄일 수 없습니다. 배치 그룹 수를 늘리려면 다음을 실행합니다.

ceph osd pool set POOL_NAME pg_num PG_NUM

ceph osd pool set POOL_NAME pg_num PG_NUM

배치 그룹 수를 늘리면 클러스터가 재조정되기 전에 배치 그룹(pgp_num)도 늘려야 합니다. pgp_num 은 pg_num 과 같아야 합니다. 배치할 배치 그룹 수를 늘리려면 다음을 실행합니다.

ceph osd pool set POOL_NAME pgp_num PGP_NUM

ceph osd pool set POOL_NAME pgp_num PGP_NUM

풀에서 배치 그룹 수를 가져오려면 다음을 실행합니다.

ceph osd pool get POOL_NAME pg_num

ceph osd pool get POOL_NAME pg_num

storag 클러스터에서 배치 그룹에 대한 통계를 가져오려면 다음을 실행합니다.

ceph pg dump [--format FORMAT]

ceph pg dump [--format FORMAT]

유효한 형식은 plain (기본값) 및 json 입니다.

지정된 상태에 있는 모든 배치 그룹에 대한 통계를 가져오려면 다음을 실행합니다.

ceph pg dump_stuck {inactive|unclean|stale|undersized|degraded [inactive|unclean|stale|undersized|degraded...]} INTERVAL

ceph pg dump_stuck {inactive|unclean|stale|undersized|degraded [inactive|unclean|stale|undersized|degraded...]} INTERVAL

비활성 배치 그룹은 최신 데이터가 표시되는 OSD를 대기하고 있기 때문에 읽기 또는 쓰기를 처리할 수 없습니다.

불명확한 배치 그룹에는 원하는 횟수를 복제하지 않는 오브젝트가 포함되어 있습니다. 이들은 회복되어야 합니다.

오래된 배치 그룹은 알 수 없음 상태이며, 이를 호스팅하는 OSD는 잠시 동안 모니터 클러스터에 보고하지 않았습니다( mon_osd_report_timeout로 구성).

유효한 형식은 plain (기본값) 및 json 입니다. 임계값은 반환된 통계에 포함하기 전에 배치 그룹이 정지되는 최소 시간(기본값 300초)을 정의합니다.

특정 배치 그룹의 배치 그룹 맵을 가져오려면 다음을 실행합니다.

ceph pg map PG_ID

ceph pg map PG_ID

[ceph: root@host01 /]# ceph pg map 1.6c

[ceph: root@host01 /]# ceph pg map 1.6c

Ceph는 배치 그룹 맵, 배치 그룹 및 OSD 상태를 반환합니다.

osdmap e13 pg 1.6c (1.6c) -> up [1,0] acting [1,0]

osdmap e13 pg 1.6c (1.6c) -> up [1,0] acting [1,0]

배치 그룹을 검사하려면 다음을 실행합니다.

ceph pg scrub PG_ID

ceph pg scrub PG_ID

Ceph는 기본 노드 및 모든 복제본 노드를 확인하고, 배치 그룹에 있는 모든 오브젝트 카탈로그를 생성한 후 이를 비교하여 오브젝트가 누락되거나 일치하지 않으며 해당 내용이 일관되도록 합니다. 복제본이 모두 일치한다고 가정하면 최종 의미 체계가 있으면 모든 스냅샷 관련 개체 메타데이터가 일관되게 유지됩니다. 로그를 통해 오류가 보고됩니다.

클러스터에서 하나 이상의 오브젝트를 손실하고 손실된 데이터에 대한 검색을 중단하기로 결정한 경우 unfound 오브젝트를 lost 로 표시해야 합니다.

가능한 모든 위치가 쿼리되어도 개체가 여전히 손실된 경우 손실된 오브젝트를 포기해야 할 수 있습니다. 이는 쓰기가 자체적으로 복구되기 전에 수행된 쓰기에 대해 클러스터에서 확인할 수 있는 비정상적인 오류 조합이 발생할 수 있습니다.

현재 유일하게 지원되는 옵션은 "revert"이며 이전 버전의 오브젝트로 롤백하거나 (새 오브젝트인 경우) 완전히 잊어 버립니다. "unfound" 오브젝트를 "lost"로 표시하려면 다음을 실행합니다.

ceph pg PG_ID mark_unfound_lost revert|delete

ceph pg PG_ID mark_unfound_lost revert|delete