1.5. Ceph OSD
Red Hat Ceph Storage 클러스터가 가동되어 실행되면 런타임 시 스토리지 클러스터에 OSD를 추가할 수 있습니다.
Ceph OSD는 일반적으로 스토리지 드라이브 1대와 노드 내에서 연결된 저널을 위한 하나의 ceph-osd 데몬으로 구성됩니다. 노드에 여러 스토리지 드라이브가 있는 경우 각 드라이브에 대해 하나의 ceph-osd 데몬을 매핑합니다.
스토리지 용량의 상위에 도달하고 있는지 확인하기 위해 클러스터의 용량을 정기적으로 확인하는 것이 좋습니다. 스토리지 클러스터가 전체 비율에 도달하므로 하나 이상의 OSD를 추가하여 스토리지 클러스터의 용량을 확장합니다.
Red Hat Ceph Storage 클러스터의 크기를 줄이거나 하드웨어를 교체하려는 경우 런타임 시 OSD를 제거할 수도 있습니다. 노드에 스토리지 드라이브가 여러 개 있는 경우 해당 드라이브의 ceph-osd 데몬 중 하나를 제거해야 할 수도 있습니다. 일반적으로 스토리지 클러스터의 용량을 확인하여 용량의 상단에 도달했는지 확인하는 것이 좋습니다. 스토리지 클러스터가 거의 전체 비율에 있지 않은 OSD를 제거해야 합니다.
OSD를 추가하기 전에 스토리지 클러스터가 전체 비율에 도달할 수 없도록 하십시오. 스토리지 클러스터가 거의 전체 비율에 도달한 후 발생하는 OSD 오류는 스토리지 클러스터가 전체 비율을 초과할 수 있습니다 . Ceph는 스토리지 용량 문제를 해결할 때까지 데이터를 보호하기 위한 쓰기 액세스를 차단합니다. 먼저 전체 비율에 미치는 영향을 고려하지 않고 OSD를 제거하지 마십시오.
1.5.1. Ceph OSD 노드 구성
OSD를 사용할 풀의 스토리지 전략으로 Ceph OSD와 지원 하드웨어를 유사하게 구성합니다. Ceph에서는 일관된 성능 프로필을 위해 풀 간에 균일한 하드웨어를 선호합니다. 최상의 성능을 위해 동일한 유형 또는 크기의 드라이브가 있는 CRUSH 계층 구조를 고려하십시오.
상이한 크기의 드라이브를 추가하는 경우 그에 따라 가중치를 조정합니다. OSD를 CRUSH 맵에 추가할 때 새 OSD의 가중치를 고려합니다. 하드 드라이브 용량은 연간 약 40% 증가하므로 최신 OSD 노드는 스토리지 클러스터의 이전 노드보다 더 큰 하드 드라이브를 사용할 수 있습니다. 즉, 가중치가 더 클 수 있습니다.
새 설치를 수행하기 전에 설치 가이드 의 Red Hat Ceph Storage 설치 요구 사항 장을 검토하십시오.
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Strategies Guide 를 참조하십시오. *
1.5.2. 컨테이너 OSD ID를 드라이브에 매핑
경우에 따라 컨테이너화된 OSD가 사용 중인 드라이브를 식별해야 합니다. 예를 들어 OSD에 문제가 있는 경우 드라이브 상태를 확인하는 데 사용하는 드라이브를 알아야 할 수 있습니다. 또한 컨테이너화되지 않은 OSD의 경우 OSD ID를 참조하여 시작하여 중지하지만, 컨테이너화된 OSD를 시작하고 중지하려면 사용하는 드라이브를 참조합니다.
아래 예제는 Red Hat Enterprise Linux 8에서 실행 중입니다. Red Hat Enterprise Linux 8에서 podman 은 기본 서비스이며 이전 Docker 서비스를 대체합니다. Red Hat Enterprise Linux 7에서 실행 중인 경우 podman 을 docker 로 대체하여 제공된 명령을 실행합니다.
사전 요구 사항
- 컨테이너화된 환경에서 실행 중인 Red Hat Ceph Storage 클러스터.
-
컨테이너 노드에 대한
루트액세스 권한 보유.
절차
컨테이너 이름을 찾습니다. 예를 들어 osd.5와 연결된 드라이브를 식별하려면
osd.5podman ps를 실행하여 모든 컨테이너를 나열합니다.예제
[root@ceph3 ~]# podman ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3a866f927b74 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" About an hour ago Up About an hour ceph-osd-ceph3-sdd 4e242d932c32 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" About an hour ago Up About an hour ceph-osd-ceph3-sdc 91f3d4829079 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" 22 hours ago Up 22 hours ceph-osd-ceph3-sdb 73dfe4021a49 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" 7 days ago Up 7 days ceph-osd-ceph3-sdf 90f6d756af39 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" 7 days ago Up 7 days ceph-osd-ceph3-sde e66d6e33b306 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" 7 days ago Up 7 days ceph-mgr-ceph3 733f37aafd23 registry.redhat.io/rhceph/rhceph-4-rhel8:latest "/entrypoint.sh" 7 days ago Up 7 days ceph-mon-ceph3
podman exec을 사용하여 이전 출력의 OSD 컨테이너 이름에서ceph-volume lvm 목록을실행합니다.예제
[root@ceph3 ~]# podman exec ceph-osd-ceph3-sdb ceph-volume lvm list ====== osd.5 ======= [journal] /dev/journals/journal1 journal uuid C65n7d-B1gy-cqX3-vZKY-ZoE0-IEYM-HnIJzs osd id 1 cluster fsid ce454d91-d748-4751-a318-ff7f7aa18ffd type journal osd fsid 661b24f8-e062-482b-8110-826ffe7f13fa data uuid SlEgHe-jX1H-QBQk-Sce0-RUls-8KlY-g8HgcZ journal device /dev/journals/journal1 data device /dev/test_group/data-lv2 devices /dev/sda [data] /dev/test_group/data-lv2 journal uuid C65n7d-B1gy-cqX3-vZKY-ZoE0-IEYM-HnIJzs osd id 1 cluster fsid ce454d91-d748-4751-a318-ff7f7aa18ffd type data osd fsid 661b24f8-e062-482b-8110-826ffe7f13fa data uuid SlEgHe-jX1H-QBQk-Sce0-RUls-8KlY-g8HgcZ journal device /dev/journals/journal1 data device /dev/test_group/data-lv2 devices /dev/sdb이 출력에서
osd.5가/dev/sdb와 연결되어 있음을 확인할 수 있습니다.
추가 리소스
- 자세한 내용은 실패한 OSD 디스크 교체를 참조하십시오.
1.5.3. 동일한 디스크 토폴로지가 있는 Ansible을 사용하여 Ceph OSD 추가
디스크 토폴로지가 동일한 Ceph OSD의 경우 Ansible은 /usr/share/ceph-ansible/group_vars/osds.yml 파일의 devices: 섹션에 지정된 동일한 장치 경로를 사용하여 다른 OSD 노드와 동일한 개수의 OSD를 추가합니다.
새로운 Ceph OSD 노드는 나머지 OSD와 동일한 구성을 갖습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Red Hat Ceph Storage 설치 가이드의 Red Hat Ceph Storage 설치 요구 사항 장을 검토하십시오.
-
새 노드에 대한
루트액세스 권한 보유. - 스토리지 클러스터의 다른 OSD 노드와 동일한 OSD 데이터 드라이브 수입니다.
절차
Ceph OSD 노드를
[osds]섹션 아래의/etc/ansible/hosts파일에 추가합니다.구문
[osds] ... osd06 NEW_OSD_NODE_NAMEAnsible이 Ceph 노드에 연결할 수 있는지 확인합니다.
[user@admin ~]$ ansible all -m ping
Ansible 구성 디렉터리로 이동합니다.
[user@admin ~]$ cd /usr/share/ceph-ansible
베어 메탈 및 컨테이너 배포의 경우
add-osd.ymlAnsible 플레이북을 실행합니다.참고새 OSD 호스트의 경우
--limit옵션을 사용하여site.yml또는site-container.yml플레이북을 실행해야 합니다.node-exporter및ceph-crash서비스는osds.yml플레이북이 있는 노드에 배포되지 않습니다.예제
[user@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/add-osd.yml -i hosts
새 OSD 호스트의 경우
site.yml또는site-container.ymlAnsible 플레이북을 실행합니다.베어 메탈 배포:
구문
ansible-playbook site.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site.yml -i hosts --limit node03
컨테이너 배포:
구문
ansible-playbook site-container.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts --limit node03
OSD를 추가할 때 Placement s와 함께 플레이북이 active+clean으로 보고되지 않은 경우 all.yml 파일에서 다음 변수를 구성하여 재시도 및 지연을 조정합니다.
# OSD handler checks handler_health_osd_check_retries: 50 handler_health_osd_check_delay: 30
추가 리소스
1.5.4. 다양한 디스크 토폴로지가 있는 Ansible을 사용하여 Ceph OSD 추가
디스크 토폴로지가 다른 Ceph OSD의 경우 새 OSD 노드를 기존 스토리지 클러스터에 추가하는 두 가지 방법이 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Red Hat Ceph Storage 설치 가이드의 Red Hat Ceph Storage 설치 요구 사항 장을 검토하십시오.
-
새 노드에 대한
루트액세스 권한 보유.
절차
첫 번째 접근 방식
[osds]섹션의/etc/ansible/hosts파일에 새 Ceph OSD 노드를 추가합니다.예제
[osds] ... osd06 NEW_OSD_NODE_NAME/etc/ansible/host_vars/디렉터리에 스토리지 클러스터에 추가된 각 새 Ceph OSD 노드의 새 파일을 만듭니다.구문
touch /etc/ansible/host_vars/NEW_OSD_NODE_NAME예제
[root@admin ~]# touch /etc/ansible/host_vars/osd07
새 파일을 편집하고
devices:및dedicated_devices:섹션을 파일에 추가합니다. 이러한 각 섹션 아래에-, 공백을 추가한 다음 이 OSD 노드의 블록 장치 이름에 대한 전체 경로를 추가합니다.예제
devices: - /dev/sdc - /dev/sdd - /dev/sde - /dev/sdf dedicated_devices: - /dev/sda - /dev/sda - /dev/sdb - /dev/sdb
Ansible이 모든 Ceph 노드에 연결할 수 있는지 확인합니다.
[user@admin ~]$ ansible all -m ping
디렉터리를 Ansible 구성 디렉터리로 변경합니다.
[user@admin ~]$ cd /usr/share/ceph-ansible
베어 메탈 및 컨테이너 배포의 경우
add-osd.ymlAnsible 플레이북을 실행합니다.참고새 OSD 호스트의 경우
--limit옵션을 사용하여site.yml또는site-container.yml플레이북을 실행해야 합니다.node-exporter및ceph-crash서비스는osds.yml플레이북이 있는 노드에 배포되지 않습니다.예제
[user@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/add-osd.yml -i hosts
새 OSD 호스트의 경우
site.yml또는site-container.ymlAnsible 플레이북을 실행합니다.베어 메탈 배포:
구문
ansible-playbook site.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site.yml -i hosts --limit node03
컨테이너 배포:
구문
ansible-playbook site-container.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts --limit node03
두 번째 접근 방식
새 OSD 노드 이름을
/etc/ansible/hosts파일에 추가하고, 다른 디스크 토폴로지를 지정하여devices및dedicated_devices옵션을 사용합니다.예제
[osds] ... osd07 devices="['/dev/sdc', '/dev/sdd', '/dev/sde', '/dev/sdf']" dedicated_devices="['/dev/sda', '/dev/sda', '/dev/sdb', '/dev/sdb']"
Ansible이 모든 Ceph 노드에 연결할 수 있는지 확인합니다.
[user@admin ~]$ ansible all -m ping
디렉터리를 Ansible 구성 디렉터리로 변경합니다.
[user@admin ~]$ cd /usr/share/ceph-ansible
베어 메탈 및 컨테이너 배포의 경우
add-osd.ymlAnsible 플레이북을 실행합니다.참고새 OSD 호스트의 경우
--limit옵션을 사용하여site.yml또는site-container.yml플레이북을 실행해야 합니다.node-exporter및ceph-crash서비스는osds.yml플레이북이 있는 노드에 배포되지 않습니다.예제
[user@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/add-osd.yml -i hosts
새 OSD 호스트의 경우
site.yml또는site-container.ymlAnsible 플레이북을 실행합니다.베어 메탈 배포:
구문
ansible-playbook site.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site.yml -i hosts --limit node03
컨테이너 배포:
구문
ansible-playbook site-container.yml -i hosts --limit NEW_OSD_NODE_NAME예제
[user@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts --limit node03
추가 리소스
1.5.5. ceph-volume을 사용하여 Ceph OSD 생성
create 하위 명령은 prepare 하위 명령을 호출한 다음 activate 하위 명령을 호출합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Ceph OSD 노드에 대한 루트 수준의 액세스.
생성 프로세스를 더 많이 제어하려는 경우 create를 사용하는 대신 OSD를 생성하도록 prepare 및 enable 하위 명령을 별도로 사용할 수 있습니다 . 두 개의 하위 명령을 사용하여 대량의 데이터의 균형을 유지하면서 새 OSD를 스토리지 클러스터에 점진적으로 도입할 수 있습니다. 두 접근 방식 모두 동일한 방식으로 작동합니다. 단, create 하위 명령을 사용하면 완료 후 즉시 OSD가 가동 됩니다.
절차
새 OSD를 만들려면 다음을 수행합니다.
구문
ceph-volume lvm create --bluestore --data VOLUME_GROUP/LOGICAL_VOLUME
예제
[root@osd ~]# ceph-volume lvm create --bluestore --data example_vg/data_lv
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 'ceph-volume'을 사용하여 CephOSD 준비 섹션을 참조하십시오.
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 'ceph-volume'을 사용하여 CephOSD 활성화 섹션을 참조하십시오.
1.5.6. ceph-volume과 함께 배치 모드 사용
batch 하위 명령은 단일 장치를 제공하는 경우 여러 OSD 생성을 자동화합니다.
ceph-volume 명령은 드라이브 유형에 따라 OSD를 생성하는 데 사용할 최상의 방법을 결정합니다. Ceph OSD 최적화는 사용 가능한 장치에 따라 다릅니다.
-
모든 장치가 일반적인 하드 드라이브인 경우 배치는 장치당 하나의 OSD
를 생성합니다. -
모든 장치가 솔리드 스테이트 드라이브인 경우
배치는장치당 두 개의 OSD를 생성합니다. -
전통적인 하드 드라이브와 솔리드 스테이트 드라이브가 혼합된 경우
배치는기존의 하드 드라이브를 데이터에 사용하고, 솔리드 스테이트 드라이브에서 가능한 최대 저널(block.db)을 생성합니다.
batch 하위 명령은 write-ahead-log(block.wal) 장치에 대해 별도의 논리 볼륨 생성을 지원하지 않습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Ceph OSD 노드에 대한 루트 수준의 액세스.
절차
여러 드라이브에서 OSD를 생성하려면 다음을 수행합니다.
구문
ceph-volume lvm batch --bluestore PATH_TO_DEVICE [PATH_TO_DEVICE]
예제
[root@osd ~]# ceph-volume lvm batch --bluestore /dev/sda /dev/sdb /dev/nvme0n1
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage 관리 가이드의 'ceph-volume'을 사용하여 CephOSD 생성 섹션을 참조하십시오.
1.5.7. 명령줄 인터페이스를 사용하여 Ceph OSD 추가
다음은 Red Hat Ceph Storage에 OSD를 수동으로 추가하기 위한 상위 수준 워크플로입니다.
-
ceph-osd패키지를 설치하고 새 OSD 인스턴스를 생성합니다. - OSD 데이터 및 저널 드라이브를 준비하고 마운트합니다.
- 볼륨 그룹 및 논리 볼륨 만들기.
- CRUSH 맵에 새 OSD 노드를 추가합니다.
- 소유자 및 그룹 권한을 업데이트합니다.
-
ceph-osd데몬을 활성화하고 시작합니다.
ceph-disk 명령은 더 이상 사용되지 않습니다. 이제 명령줄 인터페이스에서 OSD를 배포하는 데 ceph-volume 명령이 선호됩니다. 현재 ceph-volume 명령은 lvm 플러그인만 지원합니다. Red Hat은 두 명령을 참조로 사용하여 이 가이드의 예제를 제공하므로 스토리지 관리자가 ceph-disk를 사용하는 모든 사용자 지정 스크립트를 으로 변환할 수 있습니다.
ceph- volume
사용자 지정 스토리지 클러스터 이름의 경우 ceph 및 ceph -osd 명령과 함께 --cluster CLUSTER_NAME 옵션을 사용합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- Red Hat Ceph Storage 설치 가이드의 Red Hat Ceph Storage 설치 요구 사항 장을 검토하십시오.
-
새 노드에 대한
루트액세스. -
선택 사항:
ceph-volume유틸리티에서 볼륨 그룹과 논리 볼륨을 자동으로 생성하지 않도록 하려면 수동으로 생성합니다. Red Hat Enterprise Linux 8의 논리 볼륨 구성 및 관리 가이드를 참조하십시오.
절차
Red Hat Ceph Storage 4 OSD 소프트웨어 리포지토리를 활성화합니다.
Red Hat Enterprise Linux 7
[root@osd ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-osd-rpms
Red Hat Enterprise Linux 8
[root@osd ~]# subscription-manager repos --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms
/etc/ceph/디렉토리를 만듭니다.[root@osd ~]# mkdir /etc/ceph
새 OSD 노드에서 Ceph Monitor 노드 중 하나에서 Ceph 관리 인증 키링 및 구성 파일을 복사합니다.
구문
scp USER_NAME @ MONITOR_HOST_NAME :/etc/ceph/CLUSTER_NAME.client.admin.keyring /etc/ceph scp USER_NAME @ MONITOR_HOST_NAME :/etc/ceph/CLUSTER_NAME.conf /etc/ceph
예제
[root@osd ~]# scp root@node1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ [root@osd ~]# scp root@node1:/etc/ceph/ceph.conf /etc/ceph/
새 Ceph OSD 노드에
ceph-osd패키지를 설치합니다.Red Hat Enterprise Linux 7
[root@osd ~]# yum install ceph-osd
Red Hat Enterprise Linux 8
[root@osd ~]# dnf install ceph-osd
OSD를 준비합니다.
이전에 생성된 논리 볼륨을 사용하려면 다음을 수행합니다.
구문
ceph-volume lvm prepare --bluestore --data VOLUME_GROUP/LOGICAL_VOLUME
논리 볼륨을 자동으로 생성하기 위해
ceph-volume에 원시 장치를 지정하려면 다음을 수행합니다.구문
ceph-volume lvm prepare --bluestore --data /PATH_TO_DEVICE자세한 내용은 OSD 준비 섹션을 참조하십시오.
noup옵션을 설정합니다.[root@osd ~]# ceph osd set noup
새 OSD를 활성화합니다.
구문
ceph-volume lvm activate --bluestore OSD_ID OSD_FSID
예제
[root@osd ~]# ceph-volume lvm activate --bluestore 4 6cc43680-4f6e-4feb-92ff-9c7ba204120e
자세한 내용은 OSD 활성화 섹션을 참조하십시오.
참고단일 명령으로 OSD를 준비하고 활성화할 수 있습니다. 자세한 내용은 OSD 생성 섹션을 참조하십시오. 또는 단일 명령으로 여러 드라이브를 지정하고 OSD를 만들 수도 있습니다.
배치모드를 사용하여 를 참조하십시오.OSD를 CRUSH 맵에 추가합니다. 버킷을 두 개 이상 지정하는 경우 명령은 지정된 버킷에 OSD를 배치하고 지정한 다른 버킷 아래의 버킷을 이동합니다.
구문
ceph osd crush add OSD_ID WEIGHT [ BUCKET_TYPE = BUCKET_NAME ...]
예제
[root@osd ~]# ceph osd crush add 4 1 host=node4
참고버킷을 두 개 이상 지정하는 경우 명령은 지정된 버킷에 OSD를 배치하고 지정한 다른 버킷 아래의 버킷을 이동합니다.
참고CRUSH 맵을 수동으로 편집할 수도 있습니다. Red Hat Ceph Storage Storage Strategies Guide의 CRUSH 맵 편집 섹션을 참조하십시오.
중요루트 버킷만 지정하면 OSD가 root에 직접 연결되지만 CRUSH 규칙에는 호스트 버킷 내부에 OSD가 있어야 합니다.
noup옵션을 설정 해제합니다.[root@osd ~]# ceph osd unset noup
새로 생성된 디렉터리에 대한 소유자 및 그룹 권한을 업데이트합니다.
구문
chown -R OWNER : GROUP PATH_TO_DIRECTORY
예제
[root@osd ~]# chown -R ceph:ceph /var/lib/ceph/osd [root@osd ~]# chown -R ceph:ceph /var/log/ceph [root@osd ~]# chown -R ceph:ceph /var/run/ceph [root@osd ~]# chown -R ceph:ceph /etc/ceph
사용자 정의 이름으로 스토리지 클러스터를 사용하는 경우 적절한 파일에 다음 행을 추가합니다.
[root@osd ~]# echo "CLUSTER=CLUSTER_NAME" >> /etc/sysconfig/cephCLUSTER_NAME을 사용자 지정 스토리지 클러스터 이름으로 교체합니다.새 OSD가
가동되어 데이터를 수신할 준비가 되었는지 확인하려면 OSD 서비스를 활성화하고 시작합니다.구문
systemctl enable ceph-osd@OSD_ID systemctl start ceph-osd@OSD_ID
예제
[root@osd ~]# systemctl enable ceph-osd@4 [root@osd ~]# systemctl start ceph-osd@4
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Storage Strategies Guide 의 CRUSH 맵 편집 섹션을 참조하십시오.
-
ceph-volume명령 사용에 대한 자세한 내용은 Red Hat Ceph Storage 관리 가이드 를 참조하십시오.
1.5.8. 컨테이너화된 환경에서 명령줄 인터페이스를 사용하여 Ceph OSD 추가
컨테이너화된 Red Hat Ceph Storage 클러스터에서 명령줄 인터페이스를 사용하여 단일 또는 여러 Ceph OSD를 수동으로 추가할 수 있습니다.
Ceph OSD를 수동으로 추가해야 하는 경우 예외 또는 특정 사용 사례가 없는 한 ceph-ansible 을 사용하여 Ceph OSD를 추가하는 것이 좋습니다. 확실하지 않은 경우 Red Hat 지원에 문의하십시오.
사전 요구 사항
- 컨테이너화된 환경에서 실행 중인 Red Hat Ceph Storage 클러스터.
- 컨테이너 노드에 root 액세스 권한이 있어야 합니다.
- 기존 OSD 노드.
아래 예제는 Red Hat Enterprise Linux 8에서 실행 중입니다. Red Hat Enterprise Linux 8에서 podman은 기본 서비스이며 이전 docker 서비스를 대체했습니다. Red Hat Enterprise Linux 7에서 실행 중인 경우 podman을 docker로 대체하여 지정된 명령을 실행합니다.
절차
단일 OSD를 만들려면
lvm prepare명령을 실행합니다.구문
podman run --rm --net=host --privileged=true --pid=host --ipc=host -v /dev:/dev -v /etc/localtime:/etc/localtime:ro -v /var/lib/ceph:/var/lib/ceph:z -v /etc/ceph:/etc/ceph:z -v /var/run/ceph:/var/run/ceph:z -v /var/run/udev/:/var/run/udev/ -v /var/log/ceph:/var/log/ceph:z -v /run/lvm/:/run/lvm/ --entrypoint=ceph-volume PATH_TO_IMAGE --cluster CLUSTER_NAME lvm prepare --bluestore --data PATH_TO_DEVICE --no-systemd
예제
[root@osd ~]# podman run --rm --net=host --privileged=true --pid=host --ipc=host -v /dev:/dev -v /etc/localtime:/etc/localtime:ro -v /var/lib/ceph:/var/lib/ceph:z -v /etc/ceph:/etc/ceph:z -v /var/run/ceph:/var/run/ceph:z -v /var/run/udev/:/var/run/udev/ -v /var/log/ceph:/var/log/ceph:z -v /run/lvm/:/run/lvm/ --entrypoint=ceph-volume registry.redhat.io/rhceph/rhceph-4-rhel8:latest --cluster ceph lvm prepare --bluestore --data /dev/sdh --no-systemd
이 예제에서는
/dev/sdh에 있는 데이터가 있는 단일 Bluestore Ceph OSD를 준비합니다.참고OSD를 활성화하고 시작하려면 다음 명령을 실행합니다.
예제
[root@osd ~]# systemctl enable ceph-osd@4 [root@osd ~]# systemctl start ceph-osd@4
다음 선택적 인수를 사용할 수도 있습니다.
- dmcrypt
- 설명
- 기본 OSD 장치에 대한 암호화를 활성화합니다.
- block.db
- 설명
- bluestore block.db 논리 볼륨 또는 파티션에 대한 경로입니다.
- block.wal
- 설명
- bluestore block.wal 논리 볼륨 또는 파티션에 대한 경로입니다.
여러 Ceph OSD를 만들려면
lvm batch명령을 실행합니다.구문
podman run --rm --net=host --privileged=true --pid=host --ipc=host -v /dev:/dev -v /etc/localtime:/etc/localtime:ro -v /var/lib/ceph:/var/lib/ceph:z -v /etc/ceph:/etc/ceph:z -v /var/run/ceph:/var/run/ceph:z -v /var/run/udev/:/var/run/udev/ -v /var/log/ceph:/var/log/ceph:z -v /run/lvm/:/run/lvm/ --entrypoint=ceph-volume PATH_TO_IMAGE --cluster CLUSTER_NAME lvm batch --bluestore --yes --prepare _PATH_TO_DEVICE PATH_TO_DEVICE --no-systemd
예제
[root@osd ~]# podman run --rm --net=host --privileged=true --pid=host --ipc=host -v /dev:/dev -v /etc/localtime:/etc/localtime:ro -v /var/lib/ceph:/var/lib/ceph:z -v /etc/ceph:/etc/ceph:z -v /var/run/ceph:/var/run/ceph:z -v /var/run/udev/:/var/run/udev/ -v /var/log/ceph:/var/log/ceph:z -v /run/lvm/:/run/lvm/ --entrypoint=ceph-volume registry.redhat.io/rhceph/rhceph-4-rhel8:latest --cluster ceph lvm batch --bluestore --yes --prepare /dev/sde /dev/sdf --no-systemd
이 예제에서는
/dev/sde및/dev/sdf의 데이터가 있는 여러 Bluestore Ceph OSD를 준비합니다.다음 선택적 인수를 사용할 수도 있습니다.
- dmcrypt
- 설명
- 기본 OSD 장치에 대한 암호화를 활성화합니다.
- db-devices
- 설명
- bluestore block.db 논리 볼륨 또는 파티션에 대한 경로입니다.
- wal-devices
- 설명
- bluestore block.wal 논리 볼륨 또는 파티션에 대한 경로입니다.
1.5.9. Ansible을 사용하여 Ceph OSD 제거
경우에 따라 Red Hat Ceph Storage 클러스터의 용량을 축소해야 할 수도 있습니다. Ansible을 사용하여 Red Hat Ceph Storage 클러스터에서 OSD를 제거하려면 shrink-osd.yml 플레이북을 실행합니다.
스토리지 클러스터에서 OSD를 제거하면 해당 OSD에 포함된 모든 데이터가 삭제됩니다.
OSD를 제거하기 전에 클러스터에 리밸런스에 충분한 공간이 있는지 확인합니다.
배치 그룹이 active+clean 상태이고 OSD에는 동일한 오브젝트에 대한 복제본 또는 삭제 코딩 shard가 포함되지 않는 한 동시에 OSD를 제거하지 마십시오. 확실하지 않은 경우 Red Hat 지원팀에 문의하십시오.
사전 요구 사항
- Ansible에서 배포한 실행 중인 Red Hat Ceph Storage.
- 실행 중인 Ansible 관리 노드.
절차
/usr/share/ceph-ansible/디렉토리로 변경합니다.구문
[user@admin ~]$ cd /usr/share/ceph-ansible
-
Ceph Monitor 노드의
/etc/ceph/에서 제거하려는 OSD가 포함된 노드로 관리자 인증 키를 복사합니다. Ceph의 일반 또는 컨테이너화된 배포에 대해 Ansible 플레이북을 실행합니다.
구문
ansible-playbook infrastructure-playbooks/shrink-osd.yml -e osd_to_kill=ID -u ANSIBLE_USER_NAME -i hosts
교체:
-
OSD 노드
의ID가 있는 ID입니다. 여러 OSD를 제거하려면 OSD ID를 쉼표로 구분합니다. -
Ansible 사용자의 이름과
ANSIBLE_USER_NAME.
예제
[user@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/shrink-osd.yml -e osd_to_kill=1 -u user -i hosts
-
OSD 노드
OSD가 성공적으로 제거되었는지 확인합니다.
구문
[root@mon ~]# ceph osd tree
추가 리소스
1.5.10. 명령줄 인터페이스를 사용하여 Ceph OSD 제거
스토리지 클러스터에서 OSD를 제거하려면 다음과 같은 단계가 포함됩니다. * 클러스터 맵 업데이트. * 인증 키 제거. * OSD 맵에서 OSD 제거. * ceph.conf 파일에서 OSD를 제거합니다.
OSD 노드에 여러 드라이브가 있는 경우 제거하려는 각 OSD에 대해 이 절차를 반복하여 각 드라이브의 OSD를 제거해야 할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
-
스토리지 클러스터가
거의 가득차지 않도록 사용 가능한 OSD가 충분합니다. - OSD 노드에 대한 루트 수준의 액세스.
절차
OSD 서비스를 비활성화하고 중지합니다.
구문
systemctl disable ceph-osd@OSD_ID systemctl stop ceph-osd@OSD_ID
예제
[root@osd ~]# systemctl disable ceph-osd@4 [root@osd ~]# systemctl stop ceph-osd@4
OSD가 중지되면
종료됩니다.스토리지 클러스터에서 OSD를 제거합니다.
구문
ceph osd out OSD_ID예제
[root@osd ~]# ceph osd out 4
중요OSD가 제거되면 Ceph에서 리밸런싱 및 스토리지 클러스터의 나머지 OSD에 데이터를 복사하기 시작합니다. 다음 단계를 진행하기 전에 스토리지 클러스터가
active+clean이 될 때까지 기다리는 것이 좋습니다. 데이터 마이그레이션을 관찰하려면 다음 명령을 실행합니다.구문
[root@mon ~]# ceph -w
CRUSH 맵에서 OSD를 제거하여 더 이상 데이터를 받지 않도록 합니다.
구문
ceph osd crush remove OSD_NAME예제
[root@osd ~]# ceph osd crush remove osd.4
참고OSD와 여기에 포함된 버킷을 수동으로 제거하려면 CRUSH 맵의 압축을 풀거나, 장치 목록에서 OSD를 제거하거나, 호스트 버킷에서 항목으로 장치를 제거하거나, 호스트 버킷을 제거할 수도 있습니다. CRUSH 맵에 있고 호스트를 제거하려는 경우 맵을 다시 컴파일하여 설정합니다. 자세한 내용은 스토리지 전략 가이드에서 CRUSH 맵을 decompilimg 지침을 참조하십시오.
OSD 인증 키를 제거합니다.
구문
ceph auth del osd.OSD_ID예제
[root@osd ~]# ceph auth del osd.4
OSD를 제거합니다.
구문
ceph osd rm OSD_ID예제
[root@osd ~]# ceph osd rm 4
스토리지 클러스터의 구성 파일을 편집합니다. 파일의 기본 이름은
/etc/ceph/ceph.conf입니다. 파일이 있는 경우 파일에서 OSD 항목을 제거합니다.예제
[osd.4] host = _HOST_NAME_
-
OSD를 수동으로 추가한 경우
/etc/fstab파일에서 OSD에 대한 참조를 제거합니다. 업데이트된 구성 파일을 스토리지 클러스터에 있는 다른 모든 노드의
/etc/ceph/디렉터리에 복사합니다.구문
scp /etc/ceph/CLUSTER_NAME.conf USER_NAME@HOST_NAME:/etc/ceph/
예제
[root@osd ~]# scp /etc/ceph/ceph.conf root@node4:/etc/ceph/
1.5.11. 명령줄 인터페이스를 사용하여 BlueStore 데이터베이스 디스크 교체
BlueStore DB 장치를 교체할 때 BlueStore OSD의 내부 메타데이터가 포함된 BlueStore DB 장치를 교체할 때 Red Hat은 Ansible과 CLI(명령줄 인터페이스)를 사용하여 모든 OSD의 재배포를 지원합니다 . 손상된 block.db 파일은 해당 block.db 파일에 포함된 모든 OSD에 영향을 미칩니다.
BlueStore block.db 디스크를 교체하는 절차는 각 장치를 차례로 표시하고, 데이터를 클러스터에서 복제할 때까지 기다린 다음 OSD를 교체한 다음 다시 다시 표시하는 것입니다. 교체된 디스크에 새 block.db 파티션을 사용하여 OSD_ID 를 유지하고 OSD를 다시 생성할 수 있습니다. 이는 간단한 절차이지만 많은 데이터 마이그레이션이 필요합니다.
block.db 장치에 여러 OSD가 있는 경우 block.db 장치의 각 OSD에 대해 다음 절차를 따르십시오. ceph-volume lvm list 를 실행하여 block.db 를 확인하여 관계를 차단할 수 있습니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 파티션이 있는 스토리지 장치.
- 모든 노드에 대한 루트 수준의 액세스.
절차
모니터 노드의 현재 Ceph 클러스터 상태를 확인합니다.
[root@mon ~]# ceph status [root@mon ~]# ceph df
교체할 실패한 OSD를 확인합니다.
[root@mon ~]# ceph osd tree | grep -i down
OSD 노드에서 OSD 서비스를 중지하고 비활성화합니다.
구문
systemctl disable ceph-osd@OSD_ID systemctl stop ceph-osd@OSD_ID
예제
[root@osd1 ~]# systemctl stop ceph-osd@1 [root@osd1 ~]# systemctl disable ceph-osd@1
모니터 노드에서 OSD
를설정합니다.구문
ceph osd out OSD_ID예제
[root@mon ~]# ceph osd out 1
데이터가 OSD에서 마이그레이션될 때까지 기다립니다.
구문
while ! ceph osd safe-to-destroy OSD_ID ; do sleep 60 ; done예제
[root@mon ~]# while ! ceph osd safe-to-destroy 1 ; do sleep 60 ; done
OSD 노드에서 OSD 데몬을 중지합니다.
구문
systemctl kill ceph-osd@OSD_ID예제
[root@osd1 ~]# systemctl kill ceph-osd@1
이 OSD가 사용 중인 장치를 기록해 둡니다.
구문
mount | grep /var/lib/ceph/osd/ceph-OSD_ID예제
[root@osd1 ~]# mount | grep /var/lib/ceph/osd/ceph-1
OSD 노드에서 실패한 드라이브 경로의 마운트 지점을 마운트 해제합니다.
구문
umount /var/lib/ceph/osd/CLUSTER_NAME-OSD_ID
예제
[root@osd1 ~] #umount /var/lib/ceph/osd/ceph-1
백필 및 재조정을 방지하려면
noout및 norebalance[root@mon ~]# ceph osd set noout [root@mon ~]# ceph osd set norebalance
-
물리적 드라이브를 교체하십시오. 노드의 하드웨어 벤더 설명서를 참조하십시오. 계속 진행하기 전에 새 드라이브가
/dev/디렉터리에 표시되도록 허용하고 드라이브 경로를 기록합니다. 모니터 노드에서 OSD를 삭제합니다.
구문
ceph osd destroy OSD_ID --yes-i-really-mean-it예제
[root@mon ~]# ceph osd destroy 1 --yes-i-really-mean-it
중요이 단계는 장치의 내용을 삭제합니다. 장치의 데이터가 필요하지 않으며 클러스터가 정상인지 확인합니다.
OSD 디스크에서 논리 볼륨 관리자를 제거합니다.
구문
lvremove /dev/VOLUME_GROUP/LOGICAL_VOLUME vgremove VOLUME_GROUP pvremove /dev/DEVICE
예제
[root@osd1 ~]# lvremove /dev/data-vg1/data-lv1 [root@osd1 ~]# vgremove data-vg1 [root@osd1 ~]# pvremove /dev/sdb
OSD 노드의 OSD 디스크를 zap합니다.
구문
ceph-volume lvm zap DEVICE예제
[root@osd1 ~]# ceph-volume lvm zap /dev/sdb
OSD 디스크에서 lvm 재생성:
구문
pvcreate /dev/DEVICE vgcreate VOLUME_GROUP /dev/DEVICE lvcreate -l SIZE -n LOGICAL_VOLUME VOLUME_GROUP
예제
[root@osd1 ~]# pvcreate /dev/sdb [root@osd1 ~]# vgcreate data-vg1 /dev/sdb [root@osd1 ~]# lvcreate -l 100%FREE -n data-lv1 data-vg1
새
block.db 디스크에 lvm을 생성합니다.구문
pvcreate /dev/DEVICE vgcreate VOLUME_GROUP_DATABASE /dev/DEVICE lvcreate -Ll SIZE -n LOGICAL_VOLUME_DATABASE VOLUME_GROUP_DATABASE
예제
[root@osd1 ~]# pvcreate /dev/sdb [root@osd1 ~]# vgcreate db-vg1 /dev/sdb [root@osd1 ~]# lvcreate -l 100%FREE -n lv-db1 db-vg1
OSD 노드에서 OSD를 재생성합니다.
구문
ceph-volume lvm create --bluestore --osd-id OSD_ID --data VOLUME_GROUP/LOGICAL_VOLUME --block.db VOLUME_GROUP_DATABASE/LOGICAL_VOLUME_DATABASE
예제
[root@osd1 ~]# ceph-volume lvm create --bluestore --osd-id 1 --data data-vg1/data-lv1 --block.db db-vg1/db-lv1
참고Red Hat은 이전 단계에서 삭제한 것과 동일한 OSD_ID 를 사용할 것을 권장합니다.
OSD 노드에서 OSD 서비스를 시작하고 활성화합니다.
구문
systemctl start ceph-osd@OSD_ID systemctl enable ceph-osd@OSD_ID
예제
[root@osd1 ~]# systemctl start ceph-osd@1 [root@osd1 ~]# systemctl enable ceph-osd@1
CRUSH 계층 구조를 확인하여 OSD가 클러스터에 있는지 확인합니다.
[root@mon ~]# ceph osd tree
noout 및 norebalance를 설정 해제합니다.
[root@mon ~]# ceph osd unset noout [root@mon ~]# ceph osd unset norebalance
HEALTH_OK:[root@mon ~]# watch -n2 ceph -s
추가 리소스
- 자세한 내용은 Red Hat Ceph Storage Installation 가이드의 Red Hat Ceph Storage 클러스터 설치 장을 참조하십시오.
1.5.12. 데이터 마이그레이션 관찰
OSD를 CRUSH 맵에 추가하거나 제거하면 Ceph에서 배치 그룹을 새 OSD 또는 기존 OSD로 마이그레이션하여 데이터 리밸런싱을 시작합니다.
사전 요구 사항
- 실행 중인 Red Hat Ceph Storage 클러스터.
- 최근에 OSD를 추가하거나 제거했습니다.
절차
데이터 마이그레이션을 관찰하려면 다음을 수행합니다.
[root@monitor ~]# ceph -w
-
마이그레이션이 완료되면 배치 그룹 상태가
active+clean에서활성, 일부 저하된 개체및 마지막으로활성+clean으로 변경되는 것을 봅니다. -
유틸리티를 종료하려면
Ctrl + C를 누릅니다.
