5장. 스taggered 업그레이드
스토리지 관리자는 Red Hat Ceph Storage 구성 요소를 한 번에 모두 업그레이드하지 않고 단계별로 업그레이드할 수 있습니다. Red Hat Ceph Storage 5.2부터 ceph orch upgrade 명령을 사용하면 단일 upgrade 명령으로 업그레이드할 데몬을 제한할 수 있습니다.
정체된 업그레이드를 지원하지 않는 버전에서 업그레이드하려면 먼저 Ceph Manager(ceph-mgr) 데몬을 수동으로 업그레이드해야 합니다. 이전 릴리스에서 태그된 업그레이드를 수행하는 방법에 대한 자세한 내용은 이전 릴리스에서 태그가 지정된 업그레이드 수행을 참조하십시오.
Ceph iSCSI 게이트웨이는 Red Hat Ceph Storage 6에서 제거됩니다. 따라서 Red Hat Ceph Storage 5에서 Red Hat Ceph Storage 6으로 업그레이드하기 전에 iSCSI LUN을 관리해야 합니다.
Red Hat Ceph Storage 클러스터를 RHCS 5에서 RHCS 6으로 업그레이드하는 경우 iSCSI를 통해 내보낸 RBD 이미지가 보존되므로 데이터가 손실되지 않습니다. 그러나 업그레이드로 모든 iSCSI 대상이 손실되므로 일시적으로 데이터에 액세스할 수 없습니다. 데이터를 복구하려면 rbd 장치 맵 명령으로 RBD 이미지를 매핑하거나 rbd 내보내기 명령을 사용하여 파일에 내보낼 수 있습니다.
5.1. 스taggered 업그레이드 옵션 링크 복사링크가 클립보드에 복사되었습니다!
Red Hat Ceph Storage 5.2부터 ceph orch upgrade 명령은 여러 옵션을 지원하여 클러스터 구성 요소를 단계적으로 업그레이드합니다. 태그된 업그레이드 옵션은 다음과 같습니다.
-
--daemon_types:
--daemon_types옵션은 쉼표로 구분된 데몬 유형 목록을 사용하며 해당 유형의 데몬만 업그레이드합니다. 이 옵션에 유효한 데몬 유형에는mgr,mon,crash,osd,mds,rgw,rbd-mirror,cephfs-mirror,nfs등이 있습니다. -
--services:
--services옵션은--daemon-types와 상호 배타적이며, 한 번에 하나의 서비스만 지원하며 해당 서비스에 속한 데몬만 업그레이드합니다. 예를 들어 OSD 및 RGW 서비스를 동시에 제공할 수 없습니다. -
--hosts -
hosts 옵션을,--daemon_types--services, 또는 단독으로 사용할 수 있습니다.hosts옵션 매개변수는 오케스트레이터 CLI 배치 사양을 위한 명령줄 옵션과 동일한 형식을 따릅니다. -
--limit:
--limit옵션은 0보다 큰 정수를 사용하고cephadm이 업그레이드할 수에 대한 숫자 제한을 제공합니다.--limit옵션을--daemon_types,--services또는--hosts와 결합할 수 있습니다. 예를 들어 3 으로 설정된 제한을 사용하여host01에서osd유형의 데몬을 업그레이드하도록 지정하는 경우cephadm은 host01에서 최대3개의 OSD 데몬을 업그레이드합니다.
5.1.1. 누락된 업그레이드 수행 링크 복사링크가 클립보드에 복사되었습니다!
스토리지 관리자는 ceph orch 업그레이드 옵션을 사용하여 단일 upgrade 명령으로 업그레이드할 데몬을 제한할 수 있습니다.
Cephadm은 여전히 정체된 업그레이드 시나리오에 있는 데몬 업그레이드 순서를 엄격하게 적용합니다. 현재 업그레이드 순서는 다음과 같습니다.
- Ceph Manager 노드
- Ceph Monitor 노드
- Ceph-crash 데몬
- Ceph OSD 노드
- Ceph Metadata Server (MDS) 노드
- Ceph Object Gateway(RGW) 노드
- Ceph RBD-mirror 노드
- CephFS-mirror 노드
- Ceph NFS 노드
데몬을 순서대로 업그레이드하는 매개변수를 지정하는 경우 업그레이드 명령 블록 및 업그레이드하기 전에 업그레이드해야 하는 데몬을 기록합니다.
예제
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --hosts host02 Error EINVAL: Cannot start upgrade. Daemons with types earlier in upgrade order than daemons on given host need upgrading. Please first upgrade mon.ceph-host01
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --hosts host02
Error EINVAL: Cannot start upgrade. Daemons with types earlier in upgrade order than daemons on given host need upgrading.
Please first upgrade mon.ceph-host01
인스턴스를 다시 시작하는 데 필요한 순서가 없습니다. Red Hat은 기본 이미지를 사용하여 풀을 가리키는 인스턴스를 다시 시작한 다음 미러링된 풀을 가리키는 인스턴스를 다시 시작할 것을 권장합니다.
사전 요구 사항
- Red Hat Ceph Storage 5.2 이상을 실행하는 클러스터입니다.
- 모든 노드에 대한 루트 수준 액세스.
- 스토리지 클러스터에 있는 두 개 이상의 Ceph Manager 노드(활성 및 하나의 active 노드)입니다.
절차
cephadm쉘에 로그인합니다.예제
cephadm shell
[root@host01 ~]# cephadm shellCopy to Clipboard Copied! Toggle word wrap Toggle overflow 모든 호스트가 온라인 상태이고 스토리지 클러스터가 정상인지 확인합니다.
예제
[ceph: root@host01 /]# ceph -s
[ceph: root@host01 /]# ceph -sCopy to Clipboard Copied! Toggle word wrap Toggle overflow OSD
noout,noscrub,nodeep-scrub플래그를 설정하여 OSD가 업그레이드 중에 표시되지 않도록 하고 클러스터에서 불필요한 로드를 방지합니다.예제
[ceph: root@host01 /]# ceph osd set noout [ceph: root@host01 /]# ceph osd set noscrub [ceph: root@host01 /]# ceph osd set nodeep-scrub
[ceph: root@host01 /]# ceph osd set noout [ceph: root@host01 /]# ceph osd set noscrub [ceph: root@host01 /]# ceph osd set nodeep-scrubCopy to Clipboard Copied! Toggle word wrap Toggle overflow 서비스 버전 및 사용 가능한 대상 컨테이너를 확인합니다.
구문
ceph orch upgrade check IMAGE_NAME
ceph orch upgrade check IMAGE_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
[ceph: root@host01 /]# ceph orch upgrade check registry.redhat.io/rhceph/rhceph-6-rhel9:latest
[ceph: root@host01 /]# ceph orch upgrade check registry.redhat.io/rhceph/rhceph-6-rhel9:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고이미지 이름은 Red Hat Enterprise Linux 8 및 Red Hat Enterprise Linux 9 모두에 적용됩니다.
스토리지 클러스터를 업그레이드합니다.
특정 호스트에서 특정 데몬 유형을 업그레이드하려면 다음을 수행합니다.
구문
ceph orch upgrade start --image IMAGE_NAME --daemon-types DAEMON_TYPE1,DAEMON_TYPE2 --hosts HOST1,HOST2
ceph orch upgrade start --image IMAGE_NAME --daemon-types DAEMON_TYPE1,DAEMON_TYPE2 --hosts HOST1,HOST2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --daemon-types mgr,mon --hosts host02,host03
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --daemon-types mgr,mon --hosts host02,host03Copy to Clipboard Copied! Toggle word wrap Toggle overflow 특정 서비스를 지정하고 업그레이드할 데몬 수를 제한하려면 다음을 수행합니다.
구문
ceph orch upgrade start --image IMAGE_NAME --services SERVICE1,SERVICE2 --limit LIMIT_NUMBER
ceph orch upgrade start --image IMAGE_NAME --services SERVICE1,SERVICE2 --limit LIMIT_NUMBERCopy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --services rgw.example1,rgw1.example2 --limit 2
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest --services rgw.example1,rgw1.example2 --limit 2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고스taggered 업그레이드 시나리오에서는 제한 매개변수를 사용하는 경우 Ceph Manager 데몬 업그레이드 후 Prometheus 및
node-exporter를 포함한 모니터링 스택 데몬이 새로 고칩니다. 제한 매개변수로 인해 Ceph Manager 업그레이드를 완료하는 데 시간이 오래 걸립니다. 모니터링 스택 데몬의 버전은 Ceph 릴리스 간에 변경되지 않을 수 있습니다. 이 경우 이는 재배포됩니다.참고제한 매개변수를 사용하여 명령을 업그레이드하면 업그레이드를 시작하기 전에 옵션의 유효성을 검사합니다. 이 경우 새 컨테이너 이미지를 가져와야 합니다. 결과적으로 제한 매개변수를 제공할 때
upgrade start명령을 반환하는 데 시간이 걸릴 수 있습니다.
여전히 업그레이드해야 하는 데몬을 보려면
ceph orch upgrade check또는ceph versions명령을 실행합니다.예제
[ceph: root@host01 /]# ceph orch upgrade check --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest
[ceph: root@host01 /]# ceph orch upgrade check --image registry.redhat.io/rhceph/rhceph-6-rhel9:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow 태그된 업그레이드를 완료하려면 나머지 모든 서비스의 업그레이드를 확인합니다.
구문
ceph orch upgrade start --image IMAGE_NAME
ceph orch upgrade start --image IMAGE_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest
[ceph: root@host01 /]# ceph orch upgrade start --image registry.redhat.io/rhceph/rhceph-6-rhel9:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
Ceph 클러스터의 새 IMAGE_ID 및 VERSION 을 확인합니다.
예제
[ceph: root@host01 /]# ceph versions [ceph: root@host01 /]# ceph orch ps
[ceph: root@host01 /]# ceph versions [ceph: root@host01 /]# ceph orch psCopy to Clipboard Copied! Toggle word wrap Toggle overflow 업그레이드가 완료되면
noout,noscrub,nodeep-scrub플래그를 설정 해제합니다.예제
[ceph: root@host01 /]# ceph osd unset noout [ceph: root@host01 /]# ceph osd unset noscrub [ceph: root@host01 /]# ceph osd unset nodeep-scrub
[ceph: root@host01 /]# ceph osd unset noout [ceph: root@host01 /]# ceph osd unset noscrub [ceph: root@host01 /]# ceph osd unset nodeep-scrubCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.1.2. 이전 릴리스에서 누락된 업그레이드 수행 링크 복사링크가 클립보드에 복사되었습니다!
Red Hat Ceph Storage 5.2부터는 필요한 인수를 제공하여 스토리지 클러스터에서 정체된 업그레이드를 수행할 수 있습니다. 정체된 업그레이드를 지원하지 않는 버전에서 업그레이드하려면 먼저 Ceph Manager(ceph-mgr) 데몬을 수동으로 업그레이드해야 합니다. Ceph Manager 데몬을 업그레이드하면 제한 매개변수를 전달하여 태그된 업그레이드를 완료할 수 있습니다.
이 절차를 시도하기 전에 두 개 이상의 Ceph Manager 데몬이 실행되고 있는지 확인합니다.
사전 요구 사항
- Red Hat Ceph Storage 5.0 이상을 실행하는 클러스터입니다.
- 스토리지 클러스터에 있는 두 개 이상의 Ceph Manager 노드(활성 및 하나의 active 노드)입니다.
절차
Cephadm 쉘에 로그인합니다.
예제
cephadm shell
[root@host01 ~]# cephadm shellCopy to Clipboard Copied! Toggle word wrap Toggle overflow 활성 상태인 Ceph Manager를 확인하고 다음을 수행합니다.
예제
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 각 FlexVolume Ceph Manager 데몬을 수동으로 업그레이드합니다.
구문
ceph orch daemon redeploy mgr.ceph-HOST.MANAGER_ID --image IMAGE_ID
ceph orch daemon redeploy mgr.ceph-HOST.MANAGER_ID --image IMAGE_IDCopy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
[ceph: root@host01 /]# ceph orch daemon redeploy mgr.ceph-host02.pzgrhz --image registry.redhat.io/rhceph/rhceph-6-rhel9:latest
[ceph: root@host01 /]# ceph orch daemon redeploy mgr.ceph-host02.pzgrhz --image registry.redhat.io/rhceph/rhceph-6-rhel9:latestCopy to Clipboard Copied! Toggle word wrap Toggle overflow 업그레이드된 FlexVolume Ceph Manager로 장애 조치:
예제
[ceph: root@host01 /]# ceph mgr fail
[ceph: root@host01 /]# ceph mgr failCopy to Clipboard Copied! Toggle word wrap Toggle overflow ingress Ceph Manager가 현재 활성화되어 있는지 확인합니다.
예제
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 활성 Ceph Manager가 새 버전으로 업그레이드되었는지 확인합니다.
구문
ceph tell mgr.ceph-HOST.MANAGER_ID version
ceph tell mgr.ceph-HOST.MANAGER_ID versionCopy to Clipboard Copied! Toggle word wrap Toggle overflow 예제
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 2~6단계를 반복하여 나머지 Ceph Manager를 새 버전으로 업그레이드합니다.
모든 Ceph Manager가 새 버전으로 업그레이드되었는지 확인합니다.
예제
[ceph: root@host01 /]# ceph mgr versions { "ceph version 16.2.8-12.el8cp (600e227816517e2da53d85f2fab3cd40a7483372) pacific (stable)": 2 }[ceph: root@host01 /]# ceph mgr versions { "ceph version 16.2.8-12.el8cp (600e227816517e2da53d85f2fab3cd40a7483372) pacific (stable)": 2 }Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 모든 Ceph Manager를 업그레이드하면 제한 매개변수를 지정하고 나머지 업그레이드를 완료할 수 있습니다.