5.4. Ansible을 사용하여 양방향 미러링 구성
이 절차에서는 ceph-ansible 을 사용하여 양방향 복제를 구성하여 site-a 및 site-b 라고 하는 두 클러스터 간의 이미지를 미러링할 수 있습니다. 다음 예에서 데이터 는 미러링할 이미지를 포함하는 풀의 이름입니다.
양방향 미러링은 두 클러스터의 동일한 이미지에 동시 쓰기를 허용하지 않습니다. 이미지는 한 클러스터에서 승격되고 다른 클러스터에서 강등됩니다. 상태에 따라 한 방향 또는 다른 방향으로 미러링됩니다.
사전 요구 사항
- Red Hat Ceph Storage 클러스터가 실행 중인 2개입니다.
- 각 클러스터에는 클라이언트 노드가 있습니다.
- 동일한 이름의 풀이 두 클러스터에 있습니다.
- 풀 내의 이미지에는 저널 기반 미러링에 사용할 수 있는 독점 잠금 및 저널링이 활성화되어 있어야 합니다.
절차
이미지가 시작된 클러스터에서 이미지에서 배타적 잠금 및 저널링 기능을 활성화합니다.
새 이미지 의 경우
--image-feature옵션을 사용합니다.구문
rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]예제
[root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling기존 이미지 의 경우
rbd 기능 enable 명령을사용합니다.구문
rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME예제
[root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling기본적으로 모든 새 이미지에서 배타적 잠금 및 저널링을 활성화하려면 Ceph 구성 파일에 다음 설정을 추가합니다.
rbd_default_features = 125
site-a클러스터에서 다음 단계를 완료합니다.모니터 노드에서
rbd-mirror데몬이 클러스터에 연결하는 데 사용할 사용자를 만듭니다. 이 예제에서는site-a사용자를 생성하고 해당 키를site-a.client.site-a.keyring이라는 파일에 출력하고 Ceph 구성 파일은/etc/ceph/site-a.conf입니다.구문
ceph auth get-or-create client.PRIMARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/PRIMARY_CLUSTER_NAME.conf예제
[root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring -c /etc/ceph/site-a.conf인증 키를
site-b클러스터에 복사합니다.rbd-daemon이 실행될site-b클러스터의 클라이언트 노드에 파일을 복사합니다. 파일을/etc/ceph/site-a.client.site-a.keyring에 저장합니다.구문
scp /etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring root@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.client.USER_NAME.keyring예제
[root@mon ~]# scp /etc/ceph/site-a.client.site-a.keyring root@client.site-b:/etc/ceph/site-a.client.site-a.keyring모니터 노드에서
site-b모니터 노드 및 클라이언트 노드로 Ceph 구성 파일을 복사합니다. 이 예제의 Ceph 구성 파일은/etc/ceph/site-a.conf입니다.구문
scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf root@SECONDARY_MONITOR_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf scp /etc/ceph/PRIMARY_CLUSTER_NAME.conf user@SECONDARY_CLIENT_NODE_NAME:/etc/ceph/PRIMARY_CLUSTER_NAME.conf예제
[root@mon ~]# scp /etc/ceph/site-a.conf root@mon.site-b:/etc/ceph/site-a.conf [root@mon ~]# scp /etc/ceph/site-a.conf user@client.site-b:/etc/ceph/site-a.conf
site-b클러스터에서 다음 단계를 완료합니다.-
site-a에서site-b로 미러링을 구성합니다. Ansible 관리 노드에서 Ansible 인벤토리 파일(일반적으로/usr/share/ceph-ansible/hosts)에[rbdmirrors]그룹을 추가합니다. [rbdmirrors]그룹에서rbd-mirrors 데몬에서 실행할site-b클라이언트 노드의 이름을 추가합니다. 이 데몬은site-a에서site-b로 이미지 변경 사항을 가져옵니다.예제
[rbdmirrors] client.site-b/usr/share/ceph-ansible/디렉터리로 이동합니다.[root@admin ~]$ cd /usr/share/ceph-ansiblegroup_vars/
rbdmirrors.yml.sample을 group_vars/rbdmirrors.yml에 복사하여 새rbdmirrors.yml 파일을 만듭니다.[root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml-
group_vars/rbdmirrors.yml파일을 편집하기 위해 을 엽니다. ceph_rbd_mirror_configure를true로 설정하고ceph_rbd_mirror_pool을 미러할 풀로 설정합니다. 이 예제에서데이터는 풀 이름입니다.ceph_rbd_mirror_configure: true ceph_rbd_mirror_pool: "data"기본적으로
ceph-ansible은 풀의 모든 이미지를 미러링하는 풀 모드를 사용하여 미러링을 구성합니다. 미러링이 명시적으로 활성화된 이미지만 미러링된 이미지만 활성화하는 이미지 모드를 활성화합니다. 이미지 모드를 활성화하려면ceph_rbd_mirror_mode를image로 설정합니다.ceph_rbd_mirror_mode: imagegroup_vars/rbdmirrors.yml파일에서rbd-mirror에서 클러스터의 이름을 설정합니다. 이 예제에서 다른 클러스터는site-a입니다.ceph_rbd_mirror_remote_cluster: "site-a"Ansible 관리 노드에서
group_vars/rbdmirrors.yml파일에서ceph_rbd_mirror_remote_user를 사용하여 키의 사용자 이름을 설정합니다. 키를 만들 때 사용한 것과 동일한 이름을 사용합니다. 이러한 예에서 사용자는client.site-a라는 이름으로 지정됩니다.ceph_rbd_mirror_remote_user: "client.site-a"ansible 사용자로 Ansible 플레이북을 실행합니다.
베어 메탈 배포:
[user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts컨테이너 배포:
[user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
-
미러링 상태를 확인합니다.
site-b클러스터의 Ceph Monitor 노드에서 다음 명령을 실행합니다.예제
저널 기반 미러링:
[root@mon ~]# rbd mirror image status data/image1 image1: global_id: 7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac state: up+replaying1 description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0 last_update: 2021-04-22 13:19:27스냅샷 기반 미러링:
[root@mon ~]# rbd mirror image status data/image1 image1: global_id: 06acc9e6-a63d-4aa1-bd0d-4f3a79b0ae33 state: up+replaying1 description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642689843,"remote_snapshot_timestamp":1642689843,"replay_state":"idle"} service: admin on ceph-rbd2-vasi-43-5hwia4-node2 last_update: 2022-01-20 12:41:57참고사이트 간 연결에 따라 미러링은 이미지를 동기화하는 데 시간이 오래 걸릴 수 있습니다.
site-b클러스터에서 다음 단계를 완료합니다. 단계는 주로 위와 동일합니다.모니터 노드에서
rbd-mirror데몬이 클러스터에 연결하는 데 사용할 사용자를 만듭니다. 이 예제에서는site-b사용자를 생성하고 해당 키를site-b.client.site-b.keyring이라는 파일에 출력하고 Ceph 구성 파일은/etc/ceph/site-b.conf입니다.구문
ceph auth get-or-create client.SECONDARY_CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring -c /etc/ceph/SECONDARY_CLUSTER_NAME.conf예제
[root@mon ~]# ceph auth get-or-create client.site-b mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-b.client.site-b.keyring -c /etc/ceph/site-b.conf인증 키를
site-a클러스터에 복사합니다.rbd의 클라이언트 노드에 파일을 복사합니다. 파일을-daemon이 실행될 클러스터/etc/ceph/site-b.client.site-b.keyring에 저장합니다.구문
scp /etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring root@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.client.USER_NAME.keyring예제
[root@mon ~]# scp /etc/ceph/site-b.client.site-b.keyring root@client.site-a:/etc/ceph/site-b.client.site-b.keyring모니터 노드에서
site-amonitor 노드 및 클라이언트 노드로 Ceph 구성 파일을 복사합니다. 이 예제의 Ceph 구성 파일은/etc/ceph/site-b.conf입니다.구문
scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf root@PRIMARY_MONITOR_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf scp /etc/ceph/SECONDARY_CLUSTER_NAME.conf user@PRIMARY_CLIENT_NODE_NAME:/etc/ceph/SECONDARY_CLUSTER_NAME.conf예제
[root@mon ~]# scp /etc/ceph/site-b.conf root@mon.site-a:/etc/ceph/site-b.conf [root@mon ~]# scp /etc/ceph/site-b.conf user@client.site-a:/etc/ceph/site-b.conf
site-a클러스터에서 다음 단계를 완료합니다.-
site-b에서site-a로 미러링을 구성합니다. Ansible 관리 노드에서 Ansible 인벤토리 파일(일반적으로/usr/share/ceph-ansible/hosts)에[rbdmirrors]그룹을 추가합니다. [rbdmirrors]그룹에서rbd-mirrors 데몬에서 실행할site-a클라이언트 노드의 이름을 추가합니다. 이 데몬은site-b에서site-a로 이미지 변경 사항을 가져옵니다.예제
[rbdmirrors] client.site-a/usr/share/ceph-ansible/디렉터리로 이동합니다.[root@admin ~]# cd /usr/share/ceph-ansiblegroup_vars/
rbdmirrors.yml.sample을 group_vars/rbdmirrors.yml에 복사하여 새rbdmirrors.yml 파일을 만듭니다.[root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml-
group_vars/rbdmirrors.yml파일을 편집하기 위해 을 엽니다. ceph_rbd_mirror_configure를true로 설정하고ceph_rbd_mirror_pool을 미러할 풀로 설정합니다. 이 예제에서데이터는 풀 이름입니다.ceph_rbd_mirror_configure: true ceph_rbd_mirror_pool: "data"기본적으로
ceph-ansible은 풀의 모든 이미지를 미러링하는 풀 모드를 사용하여 미러링을 구성합니다. 미러링이 명시적으로 활성화된 이미지만 미러링된 이미지만 활성화하는 이미지 모드를 활성화합니다. 이미지 모드를 활성화하려면ceph_rbd_mirror_mode를image로 설정합니다.ceph_rbd_mirror_mode: imageAnsible 관리 노드에서
group_vars/rbdmirrors.yml파일에서rbd-mirror에서 클러스터의 이름을 설정합니다. 예를 들어 다른 클러스터의 이름은site-b입니다.ceph_rbd_mirror_remote_cluster: "site-b"Ansible 관리 노드에서
group_vars/rbdmirrors.yml파일에서ceph_rbd_mirror_remote_user를 사용하여 키의 사용자 이름을 설정합니다. 이 예제에서는 user의 이름은client.site-b입니다.ceph_rbd_mirror_remote_user: "client.site-b"관리 노드에서 Ansible 사용자로 Ansible 플레이북을 실행합니다.
베어 메탈 배포:
[user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts컨테이너 배포:
[user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
-
site-a및site-b클러스터 모두에서 원하는 이미지에서 미러링을 명시적으로 활성화합니다.구문
저널 기반 미러링:
rbd mirror image enable POOL/IMAGE스냅샷 기반 미러링:
rbd mirror image enable POOL/IMAGE snapshot예제
[root@mon ~]# rbd mirror image enable data/image1 [root@mon ~]# rbd mirror image enable data/image1 snapshot참고새 이미지를 피어 클러스터에 미러링할 때마다 이 단계를 반복합니다.
미러링 상태를 확인합니다.
site-a클러스터의 클라이언트 노드에서 다음 명령을 실행합니다.예제
저널 기반 미러링:
[root@mon ~]# rbd mirror image status data/image1 image1: global_id: 08027096-d267-47f8-b52e-59de1353a034 state: up+stopped1 description: local image is primary last_update: 2021-04-16 15:45:31스냅샷 기반 미러링:
[root@mon ~]# rbd mirror image status data/image1 image1: global_id: 47fd1aae-5f19-4193-a5df-562b5c644ea7 state: up+stopped1 description: local image is primary service: admin on ceph-rbd1-vasi-43-5hwia4-node2 last_update: 2022-01-20 12:42:54 peer_sites: name: rbd-mirror.site-b state: up+replaying description: replaying, {"bytes_per_second":0.0,"bytes_per_snapshot":0.0,"local_snapshot_timestamp":1642693094,"remote_snapshot_timestamp":1642693094,"replay_state":"idle"} last_update: 2022-01-20 12:42:59 snapshots: 5 .mirror.primary.47fd1aae-5f19-4193-a5df-562b5c644ea7.dda146c6-5f21-4e75-ba93-660f6e57e301 (peer_uuids:[bfd09289-c9c9-40c8-b2d3-ead9b6a99a45])