1장. NFS를 통한 CephFS를 사용한 공유 파일 시스템 서비스

Ceph가 오브젝트 및 블록 스토리지를 제공할 때 배포된 모니터, OSD, Rados 게이트웨이(RGW) 및 관리자 서비스 외에도 CephFS에 Ceph 메타데이터 서비스(MDS)가 필요하며 NFS 프로토콜을 사용하여 기본 CephFS에 대한 게이트웨이로 NFS-Ganesha 서비스가 필요합니다. 사용자를 향한 오브젝트 스토리지의 경우 RGW 서비스도 배포됩니다. 게이트웨이는 CephFS 클라이언트를 실행하여 Ceph 공용 네트워크에 액세스하며, 최종 사용자가 제어하는 대신 관리 중입니다.

NFS-Ganesha는 Ceph 공용 네트워크와 격리된 새로운 StorageNFS 네트워크로 인터페이스하는 자체 컨테이너에서 실행됩니다. RHOSP(Red Hat OpenStack Platform) director의 구성 가능한 네트워크 기능은 이 네트워크를 배포하고 이를 컨트롤러 노드에 연결합니다. 클라우드 관리자는 네트워크를 네트워킹(neutron) 프로바이더 네트워크로 구성할 수 있습니다.

NFS-Ganesha는 Ceph 공용 네트워크를 통해 CephFS에 액세스하고 StorageNFS 네트워크의 주소를 사용하여 NFS 서비스를 바인딩합니다.

NFS 공유에 액세스하려면 스토리지 NFS 네트워크에 연결된 추가 NIC를 사용하여 사용자 VM, 계산(nova) 인스턴스를 프로비저닝합니다. CephFS 공유의 내보내기 위치는 StorageNFS 네트워크에서 NFS-Ganesha 서버 VIP를 사용하는 표준 NFS IP:<path> 로 표시됩니다. 네트워크에서 사용자 VM의 IP 주소를 사용하여 NFS 공유에 대한 액세스 제어를 수행합니다.

네트워킹(neutron) 보안 그룹은 프로젝트 1에 속한 사용자 VM이 StorageNFS 네트워크에서 프로젝트 2에 속하는 사용자 VM에 액세스하지 못하도록 합니다. 프로젝트는 동일한 CephFS 파일 시스템을 공유하지만 사용자 VM은 내보내기 트리 아래 파일에만 액세스할 수 있기 때문에 /path/to/share1/…., /path/to/share2/….

RHOSP(Red Hat OpenStack Platform) director가 Ceph 서비스 데몬을 시작하면 자체 HA(고가용성) 상태를 관리하고 일반적으로 이러한 데몬의 여러 인스턴스가 실행됩니다. 이와 반대로 이번 릴리스에서는 한 번에 하나의 NFS-Ganesha 인스턴스만 파일 공유를 제공할 수 있습니다.

NFS 공유를 통해 CephFS의 데이터 경로에서 단일 장애 지점을 방지하기 위해 NFS-Ganesha는 Pacemaker-Corosync 클러스터에서 관리하는 액티브-패시브 구성의 RHOSP 컨트롤러 노드에서 실행됩니다. NFS-Ganesha는 가상 서비스 IP 주소가 있는 가상 서비스로 컨트롤러 노드에서 작동합니다.

컨트롤러 노드가 실패하거나 특정 컨트롤러 노드의 서비스가 실패하고 해당 노드에서 복구할 수 없는 경우 Pacemaker-Corosync는 동일한 가상 IP 주소를 사용하여 다른 컨트롤러 노드에서 새 NFS-Ganesha 인스턴스를 시작합니다. 기존 클라이언트 마운트는 공유의 내보내기 위치에 가상 IP 주소를 사용하므로 보존됩니다.

기본 NFS 마운트 옵션 설정과 NFS 4.1 이상을 사용하면 TCP 연결이 재설정되고 클라이언트가 다시 연결됩니다. I/O 작업은 장애 조치 중에 일시적으로 응답을 중지하지만 실패하지는 않습니다. 애플리케이션 I/O도 응답을 중지하지만 페일오버가 완료되면 다시 시작됩니다.

새로운 연결, 새로운 잠금 상태 등은 서버가 클라이언트가 잠금을 회수할 때까지 대기하는 최대 90초의 유예 기간이 끝날 때까지 거부됩니다. NFS-Ganesha는 클라이언트 목록을 유지하고 모든 클라이언트가 잠금을 회수할 경우 유예 기간을 조기에 종료합니다.