Monitoring OpenShift Data Foundation

사전 요구 사항

• OpenShift Container Platform 버전 4.16을 설치하고 관리자 권한이 있는지 확인합니다.
• 콘솔이 활성화된 Multicluster Orchestrator 4.16 Operator를 설치했는지 확인합니다.
• Operator Hub에서 RHACM(Red Hat Advanced Cluster Management for Kubernetes) 2.11을 설치했는지 확인합니다. 설치하는 방법에 대한 자세한 내용은 RHACM 설치를 참조하십시오.
• RHACM에서 관찰 기능을 활성화했는지 확인합니다. 관찰 기능 지침 활성화를 참조하십시오.

• 내보낸 NFS 공유의 마운트 지점
• 클라이언트 마운트 수
• 내부 클라이언트 마운트와 외부 클라이언트 마운트를 결정하는 데 도움이 되도록 연결된 클라이언트의 분석 통계
• Ganesha 서버의 유예 기간 상태
• Ganesha 서버의 상태

사전 요구 사항

• OpenShift Container Platform이 설치되어 있으며 OpenShift 웹 콘솔에 대한 관리 액세스 권한이 있습니다.
• NFS가 활성화되어 있는지 확인합니다.

사전 요구 사항

• ocs_operator 를 설치하고 Operator의 storagecluster 를 생성해야 합니다.

• storagecluster 가 Ready 상태인지 확인합니다.

  $ oc get storagecluster
  NAME                 AGE   PHASE   EXTERNAL   CREATED AT             VERSION
  ocs-storagecluster   57m   Ready              2022-08-30T06:52:58Z   4.12.0

검증 단계

• RBD PVC의 메타데이터를 확인하려면 다음을 수행합니다.

  1. PVC를 생성합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: rbd-pvc
     spec:
       accessModes:
         - ReadWriteOnce
       resources:
         requests:
           storage: 1Gi
       storageClassName: ocs-storagecluster-ceph-rbd
     EOF

  2. PVC 상태를 확인합니다.

     $ oc get pvc | grep rbd-pvc
     rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   32s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
     
     csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
     csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
     
     [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

     이 이미지에는 다음과 같은 네 가지 메타데이터가 있습니다.

     Key                               Value
     csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
     csi.storage.k8s.io/pv/name        pvc-30628fa8-2966-499c-832d-a6a3a8ebc594
     csi.storage.k8s.io/pvc/name       rbd-pvc
     csi.storage.k8s.io/pvc/namespace  openshift-storage

• RBD 복제본의 메타데이터를 확인하려면 다음을 수행합니다.

  1. 복제본을 생성합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: rbd-pvc-clone
     spec:
       storageClassName: ocs-storagecluster-ceph-rbd
       dataSource:
         name: rbd-pvc
         kind: PersistentVolumeClaim
       accessModes:
         - ReadWriteOnce
       resources:
         requests:
           storage: 1Gi
     EOF

  2. 복제 상태를 확인합니다.

     $ oc get pvc | grep rbd-pvc
     rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   15m
     rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   52s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
     csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
     csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
     
     [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-063b982d-2845-11ed-94bd-0a580a830012
     There are 4 metadata on this image:
     
     Key                               Value
     csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
     csi.storage.k8s.io/pv/name        pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0
     csi.storage.k8s.io/pvc/name       rbd-pvc-clone
     csi.storage.k8s.io/pvc/namespace  openshift-storage

• RBD 스냅샷의 메타데이터를 확인하려면 다음을 수행합니다.

  1. 스냅샷을 생성합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: snapshot.storage.k8s.io/v1
     kind: VolumeSnapshot
     metadata:
       name: rbd-pvc-snapshot
     spec:
       volumeSnapshotClassName: ocs-storagecluster-rbdplugin-snapclass
       source:
         persistentVolumeClaimName: rbd-pvc
     EOF
     volumesnapshot.snapshot.storage.k8s.io/rbd-pvc-snapshot created

  2. 스냅샷 상태를 확인합니다.

     $ oc get volumesnapshot
     NAME               READYTOUSE   SOURCEPVC   SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                            SNAPSHOTCONTENT                                    CREATIONTIME   AGE
     rbd-pvc-snapshot   true         rbd-pvc                             1Gi           ocs-storagecluster-rbdplugin-snapclass   snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f   17s            18s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
     csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
     csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
     csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
     
     [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
     There are 4 metadata on this image:
     
     Key                                            Value
     csi.ceph.com/cluster/name                      6cd7a18d-7363-4830-ad5c-f7b96927f026
     csi.storage.k8s.io/volumesnapshot/name         rbd-pvc-snapshot
     csi.storage.k8s.io/volumesnapshot/namespace    openshift-storage
     csi.storage.k8s.io/volumesnapshotcontent/name  snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f

• RBD 복원의 메타데이터를 확인합니다.

  1. 볼륨 스냅샷을 복원합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: rbd-pvc-restore
     spec:
       storageClassName: ocs-storagecluster-ceph-rbd
       dataSource:
         name: rbd-pvc-snapshot
         kind: VolumeSnapshot
         apiGroup: snapshot.storage.k8s.io
       accessModes:
         - ReadWriteOnce
       resources:
         requests:
           storage: 1Gi
     EOF
     persistentvolumeclaim/rbd-pvc-restore created

  2. 복원된 볼륨 스냅샷의 상태를 확인합니다.

     $ oc get pvc | grep rbd
     db-noobaa-db-pg-0                 Bound    pvc-615e2027-78cd-4ea2-a341-fdedd50c5208   50Gi       RWO            ocs-storagecluster-ceph-rbd   51m
     rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   47m
     rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   32m
     rbd-pvc-restore                   Bound    pvc-f900e19b-3924-485c-bb47-01b84c559034   1Gi        RWO            ocs-storagecluster-ceph-rbd   111s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
     csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012
     csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
     csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
     csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
     csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
     
     [sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
     There are 4 metadata on this image:
     
     Key                               Value
     csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
     csi.storage.k8s.io/pv/name        pvc-f900e19b-3924-485c-bb47-01b84c559034
     csi.storage.k8s.io/pvc/name       rbd-pvc-restore
     csi.storage.k8s.io/pvc/namespace  openshift-storage

• CephFS PVC의 메타데이터를 확인하려면 다음을 수행합니다.

  1. PVC를 생성합니다.

     cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: cephfs-pvc
     spec:
       accessModes:
         - ReadWriteOnce
       resources:
         requests:
           storage: 1Gi
       storageClassName: ocs-storagecluster-cephfs
     EOF

  2. PVC 상태를 확인합니다.

     oc get pvc | grep cephfs
     cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     11s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     $ ceph fs volume ls
     [
         {
             "name": "ocs-storagecluster-cephfilesystem"
         }
     ]
     
     $ ceph fs subvolumegroup ls ocs-storagecluster-cephfilesystem
     [
         {
             "name": "csi"
         }
     ]
     
     $ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
     [
         {
             "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
         }
     ]
     
     $ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name=csi --format=json
     
     {
         "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
         "csi.storage.k8s.io/pv/name": "pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9",
         "csi.storage.k8s.io/pvc/name": "cephfs-pvc",
         "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
     }

• CephFS 복제의 메타데이터를 확인하려면 다음을 수행합니다.

  1. 복제본을 생성합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: cephfs-pvc-clone
     spec:
       storageClassName: ocs-storagecluster-cephfs
       dataSource:
         name: cephfs-pvc
         kind: PersistentVolumeClaim
       accessModes:
         - ReadWriteMany
       resources:
         requests:
           storage: 1Gi
     EOF
     persistentvolumeclaim/cephfs-pvc-clone created

  2. 복제 상태를 확인합니다.

     $ oc get pvc | grep cephfs
     cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     9m5s
     cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     [rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
     [
         {
             "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
         },
         {
             "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
         }
     ]
     
     [rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215 --group_name=csi --format=json
     
     {
         "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
         "csi.storage.k8s.io/pv/name": "pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce",
         "csi.storage.k8s.io/pvc/name": "cephfs-pvc-clone",
         "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
     }

• CephFS 볼륨 스냅샷의 메타데이터를 확인하려면 다음을 수행합니다.

  1. 볼륨 스냅샷을 생성합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: snapshot.storage.k8s.io/v1
     kind: VolumeSnapshot
     metadata:
       name: cephfs-pvc-snapshot
     spec:
       volumeSnapshotClassName: ocs-storagecluster-cephfsplugin-snapclass
       source:
         persistentVolumeClaimName: cephfs-pvc
     EOF
     volumesnapshot.snapshot.storage.k8s.io/cephfs-pvc-snapshot created

  2. 볼륨 스냅샷의 상태를 확인합니다.

     $ oc get volumesnapshot
     NAME                  READYTOUSE   SOURCEPVC    SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                               SNAPSHOTCONTENT                                    CREATIONTIME   AGE
     cephfs-pvc-snapshot   true         cephfs-pvc                           1Gi           ocs-storagecluster-cephfsplugin-snapclass   snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0   9s             9s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     $ ceph fs subvolume snapshot ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name csi
     [
         {
             "name": "csi-snap-06336f4e-284e-11ed-95e0-0a580a810215"
         }
     ]
     
     $ ceph fs subvolume snapshot metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 csi-snap-06336f4e-284e-11ed-95e0-0a580a810215 --group_name=csi --format=json
     
     {
         "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
         "csi.storage.k8s.io/volumesnapshot/name": "cephfs-pvc-snapshot",
         "csi.storage.k8s.io/volumesnapshot/namespace": "openshift-storage",
         "csi.storage.k8s.io/volumesnapshotcontent/name": "snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0"
     }

• CephFS 복원의 메타데이터를 확인하려면 다음을 수행합니다.

  1. 볼륨 스냅샷을 복원합니다.

     $ cat <<EOF | oc create -f -
     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: cephfs-pvc-restore
     spec:
       storageClassName: ocs-storagecluster-cephfs
       dataSource:
         name: cephfs-pvc-snapshot
         kind: VolumeSnapshot
         apiGroup: snapshot.storage.k8s.io
       accessModes:
         - ReadWriteMany
       resources:
         requests:
           storage: 1Gi
     EOF
     persistentvolumeclaim/cephfs-pvc-restore created

  2. 복원된 볼륨 스냅샷의 상태를 확인합니다.

     $ oc get pvc | grep cephfs
     cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     29m
     cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20m
     cephfs-pvc-restore                Bound    pvc-43d55ea1-95c0-42c8-8616-4ee70b504445   1Gi        RWX            ocs-storagecluster-cephfs     21s

  3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

     Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오.

     $ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
     [
         {
             "name": "csi-vol-3536db13-2850-11ed-95e0-0a580a810215"
         },
         {
             "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
         },
         {
             "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
         }
     ]
     
     $ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-3536db13-2850-11ed-95e0-0a580a810215 --group_name=csi --format=json
     
     {
         "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
         "csi.storage.k8s.io/pv/name": "pvc-43d55ea1-95c0-42c8-8616-4ee70b504445",
         "csi.storage.k8s.io/pvc/name": "cephfs-pvc-restore",
         "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
     }

• OpenShift Data Foundation 클러스터의 크기
• OpenShift Data Foundation 구성 요소의 상태
• 수행 중인 업그레이드의 상태
• OpenShift Data Foundation 구성 요소 및 기능에 대한 제한된 사용 정보
• 클러스터 모니터링 구성 요소에서 보고한 경보에 대한 요약 정보

• Ceph 클러스터의 크기(바이트) : "ceph_cluster_total_bytes"
• 바이트 단위로 사용되는 Ceph 클러스터 스토리지의 양: "ceph_cluster_total_used_raw_bytes",
• Ceph 클러스터 상태 : "ceph_health_status",
• 총 오브젝트 스토리지 장치(OSD) : "job:ceph_osd_metadata:count",
• Red Hat OpenShift Container Platform 클러스터에 있는 총 OpenShift Data Foundation PV(영구 볼륨) 수 : "job:kube_pv:count",
• Ceph 클러스터의 모든 풀에 대한 초당 총 입력/출력 작업 (reads+writes) 값 : "job:ceph_pools_iops:total",
• Ceph 클러스터의 모든 풀에 대한 총 IOPS(reads+writes) 값 바이트: "job:ceph_pools_iops_bytes:total",
• 실행 중인 Ceph 클러스터 버전의 총 수 : "job:ceph_versions_running:count"
• 비정상적인 NooBaa 버킷의 총 수 : "job:noobaa_total_unhealthy_buckets:sum",
• 총 NooBaa 버킷 수 : "job:noobaa_bucket_count:sum",
• 총 NooBaa 오브젝트 수 : "job:noobaa_total_object_count:sum",
• NooBaa 계정 수 : "noobaa_accounts_num",
• 바이트로 NooBaa의 스토리지의 총 사용량 : "noobaa_total_usage",
• 특정 스토리지 프로비저너의 PVC(영구 볼륨 클레임)에서 요청한 총 스토리지 양(바이트)입니다. "cluster:kube_persistentvolumeclaim_resource_requests_storage_bytes:provisioner:sum",
• 특정 스토리지 프로비저너의 PVC에서 사용하는 총 스토리지 용량(' cluster:kubelet_volume_stats_used_bytes:provisioner:sum".