Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

3.5. RBD 및 CephFS 볼륨에서 메타데이터 활성화

모니터링을 위해 RADOS 블록 장치(RBD) 및 CephFS 볼륨에서 PVC(영구 볼륨 클레임), PV(영구 볼륨) 및 네임스페이스 이름을 설정할 수 있습니다. 이를 통해 RBD 및 CephFS 메타데이터를 읽고 OpenShift Container Platform과 RBD 및 CephFS 볼륨 간의 매핑을 식별할 수 있습니다.

RADOS 블록 장치(RBD) 및 CephFS 볼륨 메타데이터 기능을 활성화하려면 rook-ceph-operator-config configmap 에서 CSI_ENABLE_METADATA 변수를 설정해야 합니다. 이 기능은 기본적으로 비활성화되어 있습니다. 이전 버전에서 업그레이드한 후 기능을 활성화하면 기존 PVC에 메타데이터가 포함되지 않습니다. 또한 메타데이터 기능을 활성화하면 활성화하기 전에 생성된 PVC에 메타데이터가 없습니다.

사전 요구 사항

  • ocs_operator 를 설치하고 Operator의 storagecluster 를 생성해야 합니다.

  • storagecluster 가 Ready 상태인지 확인합니다. 

    $ oc get storagecluster
NAME                 AGE   PHASE   EXTERNAL   CREATED AT             VERSION
ocs-storagecluster   57m   Ready              2022-08-30T06:52:58Z   4.12.0
    Copy to Clipboard Toggle word wrap

프로세스

  1. rook-ceph Operator ConfigMap 을 편집하여 CSI_ENABLE_METADATA 를 true 로 표시합니다. 

    $ oc patch cm rook-ceph-operator-config -n openshift-storage -p $'data:\n "CSI_ENABLE_METADATA":  "true"'
configmap/rook-ceph-operator-config patched
    Copy to Clipboard Toggle word wrap

  2. 해당 CSI CephFS 플러그인 프로비저너 Pod 및 CSI RBD 플러그인 pod가 Running 상태가 될 때까지 기다립니다.

    참고

    메타데이터 기능이 활성화된 후 setmetadata 변수가 자동으로 설정되었는지 확인합니다. 메타데이터 기능이 비활성화되면 이 변수를 사용할 수 없어야 합니다. 

    $ oc get pods | grep csi

csi-cephfsplugin-b8d6c                         2/2     Running     0          56m
csi-cephfsplugin-bnbg9                         2/2     Running     0          56m
csi-cephfsplugin-kqdw4                         2/2     Running     0          56m
csi-cephfsplugin-provisioner-7dcd78bb9b-q6dxb  5/5     Running     0          56m
csi-cephfsplugin-provisioner-7dcd78bb9b-zc4q5  5/5     Running     0          56m
csi-rbdplugin-776dl                            3/3     Running     0          56m
csi-rbdplugin-ffl52                            3/3     Running     0          56m
csi-rbdplugin-jx9mz                            3/3     Running     0          56m
csi-rbdplugin-provisioner-5f6d766b6c-694fx     6/6     Running     0          56m
csi-rbdplugin-provisioner-5f6d766b6c-vzv45     6/6     Running     0          56m
    Copy to Clipboard Toggle word wrap

검증 단계

  • RBD PVC의 메타데이터를 확인하려면 다음을 수행합니다.

    1. PVC를 생성합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: ocs-storagecluster-ceph-rbd
EOF
      Copy to Clipboard Toggle word wrap

    2. PVC 상태를 확인합니다. 

      $ oc get pvc | grep rbd-pvc
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   32s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool

csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012
      Copy to Clipboard Toggle word wrap

      이 이미지에는 다음과 같은 네 가지 메타데이터가 있습니다. 

      Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-30628fa8-2966-499c-832d-a6a3a8ebc594
csi.storage.k8s.io/pvc/name       rbd-pvc
csi.storage.k8s.io/pvc/namespace  openshift-storage
      Copy to Clipboard Toggle word wrap

  • RBD 복제본의 메타데이터를 확인하려면 다음을 수행합니다.

    1. 복제본을 생성합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc-clone
spec:
  storageClassName: ocs-storagecluster-ceph-rbd
  dataSource:
    name: rbd-pvc
    kind: PersistentVolumeClaim
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
EOF
      Copy to Clipboard Toggle word wrap

    2. 복제 상태를 확인합니다. 

      $ oc get pvc | grep rbd-pvc
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   15m
rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   52s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-063b982d-2845-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0
csi.storage.k8s.io/pvc/name       rbd-pvc-clone
csi.storage.k8s.io/pvc/namespace  openshift-storage
      Copy to Clipboard Toggle word wrap

  • RBD 스냅샷의 메타데이터를 확인하려면 다음을 수행합니다.

    1. 스냅샷을 생성합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: rbd-pvc-snapshot
spec:
  volumeSnapshotClassName: ocs-storagecluster-rbdplugin-snapclass
  source:
    persistentVolumeClaimName: rbd-pvc
EOF
volumesnapshot.snapshot.storage.k8s.io/rbd-pvc-snapshot created
      Copy to Clipboard Toggle word wrap

    2. 스냅샷 상태를 확인합니다. 

      $ oc get volumesnapshot
NAME               READYTOUSE   SOURCEPVC   SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                            SNAPSHOTCONTENT                                    CREATIONTIME   AGE
rbd-pvc-snapshot   true         rbd-pvc                             1Gi           ocs-storagecluster-rbdplugin-snapclass   snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f   17s            18s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                                            Value
csi.ceph.com/cluster/name                      6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/volumesnapshot/name         rbd-pvc-snapshot
csi.storage.k8s.io/volumesnapshot/namespace    openshift-storage
csi.storage.k8s.io/volumesnapshotcontent/name  snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f
      Copy to Clipboard Toggle word wrap

  • RBD 복원의 메타데이터를 확인합니다.

    1. 볼륨 스냅샷을 복원합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc-restore
spec:
  storageClassName: ocs-storagecluster-ceph-rbd
  dataSource:
    name: rbd-pvc-snapshot
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/rbd-pvc-restore created
      Copy to Clipboard Toggle word wrap

    2. 복원된 볼륨 스냅샷의 상태를 확인합니다. 

      $ oc get pvc | grep rbd
db-noobaa-db-pg-0                 Bound    pvc-615e2027-78cd-4ea2-a341-fdedd50c5208   50Gi       RWO            ocs-storagecluster-ceph-rbd   51m
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   47m
rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   32m
rbd-pvc-restore                   Bound    pvc-f900e19b-3924-485c-bb47-01b84c559034   1Gi        RWO            ocs-storagecluster-ceph-rbd   111s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      [sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-f900e19b-3924-485c-bb47-01b84c559034
csi.storage.k8s.io/pvc/name       rbd-pvc-restore
csi.storage.k8s.io/pvc/namespace  openshift-storage
      Copy to Clipboard Toggle word wrap

  • CephFS PVC의 메타데이터를 확인하려면 다음을 수행합니다.

    1. PVC를 생성합니다. 

      cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: ocs-storagecluster-cephfs
EOF
      Copy to Clipboard Toggle word wrap

    2. PVC 상태를 확인합니다. 

      oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     11s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      $ ceph fs volume ls
[
    {
        "name": "ocs-storagecluster-cephfilesystem"
    }
]

$ ceph fs subvolumegroup ls ocs-storagecluster-cephfilesystem
[
    {
        "name": "csi"
    }
]

$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}
      Copy to Clipboard Toggle word wrap

  • CephFS 복제의 메타데이터를 확인하려면 다음을 수행합니다.

    1. 복제본을 생성합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc-clone
spec:
  storageClassName: ocs-storagecluster-cephfs
  dataSource:
    name: cephfs-pvc
    kind: PersistentVolumeClaim
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/cephfs-pvc-clone created
      Copy to Clipboard Toggle word wrap

    2. 복제 상태를 확인합니다. 

      $ oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     9m5s
cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      [rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

[rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc-clone",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}
      Copy to Clipboard Toggle word wrap

  • CephFS 볼륨 스냅샷의 메타데이터를 확인하려면 다음을 수행합니다.

    1. 볼륨 스냅샷을 생성합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: cephfs-pvc-snapshot
spec:
  volumeSnapshotClassName: ocs-storagecluster-cephfsplugin-snapclass
  source:
    persistentVolumeClaimName: cephfs-pvc
EOF
volumesnapshot.snapshot.storage.k8s.io/cephfs-pvc-snapshot created
      Copy to Clipboard Toggle word wrap

    2. 볼륨 스냅샷의 상태를 확인합니다. 

      $ oc get volumesnapshot
NAME                  READYTOUSE   SOURCEPVC    SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                               SNAPSHOTCONTENT                                    CREATIONTIME   AGE
cephfs-pvc-snapshot   true         cephfs-pvc                           1Gi           ocs-storagecluster-cephfsplugin-snapclass   snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0   9s             9s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      $ ceph fs subvolume snapshot ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name csi
[
    {
        "name": "csi-snap-06336f4e-284e-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume snapshot metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 csi-snap-06336f4e-284e-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/volumesnapshot/name": "cephfs-pvc-snapshot",
    "csi.storage.k8s.io/volumesnapshot/namespace": "openshift-storage",
    "csi.storage.k8s.io/volumesnapshotcontent/name": "snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0"
}
      Copy to Clipboard Toggle word wrap

  • CephFS 복원의 메타데이터를 확인하려면 다음을 수행합니다.

    1. 볼륨 스냅샷을 복원합니다. 

      $ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc-restore
spec:
  storageClassName: ocs-storagecluster-cephfs
  dataSource:
    name: cephfs-pvc-snapshot
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/cephfs-pvc-restore created
      Copy to Clipboard Toggle word wrap

    2. 복원된 볼륨 스냅샷의 상태를 확인합니다. 

      $ oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     29m
cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20m
cephfs-pvc-restore                Bound    pvc-43d55ea1-95c0-42c8-8616-4ee70b504445   1Gi        RWX            ocs-storagecluster-cephfs     21s
      Copy to Clipboard Toggle word wrap

    3. Red Hat Ceph Storage CLI(명령줄 인터페이스)에서 메타데이터를 확인합니다.

      Red Hat Ceph Storage CLI에 액세스하는 방법에 대한 자세한 내용은 Red Hat OpenShift Data Foundation 환경에서 Red Hat Ceph Storage CLI에 액세스하는 방법 문서를 참조하십시오. 

      $ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-3536db13-2850-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-3536db13-2850-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-43d55ea1-95c0-42c8-8616-4ee70b504445",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc-restore",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}
      Copy to Clipboard Toggle word wrap
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat