管理混合和多云资源

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
     namespace: openshift-storage
   type: Opaque
   data:
     AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
     AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

   <AWS ACCESS KEY> 和 <AWS SECRET ACCESS KEY>

   使用 Base64 提供并编码您自己的 AWS 访问密钥 ID 和 secret 访问密钥，并使用结果代替 <AWS ACCESS KEY ID ENCODED IN BASE64> 和 <AWS SECRET ACCESS KEY ENCODED IN BASE64>。

   <backingstore-secret-name>

   上一步中创建的后备存储 secret 的名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     awsS3:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <bucket-name>
     type: aws-s3

   <bucket-name>

   现有 AWS 存储桶名称。

   <backingstore-secret-name>

   上一步中创建的后备存储 secret 的名称。

1. 在 MCG 命令行界面中运行以下命令：

   noobaa backingstore create ibm-cos <backingstore_name> --access-key=<IBM ACCESS KEY> --secret-key=<IBM SECRET ACCESS KEY> --endpoint=<IBM COS ENDPOINT> --target-bucket <bucket-name> -n openshift-storage

   <backingstore_name>

   后备储存的名称。

   <IBM ACCESS KEY>, <IBM SECRET ACCESS KEY>, 和 <IBM COS ENDPOINT>

   IBM 访问密钥 ID、secret 访问密钥和适当的区域端点，对应于现有 IBM 存储桶的位置。

   要在 IBM 云中生成上述密钥，您必须在为您的目标存储桶创建服务凭证时包含 HMAC 凭证。

   <bucket-name>

   现有 IBM 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   输出结果类似如下：

   INFO[0001] ✅ Exists: NooBaa "noobaa"
   INFO[0002] ✅ Created: BackingStore "ibm-resource"
   INFO[0002] ✅ Created: Secret "backing-store-secret-ibm-resource"

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
     namespace: openshift-storage
   type: Opaque
   data:
     IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
     IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   <IBM COS ACCESS KEY ID ENCODED IN BASE64> 和 <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 IBM COS 访问密钥 ID 和 secret 访问密钥，并使用这些属性的结果来代替这些属性。

   <backingstore-secret-name>

   后备存储 secret 的名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     ibmCos:
       endpoint: <endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <bucket-name>
     type: ibm-cos

   <bucket-name>

   现有的 IBM COS 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <endpoint>

   与现有 IBM 存储桶名称的位置对应的区域端点。此参数指示 MCG 关于用于其后备存储的端点，然后是数据存储和管理。

   <backingstore-secret-name>

   上一步中创建的 secret 的名称。

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     AccountName: <AZURE ACCOUNT NAME ENCODED IN BASE64>
     AccountKey: <AZURE ACCOUNT KEY ENCODED IN BASE64>

   <AZURE ACCOUNT NAME ENCODED IN BASE64> 和 <AZURE ACCOUNT KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 Azure 帐户名称和帐户密钥，并分别使用这些属性代替这些属性。

   <backingstore-secret-name>

   唯一的后备存储 secret 名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     azureBlob:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBlobContainer: <blob-container-name>
     type: azure-blob

   <blob-container-name>

   现有的 Azure blob 容器名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <backingstore-secret-name>

   使用上一步中创建的 secret 的名称。

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     GoogleServiceAccountPrivateKeyJson: <GCP PRIVATE KEY ENCODED IN BASE64>

   <GCP PRIVATE KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 GCP 服务帐户私钥，并将结果用于此属性。

   <backingstore-secret-name>

   后备存储 secret 的唯一名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     googleCloudStorage:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <target bucket>
     type: google-cloud-storage

   <target bucket>

   现有的 Google 存储桶。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <backingstore-secret-name>

   上一步中创建的 secret 的名称。

流程

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <namespacestore-secret-name>
     type: Opaque
   data:
     AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
     AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

   其中 <namespacestore-secret-name> 是一个唯一的 NamespaceStore 名称。

   您必须使用 Base64 提供并编码您自己的 AWS 访问密钥 ID 和 secret 访问密钥，并使用其结果替换 <AWS ACCESS KEY ID ENCODED IN BASE64> 和 <AWS SECRET ACCESS KEY ENCODED IN BASE64>。

2. 使用 OpenShift 自定义资源定义(CRD)创建 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   要创建 NamespaceStore 资源，请应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: NamespaceStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <resource-name>
     namespace: openshift-storage
   spec:
     awsS3:
       secret:
         name: <namespacestore-secret-name>
         namespace: <namespace-secret>
       targetBucket: <target-bucket>
     type: aws-s3

   <resource-name>

   您要提供给资源的名称。

   <namespacestore-secret-name>

   上一步中创建的 secret。

   <namespace-secret>

   包括 secret 的命名空间。

   <target-bucket>

   为 NamespaceStore 创建的目标存储桶。

3. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 一个类型为 single 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type:
         single:
           resource: <resource>

     <my-bucket-class>

     唯一的命名空间存储桶类名称。

     <resource>

     定义命名空间存储桶的读写目标的单个 NamespaceStore 的名称。

   • 一个类型为 multi 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Multi
         multi:
           writeResource: <write-resource>
           readResources:
           - <read-resources>
           - <read-resources>

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶 写入 目标的单个 NamespaceStore。

     <read-resources>

     定义命名空间存储桶的读取目标的 NamespaceStore 的名称列表。

4. 使用以下 YAML 使用上一步中定义的存储桶类(OBC)资源，创建存储桶：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <resource-name>
     namespace: openshift-storage
   spec:
     generateBucketName: <my-bucket>
     storageClassName: openshift-storage.noobaa.io
     additionalConfig:
       bucketclass: <my-bucket-class>

   <resource-name>

   您要提供给资源的名称。

   <my-bucket>

   您要提供给存储桶的名称。

   <my-bucket-class>

   上一步中创建的 bucket 类。

流程

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <namespacestore-secret-name>
     type: Opaque
   data:
     IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
     IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   <namespacestore-secret-name>

   唯一的 NamespaceStore 名称。

   您必须使用 Base64 提供和编码您自己的 IBM COS 访问密钥 ID 和 secret 访问密钥，并使用其结果替代 <IBM COS ACCESS KEY ID ENCODED IN BASE64> 和 <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>。

2. 使用 OpenShift 自定义资源定义(CRD)创建 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   要创建 NamespaceStore 资源，请应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: NamespaceStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     s3Compatible:
       endpoint: <IBM COS ENDPOINT>
       secret:
         name: <namespacestore-secret-name>
         namespace: <namespace-secret>
       signatureVersion: v2
       targetBucket: <target-bucket>
     type: ibm-cos

   <IBM COS ENDPOINT>

   适当的 IBM COS 端点。

   <namespacestore-secret-name>

   上一步中创建的 secret。

   <namespace-secret>

   包括 secret 的命名空间。

   <target-bucket>

   为 NamespaceStore 创建的目标存储桶。

3. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 一个类型为 single 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type:
         single:
           resource: <resource>

     <my-bucket-class>

     唯一的命名空间存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 类型为 multi 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Multi
         multi:
           writeResource: <write-resource>
           readResources:
           - <read-resources>
           - <read-resources>

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶写入目标的单个 NamespaceStore。

     <read-resources>

     NamespaceStores 名称列表，用于定义命名空间存储桶的读取目标。

4. 要使用上一步中定义的 bucket 类的 Object Bucket Class (OBC) 资源创建存储桶，请应用以下 YAML：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <resource-name>
     namespace: openshift-storage
   spec:
     generateBucketName: <my-bucket>
     storageClassName: openshift-storage.noobaa.io
     additionalConfig:
       bucketclass: <my-bucket-class>

   <resource-name>

   您要提供给资源的名称。

   <my-bucket>

   您要提供给存储桶的名称。

   <my-bucket-class>

   上一步中创建的 bucket 类。

   在 Operator 置备 OBC 后，会在 MCG 中创建存储桶，Operator 会创建一个具有相同名称的 Secret 和 ConfigMap，并在与 OBC 相同的命名空间中创建 Secret 和 ConfigMap。

流程

1. 在 MCG 命令行界面中，创建一个 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   $ noobaa namespacestore create aws-s3 <namespacestore> --access-key <AWS ACCESS KEY> --secret-key <AWS SECRET ACCESS KEY> --target-bucket <bucket-name> -n openshift-storage

   <namespacestore>

   NamespaceStore 的名称。

   <AWS ACCESS KEY> 和 <AWS SECRET ACCESS KEY>

   您创建的 AWS 访问密钥 ID 和 secret 访问密钥。

   <bucket-name>

   现有 AWS 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

2. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略可以是 single 或 multi。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 single ：

     $ noobaa bucketclass create namespace-bucketclass single <my-bucket-class> --resource <resource> -n openshift-storage

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 multi ：

     $ noobaa bucketclass create namespace-bucketclass multi <my-bucket-class> --write-resource <write-resource> --read-resources <read-resources> -n openshift-storage

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶的写入目标的单个 namespace-store。

     <read-resources>s

     命名空间存储列表，用逗号隔开，用于定义命名空间存储桶的读取目标。

3. 使用上一步中定义的 bucket 类的对象 Bucket Class(OBC)资源创建存储桶。

   $ noobaa obc create my-bucket-claim -n openshift-storage --app-namespace my-app --bucketclass <custom-bucket-class>

   <bucket-name>

   您选择的存储桶名称。

   <custom-bucket-class>

   上一步中创建的 bucket 类的名称。

   在 Operator 置备 OBC 后，会在 MCG 中创建存储桶，Operator 会创建一个具有相同名称的 Secret 和 ConfigMap，并在与 OBC 相同的命名空间中创建 Secret 和 ConfigMap。

流程

1. 在 MCG 命令行界面中，创建一个 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   $ noobaa namespacestore create ibm-cos <namespacestore> --endpoint <IBM COS ENDPOINT> --access-key <IBM ACCESS KEY> --secret-key <IBM SECRET ACCESS KEY> --target-bucket <bucket-name> -n openshift-storage

   <namespacestore>

   NamespaceStore 的名称。

   <IBM ACCESS KEY>, <IBM SECRET ACCESS KEY>, <IBM COS ENDPOINT>

   IBM 访问密钥 ID、secret 访问密钥和适当的区域端点，对应于现有 IBM 存储桶的位置。

   <bucket-name>

   现有 IBM 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

2. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 single ：

     $ noobaa bucketclass create namespace-bucketclass single <my-bucket-class> --resource <resource> -n openshift-storage

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 multi ：

     $ noobaa bucketclass create namespace-bucketclass multi <my-bucket-class> --write-resource <write-resource> --read-resources <read-resources> -n openshift-storage

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶的写入目标的单个 namespace-store。

     <read-resources>

     以逗号分隔的 NamespaceStore 列表，用于定义命名空间存储桶的读取目标。

3. 使用以前步骤中定义的 bucket 类的对象 Bucket Class(OBC)资源创建存储桶。

   $ noobaa obc create my-bucket-claim -n openshift-storage --app-namespace my-app --bucketclass <custom-bucket-class>

   <bucket-name>

   您选择的存储桶名称。

   <custom-bucket-class>

   上一步中创建的 bucket 类的名称。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Storage → Data Foundation。
3. 点 NamespaceStore 标签来创建在命名空间存储桶中使用的 NamespaceStore 资源。
4. 点 Create namespacestore。
5. 为 NamespaceStore 输入一个名称。
6. 选择 Filesystem 作为供应商。
7. 选择持久性卷声明。

8. 输入文件夹名称。

   如果文件夹名称已存在，则该文件夹会用于创建 NamespaceStore，如果不存在则创建新的文件夹。

9. 点 Create。
10. 验证 NamespaceStore 是否处于 Ready 状态。

流程

1. 使用 scc 显示应用程序命名空间：

   $ oc get ns <application_namespace> -o yaml | grep scc

   <application_namespace>

   指定应用程序命名空间的名称。

   例如：

   $ oc get ns testnamespace -o yaml | grep scc
   
   openshift.io/sa.scc.mcs: s0:c26,c5
   openshift.io/sa.scc.supplemental-groups: 1000660000/10000
   openshift.io/sa.scc.uid-range: 1000660000/10000

2. 进入应用程序命名空间：

   $ oc project <application_namespace>

   例如：

   $ oc project testnamespace

3. 确保 ReadWriteMany(RWX) PVC 挂载到您要使用 MCG NSFS 功能从 noobaa S3 端点使用的 pod 上：

   $ oc get pvc
   
   NAME                                               STATUS VOLUME
   CAPACITY ACCESS MODES STORAGECLASS              AGE
   cephfs-write-workload-generator-no-cache-pv-claim  Bound  pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
   10Gi     RWX          ocs-storagecluster-cephfs 12s

   $ oc get pod
   
   NAME                                                READY   STATUS              RESTARTS   AGE
   cephfs-write-workload-generator-no-cache-1-cv892    1/1     Running             0          11s

4. 检查 pod 中的持久性卷(PV)的挂载点。

   1. 从 pod 获取 PV 的卷名称：

      $ oc get pods <pod_name> -o jsonpath='{.spec.volumes[]}'

      <pod_name>

      指定 pod 的名称。

      例如：

      $ oc get pods cephfs-write-workload-generator-no-cache-1-cv892 -o jsonpath='{.spec.volumes[]}'
      
      {"name":"app-persistent-storage","persistentVolumeClaim":{"claimName":"cephfs-write-workload-generator-no-cache-pv-claim"}}

      在本例中，PVC 的卷名称为 cephfs-write-workload-generator-no-cache-pv-claim。

   2. 列出 pod 中的所有挂载，并检查您在上一步中标识的卷的挂载点：

      $ oc get pods <pod_name> -o jsonpath='{.spec.containers[].volumeMounts}'

      例如：

      $ oc get pods cephfs-write-workload-generator-no-cache-1-cv892 -o jsonpath='{.spec.containers[].volumeMounts}'
      
      [{"mountPath":"/mnt/pv","name":"app-persistent-storage"},{"mountPath":"/var/run/secrets/kubernetes.io/serviceaccount","name":"kube-api-access-8tnc5","readOnly":true}]

5. 确认 pod 中的 RWX PV 的挂载点：

   $ oc exec -it <pod_name> -- df <mount_path>

   <mount_path>

   指定您在上一步中标识的挂载点的路径。

   例如：

   $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- df /mnt/pv
   
   main
   Filesystem
   1K-blocks Used Available  Use%  Mounted on
   172.30.202.87:6789,172.30.120.254:6789,172.30.77.247:6789:/volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
   10485760  0    10485760   0%    /mnt/pv

6. 确保 UID 和 SELinux 标签与旧命名空间使用的标签相同：

   $ oc exec -it <pod_name> -- ls -latrZ <mount_path>

   例如：

   $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- ls -latrZ /mnt/pv/
   
   total 567
   drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5      2 May 25 06:35 .
   -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c26,c5 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
   drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5     30 May 25 06:35 ..

7. 获取您要从 openshift-storage 命名空间访问的旧应用程序 RWX PV 的信息：

   $ oc get pv | grep <pv_name>

   <pv_name>

   指定 PV 的名称。

   例如：

   $ oc get pv | grep pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
   
   pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a   10Gi       RWX            Delete           Bound    testnamespace/cephfs-write-workload-generator-no-cache-pv-claim   ocs-storagecluster-cephfs              47s

8. 确保来自 openshift-storage 命名空间中的 PVC 可以被访问，以便一个或多个 noobaa-endpoint pod 可以访问 PVC。

   1. 从 volumeAttributes 找到 subvolumePath 和 volumeHandle 的值。您可以从传统应用程序 PV 的 YAML 描述中获取这些值：

      $ oc get pv <pv_name> -o yaml

      例如：

      $ oc get pv pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a -o yaml
      
      apiVersion: v1
      kind: PersistentVolume
      metadata:
        annotations:
          pv.kubernetes.io/provisioned-by: openshift-storage.cephfs.csi.ceph.com
        creationTimestamp: "2022-05-25T06:27:49Z"
        finalizers:
        - kubernetes.io/pv-protection
        name: pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
        resourceVersion: "177458"
        uid: 683fa87b-5192-4ccf-af2f-68c6bcf8f500
      spec:
        accessModes:
        - ReadWriteMany
        capacity:
          storage: 10Gi
        claimRef:
          apiVersion: v1
          kind: PersistentVolumeClaim
          name: cephfs-write-workload-generator-no-cache-pv-claim
          namespace: testnamespace
          resourceVersion: "177453"
          uid: aa58fb91-c3d2-475b-bbee-68452a613e1a
        csi:
          controllerExpandSecretRef:
            name: rook-csi-cephfs-provisioner
            namespace: openshift-storage
          driver: openshift-storage.cephfs.csi.ceph.com
          nodeStageSecretRef:
            name: rook-csi-cephfs-node
            namespace: openshift-storage
          volumeAttributes:
            clusterID: openshift-storage
            fsName: ocs-storagecluster-cephfilesystem
            storage.kubernetes.io/csiProvisionerIdentity: 1653458225664-8081-openshift-storage.cephfs.csi.ceph.com
            subvolumeName: csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213
            subvolumePath: /volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
          volumeHandle: 0001-0011-openshift-storage-0000000000000001-cc416d9e-dbf3-11ec-b286-0a580a810213
        persistentVolumeReclaimPolicy: Delete
        storageClassName: ocs-storagecluster-cephfs
        volumeMode: Filesystem
      status:
        phase: Bound

   2. 使用您在上一步中确定的 subvolumePath 和 volumeHandle 值在 openshift-storage 命名空间中创建一个新的 PV 和 PVC 对象，指向与旧应用程序 PV 相同的 CephFS 卷：

      YAML 文件示例 ：

      $ cat << EOF >> pv-openshift-storage.yaml
      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: cephfs-pv-legacy-openshift-storage
      spec:
        storageClassName: ""
        accessModes:
        - ReadWriteMany
        capacity:
          storage: 10Gi     1
        csi:
          driver: openshift-storage.cephfs.csi.ceph.com
          nodeStageSecretRef:
            name: rook-csi-cephfs-node
            namespace: openshift-storage
          volumeAttributes:
          # Volume Attributes can be copied from the Source testnamespace PV
            "clusterID": "openshift-storage"
            "fsName": "ocs-storagecluster-cephfilesystem"
            "staticVolume": "true"
          # rootpath is the subvolumePath: you copied from the Source testnamespace PV
            "rootPath": /volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
          volumeHandle: 0001-0011-openshift-storage-0000000000000001-cc416d9e-dbf3-11ec-b286-0a580a810213-clone   2
        persistentVolumeReclaimPolicy: Retain
        volumeMode: Filesystem
      ---
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: cephfs-pvc-legacy
        namespace: openshift-storage
      spec:
        storageClassName: ""
        accessModes:
        - ReadWriteMany
        resources:
          requests:
            storage: 10Gi     3
        volumeMode: Filesystem
        # volumeName should be same as PV name
        volumeName: cephfs-pv-legacy-openshift-storage
      EOF

      1

      在 openshift-storage 命名空间中创建的 PV 的存储容量必须与原始 PV 相同。

      2

      您在 openshift-storage 中创建的目标 PV 的卷处理需要与原始应用程序 PV 不同，例如，在卷句柄末尾添加 -clone。

      3

      在 openshift-storage 命名空间中创建的 PVC 的存储容量必须与原始 PVC 相同。

   3. 使用上一步中指定的 YAML 文件，在 openshift-storage 命名空间中创建 PV 和 PVC：

      $ oc create -f <YAML_file>

      <YAML_file>

      指定 YAML 文件的名称。

      例如：

      $ oc create -f pv-openshift-storage.yaml
      
      persistentvolume/cephfs-pv-legacy-openshift-storage created
      persistentvolumeclaim/cephfs-pvc-legacy created

   4. 确保 PVC 在 openshift-storage 命名空间中可用：

      $ oc get pvc -n openshift-storage
      
      NAME                                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
      cephfs-pvc-legacy                     Bound    cephfs-pv-legacy-openshift-storage         10Gi       RWX                                          14s

   5. 进入 openshift-storage 项目：

      $ oc project openshift-storage
      
      Now using project "openshift-storage" on server "https://api.cluster-5f6ng.5f6ng.sandbox65.opentlc.com:6443".

   6. 创建 NSFS 命名空间存储：

      $ noobaa namespacestore create nsfs <nsfs_namespacestore> --pvc-name='<cephfs_pvc_name>' --fs-backend='CEPH_FS'

      <nsfs_namespacestore>

      指定 NSFS 命名空间存储的名称。

      <cephfs_pvc_name>

      在 openshift-storage 命名空间中指定 CephFS PVC 的名称。

      例如：

      $ noobaa namespacestore create nsfs legacy-namespace --pvc-name='cephfs-pvc-legacy' --fs-backend='CEPH_FS'

   7. 确保 noobaa-endpoint pod 重启，并在 NSFS 命名空间存储中成功挂载 PVC，例如 /nsfs/legacy-namespace 挂载点：

      $ oc exec -it <noobaa_endpoint_pod_name> -- df -h /nsfs/<nsfs_namespacestore>

      <noobaa_endpoint_pod_name>

      指定 noobaa-endpoint pod 的名称。

      例如：

      $ oc exec -it noobaa-endpoint-5875f467f5-546c6 -- df -h /nsfs/legacy-namespace
      
      Filesystem                                                                                                                                                Size  Used Avail Use% Mounted on
      172.30.202.87:6789,172.30.120.254:6789,172.30.77.247:6789:/volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c   10G     0   10G   0% /nsfs/legacy-namespace

   8. 创建一个 MCG 用户帐户：

      $ noobaa account create <user_account> --allow_bucket_create=true --new_buckets_path='/' --nsfs_only=true --nsfs_account_config=true --gid <gid_number> --uid <uid_number> --default_resource='legacy-namespace'

      <user_account>

      指定 MCG 用户帐户的名称。

      <gid_number>

      指定 GID 号。

      <uid_number>

      指定 UID 号。

      重要

      使用与传统应用的相同 UID 和 GID。您可以从前面的输出中找到它。

      例如：

      $ noobaa account create leguser --allow_bucket_create=true --new_buckets_path='/' --nsfs_only=true --nsfs_account_config=true --gid 0 --uid 1000660000 --default_resource='legacy-namespace'

   9. 创建一个 MCG 存储桶。

      1. 在传统应用 pod 的 CephFS PV 和 PVC 的 NSFS 共享中为 S3 创建一个专用文件夹：

         $ oc exec -it <pod_name> -- mkdir <mount_path>/nsfs

         例如：

         $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- mkdir /mnt/pv/nsfs

      2. 使用 nsfs/ 路径创建 MCG 存储桶：

         $ noobaa api bucket_api create_bucket '{
           "name": "<bucket_name>",
           "namespace":{
             "write_resource": { "resource": "<nsfs_namespacestore>", "path": "nsfs/" },
             "read_resources": [ { "resource": "<nsfs_namespacestore>", "path": "nsfs/" }]
           }
         }'

         例如：

         $ noobaa api bucket_api create_bucket '{
           "name": "legacy-bucket",
           "namespace":{
             "write_resource": { "resource": "legacy-namespace", "path": "nsfs/" },
             "read_resources": [ { "resource": "legacy-namespace", "path": "nsfs/" }]
           }
         }'

   10. 检查位于传统应用程序和 openshift-storage 命名空间中的 PVC 中的文件夹的 SELinux 标签：

       $ oc exec -it <noobaa_endpoint_pod_name> -n openshift-storage -- ls -ltraZ /nsfs/<nsfs_namespacstore>

       例如：

       $ oc exec -it noobaa-endpoint-5875f467f5-546c6 -n openshift-storage -- ls -ltraZ /nsfs/legacy-namespace
       
       total 567
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c0,c26      2 May 25 06:35 .
       -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c0,c26 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c0,c26     30 May 25 06:35 ..

       $ oc exec -it <pod_name> -- ls -latrZ <mount_path>

       例如：

       $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- ls -latrZ /mnt/pv/
       
       total 567
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5      2 May 25 06:35 .
       -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c26,c5 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5     30 May 25 06:35 ..

       在这些示例中，您可以看到 SELinux 标签不是不是导致权限被拒绝或访问问题的结果。

9. 确保传统应用程序和 openshift-storage pod 在文件中使用相同的 SELinux 标签。

   您可以使用以下方法之一进行此操作：

   • 第 4.4.3.1 节 “更改传统应用程序项目中的默认 SELinux 标签，使其与 openshift-storage 项目中的默认 SELinux 标签匹配”.
   • 第 4.4.3.2 节 “仅修改具有挂载传统应用程序 PVC 的 pod 的部署配置的 SELinux 标签”.

10. 删除 NSFS 命名空间存储：

    1. 删除 MCG 存储桶：

       $ noobaa bucket delete <bucket_name>

       例如：

       $ noobaa bucket delete legacy-bucket

    2. 删除 MCG 用户帐户：

       $ noobaa account delete <user_account>

       例如：

       $ noobaa account delete leguser

    3. 删除 NSFS 命名空间存储：

       $ noobaa namespacestore delete <nsfs_namespacestore>

       例如：

       $ noobaa namespacestore delete legacy-namespace

11. 删除 PV 和 PVC：

    重要

    在删除 PV 和 PVC 前，请确保 PV 配置了保留策略。

    $ oc delete pv <cephfs_pv_name>

    $ oc delete pvc <cephfs_pvc_name>

    <cephfs_pv_name>

    指定传统应用的 CephFS PV 名称。

    <cephfs_pvc_name>

    指定传统应用的 CephFS PVC 名称。

    例如：

    $ oc delete pv cephfs-pv-legacy-openshift-storage

    $ oc delete pvc cephfs-pvc-legacy

流程

1. 获取帐户名称。

   要列出帐户，请运行以下命令：

   $ noobaa account list

   输出示例：

   NAME           DEFAULT_RESOURCE               PHASE   AGE
   account-test   noobaa-default-backing-store   Ready   14m17s
   test2          noobaa-default-backing-store   Ready   3m12s

   或者，从终端运行 oc get noobaaaccount 命令：

   $ oc get noobaaaccount

   输出示例：

   NAME           PHASE   AGE
   account-test   Ready   15m
   test2          Ready   3m59s

2. 要重新生成 noobaa 帐户 S3 凭证，请运行以下命令：

   $ noobaa account regenerate <noobaa_account_name> [options]

   $ noobaa account regenerate
   FATA[0000] ❌ Missing expected arguments: <noobaa-account-name>
   
   Usage:
       noobaa account regenerate <noobaa-account-name> [flags] [options]
   
   Use "noobaa options" for a list of global command-line options (applies to all commands).

3. 运行 noobaa account regenerate 命令后，它会提示您一个警告，"This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials."，并要求确认：

   Example:

   $ noobaa account regenerate account-test

   输出示例：

   INFO[0000] You are about to regenerate an account's security credentials.
   INFO[0000] This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials.
   INFO[0000] are you sure? y/n

4. 批准后，它会重新生成凭证并最终打印它们：

   INFO[0015] ✅ Exists: Secret "noobaa-account-account-test"
   Connection info:
   AWS_ACCESS_KEY_ID      : ***
   AWS_SECRET_ACCESS_KEY  : ***

流程

1. 要获取 OBC 名称，请运行以下命令：

   $ noobaa obc list

   输出示例：

   NAMESPACE   NAME       BUCKET-NAME                                     STORAGE-CLASS       BUCKET-CLASS                  PHASE
   default     obc-test   obc-test-35800e50-8978-461f-b7e0-7793080e26ba   default.noobaa.io   noobaa-default-bucket-class   Bound

   或者，从终端运行 oc get obc 命令：

   $ oc get obc

   输出示例：

   NAME       STORAGE-CLASS       PHASE   AGE
   obc-test   default.noobaa.io   Bound   38s

2. 要重新生成 noobaa OBC S3 凭证，请运行以下命令：

   $ noobaa obc regenerate <bucket_claim_name> [options]

   $ noobaa obc regenerate
   FATA[0000] ❌ Missing expected arguments: <bucket-claim-name>
   
   Usage:
      noobaa obc regenerate <bucket-claim-name> [flags] [options]
   
   Use "noobaa options" for a list of global command-line options (applies to all commands).

3. 运行 noobaa obc regenerate 命令后，它将提示警告，"This will invalidate all connections between the S3 clients and noobaa which are connected using the current credentials."，并要求确认：

   Example:

   $ noobaa obc regenerate obc-test

   输出示例：

   INFO[0000] You are about to regenerate an OBC's security credentials.
   INFO[0000] This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials.
   INFO[0000] are you sure? y/n

4. 批准后，它会重新生成凭证并最终打印它们：

   INFO[0022] ✅ RPC: bucket.read_bucket() Response OK: took 95.4ms
   
   ObjectBucketClaim info:
     Phase                  : Bound
     ObjectBucketClaim      : kubectl get -n default objectbucketclaim obc-test
     ConfigMap              : kubectl get -n default configmap obc-test
     Secret                 : kubectl get -n default secret obc-test
     ObjectBucket           : kubectl get objectbucket obc-default-obc-test
     StorageClass           : kubectl get storageclass default.noobaa.io
     BucketClass            : kubectl get -n default bucketclass noobaa-default-bucket-class
   
   Connection info:
    BUCKET_HOST            : s3.default.svc
    BUCKET_NAME            : obc-test-35800e50-8978-461f-b7e0-7793080e26ba
       BUCKET_PORT            : 443
       AWS_ACCESS_KEY_ID      : ***
       AWS_SECRET_ACCESS_KEY  : ***
   
   Shell commands:
     AWS S3 Alias           : alias s3='AWS_ACCESS_KEY_ID=***
   AWS_SECRET_ACCESS_KEY=*** aws s3 --no-verify-ssl --endpoint-url ***'
   
   Bucket status:
     Name                   : obc-test-35800e50-8978-461f-b7e0-7793080e26ba
     Type                   : REGULAR
     Mode                   : OPTIMAL
     ResiliencyStatus       : OPTIMAL
     QuotaStatus            : QUOTA_NOT_SET
     Num Objects            : 0
     Data Size              : 0.000 B
     Data Size Reduced      : 0.000 B
     Data Space Avail       : 13.261 GB
     Num Objects Avail      : 9007199254740991

流程

1. 应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: BucketClass
   metadata:
     labels:
       app: <desired-app-label>
     name: <desired-bucketclass-name>
     namespace: <desired-namespace>
   spec:
     placementPolicy:
       tiers:
       - backingstores:
         - <backingstore>
         placement: Spread
     replicationPolicy: [{ "rule_id": "<rule id>", "destination_bucket": "first.bucket", "filter": {"prefix": "<object name prefix>"}}]

   此 YAML 是一个创建放置存储桶类的示例。每个上传到存储桶的对象存储桶声明(OBC)对象根据前缀进行过滤，并将其复制到 first.bucket。

   <desired-app-label>

   为 app 指定一个标签。

   <desired-bucketclass-name>

   指定存储桶类名称。

   <desired-namespace>

   指定创建存储桶类的命名空间。

   <backingstore>

   指定后备存储的名称。可以传递多个后备储存。

   "rule_id"

   指定规则的 ID 号，如 '{"rule_id": "rule-1"}。

   "destination_bucket"

   指定目标存储桶的名称，例如 {"destination_bucket": "first.bucket"}。

   "prefix"

   是可选的。它是要复制的对象键的前缀，甚至可以留空，例如 {"prefix": ""}。

流程

1. 在 OpenShift Web 控制台中，进入到 Storage → Object Bucket Claims。
2. 点 Create new Object bucket claim。
3. 在 Replication policy 部分中，选中 Sync deletion 复选框。
4. 输入包含 Event log Bucket 下的日志的存储桶名称。
5. 在日志存储桶的 Prefix 下输入日志存储桶的位置的前缀。如果日志存储在存储桶的根目录中，您可以将 Prefix 留空。