管理混合和多云资源

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
     namespace: openshift-storage
   type: Opaque
   data:
     AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
     AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

   Copy to Clipboard

   <AWS ACCESS KEY> 和 <AWS SECRET ACCESS KEY>

   使用 Base64 提供并编码您自己的 AWS 访问密钥 ID 和 secret 访问密钥，并使用结果代替 <AWS ACCESS KEY ID ENCODED IN BASE64> 和 <AWS SECRET ACCESS KEY ENCODED IN BASE64>。

   <backingstore-secret-name>

   上一步中创建的后备存储 secret 的名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     awsS3:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <bucket-name>
     type: aws-s3

   Copy to Clipboard

   <bucket-name>

   现有 AWS 存储桶名称。

   <backingstore-secret-name>

   上一步中创建的后备存储 secret 的名称。

1. 在 MCG 命令行界面中运行以下命令：

   noobaa backingstore create ibm-cos <backingstore_name> --access-key=<IBM ACCESS KEY> --secret-key=<IBM SECRET ACCESS KEY> --endpoint=<IBM COS ENDPOINT> --target-bucket <bucket-name> -n openshift-storage

   Copy to Clipboard

   <backingstore_name>

   后备储存的名称。

   <IBM ACCESS KEY>, <IBM SECRET ACCESS KEY>, 和 <IBM COS ENDPOINT>

   IBM 访问密钥 ID、secret 访问密钥和适当的区域端点，对应于现有 IBM 存储桶的位置。

   要在 IBM 云中生成上述密钥，您必须在为您的目标存储桶创建服务凭证时包含 HMAC 凭证。

   <bucket-name>

   现有 IBM 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   输出结果类似如下：

   INFO[0001] ✅ Exists: NooBaa "noobaa"
   INFO[0002] ✅ Created: BackingStore "ibm-resource"
   INFO[0002] ✅ Created: Secret "backing-store-secret-ibm-resource"

   Copy to Clipboard

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
     namespace: openshift-storage
   type: Opaque
   data:
     IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
     IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   Copy to Clipboard

   <IBM COS ACCESS KEY ID ENCODED IN BASE64> 和 <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 IBM COS 访问密钥 ID 和 secret 访问密钥，并使用这些属性的结果来代替这些属性。

   <backingstore-secret-name>

   后备存储 secret 的名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     ibmCos:
       endpoint: <endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <bucket-name>
     type: ibm-cos

   Copy to Clipboard

   <bucket-name>

   现有的 IBM COS 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <endpoint>

   与现有 IBM 存储桶名称的位置对应的区域端点。此参数指示 MCG 关于用于其后备存储的端点，然后是数据存储和管理。

   <backingstore-secret-name>

   上一步中创建的 secret 的名称。

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     AccountName: <AZURE ACCOUNT NAME ENCODED IN BASE64>
     AccountKey: <AZURE ACCOUNT KEY ENCODED IN BASE64>

   Copy to Clipboard

   <AZURE ACCOUNT NAME ENCODED IN BASE64> 和 <AZURE ACCOUNT KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 Azure 帐户名称和帐户密钥，并分别使用这些属性代替这些属性。

   <backingstore-secret-name>

   唯一的后备存储 secret 名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     azureBlob:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBlobContainer: <blob-container-name>
     type: azure-blob

   Copy to Clipboard

   <blob-container-name>

   现有的 Azure blob 容器名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <backingstore-secret-name>

   使用上一步中创建的 secret 的名称。

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     GoogleServiceAccountPrivateKeyJson: <GCP PRIVATE KEY ENCODED IN BASE64>

   Copy to Clipboard

   <GCP PRIVATE KEY ENCODED IN BASE64>

   使用 Base64 提供并编码您自己的 GCP 服务帐户私钥，并将结果用于此属性。

   <backingstore-secret-name>

   后备存储 secret 的唯一名称。

2. 为特定的后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     googleCloudStorage:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <target bucket>
     type: google-cloud-storage

   Copy to Clipboard

   <target bucket>

   现有的 Google 存储桶。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

   <backingstore-secret-name>

   上一步中创建的 secret 的名称。

流程

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <namespacestore-secret-name>
     type: Opaque
   data:
     AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
     AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

   Copy to Clipboard

   其中 <namespacestore-secret-name> 是一个唯一的 NamespaceStore 名称。

   您必须使用 Base64 提供并编码您自己的 AWS 访问密钥 ID 和 secret 访问密钥，并使用其结果替换 <AWS ACCESS KEY ID ENCODED IN BASE64> 和 <AWS SECRET ACCESS KEY ENCODED IN BASE64>。

2. 使用 OpenShift 自定义资源定义(CRD)创建 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   要创建 NamespaceStore 资源，请应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: NamespaceStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <resource-name>
     namespace: openshift-storage
   spec:
     awsS3:
       secret:
         name: <namespacestore-secret-name>
         namespace: <namespace-secret>
       targetBucket: <target-bucket>
     type: aws-s3

   Copy to Clipboard

   <resource-name>

   您要提供给资源的名称。

   <namespacestore-secret-name>

   上一步中创建的 secret。

   <namespace-secret>

   包括 secret 的命名空间。

   <target-bucket>

   为 NamespaceStore 创建的目标存储桶。

3. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 一个类型为 single 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Single
         single:
           resource: <resource>

     Copy to Clipboard

     <my-bucket-class>

     唯一的命名空间存储桶类名称。

     <resource>

     定义命名空间存储桶的读写目标的单个 NamespaceStore 的名称。

   • 一个类型为 multi 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Multi
         multi:
           writeResource: <write-resource>
           readResources:
           - <read-resources>
           - <read-resources>

     Copy to Clipboard

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶 写入 目标的单个 NamespaceStore。

     <read-resources>

     定义命名空间存储桶的读取目标的 NamespaceStore 的名称列表。

4. 使用以下 YAML 使用上一步中定义的存储桶类(OBC)资源，创建存储桶：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <resource-name>
     namespace: openshift-storage
   spec:
     generateBucketName: <my-bucket>
     storageClassName: openshift-storage.noobaa.io
     additionalConfig:
       bucketclass: <my-bucket-class>

   Copy to Clipboard

   <resource-name>

   您要提供给资源的名称。

   <my-bucket>

   您要提供给存储桶的名称。

   <my-bucket-class>

   上一步中创建的 bucket 类。

流程

1. 使用凭证创建 secret：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <namespacestore-secret-name>
     type: Opaque
   data:
     IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
     IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   Copy to Clipboard

   <namespacestore-secret-name>

   唯一的 NamespaceStore 名称。

   您必须使用 Base64 提供和编码您自己的 IBM COS 访问密钥 ID 和 secret 访问密钥，并使用其结果替代 <IBM COS ACCESS KEY ID ENCODED IN BASE64> 和 <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>。

2. 使用 OpenShift 自定义资源定义(CRD)创建 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   要创建 NamespaceStore 资源，请应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: NamespaceStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     s3Compatible:
       endpoint: <IBM COS ENDPOINT>
       secret:
         name: <namespacestore-secret-name>
         namespace: <namespace-secret>
       signatureVersion: v2
       targetBucket: <target-bucket>
     type: ibm-cos

   Copy to Clipboard

   <IBM COS ENDPOINT>

   适当的 IBM COS 端点。

   <namespacestore-secret-name>

   上一步中创建的 secret。

   <namespace-secret>

   包括 secret 的命名空间。

   <target-bucket>

   为 NamespaceStore 创建的目标存储桶。

3. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 一个类型为 single 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Single
         single:
           resource: <resource>

     Copy to Clipboard

     <my-bucket-class>

     唯一的命名空间存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 类型为 multi 的命名空间策略需要以下配置：

     apiVersion: noobaa.io/v1alpha1
     kind: BucketClass
     metadata:
       labels:
         app: noobaa
       name: <my-bucket-class>
       namespace: openshift-storage
     spec:
       namespacePolicy:
         type: Multi
         multi:
           writeResource: <write-resource>
           readResources:
           - <read-resources>
           - <read-resources>

     Copy to Clipboard

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶写入目标的单个 NamespaceStore。

     <read-resources>

     NamespaceStores 名称列表，用于定义命名空间存储桶的读取目标。

4. 要使用上一步中定义的 bucket 类的 Object Bucket Class (OBC) 资源创建存储桶，请应用以下 YAML：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <resource-name>
     namespace: openshift-storage
   spec:
     generateBucketName: <my-bucket>
     storageClassName: openshift-storage.noobaa.io
     additionalConfig:
       bucketclass: <my-bucket-class>

   Copy to Clipboard

   <resource-name>

   您要提供给资源的名称。

   <my-bucket>

   您要提供给存储桶的名称。

   <my-bucket-class>

   上一步中创建的 bucket 类。

   在 Operator 置备 OBC 后，会在 MCG 中创建存储桶，Operator 会创建一个具有相同名称的 Secret 和 ConfigMap，并在与 OBC 相同的命名空间中创建 Secret 和 ConfigMap。

流程

1. 在 MCG 命令行界面中，创建一个 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   $ noobaa namespacestore create aws-s3 <namespacestore> --access-key <AWS ACCESS KEY> --secret-key <AWS SECRET ACCESS KEY> --target-bucket <bucket-name> -n openshift-storage

   Copy to Clipboard

   <namespacestore>

   NamespaceStore 的名称。

   <AWS ACCESS KEY> 和 <AWS SECRET ACCESS KEY>

   您创建的 AWS 访问密钥 ID 和 secret 访问密钥。

   <bucket-name>

   现有 AWS 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

2. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略可以是 single 或 multi。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 single ：

     $ noobaa bucketclass create namespace-bucketclass single <my-bucket-class> --resource <resource> -n openshift-storage

     Copy to Clipboard

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 multi ：

     $ noobaa bucketclass create namespace-bucketclass multi <my-bucket-class> --write-resource <write-resource> --read-resources <read-resources> -n openshift-storage

     Copy to Clipboard

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶的写入目标的单个 namespace-store。

     <read-resources>s

     命名空间存储列表，用逗号隔开，用于定义命名空间存储桶的读取目标。

3. 使用上一步中定义的 bucket 类的对象 Bucket Class(OBC)资源创建存储桶。

   $ noobaa obc create my-bucket-claim -n openshift-storage --app-namespace my-app --bucketclass <custom-bucket-class>

   Copy to Clipboard

   <bucket-name>

   您选择的存储桶名称。

   <custom-bucket-class>

   上一步中创建的 bucket 类的名称。

   在 Operator 置备 OBC 后，会在 MCG 中创建存储桶，Operator 会创建一个具有相同名称的 Secret 和 ConfigMap，并在与 OBC 相同的命名空间中创建 Secret 和 ConfigMap。

流程

1. 在 MCG 命令行界面中，创建一个 NamespaceStore 资源。

   NamespaceStore 代表底层存储，用作 MCG 命名空间存储桶中数据的读取或写入目标。

   $ noobaa namespacestore create ibm-cos <namespacestore> --endpoint <IBM COS ENDPOINT> --access-key <IBM ACCESS KEY> --secret-key <IBM SECRET ACCESS KEY> --target-bucket <bucket-name> -n openshift-storage

   Copy to Clipboard

   <namespacestore>

   NamespaceStore 的名称。

   <IBM ACCESS KEY>, <IBM SECRET ACCESS KEY>, <IBM COS ENDPOINT>

   IBM 访问密钥 ID、secret 访问密钥和适当的区域端点，对应于现有 IBM 存储桶的位置。

   <bucket-name>

   现有 IBM 存储桶名称。此参数告知 MCG 将哪一个存储桶用作其后备存储的目标存储桶，以及随后数据存储和管理。

2. 创建一个命名空间存储桶类，为命名空间存储桶定义命名空间策略。命名空间策略的类型需要是 single 或 multi。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 single ：

     $ noobaa bucketclass create namespace-bucketclass single <my-bucket-class> --resource <resource> -n openshift-storage

     Copy to Clipboard

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <resource>

     定义命名空间存储桶的读和写目标的单个 NamespaceStore 的名称。

   • 创建一个命名空间存储桶类，其命名空间策略类型为 multi ：

     $ noobaa bucketclass create namespace-bucketclass multi <my-bucket-class> --write-resource <write-resource> --read-resources <read-resources> -n openshift-storage

     Copy to Clipboard

     <resource-name>

     要为资源指定名称。

     <my-bucket-class>

     唯一的存储桶类名称。

     <write-resource>

     定义命名空间存储桶的写入目标的单个 namespace-store。

     <read-resources>

     以逗号分隔的 NamespaceStore 列表，用于定义命名空间存储桶的读取目标。

3. 使用以前步骤中定义的 bucket 类的对象 Bucket Class(OBC)资源创建存储桶。

   $ noobaa obc create my-bucket-claim -n openshift-storage --app-namespace my-app --bucketclass <custom-bucket-class>

   Copy to Clipboard

   <bucket-name>

   您选择的存储桶名称。

   <custom-bucket-class>

   上一步中创建的 bucket 类的名称。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Storage → Data Foundation。
3. 点 NamespaceStore 标签来创建在命名空间存储桶中使用的 NamespaceStore 资源。
4. 点 Create namespacestore。
5. 为 NamespaceStore 输入一个名称。
6. 选择 Filesystem 作为供应商。
7. 选择持久性卷声明。

8. 输入文件夹名称。

   如果文件夹名称已存在，则该文件夹会用于创建 NamespaceStore，如果不存在则创建新的文件夹。

9. 点 Create。
10. 验证 NamespaceStore 是否处于 Ready 状态。

流程

1. 使用 scc 显示应用程序命名空间：

   $ oc get ns <application_namespace> -o yaml | grep scc

   Copy to Clipboard

   <application_namespace>

   指定应用程序命名空间的名称。

   例如：

   $ oc get ns testnamespace -o yaml | grep scc
   
   openshift.io/sa.scc.mcs: s0:c26,c5
   openshift.io/sa.scc.supplemental-groups: 1000660000/10000
   openshift.io/sa.scc.uid-range: 1000660000/10000

   Copy to Clipboard

2. 进入应用程序命名空间：

   $ oc project <application_namespace>

   Copy to Clipboard

   例如：

   $ oc project testnamespace

   Copy to Clipboard

3. 确保 ReadWriteMany(RWX) PVC 挂载到您要使用 MCG NSFS 功能从 noobaa S3 端点使用的 pod 上：

   $ oc get pvc
   
   NAME                                               STATUS VOLUME
   CAPACITY ACCESS MODES STORAGECLASS              AGE
   cephfs-write-workload-generator-no-cache-pv-claim  Bound  pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
   10Gi     RWX          ocs-storagecluster-cephfs 12s

   Copy to Clipboard

   $ oc get pod
   
   NAME                                                READY   STATUS              RESTARTS   AGE
   cephfs-write-workload-generator-no-cache-1-cv892    1/1     Running             0          11s

   Copy to Clipboard

4. 检查 pod 中的持久性卷(PV)的挂载点。

   1. 从 pod 获取 PV 的卷名称：

      $ oc get pods <pod_name> -o jsonpath='{.spec.volumes[]}'

      Copy to Clipboard

      <pod_name>

      指定 pod 的名称。

      例如：

      $ oc get pods cephfs-write-workload-generator-no-cache-1-cv892 -o jsonpath='{.spec.volumes[]}'
      
      {"name":"app-persistent-storage","persistentVolumeClaim":{"claimName":"cephfs-write-workload-generator-no-cache-pv-claim"}}

      Copy to Clipboard

      在本例中，PVC 的卷名称为 cephfs-write-workload-generator-no-cache-pv-claim。

   2. 列出 pod 中的所有挂载，并检查您在上一步中标识的卷的挂载点：

      $ oc get pods <pod_name> -o jsonpath='{.spec.containers[].volumeMounts}'

      Copy to Clipboard

      例如：

      $ oc get pods cephfs-write-workload-generator-no-cache-1-cv892 -o jsonpath='{.spec.containers[].volumeMounts}'
      
      [{"mountPath":"/mnt/pv","name":"app-persistent-storage"},{"mountPath":"/var/run/secrets/kubernetes.io/serviceaccount","name":"kube-api-access-8tnc5","readOnly":true}]

      Copy to Clipboard

5. 确认 pod 中的 RWX PV 的挂载点：

   $ oc exec -it <pod_name> -- df <mount_path>

   Copy to Clipboard

   <mount_path>

   指定您在上一步中标识的挂载点的路径。

   例如：

   $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- df /mnt/pv
   
   main
   Filesystem
   1K-blocks Used Available  Use%  Mounted on
   172.30.202.87:6789,172.30.120.254:6789,172.30.77.247:6789:/volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
   10485760  0    10485760   0%    /mnt/pv

   Copy to Clipboard

6. 确保 UID 和 SELinux 标签与旧命名空间使用的标签相同：

   $ oc exec -it <pod_name> -- ls -latrZ <mount_path>

   Copy to Clipboard

   例如：

   $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- ls -latrZ /mnt/pv/
   
   total 567
   drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5      2 May 25 06:35 .
   -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c26,c5 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
   drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5     30 May 25 06:35 ..

   Copy to Clipboard

7. 获取您要从 openshift-storage 命名空间访问的旧应用程序 RWX PV 的信息：

   $ oc get pv | grep <pv_name>

   Copy to Clipboard

   <pv_name>

   指定 PV 的名称。

   例如：

   $ oc get pv | grep pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
   
   pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a   10Gi       RWX            Delete           Bound    testnamespace/cephfs-write-workload-generator-no-cache-pv-claim   ocs-storagecluster-cephfs              47s

   Copy to Clipboard

8. 确保来自 openshift-storage 命名空间中的 PVC 可以被访问，以便一个或多个 noobaa-endpoint pod 可以访问 PVC。

   1. 从 volumeAttributes 找到 subvolumePath 和 volumeHandle 的值。您可以从传统应用程序 PV 的 YAML 描述中获取这些值：

      $ oc get pv <pv_name> -o yaml

      Copy to Clipboard

      例如：

      $ oc get pv pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a -o yaml
      
      apiVersion: v1
      kind: PersistentVolume
      metadata:
        annotations:
          pv.kubernetes.io/provisioned-by: openshift-storage.cephfs.csi.ceph.com
        creationTimestamp: "2022-05-25T06:27:49Z"
        finalizers:
        - kubernetes.io/pv-protection
        name: pvc-aa58fb91-c3d2-475b-bbee-68452a613e1a
        resourceVersion: "177458"
        uid: 683fa87b-5192-4ccf-af2f-68c6bcf8f500
      spec:
        accessModes:
        - ReadWriteMany
        capacity:
          storage: 10Gi
        claimRef:
          apiVersion: v1
          kind: PersistentVolumeClaim
          name: cephfs-write-workload-generator-no-cache-pv-claim
          namespace: testnamespace
          resourceVersion: "177453"
          uid: aa58fb91-c3d2-475b-bbee-68452a613e1a
        csi:
          controllerExpandSecretRef:
            name: rook-csi-cephfs-provisioner
            namespace: openshift-storage
          driver: openshift-storage.cephfs.csi.ceph.com
          nodeStageSecretRef:
            name: rook-csi-cephfs-node
            namespace: openshift-storage
          volumeAttributes:
            clusterID: openshift-storage
            fsName: ocs-storagecluster-cephfilesystem
            storage.kubernetes.io/csiProvisionerIdentity: 1653458225664-8081-openshift-storage.cephfs.csi.ceph.com
            subvolumeName: csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213
            subvolumePath: /volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
          volumeHandle: 0001-0011-openshift-storage-0000000000000001-cc416d9e-dbf3-11ec-b286-0a580a810213
        persistentVolumeReclaimPolicy: Delete
        storageClassName: ocs-storagecluster-cephfs
        volumeMode: Filesystem
      status:
        phase: Bound

      Copy to Clipboard

   2. 使用您在上一步中确定的 subvolumePath 和 volumeHandle 值在 openshift-storage 命名空间中创建一个新的 PV 和 PVC 对象，指向与旧应用程序 PV 相同的 CephFS 卷：

      YAML 文件示例 ：

      $ cat << EOF >> pv-openshift-storage.yaml
      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: cephfs-pv-legacy-openshift-storage
      spec:
        storageClassName: ""
        accessModes:
        - ReadWriteMany
        capacity:
          storage: 10Gi     

      1

      
        csi:
          driver: openshift-storage.cephfs.csi.ceph.com
          nodeStageSecretRef:
            name: rook-csi-cephfs-node
            namespace: openshift-storage
          volumeAttributes:
          # Volume Attributes can be copied from the Source testnamespace PV
            "clusterID": "openshift-storage"
            "fsName": "ocs-storagecluster-cephfilesystem"
            "staticVolume": "true"
          # rootpath is the subvolumePath: you copied from the Source testnamespace PV
            "rootPath": /volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c
          volumeHandle: 0001-0011-openshift-storage-0000000000000001-cc416d9e-dbf3-11ec-b286-0a580a810213-clone   

      2

      
        persistentVolumeReclaimPolicy: Retain
        volumeMode: Filesystem
      ---
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: cephfs-pvc-legacy
        namespace: openshift-storage
      spec:
        storageClassName: ""
        accessModes:
        - ReadWriteMany
        resources:
          requests:
            storage: 10Gi     

      3

      
        volumeMode: Filesystem
        # volumeName should be same as PV name
        volumeName: cephfs-pv-legacy-openshift-storage
      EOF

      Copy to Clipboard

      1

      在 openshift-storage 命名空间中创建的 PV 的存储容量必须与原始 PV 相同。

      2

      您在 openshift-storage 中创建的目标 PV 的卷处理需要与原始应用程序 PV 不同，例如，在卷句柄末尾添加 -clone。

      3

      在 openshift-storage 命名空间中创建的 PVC 的存储容量必须与原始 PVC 相同。

   3. 使用上一步中指定的 YAML 文件，在 openshift-storage 命名空间中创建 PV 和 PVC：

      $ oc create -f <YAML_file>

      Copy to Clipboard

      <YAML_file>

      指定 YAML 文件的名称。

      例如：

      $ oc create -f pv-openshift-storage.yaml
      
      persistentvolume/cephfs-pv-legacy-openshift-storage created
      persistentvolumeclaim/cephfs-pvc-legacy created

      Copy to Clipboard

   4. 确保 PVC 在 openshift-storage 命名空间中可用：

      $ oc get pvc -n openshift-storage
      
      NAME                                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
      cephfs-pvc-legacy                     Bound    cephfs-pv-legacy-openshift-storage         10Gi       RWX                                          14s

      Copy to Clipboard

   5. 进入 openshift-storage 项目：

      $ oc project openshift-storage
      
      Now using project "openshift-storage" on server "https://api.cluster-5f6ng.5f6ng.sandbox65.opentlc.com:6443".

      Copy to Clipboard

   6. 创建 NSFS 命名空间存储：

      $ noobaa namespacestore create nsfs <nsfs_namespacestore> --pvc-name='<cephfs_pvc_name>' --fs-backend='CEPH_FS'

      Copy to Clipboard

      <nsfs_namespacestore>

      指定 NSFS 命名空间存储的名称。

      <cephfs_pvc_name>

      在 openshift-storage 命名空间中指定 CephFS PVC 的名称。

      例如：

      $ noobaa namespacestore create nsfs legacy-namespace --pvc-name='cephfs-pvc-legacy' --fs-backend='CEPH_FS'

      Copy to Clipboard

   7. 确保 noobaa-endpoint pod 重启，并在 NSFS 命名空间存储中成功挂载 PVC，例如 /nsfs/legacy-namespace 挂载点：

      $ oc exec -it <noobaa_endpoint_pod_name> -- df -h /nsfs/<nsfs_namespacestore>

      Copy to Clipboard

      <noobaa_endpoint_pod_name>

      指定 noobaa-endpoint pod 的名称。

      例如：

      $ oc exec -it noobaa-endpoint-5875f467f5-546c6 -- df -h /nsfs/legacy-namespace
      
      Filesystem                                                                                                                                                Size  Used Avail Use% Mounted on
      172.30.202.87:6789,172.30.120.254:6789,172.30.77.247:6789:/volumes/csi/csi-vol-cc416d9e-dbf3-11ec-b286-0a580a810213/edcfe4d5-bdcb-4b8e-8824-8a03ad94d67c   10G     0   10G   0% /nsfs/legacy-namespace

      Copy to Clipboard

   8. 创建一个 MCG 用户帐户：

      $ noobaa account create <user_account> --allow_bucket_create=true --new_buckets_path='/' --nsfs_only=true --nsfs_account_config=true --gid <gid_number> --uid <uid_number> --default_resource='legacy-namespace'

      Copy to Clipboard

      <user_account>

      指定 MCG 用户帐户的名称。

      <gid_number>

      指定 GID 号。

      <uid_number>

      指定 UID 号。

      重要

      使用与传统应用的相同 UID 和 GID。您可以从前面的输出中找到它。

      例如：

      $ noobaa account create leguser --allow_bucket_create=true --new_buckets_path='/' --nsfs_only=true --nsfs_account_config=true --gid 0 --uid 1000660000 --default_resource='legacy-namespace'

      Copy to Clipboard

   9. 创建一个 MCG 存储桶。

      1. 在传统应用 pod 的 CephFS PV 和 PVC 的 NSFS 共享中为 S3 创建一个专用文件夹：

         $ oc exec -it <pod_name> -- mkdir <mount_path>/nsfs

         Copy to Clipboard

         例如：

         $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- mkdir /mnt/pv/nsfs

         Copy to Clipboard

      2. 使用 nsfs/ 路径创建 MCG 存储桶：

         $ noobaa api bucket_api create_bucket '{
           "name": "<bucket_name>",
           "namespace":{
             "write_resource": { "resource": "<nsfs_namespacestore>", "path": "nsfs/" },
             "read_resources": [ { "resource": "<nsfs_namespacestore>", "path": "nsfs/" }]
           }
         }'

         Copy to Clipboard

         例如：

         $ noobaa api bucket_api create_bucket '{
           "name": "legacy-bucket",
           "namespace":{
             "write_resource": { "resource": "legacy-namespace", "path": "nsfs/" },
             "read_resources": [ { "resource": "legacy-namespace", "path": "nsfs/" }]
           }
         }'

         Copy to Clipboard

   10. 检查位于传统应用程序和 openshift-storage 命名空间中的 PVC 中的文件夹的 SELinux 标签：

       $ oc exec -it <noobaa_endpoint_pod_name> -n openshift-storage -- ls -ltraZ /nsfs/<nsfs_namespacstore>

       Copy to Clipboard

       例如：

       $ oc exec -it noobaa-endpoint-5875f467f5-546c6 -n openshift-storage -- ls -ltraZ /nsfs/legacy-namespace
       
       total 567
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c0,c26      2 May 25 06:35 .
       -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c0,c26 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c0,c26     30 May 25 06:35 ..

       Copy to Clipboard

       $ oc exec -it <pod_name> -- ls -latrZ <mount_path>

       Copy to Clipboard

       例如：

       $ oc exec -it cephfs-write-workload-generator-no-cache-1-cv892 -- ls -latrZ /mnt/pv/
       
       total 567
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5      2 May 25 06:35 .
       -rw-r--r--. 1 1000660000 root system_u:object_r:container_file_t:s0:c26,c5 580138 May 25 06:35 fs_write_cephfs-write-workload-generator-no-cache-1-cv892-data.log
       drwxrwxrwx. 3 root       root system_u:object_r:container_file_t:s0:c26,c5     30 May 25 06:35 ..

       Copy to Clipboard

       在这些示例中，您可以看到 SELinux 标签不是不是导致权限被拒绝或访问问题的结果。

9. 确保传统应用程序和 openshift-storage pod 在文件中使用相同的 SELinux 标签。

   您可以使用以下方法之一进行此操作：

   • 第 4.4.3.1 节 “更改传统应用程序项目中的默认 SELinux 标签，使其与 openshift-storage 项目中的默认 SELinux 标签匹配”.
   • 第 4.4.3.2 节 “仅修改具有挂载传统应用程序 PVC 的 pod 的部署配置的 SELinux 标签”.

10. 删除 NSFS 命名空间存储：

    1. 删除 MCG 存储桶：

       $ noobaa bucket delete <bucket_name>

       Copy to Clipboard

       例如：

       $ noobaa bucket delete legacy-bucket

       Copy to Clipboard

    2. 删除 MCG 用户帐户：

       $ noobaa account delete <user_account>

       Copy to Clipboard

       例如：

       $ noobaa account delete leguser

       Copy to Clipboard

    3. 删除 NSFS 命名空间存储：

       $ noobaa namespacestore delete <nsfs_namespacestore>

       Copy to Clipboard

       例如：

       $ noobaa namespacestore delete legacy-namespace

       Copy to Clipboard

11. 删除 PV 和 PVC：

    重要

    在删除 PV 和 PVC 前，请确保 PV 配置了保留策略。

    $ oc delete pv <cephfs_pv_name>

    Copy to Clipboard

    $ oc delete pvc <cephfs_pvc_name>

    Copy to Clipboard

    <cephfs_pv_name>

    指定传统应用的 CephFS PV 名称。

    <cephfs_pvc_name>

    指定传统应用的 CephFS PVC 名称。

    例如：

    $ oc delete pv cephfs-pv-legacy-openshift-storage

    Copy to Clipboard

    $ oc delete pvc cephfs-pvc-legacy

    Copy to Clipboard

流程

1. 获取帐户名称。

   要列出帐户，请运行以下命令：

   $ noobaa account list

   Copy to Clipboard

   输出示例：

   NAME           DEFAULT_RESOURCE               PHASE   AGE
   account-test   noobaa-default-backing-store   Ready   14m17s
   test2          noobaa-default-backing-store   Ready   3m12s

   Copy to Clipboard

   或者，从终端运行 oc get noobaaaccount 命令：

   $ oc get noobaaaccount

   Copy to Clipboard

   输出示例：

   NAME           PHASE   AGE
   account-test   Ready   15m
   test2          Ready   3m59s

   Copy to Clipboard

2. 要重新生成 noobaa 帐户 S3 凭证，请运行以下命令：

   $ noobaa account regenerate <noobaa_account_name> [options]

   Copy to Clipboard

   $ noobaa account regenerate
   FATA[0000] ❌ Missing expected arguments: <noobaa-account-name>
   
   Usage:
       noobaa account regenerate <noobaa-account-name> [flags] [options]
   
   Use "noobaa options" for a list of global command-line options (applies to all commands).

   Copy to Clipboard

3. 运行 noobaa account regenerate 命令后，它会提示您一个警告，"This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials."，并要求确认：

   Example:

   $ noobaa account regenerate account-test

   Copy to Clipboard

   输出示例：

   INFO[0000] You are about to regenerate an account's security credentials.
   INFO[0000] This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials.
   INFO[0000] are you sure? y/n

   Copy to Clipboard

4. 批准后，它会重新生成凭证并最终打印它们：

   INFO[0015] ✅ Exists: Secret "noobaa-account-account-test"
   Connection info:
   AWS_ACCESS_KEY_ID      : ***
   AWS_SECRET_ACCESS_KEY  : ***

   Copy to Clipboard

流程

1. 要获取 OBC 名称，请运行以下命令：

   $ noobaa obc list

   Copy to Clipboard

   输出示例：

   NAMESPACE   NAME       BUCKET-NAME                                     STORAGE-CLASS       BUCKET-CLASS                  PHASE
   default     obc-test   obc-test-35800e50-8978-461f-b7e0-7793080e26ba   default.noobaa.io   noobaa-default-bucket-class   Bound

   Copy to Clipboard

   或者，从终端运行 oc get obc 命令：

   $ oc get obc

   Copy to Clipboard

   输出示例：

   NAME       STORAGE-CLASS       PHASE   AGE
   obc-test   default.noobaa.io   Bound   38s

   Copy to Clipboard

2. 要重新生成 noobaa OBC S3 凭证，请运行以下命令：

   $ noobaa obc regenerate <bucket_claim_name> [options]

   Copy to Clipboard

   $ noobaa obc regenerate
   FATA[0000] ❌ Missing expected arguments: <bucket-claim-name>
   
   Usage:
      noobaa obc regenerate <bucket-claim-name> [flags] [options]
   
   Use "noobaa options" for a list of global command-line options (applies to all commands).

   Copy to Clipboard

3. 运行 noobaa obc regenerate 命令后，它将提示警告，"This will invalidate all connections between the S3 clients and noobaa which are connected using the current credentials."，并要求确认：

   Example:

   $ noobaa obc regenerate obc-test

   Copy to Clipboard

   输出示例：

   INFO[0000] You are about to regenerate an OBC's security credentials.
   INFO[0000] This will invalidate all connections between S3 clients and NooBaa which are connected using the current credentials.
   INFO[0000] are you sure? y/n

   Copy to Clipboard

4. 批准后，它会重新生成凭证并最终打印它们：

   INFO[0022] ✅ RPC: bucket.read_bucket() Response OK: took 95.4ms
   
   ObjectBucketClaim info:
     Phase                  : Bound
     ObjectBucketClaim      : kubectl get -n default objectbucketclaim obc-test
     ConfigMap              : kubectl get -n default configmap obc-test
     Secret                 : kubectl get -n default secret obc-test
     ObjectBucket           : kubectl get objectbucket obc-default-obc-test
     StorageClass           : kubectl get storageclass default.noobaa.io
     BucketClass            : kubectl get -n default bucketclass noobaa-default-bucket-class
   
   Connection info:
    BUCKET_HOST            : s3.default.svc
    BUCKET_NAME            : obc-test-35800e50-8978-461f-b7e0-7793080e26ba
       BUCKET_PORT            : 443
       AWS_ACCESS_KEY_ID      : ***
       AWS_SECRET_ACCESS_KEY  : ***
   
   Shell commands:
     AWS S3 Alias           : alias s3='AWS_ACCESS_KEY_ID=***
   AWS_SECRET_ACCESS_KEY=*** aws s3 --no-verify-ssl --endpoint-url ***'
   
   Bucket status:
     Name                   : obc-test-35800e50-8978-461f-b7e0-7793080e26ba
     Type                   : REGULAR
     Mode                   : OPTIMAL
     ResiliencyStatus       : OPTIMAL
     QuotaStatus            : QUOTA_NOT_SET
     Num Objects            : 0
     Data Size              : 0.000 B
     Data Size Reduced      : 0.000 B
     Data Space Avail       : 13.261 GB
     Num Objects Avail      : 9007199254740991

   Copy to Clipboard

流程

1. 应用以下 YAML：

   apiVersion: noobaa.io/v1alpha1
   kind: BucketClass
   metadata:
     labels:
       app: <desired-app-label>
     name: <desired-bucketclass-name>
     namespace: <desired-namespace>
   spec:
     placementPolicy:
       tiers:
       - backingstores:
         - <backingstore>
         placement: Spread
     replicationPolicy: [{ "rule_id": "<rule id>", "destination_bucket": "first.bucket", "filter": {"prefix": "<object name prefix>"}}]

   Copy to Clipboard

   此 YAML 是一个创建放置存储桶类的示例。每个上传到存储桶的对象存储桶声明(OBC)对象根据前缀进行过滤，并将其复制到 first.bucket。

   <desired-app-label>

   为 app 指定一个标签。

   <desired-bucketclass-name>

   指定存储桶类名称。

   <desired-namespace>

   指定创建存储桶类的命名空间。

   <backingstore>

   指定后备存储的名称。可以传递多个后备储存。

   "rule_id"

   指定规则的 ID 号，如 '{"rule_id": "rule-1"}。

   "destination_bucket"

   指定目标存储桶的名称，例如 {"destination_bucket": "first.bucket"}。

   "prefix"

   是可选的。它是要复制的对象键的前缀，甚至可以留空，例如 {"prefix": ""}。

流程

1. 在 OpenShift Web 控制台中，进入到 Storage → Object Bucket Claims。
2. 点 Create new Object bucket claim。
3. 在 Replication policy 部分中，选中 Sync deletion 复选框。
4. 输入包含 Event log Bucket 下的日志的存储桶名称。
5. 在日志存储桶的 Prefix 下输入日志存储桶的位置的前缀。如果日志存储在存储桶的根目录中，您可以将 Prefix 留空。