第 3 章 创建持久性卷

1. 要指定您要创建的端点，请使用基于环境创建的端点更新复制的 sample-gluster-endpoints.yaml 文件。每个红帽 Gluster 存储受信存储池都需要自己的端点，其具有受信存储池中节点的 IP。

   # cat sample-gluster-endpoints.yaml
   apiVersion: v1
   kind: Endpoints
   metadata:
     name: glusterfs-cluster
   subsets:
     - addresses:
         - ip: 192.168.10.100
       ports:
         - port: 1
     - addresses:
         - ip: 192.168.10.101
       ports:
         - port: 1
     - addresses:
         - ip: 192.168.10.102
       ports:
   - port: 1

   名称

   端点的名称。

   ip

   Red Hat Gluster Storage 节点的 IP 地址。

2. 执行以下命令来创建端点：

   # oc create -f <name_of_endpoint_file>

   例如：

   # oc create -f sample-gluster-endpoints.yaml
   endpoints "glusterfs-cluster" created

3. 要验证端点是否已创建，请执行以下命令：

   # oc get endpoints

   例如：

   # oc get endpoints
   NAME                       ENDPOINTS                                                     AGE
   storage-project-router     192.168.121.233:80,192.168.121.233:443,192.168.121.233:1936   2d
   glusterfs-cluster          192.168.121.168:1,192.168.121.172:1,192.168.121.233:1         3s
   heketi                     10.1.1.3:8080                                                 2m
   heketi-storage-endpoints   192.168.121.168:1,192.168.121.172:1,192.168.121.233:1         3m

4. 执行以下命令创建 gluster 服务：

   # oc create -f <name_of_service_file>

   例如：

   # cat sample-gluster-service.yaml
   apiVersion: v1
   kind: Service
   metadata:
     name: glusterfs-cluster
   spec:
     ports:
   - port: 1

   # oc create -f sample-gluster-service.yaml
   service "glusterfs-cluster" created

5. 要验证该服务是否已创建，请执行以下命令：

   # oc get service

   例如：

   # oc get service
   NAME                       CLUSTER-IP      EXTERNAL-IP   PORT(S)                   AGE
   storage-project-router     172.30.94.109   <none>        80/TCP,443/TCP,1936/TCP   2d
   glusterfs-cluster          172.30.212.6    <none>        1/TCP                     5s
   heketi                     172.30.175.7    <none>        8080/TCP                  2m
   heketi-storage-endpoints   172.30.18.24    <none>        1/TCP                     3m

   注意

   必须为每个需要持久存储的项目创建端点和服务。

6. 从 GlusterFS 创建一个带有 Replica 3 的 100G 持久性卷，并将描述此卷的持久卷规格输出到文件 pv001.json：

   $ heketi-cli volume create --size=100 --persistent-volume-file=pv001.json

   cat pv001.json
   {
     "kind": "PersistentVolume",
     "apiVersion": "v1",
     "metadata": {
       "name": "glusterfs-f8c612ee",
       "creationTimestamp": null
     },
     "spec": {
       "capacity": {
         "storage": "100Gi"
       },
       "glusterfs": {
         "endpoints": "TYPE ENDPOINT HERE",
         "path": "vol_f8c612eea57556197511f6b8c54b6070"
       },
       "accessModes": [
         "ReadWriteMany"
       ],
       "persistentVolumeReclaimPolicy": "Retain"
     },
     "status": {}

   重要

   您必须手动将 Labels 信息添加到 .json 文件中。

   以下是供参考的示例 YAML 文件：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-storage-project-glusterfs1
     labels:
       storage-tier: gold
   spec:
     capacity:
       storage: 12Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     glusterfs:
       endpoints: TYPE END POINTS NAME HERE,
   path: vol_e6b77204ff54c779c042f570a71b1407

   名称

   卷的名称。

   storage

   分配给这个卷的存储量

   glusterfs

   使用的卷类型，在本例中是 glusterfs 插件

   端点

   定义创建受信存储池的端点名称

   路径

   从受信存储池访问的红帽 Gluster 存储卷。

   accessModes

   accessModes 用作与 PV 和 PVC 匹配的标签。它们目前不定义任何形式的访问控制。

   labels

   使用标签来标识卷之间共享的常见属性或特征。在本例中，我们定义了 gluster 卷，使其具有名为 storage-tier 的自定义属性(key)，值设为 gold。个声明将能够选择一个带有 storage-tier=gold 的 PV，以匹配此 PV。

   注意
   • heketi-cli 也接受命令行中的端点名称(--persistent-volume-endpoint="TYPE ENDPOINT HERE")。然后，这可以被传送到 oc create -f - 以立即创建持久性卷。
   • 如果环境中有多个 Red Hat Gluster Storage 受信存储池，您可以检查使用 heketi-cli 卷列表 命令创建卷的受信存储池。此命令列出集群名称。然后，您可以相应地更新 pv001.json 文件中的端点信息。
   • 在创建具有副本计数的双节点设置为三个(replica 3)的 Heketi 卷时，Heketi 会显示一个错误"No space"，因为没有空格在三个不同的节点上创建包含三个磁盘集。
   • 如果所有 heketi-cli 写操作(ex: volume create, cluster create.etc)失败，且读取操作（例如：拓扑信息，卷 info .etc）可以成功，则 gluster 卷以只读模式运行。

7. 编辑 pv001.json 文件，然后在端点部分输入端点名称：

   cat pv001.json
   {
     "kind": "PersistentVolume",
     "apiVersion": "v1",
     "metadata": {
       "name": "glusterfs-f8c612ee",
       "creationTimestamp": null,
       "labels": {
         "storage-tier": "gold"
       }
     },
     "spec": {
       "capacity": {
         "storage": "12Gi"
       },
       "glusterfs": {
         "endpoints": "glusterfs-cluster",
         "path": "vol_f8c612eea57556197511f6b8c54b6070"
       },
       "accessModes": [
         "ReadWriteMany"
       ],
       "persistentVolumeReclaimPolicy": "Retain"
     },
     "status": {}
   }

8. 运行以下命令来创建持久性卷：

   # oc create -f pv001.json

   例如：

   # oc create -f pv001.json
   persistentvolume "glusterfs-4fc22ff9" created

9. 要验证持久性卷是否已创建，请执行以下命令：

   # oc get pv

   例如：

   # oc get pv
   
   NAME                 CAPACITY   ACCESSMODES   STATUS      CLAIM     REASON    AGE
   glusterfs-4fc22ff9   100Gi      RWX           Available                       4s

10. 创建持久性卷声明文件。例如：

    # cat pvc.yaml
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: glusterfs-claim
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 100Gi
        selector:
          matchLabels:
    storage-tier: gold

11. 执行以下命令将持久性卷绑定到持久性卷声明：

    # oc create -f pvc.yaml

    例如：

    # oc create -f pvc.yaml
    persistentvolumeclaim"glusterfs-claim" created

12. 要验证持久性卷和持久性卷声明是否已绑定，请执行以下命令：

    # oc get pv
    # oc get pvc

    例如：

    # oc get pv
    
    NAME                 CAPACITY   ACCESSMODES   STATUS    CLAIM                  REASON    AGE
    glusterfs-4fc22ff9   100Gi      RWX           Bound     storage-project/glusterfs-claim             1m

    # oc get pvc
    
    NAME              STATUS    VOLUME               CAPACITY   ACCESSMODES   AGE
    glusterfs-claim   Bound     glusterfs-4fc22ff9   100Gi      RWX           11s

13. 现在可在应用程序中使用声明。例如：

    # cat app.yaml
    
    apiVersion: v1
    kind: Pod
    metadata:
      name: busybox
    spec:
      containers:
        - image: busybox
          command:
            - sleep
            - "3600"
          name: busybox
          volumeMounts:
            - mountPath: /usr/share/busybox
              name: mypvc
      volumes:
        - name: mypvc
          persistentVolumeClaim:
    claimName: glusterfs-claim

    # oc create -f app.yaml
    pod "busybox" created

    有关在应用中使用 glusterfs 声明的更多信息，请参阅 https://access.redhat.com/documentation/en-us/openshift_container_platform/3.11/html-single/configuring_clusters/#install-config-storage-examples-gluster-example。

14. 要验证 pod 是否已创建，请执行以下命令：

    # oc get pods -n <storage_project_name>

    例如：

    # oc get pods -n storage-project
    
    NAME                               READY     STATUS    RESTARTS   AGE
    block-test-router-1-deploy         0/1       Running     0          4h
    busybox                            1/1       Running   0          43s
    glusterblock-provisioner-1-bjpz4   1/1       Running   0          4h
    glusterfs-7l5xf                    1/1       Running   0          4h
    glusterfs-hhxtk                    1/1       Running   3          4h
    glusterfs-m4rbc                    1/1       Running   0          4h
    heketi-1-3h9nb                     1/1       Running   0          4h

15. 要验证持久性卷是否挂载到容器中，请执行以下命令：

    # oc rsh busybox

    / $ df -h
    Filesystem                Size      Used Available Use% Mounted on
    /dev/mapper/docker-253:0-1310998-81732b5fd87c197f627a24bcd2777f12eec4ee937cc2660656908b2fa6359129
                          100.0G     34.1M     99.9G   0% /
    tmpfs                     1.5G         0      1.5G   0% /dev
    tmpfs                     1.5G         0      1.5G   0% /sys/fs/cgroup
    192.168.121.168:vol_4fc22ff934e531dec3830cfbcad1eeae
                           99.9G     66.1M     99.9G   0% /usr/share/busybox
    tmpfs                     1.5G         0      1.5G   0% /run/secrets
    /dev/mapper/vg_vagrant-lv_root
                           37.7G      3.8G     32.0G  11% /dev/termination-log
    tmpfs                     1.5G     12.0K      1.5G   0% /var/run/secretgit s/kubernetes.io/serviceaccount

1. 使用 GID 值创建存储类文件。例如：

   # cat glusterfs-storageclass.yaml
   
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: gluster-container
   provisioner: kubernetes.io/glusterfs
   parameters:
     resturl: "http://heketi-storage-project.cloudapps.mystorage.com"
     restuser: "admin"
     secretNamespace: "default"
     secretName: "heketi-secret"
     gidMin: "2000"
   gidMax: "4000"

   注意

   如果没有提供 gidMin 和 gidMax 值，则动态置备的卷将在 2000 和 2147483647 之间拥有 GID。

2. 创建持久性卷声明。更多信息请参阅： 第 3.1.2.1.3 节 “创建持久性卷声明”
3. 在 pod 中使用声明。确保此 pod 是无特权的。更多信息请参阅： 第 3.1.2.1.6 节 “在 Pod 中使用 Claim”

4. 要验证 GID 是否在指定的范围内，请执行以下命令：

   # oc rsh busybox

   $ id

   例如：

   $ id
   uid=1000060000 gid=0(root) groups=0(root),2001

   其中 2001 在上面的输出中，是持久性卷分配的 GID，它位于存储类中指定的范围内。您可以使用分配的 GID 写入此卷。

   注意

   删除持久性卷声明后，从池中释放持久性卷的 GID。

步骤

1. 在 heketi 设备上应用所需的标签。

   # heketi-cli device settags <device-name> <key>:<value>

   示例：

   # heketi-cli device settags 1fe1b83e5660efb53cc56433cedf7771 disktype:hdd

2. 从设备中删除应用的标签。

   # heketi-cli device rmtags <device-name> <key>

   示例：

   # heketi-cli device rmtags 1fe1b83e5660efb53cc56433cedf7771 disktype

3. 验证设备上添加的标签。

   # heketi-cli device info <device-name>

   示例：

   # heketi-cli device info 1fe1b83e5660efb53cc56433cedf7771

   输出示例：

   Device Id: 1fe1b83e5660efb53cc56433cedf7771
   State: online
   Size (GiB): 49
   Used (GiB): 41
   Free (GiB): 8
   Create Path: /dev/vdc
   Physical Volume UUID: GpAnb4-gY8e-p5m9-0UU3-lV3J-zQWY-zFgO92
   Known Paths: /dev/disk/by-id/virtio-bf48c436-04a9-48ed-9 /dev/disk/by-path/pci-0000:00:08.0 /dev/disk/by-path/virtio-pci-0000:00:08.0 /dev/vdc
   Tags:
     disktype: hdd    ---> added tag

4. 使用带标记的设备创建卷。

    # heketi-cli volume create --size=<size in GiB> --gluster-volume-options'user.heketi.device-tag-match <key>=<value>’

   重要
   • 在创建卷时，您必须传递一个新的卷选项 user.heketi.device-tag-match，其中 选项的值是一个标签键，后跟 "=" 或 "!="，再加上一个标签值。
   • 所有匹配项都是完全匹配且区分大小写，而且只能指定一个 device-tag-match。

   示例：

   # heketi-cli volume create --size=5 --gluster-volume-options 'user.heketi.device-tag-match disktype=hdd’

   注意

   创建了卷后，卷选项列表就会修复。tag-match 规则与卷元数据保留，用于卷扩展和 brick 替换目的。

5. 创建存储类。

   • 创建仅在硬盘上创建卷的存储类。

     # cat hdd-storageclass.yaml

     apiVersion: storage.k8s.io/v1
     kind: StorageClass
     metadata:
       annotations:
         storageclass.kubernetes.io/is-default-class: "false"
       name: glusterfs-storage-hdd
       selfLink: /apis/storage.k8s.io/v1/storageclasses/glusterfs-storage
     parameters:
       resturl: http://heketi-storage.glusterfs.svc:8080
       restuser: admin
       secretName: heketi-storage-admin-secret
       secretNamespace: glusterfs
       volumeoptions: "user.heketi.device-tag-match disktype=hdd"
     provisioner: kubernetes.io/glusterfs
     reclaimPolicy: Delete
     volumeBindingMode: Immediate

   • 创建一个存储类，它只使用更可靠的状态存储创建卷。

     重要

     您必须使用负标签匹配规则来排除硬盘设备。

     # cat sdd-storageclass.yaml

     apiVersion: storage.k8s.io/v1
     kind: StorageClass
     metadata:
       annotations:
         storageclass.kubernetes.io/is-default-class: "false"
       name: glusterfs-storage-dd
       selfLink: /apis/storage.k8s.io/v1/storageclasses/glusterfs-storage
     parameters:
       resturl: http://heketi-storage.glusterfs.svc:8080
       restuser: admin
       secretName: heketi-storage-admin-secret
       secretNamespace: glusterfs
       volumeoptions: "user.heketi.device-tag-match disktype!=hdd"
     provisioner: kubernetes.io/glusterfs
     reclaimPolicy: Delete
     volumeBindingMode: Immediate