3.10. 引导新存储集群

流程

1. 创建 JSON 文件。在本例中，该文件名为 mylogin.json。

   语法

   {
    "url":"REGISTRY_URL",
    "username":"USER_NAME",
    "password":"PASSWORD"
   }

   示例

   {
    "url":"registry.redhat.io",
    "username":"myuser1",
    "password":"mypassword1"
   }

2. 引导一个存储集群：

   语法

   cephadm bootstrap --mon-ip IP_ADDRESS --registry-json /etc/mylogin.json

   示例

   [root@host01 ~]# cephadm bootstrap --mon-ip 10.10.128.68 --registry-json /etc/mylogin.json

流程

1. 登录到 bootstrap 主机。

2. 为您的存储集群创建服务配置 .yaml 文件。示例 文件指示 cephadm bootstrap 配置初始主机和两个额外的主机，并且它指定将在所有可用的磁盘上创建 OSD。

   示例

   service_type: host
   addr: host01
   hostname: host01
   ---
   service_type: host
   addr: host02
   hostname: host02
   ---
   service_type: host
   addr: host03
   hostname: host03
   ---
   service_type: host
   addr: host04
   hostname: host04
   ---
   service_type: mon
   placement:
     host_pattern: "host[0-2]"
   ---
   service_type: osd
   service_id: my_osds
   placement:
     host_pattern: "host[1-3]"
   data_devices:
     all: true

3. 使用 --apply-spec 选项引导存储集群：

   语法

   cephadm bootstrap --apply-spec CONFIGURATION_FILE_NAME --mon-ip MONITOR_IP_ADDRESS --registry-url registry.redhat.io --registry-username USER_NAME --registry-password PASSWORD

   示例

   [root@host01 ~]# cephadm bootstrap --apply-spec initial-config.yaml --mon-ip 10.10.128.68 --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

   完成该脚本需要几分钟时间。脚本完成后，会提供 Red Hat Ceph Storage Dashboard URL 提供凭据、用于访问 Ceph 命令行界面 (CLI) 的命令，以及启用遥测的请求。

4. 在您的存储集群启动并运行后，请参阅 Red Hat Ceph Storage Operations Guide 以了解有关配置其他守护进程和服务的更多信息。

流程

1. 更改为 bootstrap 节点上的 sudo ：

   语法

   su - SSH_USER_NAME

   示例

   [root@host01 ~]# su - ceph
   Last login: Tue Sep 14 12:00:29 EST 2021 on pts/0

2. 检查到 bootstrap 节点的 SSH 连接：

   示例

   [ceph@host01 ~]$ ssh host01
   Last login: Tue Sep 14 12:03:29 EST 2021 on pts/0

3. 可选： 指示 cephadm bootstrap 命令。

   注意

   使用私钥和公钥是可选的。如果之前尚未创建 SSH 密钥，则可以在此步骤中创建这些密钥。

   包含 --ssh-private-key 和 --ssh-public-key 选项：

   语法

   sudo cephadm bootstrap --ssh-user USER_NAME --mon-ip IP_ADDRESS --ssh-private-key PRIVATE_KEY --ssh-public-key PUBLIC_KEY --registry-url registry.redhat.io --registry-username USER_NAME --registry-password PASSWORD

   示例

   sudo cephadm bootstrap --ssh-user ceph --mon-ip 10.10.128.68 --ssh-private-key /home/ceph/.ssh/id_rsa --ssh-public-key /home/ceph/.ssh/id_rsa.pub --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

流程

1. 登录到可访问公共网络和集群节点的节点。

2. 注册该节点，并在提示时输入适当的红帽客户门户网站凭证：

   示例

   [root@admin ~]# subscription-manager register

3. 获取最新的订阅数据：

   示例

   [root@admin ~]# subscription-manager refresh

4. 列出 Red Hat Ceph Storage 的所有可用订阅：

   示例

   [root@admin ~]# subscription-manager list --available --all --matches="*Ceph*"

   从 Red Hat Ceph Storage 可用订阅列表中复制池 ID。

5. 附加订阅以获取软件权利：

   语法

   subscription-manager attach --pool=POOL_ID

   将 POOL_ID 替换为上一步中标识的池 ID。

6. 禁用默认软件存储库，并启用服务器以及额外的存储库：

   Red Hat Enterprise Linux 9

   [root@admin ~]# subscription-manager repos --disable=*
   [root@admin ~]# subscription-manager repos --enable=rhel-9-for-x86_64-baseos-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-9-for-x86_64-appstream-rpms

7. 安装 podman 和 httpd-tools 软件包：

   示例

   [root@admin ~]# dnf install -y podman httpd-tools

8. 为私有 registry 创建文件夹：

   示例

   [root@admin ~]# mkdir -p /opt/registry/{auth,certs,data}

   registry 将存储在 /opt/registry 中，目录会挂载到运行 registry 的容器中。

   • auth 目录存储 registry 用于身份验证的 htpasswd 文件。
   • certs 目录存储 registry 的证书用于身份验证。
   • data 目录存储 registry 镜像。

9. 创建用于访问私有 registry 的凭证：

   语法

   htpasswd -bBc /opt/registry/auth/htpasswd PRIVATE_REGISTRY_USERNAME PRIVATE_REGISTRY_PASSWORD

   • b 选项提供从命令行的密码。
   • B 选项使用 Bcrypt 加密存储密码。
   • c 选项创建 htpasswd 文件。
   • 将 PRIVATE_REGISTRY_USERNAME 替换为要用于私有 registry 的用户名。

   • 将 PRIVATE_REGISTRY_PASSWORD 替换为要用于私有 registry 用户名的密码。

     示例

     [root@admin ~]# htpasswd -bBc /opt/registry/auth/htpasswd myregistryusername myregistrypassword1

10. 创建自签名证书：

    语法

    openssl req -newkey rsa:4096 -nodes -sha256 -keyout /opt/registry/certs/domain.key -x509 -days 365 -out /opt/registry/certs/domain.crt -addext "subjectAltName = DNS:LOCAL_NODE_FQDN"

    • 将 LOCAL_NODE_FQDN 替换为私有 registry 节点的完全限定域名。

      注意

      系统将提示您输入证书的相应选项。CN= 值是节点的主机名，它应可由 DNS 或 /etc/hosts 文件解析。

      示例

      [root@admin ~]# openssl req -newkey rsa:4096 -nodes -sha256 -keyout /opt/registry/certs/domain.key -x509 -days 365 -out /opt/registry/certs/domain.crt -addext "subjectAltName = DNS:admin.lab.redhat.com"

      注意

      在创建自签名证书时，请务必使用适当的 Subject Alternative Name(SAN)创建证书。如果 Podman 命令需要对没有包括适当 SAN 的证书的 TLS 验证，则会返回错误：x509: certificate relies on legacy Common Name field, use SANs or temporarily enable Common Name matching with GODEBUG=x509ignoreCN=0

11. 创建指向 domain.cert 的符号链接，以允许 skopeo 使用文件扩展名 .cert 查找证书：

    示例

    [root@admin ~]# ln -s /opt/registry/certs/domain.crt /opt/registry/certs/domain.cert

12. 将证书添加到私有 registry 节点上的可信列表中：

    语法

    cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
    update-ca-trust
    trust list | grep -i "LOCAL_NODE_FQDN"

    将 LOCAL_NODE_FQDN 替换为私有 registry 节点的 FQDN。

    示例

    [root@admin ~]# cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
    [root@admin ~]# update-ca-trust
    [root@admin ~]# trust list | grep -i "admin.lab.redhat.com"
    
        label: admin.lab.redhat.com

13. 将证书复制到将用于访问私有 registry 的任何节点中，并更新可信列表：

    示例

    [root@admin ~]# scp /opt/registry/certs/domain.crt root@host01:/etc/pki/ca-trust/source/anchors/
    [root@admin ~]# ssh root@host01
    [root@host01 ~]# update-ca-trust
    [root@host01 ~]# trust list | grep -i "admin.lab.redhat.com"
    
        label: admin.lab.redhat.com

14. 启动本地安全私有 registry：

    语法

    podman run --restart=always --name NAME_OF_CONTAINER \
    -p 5000:5000 -v /opt/registry/data:/var/lib/registry:z \
    -v /opt/registry/auth:/auth:z \
    -v /opt/registry/certs:/certs:z \
    -e "REGISTRY_AUTH=htpasswd" \
    -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
    -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
    -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
    -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
    -e REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true \
    -d registry:2

    将 NAME_OF_CONTAINER 替换为分配给容器的名称。

    示例

    [root@admin ~]# podman run --restart=always --name myprivateregistry \
    -p 5000:5000 -v /opt/registry/data:/var/lib/registry:z \
    -v /opt/registry/auth:/auth:z \
    -v /opt/registry/certs:/certs:z \
    -e "REGISTRY_AUTH=htpasswd" \
    -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
    -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
    -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
    -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
    -e REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true \
    -d registry:2

    这会在端口 5000 上启动私有 registry，并在运行 registry 的容器中挂载 registry 目录的卷。

15. 在本地 registry 节点上，验证 registry.redhat.io 是否在容器 registry 搜索路径中。

    1. 打开并编辑 /etc/containers/registries.conf 文件，如果不存在，请将 registry.redhat.io 添加到 unqualified-search-registries 列表中：

       示例

       unqualified-search-registries = ["registry.redhat.io", "registry.access.redhat.com", "registry.fedoraproject.org", "registry.centos.org", "docker.io"]

16. 使用您的红帽客户门户网站凭证登录到 registry.redhat.io ：

    语法

    podman login registry.redhat.io

17. 将以下 Red Hat Ceph Storage 7 镜像、Prometheus 镜像和 Dashboard 镜像从红帽客户门户网站复制到私有 registry：

    注意

    在 Red Hat Ecosystem Catalog 上查找最新可用支持的容器镜像。

    表 3.1. 监控堆栈的自定义镜像详情

    监控堆栈组件	Red Hat Ceph Storage 7.0 的镜像详情	Red Hat Ceph Storage 7.1 的镜像详情
    Prometheus	registry.redhat.io/openshift4/ose-prometheus:v4.12	registry.redhat.io/openshift4/ose-prometheus:v4.15
    Grafana	registry.redhat.io/rhceph/grafana-rhel9:latest	registry.redhat.io/rhceph/grafana-rhel9:latest
    Node-exporter	registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.12	registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.15
    AlertManager	registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.12	registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.15
    HAProxy	registry.redhat.io/rhceph/rhceph-haproxy-rhel9:latest	registry.redhat.io/rhceph/rhceph-haproxy-rhel9:latest
    Keepalived	registry.redhat.io/rhceph/keepalived-rhel9:latest	registry.redhat.io/rhceph/keepalived-rhel9:latest
    SNMP Gateway	registry.redhat.io/rhceph/snmp-notifier-rhel9:latest	registry.redhat.io/rhceph/snmp-notifier-rhel9:latest
    Loki	registry.redhat.io/openshift-logging/logging-loki-rhel8:v2.6.1	registry.redhat.io/openshift-logging/logging-loki-rhel8:v2.6.1
    Promtail	registry.redhat.io/rhceph/rhceph-promtail-rhel9:v2.4.0	registry.redhat.io/rhceph/rhceph-promtail-rhel9:v2.4.0

    语法

    podman run -v /CERTIFICATE_DIRECTORY_PATH:/certs:Z -v /CERTIFICATE_DIRECTORY_PATH/domain.cert:/certs/domain.cert:Z  --rm registry.redhat.io/rhel9/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds RED_HAT_CUSTOMER_PORTAL_LOGIN:RED_HAT_CUSTOMER_PORTAL_PASSWORD --dest-cert-dir=./certs/ --dest-creds PRIVATE_REGISTRY_USERNAME:PRIVATE_REGISTRY_PASSWORD docker://registry.redhat.io/SRC_IMAGE:SRC_TAG docker://LOCAL_NODE_FQDN:5000/DST_IMAGE:DST_TAG

    • 将 CERTIFICATE_DIRECTORY_PATH 替换为自签名证书的目录路径。
    • 将 RED_HAT_CUSTOMER_PORTAL_LOGIN 和 RED_HAT_CUSTOMER_PORTAL_PASSWORD 替换为您的红帽客户门户网站凭证。
    • 将 PRIVATE_REGISTRY_USERNAME 和 PRIVATE_REGISTRY_PASSWORD 替换为私有 registry 凭证。
    • 将 SRC_IMAGE 和 SRC_TAG 替换为要从 registry.redhat.io 中复制的镜像的名称和标签。
    • 将 DST_IMAGE 和 DST_TAG 替换为要复制到私有 registry 的镜像的名称和标签。

    • 将 LOCAL_NODE_FQDN 替换为私有 registry 的 FQDN。

      示例

      [root@admin ~]#  podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel9/skopeo skopeo copy --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/rhceph/rhceph-7-rhel9:latest docker://admin.lab.redhat.com:5000/rhceph/rhceph-7-rhel9:latest
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel9/skopeo skopeo copy --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.12 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus-node-exporter:v4.12
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel9/skopeo skopeo copy --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/rhceph/grafana-rhel9:latest docker://admin.lab.redhat.com:5000/rhceph/grafana-rhel9:latest
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel9/skopeo skopeo copy --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus:v4.12 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus:v4.12
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel9/skopeo skopeo copy --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.12 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus-alertmanager:v4.12

18. 使用 curl 命令，验证镜像是否驻留在本地 registry 中：

    语法

    curl -u PRIVATE_REGISTRY_USERNAME:PRIVATE_REGISTRY_PASSWORD https://LOCAL_NODE_FQDN:5000/v2/_catalog

    示例

    [root@admin ~]# curl -u myregistryusername:myregistrypassword1 https://admin.lab.redhat.com:5000/v2/_catalog
    
    {"repositories":["openshift4/ose-prometheus","openshift4/ose-prometheus-alertmanager","openshift4/ose-prometheus-node-exporter","rhceph/rhceph-7-dashboard-rhel9","rhceph/rhceph-7-rhel9"]}

流程

1. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录。
2. 打开并编辑 hosts 文件并添加节点。

3. 在运行 preflight playbook 时使用设置为 custom 的 ceph_origin 参数，以使用本地 YUM 存储库：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=CUSTOM_REPO_URL"

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/"

   安装完成后，cephadm 驻留在 /usr/sbin/ 目录中。

   注意

   使用 Ansible playbook 填充 registry.conf 文件的内容：

   语法

   ansible-playbook -vvv -i INVENTORY_HOST_FILE_ cephadm-set-container-insecure-registries.yml -e insecure_registry=REGISTRY_URL

   示例

   [root@admin ~]# ansible-playbook -vvv -i hosts cephadm-set-container-insecure-registries.yml -e insecure_registry=host01:5050

4. 另外，您可以使用 --limit 选项在存储集群中选定的一组主机上运行 preflight playbook：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=CUSTOM_REPO_URL" --limit GROUP_NAME|NODE_NAME

   将 GROUP_NAME 替换为清单文件中的组名称。将 NODE_NAME 替换为清单文件中的特定节点名称。

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/" --limit clients
   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/" --limit host02

   注意

   运行 preflight playbook 时，cephadm-ansible 会在客户端节点上自动安装 chrony 和 ceph-common。

流程

1. 登录到 bootstrap 主机。

2. 引导存储集群：

   语法

   cephadm --image PRIVATE_REGISTRY_NODE_FQDN:5000/CUSTOM_IMAGE_NAME:IMAGE_TAG bootstrap --mon-ip IP_ADDRESS --registry-url PRIVATE_REGISTRY_NODE_FQDN:5000 --registry-username PRIVATE_REGISTRY_USERNAME --registry-password PRIVATE_REGISTRY_PASSWORD

   • 将 PRIVATE_REGISTRY_NODE_FQDN 替换为私有 registry 的完全限定域名。
   • 将 CUSTOM_IMAGE_NAME 和 IMAGE_TAG 替换为位于私有 registry 中的 Red Hat Ceph Storage 容器镜像的名称和标签。
   • 将 IP_ADDRESS 替换为您要用来运行 cephadm bootstrap 的节点的 IP 地址。
   • 将 PRIVATE_REGISTRY_USERNAME 替换为要用于私有 registry 的用户名。

   • 将 PRIVATE_REGISTRY_PASSWORD 替换为要用于私有 registry 用户名的密码。

     示例

     [root@host01 ~]# cephadm --image admin.lab.redhat.com:5000/rhceph-7-rhel9:latest bootstrap --mon-ip 10.10.128.68 --registry-url admin.lab.redhat.com:5000 --registry-username myregistryusername --registry-password myregistrypassword1

     完成该脚本需要几分钟时间。脚本完成后，会提供 Red Hat Ceph Storage Dashboard URL 提供凭据、用于访问 Ceph 命令行界面 (CLI) 的命令，以及启用遥测的请求。

     Ceph Dashboard is now available at:
     
                  URL: https://host01:8443/
                 User: admin
             Password: i8nhu7zham
     
     Enabling client.admin keyring and conf on hosts with "admin" label
     You can access the Ceph CLI with:
     
             sudo /usr/sbin/cephadm shell --fsid 266ee7a8-2a05-11eb-b846-5254002d4916 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
     
     Please consider enabling telemetry to help improve Ceph:
     
             ceph telemetry on
     
     For more information see:
     
             https://docs.ceph.com/docs/master/mgr/telemetry/
     
     Bootstrap complete.

流程

1. 使用 ceph config 命令设置自定义容器镜像：

   语法

   ceph config set mgr mgr/cephadm/OPTION_NAME CUSTOM_REGISTRY_NAME/CONTAINER_NAME

   在 OPTION_NAME 中使用以下选项：

   container_image_prometheus
   container_image_grafana
   container_image_alertmanager
   container_image_node_exporter

   示例

   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_prometheus myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_grafana myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_alertmanager myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_node_exporter myregistry/mycontainer

2. 重新部署 node-exporter ：

   语法

   ceph orch redeploy node-exporter