安装指南

示例 1

1. 介质：全闪存系统 (SSD)
2. 使用案例： Block (RBD )和 File (CephFS) 或对象(Ceph 对象网关)
3. 节点数： 3 个
4. 复制方案：2

示例 2

1. 介质：SSD 或 HDD
2. 使用案例： Block (RBD)、文件 (CephFS) 和对象 (Ceph 对象网关)
3. 节点数：4
4. 复制方案：3

示例 3

1. 介质：SSD 或 HDD
2. 使用案例：Ceph 对象网关 (Ceph 对象网关) 和 NFS (Ceph 对象网关) 和用于 Ceph 对象网关的 NFS
3. 节点数：4
4. 复制方案：3

流程

1. 注册该节点，并在提示时输入您的红帽客户门户网站凭证：

   语法

   subscription-manager register

2. 从 CDN 拉取最新的订阅数据：

   语法

   subscription-manager refresh

3. 列出 Red Hat Ceph Storage 的所有可用订阅：

   语法

   subscription-manager list --available --matches 'Red Hat Ceph Storage'

4. 确定适当的订阅并检索其池 ID。

5. 附加池 ID 以获取软件权利的访问权限。使用您在上一步中确定的池 ID。

   语法

   subscription-manager attach --pool=POOL_ID

6. 禁用默认软件存储库，并在相应版本的 Red Hat Enterprise Linux 中启用服务器和附加软件仓库：

   Red Hat Enterprise Linux 9

   subscription-manager repos --disable=*
   subscription-manager repos --enable=rhel-9-for-x86_64-baseos-rpms
   subscription-manager repos --enable=rhel-9-for-x86_64-appstream-rpms

7. 更新系统以接收 Red Hat Enterprise Linux 的最新软件包：

   语法

   # dnf update

8. 订阅 Red Hat Ceph Storage 7 内容。按照如何通过 Red Hat Satellite 6 注册 Ceph 中的说明进行操作。

9. 启用 ceph-tools 存储库：

   Red Hat Enterprise Linux 9

   subscription-manager repos --enable=rhceph-7-tools-for-rhel-9-x86_64-rpms

10. 在您要添加到集群中的所有节点上重复上述步骤。

11. 安装 cephadm-ansible：

    语法

    dnf install cephadm-ansible

流程

1. 进入 /usr/share/cephadm-ansible/ 目录：

   [root@admin ~]# cd /usr/share/cephadm-ansible

2. 可选：为 staging 和 production 创建子目录：

   [root@admin cephadm-ansible]# mkdir -p inventory/staging inventory/production

3. 可选：编辑 ansible.cfg 文件并添加以下行来分配默认清单位置：

   [defaults]
   inventory = ./inventory/staging

4. 可选：为每个环境创建一个清单主机文件：

   [root@admin cephadm-ansible]# touch inventory/staging/hosts
   [root@admin cephadm-ansible]# touch inventory/production/hosts

5. 打开并编辑每个 hosts 文件，并添加节点和 [admin] 组：

   NODE_NAME_1
   NODE_NAME_2
   
   [admin]
   ADMIN_NODE_NAME_1

   • 将 NODE_NAME_1 和 NODE_NAME_2 替换为 Ceph 节点，如 monitor、OSD、MDS 和网关节点。

   • 将 ADMIN_NODE_NAME_1 替换为存储了 admin 密钥环的节点的名称。

     示例

     host02
     host03
     host04
     
     [admin]
     host01

     注意

     如果将 ansible.cfg 文件中的清单位置设置为 staging，则需要在暂存环境中运行 playbook，如下所示：

     语法

     ansible-playbook -i inventory/staging/hosts PLAYBOOK.yml

     在生产环境中运行 playbook：

     语法

     ansible-playbook -i inventory/production/hosts PLAYBOOK.yml

流程

1. 打开 etc/ssh/sshd_config 文件，并将 PermitRootLogin 设置为 yes ：

   示例

   [root@admin ~]# echo 'PermitRootLogin yes' >> /etc/ssh/sshd_config.d/01-permitrootlogin.conf

2. 重启 SSH 服务：

   示例

   [root@admin ~]# systemctl restart sshd.service

3. 以 root 用户身份登录节点：

   语法

   ssh root@HOST_NAME

   将 HOST_NAME 替换为 Ceph 节点的主机名。

   示例

   [root@admin ~]# ssh root@host01

   出现提示时，输入 root 密码。

流程

1. 以 root 用户身份登录节点：

   语法

   ssh root@HOST_NAME

   将 HOST_NAME 替换为 Ceph 节点的主机名。

   示例

   [root@admin ~]# ssh root@host01

   出现提示时，输入 root 密码。

2. 创建一个新的 Ansible 用户：

   语法

   adduser USER_NAME

   将 USER_NAME 替换为 Ansible 用户的新用户名。

   示例

   [root@host01 ~]# adduser ceph-admin

   重要

   不要使用 ceph 作为用户名。ceph 用户名保留用于 Ceph 守护进程。整个集群中的统一用户名可以提高易用性，但避免使用明显的用户名，因为入侵者通常使用它们进行暴力攻击。

3. 为这个用户设置一个新密码：

   语法

   passwd USER_NAME

   将 USER_NAME 替换为 Ansible 用户的新用户名。

   示例

   [root@host01 ~]# passwd ceph-admin

   出现提示时，输入新密码两次。

4. 为新创建的用户配置 sudo 访问权限：

   语法

   cat << EOF >/etc/sudoers.d/USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   将 USER_NAME 替换为 Ansible 用户的新用户名。

   示例

   [root@host01 ~]# cat << EOF >/etc/sudoers.d/ceph-admin
   ceph-admin ALL = (root) NOPASSWD:ALL
   EOF

5. 为新文件分配正确的文件权限：

   语法

   chmod 0440 /etc/sudoers.d/USER_NAME

   将 USER_NAME 替换为 Ansible 用户的新用户名。

   示例

   [root@host01 ~]# chmod 0440 /etc/sudoers.d/ceph-admin

6. 在存储集群中的所有节点上重复上述步骤。

流程

1. 生成 SSH 密钥对，接受默认文件名并将密语留空：

   [ceph-admin@admin ~]$ ssh-keygen

2. 将公钥复制到存储集群中的所有节点：

   ssh-copy-id USER_NAME@HOST_NAME

   将 USER_NAME 替换为 Ansible 用户的新用户名。将 HOST_NAME 替换为 Ceph 节点的主机名。

   示例

   [ceph-admin@admin ~]$ ssh-copy-id ceph-admin@host01

3. 创建用户的 SSH config 文件 ：

   [ceph-admin@admin ~]$ touch ~/.ssh/config

4. 打开并编辑 config 文件。为存储集群中每个节点的 Hostname 和 User 选项设置值：

   Host host01
      Hostname HOST_NAME
      User USER_NAME
   Host host02
      Hostname HOST_NAME
      User USER_NAME
   ...

   将 HOST_NAME 替换为 Ceph 节点的主机名。将 USER_NAME 替换为 Ansible 用户的新用户名。

   示例

   Host host01
      Hostname host01
      User ceph-admin
   Host host02
      Hostname host02
      User ceph-admin
   Host host03
      Hostname host03
      User ceph-admin

   重要

   通过配置 ~/.ssh/config 文件，您不必在每次执行 ansible-playbook 命令时指定 -u USER_NAME 选项。

5. 为 ~/.ssh/config 文件设置正确的文件权限：

   [ceph-admin@admin ~]$ chmod 600 ~/.ssh/config

流程

1. 进入 /usr/share/cephadm-ansible 目录。

2. 打开并编辑 hosts 文件并添加节点：

   示例

   host02
   host03
   host04
   
   [admin]
   host01

3. 运行 preflight playbook：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs"

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs"

   安装完成后，cephadm 驻留在 /usr/sbin/ 目录中。

   • 使用 --limit 选项在存储集群中的一组主机上运行 preflight playbook：

     语法

     ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit GROUP_NAME|NODE_NAME

     将 GROUP_NAME 替换为清单文件中的组名称。将 NODE_NAME 替换为清单文件中的特定节点名称。

     注意

     另外，您可以根据组名称，如 [mons], [osds], 和 [mgrs] 等对节点进行分组。但是，必须将管理节点添加到 [admin] 组和客户端，必须将客户端添加到 [clients] 组中。

     示例

     [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit clients
     [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit host01

   • 运行 preflight playbook 时，cephadm-ansible 会在客户端节点上自动安装 chrony 和 ceph-common。

     preflight playbook 安装 chrony，但为单个 NTP 源配置它。如果要配置多个源，或者有断开连接的环境，请参阅以下文档以了解更多信息：

     • 如何配置 chrony？
     • NTP 的最佳实践。
     • 基本 chrony NTP 故障排除.

流程

1. 引导一个存储集群：

   语法

   cephadm bootstrap --cluster-network NETWORK_CIDR --mon-ip IP_ADDRESS --registry-url registry.redhat.io --registry-username USER_NAME --registry-password PASSWORD --yes-i-know

   示例

   [root@host01 ~]# cephadm bootstrap --cluster-network 10.10.128.0/24 --mon-ip 10.10.128.68 --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1 --yes-i-know

   注意

   如果要通过公共网络路由的内部集群流量，可以省略 --cluster-network NETWORK_CIDR 选项。

   完成该脚本需要几分钟时间。脚本完成后，会提供 Red Hat Ceph Storage Dashboard URL 提供凭据、用于访问 Ceph 命令行界面 (CLI) 的命令，以及启用遥测的请求。

   Ceph Dashboard is now available at:
   
                URL: https://host01:8443/
               User: admin
           Password: i8nhu7zham
   
   Enabling client.admin keyring and conf on hosts with "admin" label
   You can access the Ceph CLI with:
   
           sudo /usr/sbin/cephadm shell --fsid 266ee7a8-2a05-11eb-b846-5254002d4916 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
   
   Please consider enabling telemetry to help improve Ceph:
   
           ceph telemetry on
   
   For more information see:
   
           https://docs.ceph.com/docs/master/mgr/telemetry/
   
   Bootstrap complete.

流程

1. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

   [ansible@admin ~]$ cd /usr/share/cephadm-ansible

2. 在 Ansible 管理节点中，分发 SSH 密钥。可选的 cephadm_pubkey_path 参数是 ansible 控制器主机上的 SSH 公钥文件的完整路径名称。

   注意

   如果没有指定 cephadm_pubkey_path，则 playbook 从 cephadm get-pub-key 命令获取密钥。这意味着您至少已引导一个最小集群。

   语法

   ansible-playbook -i INVENTORY_HOST_FILE cephadm-distribute-ssh-key.yml -e cephadm_ssh_user=USER_NAME -e cephadm_pubkey_path= home/cephadm/ceph.key -e admin_node=ADMIN_NODE_NAME_1

   示例

   [ansible@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-distribute-ssh-key.yml -e cephadm_ssh_user=ceph-admin -e cephadm_pubkey_path=/home/cephadm/ceph.key -e admin_node=host01
   
   [ansible@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-distribute-ssh-key.yml -e cephadm_ssh_user=ceph-admin -e admin_node=host01

1. 从包含 admin 密钥环的节点，在新主机的 root 用户的 authorized_keys 文件中安装存储集群的公共 SSH 密钥：

   语法

   ssh-copy-id -f -i /etc/ceph/ceph.pub user@NEWHOST

   示例

   [root@host01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@host02
   [root@host01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@host03

2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录。

   示例

   [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

3. 从 Ansible 管理节点，将新主机添加到 Ansible 清单文件。该文件的默认位置为 /usr/share/cephadm-ansible/hosts。以下示例显示了典型的清单文件的结构：

   示例

   [ceph-admin@admin ~]$ cat hosts
   
   host02
   host03
   host04
   
   [admin]
   host01

   注意

   如果您之前已将新主机添加到 Ansible 清单文件，并在主机上运行 preflight playbook，请跳至第 4 步。

4. 使用 --limit 选项运行 preflight playbook：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit NEWHOST

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit host02

   preflight playbook 在新主机上安装 podman、lvm2、chrony 和 cephadm。安装完成后，cephadm 驻留在 /usr/sbin/ 目录中。

5. 从 bootstrap 节点，使用 cephadm 编排器将新主机添加到存储集群中：

   语法

   ceph orch host add NEWHOST

   示例

   [ceph: root@host01 /]# ceph orch host add host02
   Added host 'host02' with addr '10.10.128.69'
   [ceph: root@host01 /]# ceph orch host add host03
   Added host 'host03' with addr '10.10.128.70'

6. 可选： 您还可以在运行 preflight playbook 前和之后按 IP 地址添加节点。如果您在存储集群环境中没有配置 DNS，您可以根据 IP 地址添加主机，以及主机名。

   语法

   ceph orch host add HOSTNAME IP_ADDRESS

   示例

   [ceph: root@host01 /]# ceph orch host add host02 10.10.128.69
   Added host 'host02' with addr '10.10.128.69'

   验证

   • 查看存储集群的状态，并验证是否已添加新主机。主机 STATUS 为空，在 ceph orch host ls 命令的输出中。

     示例

     [ceph: root@host01 /]# ceph orch host ls

流程

1. 将五个 monitor 守护进程应用到存储集群中的五个随机主机：

   ceph orch apply mon 5

2. 禁用自动监控器部署：

   ceph orch apply mon --unmanaged

流程

1. 前往 cephadm-ansible 目录。

2. 生成一个新的 SSH 密钥：

   示例

   [ceph-admin@admin cephadm-ansible]$ ceph cephadm generate-key

3. 检索 SSH 密钥的公共部分：

   示例

   [ceph-admin@admin cephadm-ansible]$ ceph cephadm get-pub-key

4. 删除当前存储的 SSH 密钥：

   示例

   [ceph-admin@admin cephadm-ansible]$ceph cephadm clear-key

5. 重启 mgr 守护进程以重新载入配置：

   示例

   [ceph-admin@admin cephadm-ansible]$ ceph mgr fail

流程

1. 使用 ceph orch host ls 查看您的存储集群中的主机：

   示例

   [root@host01 ~]# ceph orch host ls
   HOST   ADDR   LABELS  STATUS
   host01        mon,mgr,_admin
   host02        mon
   host03        mon,mgr
   host04
   host05
   host06

2. 使用 _admin 标签指定存储集群中的 admin 主机。为获得最佳结果，此主机应同时运行 monitor 和 Manager 守护进程。

   语法

   ceph orch host label add HOSTNAME _admin

   示例

   [root@host01 ~]#  ceph orch host label add host03 _admin

3. 验证 admin 主机是否具有 _admin 标签。

   示例

   [root@host01 ~]#  ceph orch host ls
   HOST   ADDR   LABELS  STATUS
   host01        mon,mgr,_admin
   host02        mon
   host03        mon,mgr,_admin
   host04
   host05
   host06

4. 登录 admin 节点，以管理存储集群。

流程

1. 列出可用的设备来部署 OSD：

   语法

   ceph orch device ls [--hostname=HOSTNAME1 HOSTNAME2] [--wide] [--refresh]

   示例

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

2. 您可以在特定主机上或所有可用设备上部署 OSD：

   • 从特定主机上的特定设备创建 OSD：

     语法

     ceph orch daemon add osd HOSTNAME:DEVICE_PATH

     示例

     [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

   • 若要在任何可用的和未使用的设备上部署 OSD，可使用 --all-available-devices 选项。

     示例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

流程

1. 导航到 /usr/share/cephadm-ansible 目录。

2. 在客户端组中初始主机上运行 cephadm-clients.yml playbook。使用 PATH_TO_KEYRING 的 admin 主机上的 admin 密钥环的完整路径名称。可选：如果要指定要使用的现有配置文件，请为 CONFIG-FILE 指定配置文件的完整路径。将 Ansible 组名称用于 ANSIBLE_GROUP_NAME 的客户端组。使用集群的 FSID，其中存储了 admin keyring 和配置文件用于 FSID。FSID 的默认路径是 /var/lib/ceph/。

   语法

   ansible-playbook -i hosts cephadm-clients.yml -extra-vars '{"fsid":"FSID", "client_group":"ANSIBLE_GROUP_NAME", "keyring":"PATH_TO_KEYRING", "conf":"CONFIG_FILE"}'

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-clients.yml --extra-vars '{"fsid":"be3ca2b2-27db-11ec-892b-005056833d58","client_group":"fs_clients","keyring":"/etc/ceph/fs.keyring", "conf": "/etc/ceph/ceph.conf"}'

流程

1. 禁用 cephadm 来停止所有编配操作，以避免部署新守护进程：

   示例

   [ceph: root#host01 /]# ceph mgr module disable cephadm

2. 获取集群的 FSID ：

   示例

   [ceph: root#host01 /]# ceph fsid

3. 退出 cephadm shell。

   示例

   [ceph: root@host01 /]# exit

4. 从集群中的所有主机清除 Ceph 守护进程：

   语法

   cephadm rm-cluster --force --zap-osds  --fsid FSID

   示例

   [root@host01 ~]# cephadm rm-cluster --force --zap-osds  --fsid a6ca415a-cde7-11eb-a41a-002590fc2544

流程

1. 以 Ansible 用户身份，进入到 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

    [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

2. 打开并编辑 hosts 清单文件，并将 [clients] 组和客户端添加到您的清单中：

   示例

   host02
   host03
   host04
   
   [admin]
   host01
   
   [clients]
   client01
   client02
   client03

3. 运行 cephadm-preflight.yml playbook，来在客户端上安装先决条件：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --limit CLIENT_GROUP_NAME|CLIENT_NODE_NAME

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --limit clients

4. 运行 cephadm-clients.yml playbook，将密钥环和 Ceph 配置文件分发到一组客户端。

   1. 使用自定义目标密钥环名称复制密钥环：

      语法

      ansible-playbook -i INVENTORY_FILE cephadm-clients.yml --extra-vars '{"fsid":"FSID","keyring":"KEYRING_PATH","client_group":"CLIENT_GROUP_NAME","conf":"CEPH_CONFIGURATION_PATH","keyring_dest":"KEYRING_DESTINATION_PATH"}'

      • 将 INVENTORY_FILE 替换为 Ansible 清单文件名称。
      • 将 FSID 替换为集群的 FSID。
      • 将 KEYRING_PATH 替换为您要复制到客户端的 admin 主机上的密钥环的完整路径名称。
      • 可选：将 CLIENT_GROUP_NAME 替换为要设置的客户端的 Ansible 组名称。
      • 可选：将 CEPH_CONFIGURATION_PATH 替换为管理节点上 Ceph 配置文件的完整路径。

      • 可选：将 KEYRING_DESTINATION_PATH 替换为要复制密钥环的目标的完整路径名称。

        注意

        如果在运行 playbook 时不使用 conf 选项指定配置文件，则 playbook 将生成并分发最小配置文件。默认情况下，生成的文件位于 /etc/ceph/ceph.conf 中。

        示例

        [ceph-admin@host01 cephadm-ansible]$ ansible-playbook -i hosts cephadm-clients.yml --extra-vars '{"fsid":"266ee7a8-2a05-11eb-b846-5254002d4916","keyring":"/etc/ceph/ceph.client.admin.keyring","client_group":"clients","conf":"/etc/ceph/ceph.conf","keyring_dest":"/etc/ceph/custom.name.ceph.keyring"}'

   2. 使用默认目标密钥环名称 ceph.keyring 复制密钥环，并使用默认客户端组：

      语法

      ansible-playbook -i INVENTORY_FILE cephadm-clients.yml --extra-vars '{"fsid":"FSID","keyring":"KEYRING_PATH","conf":"CONF_PATH"}'

流程

1. 登录 Ansible 管理节点。

2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

   [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

3. 创建 hosts 文件并添加主机、标签和监控存储集群中第一个主机的 IP 地址：

   语法

   sudo vi INVENTORY_FILE
   
   HOST1 labels="['LABEL1', 'LABEL2']"
   HOST2 labels="['LABEL1', 'LABEL2']"
   HOST3 labels="['LABEL1']"
   
   [admin]
   ADMIN_HOST monitor_address=MONITOR_IP_ADDRESS labels="['ADMIN_LABEL', 'LABEL1', 'LABEL2']"

   示例

   [ceph-admin@admin cephadm-ansible]$ sudo vi hosts
   
   host02 labels="['mon', 'mgr']"
   host03 labels="['mon', 'mgr']"
   host04 labels="['osd']"
   host05 labels="['osd']"
   host06 labels="['osd']"
   
   [admin]
   host01 monitor_address=10.10.128.68 labels="['_admin', 'mon', 'mgr']"

4. 运行 preflight playbook：

   语法

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs"

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs"

5. 创建 playbook 以启动集群：

   语法

   sudo vi PLAYBOOK_FILENAME.yml
   
   ---
   - name: NAME_OF_PLAY
     hosts: BOOTSTRAP_HOST
     become: USE_ELEVATED_PRIVILEGES
     gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
     tasks:
       -name: NAME_OF_TASK
        cephadm_registry_login:
          state: STATE
          registry_url: REGISTRY_URL
          registry_username: REGISTRY_USER_NAME
          registry_password: REGISTRY_PASSWORD
   
       - name: NAME_OF_TASK
         cephadm_bootstrap:
           mon_ip: "{{ monitor_address }}"
           dashboard_user: DASHBOARD_USER
           dashboard_password: DASHBOARD_PASSWORD
           allow_fqdn_hostname: ALLOW_FQDN_HOSTNAME
           cluster_network: NETWORK_CIDR

   示例

   [ceph-admin@admin cephadm-ansible]$ sudo vi bootstrap.yml
   
   ---
   - name: bootstrap the cluster
     hosts: host01
     become: true
     gather_facts: false
     tasks:
       - name: login to registry
         cephadm_registry_login:
           state: login
           registry_url: registry.redhat.io
           registry_username: user1
           registry_password: mypassword1
   
       - name: bootstrap initial cluster
         cephadm_bootstrap:
           mon_ip: "{{ monitor_address }}"
           dashboard_user: mydashboarduser
           dashboard_password: mydashboardpassword
           allow_fqdn_hostname: true
           cluster_network: 10.10.128.0/28

6. 运行 playbook：

   语法

   ansible-playbook -i INVENTORY_FILE PLAYBOOK_FILENAME.yml -vvv

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts bootstrap.yml -vvv

流程

1. 使用以下步骤在集群中添加新主机：

   1. 登录 Ansible 管理节点。

   2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

      示例

      [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

   3. 将新主机和标签添加到 Ansible 清单文件。

      语法

      sudo vi INVENTORY_FILE
      
      NEW_HOST1 labels="['LABEL1', 'LABEL2']"
      NEW_HOST2 labels="['LABEL1', 'LABEL2']"
      NEW_HOST3 labels="['LABEL1']"
      
      [admin]
      ADMIN_HOST monitor_address=MONITOR_IP_ADDRESS labels="['ADMIN_LABEL', 'LABEL1', 'LABEL2']"

      示例

      [ceph-admin@admin cephadm-ansible]$ sudo vi hosts
      
      host02 labels="['mon', 'mgr']"
      host03 labels="['mon', 'mgr']"
      host04 labels="['osd']"
      host05 labels="['osd']"
      host06 labels="['osd']"
      
      [admin]
      host01 monitor_address= 10.10.128.68 labels="['_admin', 'mon', 'mgr']"

   4. 使用 --limit 选项运行 preflight playbook：

      语法

      ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit NEWHOST

      示例

      [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit host02

      preflight playbook 在新主机上安装 podman、lvm2、chrony 和 cephadm。安装完成后，cephadm 驻留在 /usr/sbin/ 目录中。

   5. 创建 playbook 以将新主机添加到集群中：

      语法

      sudo vi PLAYBOOK_FILENAME.yml
      
      ---
      - name: PLAY_NAME
        hosts: HOSTS_OR_HOST_GROUPS
        become: USE_ELEVATED_PRIVILEGES
        gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
        tasks:
          - name: NAME_OF_TASK
            ceph_orch_host:
              name: "{{ ansible_facts['hostname'] }}"
              address: "{{ ansible_facts['default_ipv4']['address'] }}"
              labels: "{{ labels }}"
            delegate_to: HOST_TO_DELEGATE_TASK_TO
      
          - name: NAME_OF_TASK
            when: inventory_hostname in groups['admin']
            ansible.builtin.shell:
              cmd: CEPH_COMMAND_TO_RUN
            register: REGISTER_NAME
      
          - name: NAME_OF_TASK
            when: inventory_hostname in groups['admin']
            debug:
              msg: "{{ REGISTER_NAME.stdout }}"

      注意

      默认情况下，Ansible 在与 playbook 的 hosts 行匹配的主机上执行所有任务。ceph orch 命令必须在包含管理员密钥环和 Ceph 配置文件的主机上运行。使用 delegate_to 关键字指定集群中的 admin 主机。

      示例

      [ceph-admin@admin cephadm-ansible]$ sudo vi add-hosts.yml
      
      ---
      - name: add additional hosts to the cluster
        hosts: all
        become: true
        gather_facts: true
        tasks:
          - name: add hosts to the cluster
            ceph_orch_host:
              name: "{{ ansible_facts['hostname'] }}"
              address: "{{ ansible_facts['default_ipv4']['address'] }}"
              labels: "{{ labels }}"
            delegate_to: host01
      
          - name: list hosts in the cluster
            when: inventory_hostname in groups['admin']
            ansible.builtin.shell:
              cmd: ceph orch host ls
            register: host_list
      
          - name: print current list of hosts
            when: inventory_hostname in groups['admin']
            debug:
              msg: "{{ host_list.stdout }}"

      在本例中，playbook 将新主机添加到集群中，并显示当前的主机列表。

   6. 运行 playbook 以将其他主机添加到集群中：

      语法

      ansible-playbook -i INVENTORY_FILE PLAYBOOK_FILENAME.yml

      示例

      [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts add-hosts.yml

2. 使用以下步骤从集群中删除主机：

   1. 登录 Ansible 管理节点。

   2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

      示例

      [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

   3. 创建 playbook 以从集群中删除主机或主机：

      语法

      sudo vi PLAYBOOK_FILENAME.yml
      
      ---
      - name: NAME_OF_PLAY
        hosts: ADMIN_HOST
        become: USE_ELEVATED_PRIVILEGES
        gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
        tasks:
          - name: NAME_OF_TASK
            ceph_orch_host:
              name: HOST_TO_REMOVE
              state: STATE
      
          - name: NAME_OF_TASK
            ceph_orch_host:
              name: HOST_TO_REMOVE
              state: STATE
            retries: NUMBER_OF_RETRIES
            delay: DELAY
            until: CONTINUE_UNTIL
            register: REGISTER_NAME
      
          - name: NAME_OF_TASK
            ansible.builtin.shell:
              cmd: ceph orch host ls
            register: REGISTER_NAME
      
          - name: NAME_OF_TASK
              debug:
                msg: "{{ REGISTER_NAME.stdout }}"

      示例

      [ceph-admin@admin cephadm-ansible]$ sudo vi remove-hosts.yml
      
      ---
      - name: remove host
        hosts: host01
        become: true
        gather_facts: true
        tasks:
          - name: drain host07
            ceph_orch_host:
              name: host07
              state: drain
      
          - name: remove host from the cluster
            ceph_orch_host:
              name: host07
              state: absent
            retries: 20
            delay: 1
            until: result is succeeded
            register: result
      
           - name: list hosts in the cluster
             ansible.builtin.shell:
               cmd: ceph orch host ls
             register: host_list
      
           - name: print current list of hosts
             debug:
               msg: "{{ host_list.stdout }}"

      在本例中，playbook 任务排空 host07 上的所有守护进程，从集群中删除主机，并显示当前主机列表。

   4. 运行 playbook 以从集群中删除主机：

      语法

      ansible-playbook -i INVENTORY_FILE PLAYBOOK_FILENAME.yml

      示例

      [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts remove-hosts.yml

流程

1. 登录 Ansible 管理节点。

2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

   [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

3. 使用配置更改创建 playbook：

   语法

   sudo vi PLAYBOOK_FILENAME.yml
   
   ---
   - name: PLAY_NAME
     hosts: ADMIN_HOST
     become: USE_ELEVATED_PRIVILEGES
     gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
     tasks:
       - name: NAME_OF_TASK
         ceph_config:
           action: GET_OR_SET
           who: DAEMON_TO_SET_CONFIGURATION_TO
           option: CEPH_CONFIGURATION_OPTION
           value: VALUE_OF_PARAMETER_TO_SET
   
       - name: NAME_OF_TASK
         ceph_config:
           action: GET_OR_SET
           who: DAEMON_TO_SET_CONFIGURATION_TO
           option: CEPH_CONFIGURATION_OPTION
         register: REGISTER_NAME
   
       - name: NAME_OF_TASK
         debug:
           msg: "MESSAGE_TO_DISPLAY {{ REGISTER_NAME.stdout }}"

   示例

   [ceph-admin@admin cephadm-ansible]$ sudo vi change_configuration.yml
   
   ---
   - name: set pool delete
     hosts: host01
     become: true
     gather_facts: false
     tasks:
       - name: set the allow pool delete option
         ceph_config:
           action: set
           who: mon
           option: mon_allow_pool_delete
           value: true
   
       - name: get the allow pool delete setting
         ceph_config:
           action: get
           who: mon
           option: mon_allow_pool_delete
         register: verify_mon_allow_pool_delete
   
       - name: print current mon_allow_pool_delete setting
         debug:
           msg: "the value of 'mon_allow_pool_delete' is {{ verify_mon_allow_pool_delete.stdout }}"

   在本例中，playbook 首先将 mon_allow_pool_delete 选项设置为 false。然后，playbook 获取当前的 mon_allow_pool_delete 设置，并在 Ansible 输出中显示值。

4. 运行 playbook：

   语法

   ansible-playbook -i INVENTORY_FILE _PLAYBOOK_FILENAME.yml

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts change_configuration.yml

流程

1. 登录 Ansible 管理节点。

2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

   [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

3. 使用服务规格创建 playbook：

   语法

   sudo vi PLAYBOOK_FILENAME.yml
   
   ---
   - name: PLAY_NAME
     hosts: HOSTS_OR_HOST_GROUPS
     become: USE_ELEVATED_PRIVILEGES
     gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
     tasks:
       - name: NAME_OF_TASK
         ceph_orch_apply:
           spec: |
             service_type: SERVICE_TYPE
             service_id: UNIQUE_NAME_OF_SERVICE
             placement:
               host_pattern: 'HOST_PATTERN_TO_SELECT_HOSTS'
               label: LABEL
             spec:
               SPECIFICATION_OPTIONS:

   示例

   [ceph-admin@admin cephadm-ansible]$ sudo vi deploy_osd_service.yml
   
   ---
   - name: deploy osd service
     hosts: host01
     become: true
     gather_facts: true
     tasks:
       - name: apply osd spec
         ceph_orch_apply:
           spec: |
             service_type: osd
             service_id: osd
             placement:
               host_pattern: '*'
               label: osd
             spec:
               data_devices:
                 all: true

   在本例中，playbook 在所有主机上部署 Ceph OSD 服务，其标签为 osd。

4. 运行 playbook：

   语法

   ansible-playbook -i INVENTORY_FILE _PLAYBOOK_FILENAME.yml

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts deploy_osd_service.yml

流程

1. 登录 Ansible 管理节点。

2. 进入 Ansible 管理节点上的 /usr/share/cephadm-ansible 目录：

   示例

   [ceph-admin@admin ~]$ cd /usr/share/cephadm-ansible

3. 创建带有守护进程状态更改的 playbook：

   语法

   sudo vi PLAYBOOK_FILENAME.yml
   
   ---
   - name: PLAY_NAME
     hosts: ADMIN_HOST
     become: USE_ELEVATED_PRIVILEGES
     gather_facts: GATHER_FACTS_ABOUT_REMOTE_HOSTS
     tasks:
       - name: NAME_OF_TASK
         ceph_orch_daemon:
           state: STATE_OF_SERVICE
           daemon_id: DAEMON_ID
           daemon_type: TYPE_OF_SERVICE

   示例

   [ceph-admin@admin cephadm-ansible]$ sudo vi restart_services.yml
   
   ---
   - name: start and stop services
     hosts: host01
     become: true
     gather_facts: false
     tasks:
       - name: start osd.0
         ceph_orch_daemon:
           state: started
           daemon_id: 0
           daemon_type: osd
   
       - name: stop mon.host02
         ceph_orch_daemon:
           state: stopped
           daemon_id: host02
           daemon_type: mon

   在本例中，playbook 启动 ID 为 0 的 OSD，并停止 ID 为 host02 的 Ceph Monitor。

4. 运行 playbook：

   语法

   ansible-playbook -i INVENTORY_FILE _PLAYBOOK_FILENAME.yml

   示例

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts restart_services.yml