Ubuntu 安装指南

1. 登录红帽客户门户。
2. 点 Downloads 访问 Software & Download Center。
3. 在 Red Hat Ceph Storage 区域中，单击 Download Software 以下载最新版本的软件。

1. 在所有 monitor 节点上，打开公共网络中的端口 6789 ：

   iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 6789 -j ACCEPT

   替换

   • 公共网络上网络接口卡名称的 iface.
   • ip_address，带有 monitor 节点的网络地址。
   • 使用 CIDR 格式的网络掩码替换 netmask_prefix。

   示例

   $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.11/24 --dport 6789 -j ACCEPT

2. 在所有 OSD 节点上，打开公共网络上的端口 6800-7300 ：

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   替换

   • 公共网络上网络接口卡名称的 iface.
   • ip_address，具有 OSD 节点的网络地址。
   • netmask_prefix，使用 CIDR 表示法的子网掩码 。

   示例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

3. 在所有 Ceph Manager(ceph-mgr)节点上（通常与 monitor 节点相同），在公共网络上打开端口 6800-7300 ：

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   替换

   • 公共网络上网络接口卡名称的 iface.
   • ip_address，具有 OSD 节点的网络地址。
   • netmask_prefix，使用 CIDR 表示法的子网掩码 。

   示例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

4. 在所有 Ceph 元数据服务器(ceph-mds)节点上，在公共网络上打开端口 6800 ：

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800 -j ACCEPT

   替换

   • 公共网络上网络接口卡名称的 iface.
   • ip_address，具有 OSD 节点的网络地址。
   • netmask_prefix，使用 CIDR 表示法的子网掩码 。

   示例

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800 -j ACCEPT

5. 在所有 Ceph 对象网关节点上，打开公共网络上的相关端口或端口。

   1. 打开默认 Ansible 配置的端口 8080:

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 8080 -j ACCEPT

      替换

      • 公共网络上网络接口卡名称的 iface。
      • ip_address，带有对象网关节点的网络地址。
      • netmask_prefix，使用 CIDR 表示法的子网掩码 。

      示例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 8080 -j ACCEPT

   2. 可选。如果您使用 Ansible 安装 Ceph 对象网关，并将 Ansible 用于配置 Ceph 对象网关的默认端口从 8080 改为其他端口（例如 80），打开此端口：

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 80 -j ACCEPT

      替换

      • 公共网络上网络接口卡名称的 iface.
      • ip_address，带有对象网关节点的网络地址。
      • netmask_prefix，使用 CIDR 表示法的子网掩码 。

      示例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 80 -j ACCEPT

   3. 可选。要使用 SSL/TLS，请打开端口 443 ：

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 443 -j ACCEPT

      替换

      • 公共网络上网络接口卡名称的 iface.
      • ip_address，带有对象网关节点的网络地址。
      • netmask_prefix，使用 CIDR 表示法的子网掩码 。

      示例

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 443 -j ACCEPT

6. 使更改在存储集群中的所有 RHCS 节点上都可以被持久保留。

   1. 安装 iptables-persistent 软件包：

      $ sudo apt-get install iptables-persistent

   2. 在出现的终端 UI 中，选择 yes 将当前的 IPv4 iptables 规则保存到 /etc/iptables/rules.v4 文件，并将当前的 IPv6 iptables 规则保存到 /etc/iptables/rules.v6 文件中。

      注意

      如果在安装 iptables-persistent 后添加新的 iptables 规则，请在 rules 文件中添加新规则：

      $ sudo iptables-save >> /etc/iptables/rules.v4

流程

1. 以 root 用户身份登录 Ceph 节点：

   ssh root@$HOST_NAME

   替换

   • $HOST_NAME，其主机名为 Ceph 节点。

   示例

   # ssh root@mon01

   出现提示时，输入 root 密码。

2. 创建一个新的 Ansible 用户：

   adduser $USER_NAME

   替换

   • $USER_NAME，它具有 Ansible 用户的新用户名。

   示例

   $ sudo adduser admin

   出现提示时，输入此用户的密码两次。

   重要

   不要使用 ceph 作为用户名。ceph 用户名保留用于 Ceph 守护进程。整个集群中的统一用户名可以提高易用性，但避免使用明显的用户名，因为入侵者通常使用它们进行暴力攻击。

3. 为新创建的用户配置 sudo 访问权限：

   cat << EOF >/etc/sudoers.d/$USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   替换

   • $USER_NAME，它具有 Ansible 用户的新用户名。

   示例

   $ sudo cat << EOF >/etc/sudoers.d/admin
   admin ALL = (root) NOPASSWD:ALL
   EOF

4. 为新文件分配正确的文件权限：

   chmod 0440 /etc/sudoers.d/$USER_NAME

   替换

   • $USER_NAME，它具有 Ansible 用户的新用户名。

   示例

   $ sudo chmod 0440 /etc/sudoers.d/admin

1. 生成 SSH 密钥对，接受默认文件名并将密语留空：

   [user@admin ~]$ ssh-keygen

2. 将公钥复制到存储集群中的所有节点：

   ssh-copy-id $USER_NAME@$HOST_NAME

   替换

   • $USER_NAME，它具有 Ansible 用户的新用户名。
   • $HOST_NAME，其主机名为 Ceph 节点。

   示例

   [user@admin ~]$ ssh-copy-id admin@ceph-mon01

3. 创建并编辑 ~/.ssh/config 文件。

   重要

   通过创建并编辑 ~/.ssh/config 文件，您不必在每次执行 ansible-playbook 命令时指定 -u $USER_NAME 选项。

   1. 创建 SSH 配置文件 ：

      [user@admin ~]$ touch ~/.ssh/config

   2. 打开 配置文件 进行编辑。为存储集群中的每个节点设置 Hostname 和 User 选项：

      Host node1
         Hostname $HOST_NAME
         User $USER_NAME
      Host node2
         Hostname $HOST_NAME
         User $USER_NAME
      ...

      替换

      • $HOST_NAME，其主机名为 Ceph 节点。
      • $USER_NAME，它具有 Ansible 用户的新用户名。

      示例

      Host node1
         Hostname monitor
         User admin
      Host node2
         Hostname osd
         User admin
      Host node3
         Hostname gateway
         User admin

4. 为 ~/.ssh/config 文件设置正确的文件权限：

   [admin@admin ~]$ chmod 600 ~/.ssh/config

1. 以 Ansible 用户身份，创建 ceph-ansible-keys 目录，其中 Ansible 存储 ceph-ansible playbook 生成的临时值。

   [user@admin ~]$ mkdir ~/ceph-ansible-keys

2. 以 root 用户身份，创建一个指向 /etc/ansible/ 目录中的 /usr/share/ceph-ansible/group_vars 目录的符号链接：

   [root@admin ~]# ln -s /usr/share/ceph-ansible/group_vars /etc/ansible/group_vars

3. 进入 /usr/share/ceph-ansible/ 目录：

   [root@admin ~]$ cd /usr/share/ceph-ansible

4. 为 yml.sample 文件创建新副本：

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp site.yml.sample site.yml

5. 编辑复制的文件。

   1. 编辑 group_vars/all.yml 文件。下表中列出了要取消注释的最常见必要参数和可选参数。请注意，该表不包含所有参数。

      重要

      不要将 cluster: ceph 参数设置为 ceph 以外的任何值，因为不支持使用自定义集群名称。

      表 3.1. 常规 Ansible 设置

      选项	值	必填	备注
      ceph_origin	repository 或 distro 或 local	是	repository 代表 Ceph 将通过一个新的仓库安装。distro 值意味着不会添加单独的存储库文件，您将获得 Linux 发行版本中包含的任何 Ceph 版本。local 值表示将从本地计算机复制 Ceph 二进制文件。
      ceph_repository_type	cdn 或 iso	是
      ceph_rhcs_iso_path	ISO 镜像的路径	如果使用 ISO 镜像，为 Yes
      ceph_rhcs_cdn_debian_repo	用于访问在线 Ubuntu Ceph 存储库的凭据。例如，https://username:password@rhcs.download.redhat.com。	是
      ceph_rhcs_cdn_debian_repo_version	对新安装，使用 /3-release/ ；对于更新，使用 /3-updates/。	是
      monitor_interface	monitor 节点侦听的接口	monitor_interface、monitoring_address 或 monitor_address_block 是必需的
      monitor_address	monitor 节点侦听的地址
      monitor_address_block	Ceph 公共网络的子网		当节点的 IP 地址未知时使用，但已知子网
      ip_version	ipv6	如果使用 IPv6 地址，则为
      public_network	Ceph 公共网络的 IP 地址和子网掩码，或者对应的 IPv6 地址（若使用 IPv6）	是	第 2.7 节 “验证 Red Hat Ceph Storage 的网络配置”
      cluster_network	Ceph 集群网络的 IP 地址和子网掩码	否，默认为 public_network

      all.yml 文件的示例如下：

      ceph_origin: distro
      ceph_repository: rhcs
      ceph_repository_type: cdn
      ceph_rhcs_version: 3
      monitor_interface: eth0
      public_network: 192.168.0.0/24

      注意

      务必将 ceph_origin 设置为 all.yml 文件中的 distro。这样可确保安装过程使用正确的下载存储库。

      注意

      将 ceph_rhcs_version 选项设置为 3 将引入最新版本的 Red Hat Ceph Storage 3。

      如需了解更多详细信息，请参阅 all.yml 文件。

   2. 编辑 group_vars/osds.yml 文件。下表中列出了要取消注释的最常见必要参数和可选参数。请注意，该表不包含所有参数。

      重要

      使用不同的物理设备来安装与安装操作系统的设备不同的 OSD。在操作系统和 OSD 之间共享相同的设备会导致性能问题。

      表 3.2. OSD Ansible 设置

      选项	值	必填	备注
      osd_scenario	collocated 使用相同的设备进行写入日志记录和键/值数据(BlueStore)或日志(FileStore)和 OSD 数据 non-collocated 为使用专用设备，如 SSD 或 NVMe 介质，以存储 write-ahead 日志和键/值数据(BlueStore)或日志数据(FileStore) LVM 使用逻辑卷管理器存储 OSD 数据	是	使用 osd_scenario: non-collocated 时，ceph-ansible 期望 devices 和 dedicated_devices 中的变量数量相匹配。例如，如果您在 devices 中指定了 10 个磁盘，则必须在 dedicated_devices 中指定 10 个条目。
      osd_auto_discovery	true 来自动发现 OSD	如果使用 osd_scenario: collocated 为 Yes	使用 devices 设置时无法使用
      devices	存储 Ceph 数据 的设备列表	Yes 用来指定设备列表	使用 osd_auto_discovery 设置时无法使用。当使用 lvm 作为 osd_scenario 并设置 devices 选项时，ceph-volume lvm batch 模式将创建优化的 OSD 配置。
      dedicated_devices	存储 ceph 日志 的非并置 OSD 的专用设备列表	如果 osd_scenario: non-collocated，则为 yes	应该是非分区的设备
      dmcrypt	true 来加密 OSD	否	默认值为 false
      lvm_volumes	FileStore 或 BlueStore 字典列表	如果使用 osd_scenario: lvm且存储设备没有使用 devices定义 时为 Yes	每一字典必须包含 data、journal 和 data_vg 键。任何逻辑卷或卷组都必须是名称，而不是完整路径。data 和 journal 键可以是逻辑卷 (LV) 或分区，但不能将一个日志用于多个 data LV。data_vg 键必须是包含 data LV 的卷组。（可选） journal_vg 键可用于指定包含 journal LV 的卷组（如果适用）。有关各种支持的配置，请参见以下示例。
      osds_per_device	每个设备要创建的 OSD 数量。	否	默认为 1
      osd_objectstore	OSD 的 Ceph 对象存储类型。	否	默认为 bluestore。另一个选项是 filestore。升级需要。

      以下是使用三种 OSD 方案 (collocated, non-collocated, 和 lvm) 的osds.yml 文件的示例：如果没有指定，默认的 OSD 对象存储格式为 BlueStore。

      Collocated

      osd_objectstore: filestore
      osd_scenario: collocated
      devices:
        - /dev/sda
        - /dev/sdb

      Non-collocated - BlueStore

      osd_objectstore: bluestore
      osd_scenario: non-collocated
      devices:
       - /dev/sda
       - /dev/sdb
       - /dev/sdc
       - /dev/sdd
      dedicated_devices:
       - /dev/nvme0n1
       - /dev/nvme0n1
       - /dev/nvme1n1
       - /dev/nvme1n1

      此 non-collocated 示例将创建四个 BlueStore OSD，每个设备一个。在本例中，传统的硬盘驱动器（sda, sdb, sdc, sdd）用于对象数据，以及固态驱动器(SSD)（/dev/nvme0n1、/dev/nvme1n1）用于 BlueStore 数据库和 write-ahead 日志。此配置将 /dev/sda 和 /dev/sdb 设备与 /dev/nvme0n1 设备配对，并将 /dev/sdc 和 /dev/sdd 设备与 /dev/nvme1n1 设备配对。

      non-collocated - FileStore

      osd_objectstore: filestore
      osd_scenario: non-collocated
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/sdc
        - /dev/sdd
      dedicated_devices:
         - /dev/nvme0n1
         - /dev/nvme0n1
         - /dev/nvme1n1
         - /dev/nvme1n1

      LVM 简单

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb

      或

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/nvme0n1

      使用这些简单的配置，ceph-ansible 使用批处理模式(ceph-volume lvm batch)来创建 OSD。

      在第一个场景中，如果 devices 是传统的硬盘驱动器或 SSD，则每个设备会创建一个 OSD。

      在第二种场景中，当结合了传统的硬盘驱动器和 SSD 时，数据将放置在传统的硬盘驱动器（sda、sdb）上，并且将最大型的 BlueStore 数据库(block.db)在 SSD(nvme0n1)上创建。

      LVM 高级设置

      osd_objectstore: filestore
      osd_scenario: lvm
      lvm_volumes:
         - data: data-lv1
           data_vg: vg1
           journal: journal-lv1
           journal_vg: vg2
         - data: data-lv2
           journal: /dev/sda
           data_vg: vg1

      或

      osd_objectstore: bluestore
      osd_scenario: lvm
      lvm_volumes:
        - data: data-lv1
          data_vg: data-vg1
          db: db-lv1
          db_vg: db-vg1
          wal: wal-lv1
          wal_vg: wal-vg1
        - data: data-lv2
          data_vg: data-vg2
          db: db-lv2
          db_vg: db-vg2
          wal: wal-lv2
          wal_vg: wal-vg2

      使用这些高级场景示例时，必须事先创建卷组和逻辑卷。它们不会由 ceph-ansible 创建。

      注意

      如果使用所有 NVMe SSD，请设置 osd_scenario: lvm 和 osds_per_device: 4 选项。有关更多信息，请参阅安装指南中的 Configuring OSD Ansible settings for all NVMe Storage（Red Hat Enterprise Linux）或 Configuring OSD Ansible settings for all NVMe Storage（Ubuntu）。

      如需了解更多详细信息，请参阅 osds.yml 文件中的注释。

6. 编辑位于 /etc/ansible/hosts 的 Ansible 清单文件。记住注释掉示例主机。

   1. 在 [mons] 部分下添加 monitor 节点：

      [mons]
      MONITOR_NODE_NAME1
      MONITOR_NODE_NAME2
      MONITOR_NODE_NAME3

   2. 在 [osds] 部分下添加 OSD 节点。如果节点有顺序命名，请考虑使用范围：

      [osds]
      OSD_NODE_NAME1[1:10]

      注意

      对于新安装的 OSD，默认的对象存储格式为 BlueStore。

      1. （可选）使用 devices 和 dedicated_devices 选项指定 OSD 节点使用的设备。使用逗号分隔的列表列出多个设备。

         语法

         [osds]
         CEPH_NODE_NAME devices="['DEVICE_1', 'DEVICE_2']" dedicated_devices="['DEVICE_3', 'DEVICE_4']"

         示例

         [osds]
         ceph-osd-01 devices="['/dev/sdc', '/dev/sdd']" dedicated_devices="['/dev/sda', '/dev/sdb']"
         ceph-osd-02 devices="['/dev/sdc', '/dev/sdd', '/dev/sde']" dedicated_devices="['/dev/sdf', '/dev/sdg']"

         在没有指定设备时，在 osds.yml 文件中将 osd_auto_discovery 选项设置为 true。

         注意

         当 OSD 与不同名称使用设备或者其中一个 OSD 上失败时，使用 devices 和 dedicated_devices 参数很有用。

7. 另外，如果您想要将主机特定参数用于所有部署( 裸机或在 容器 中)，请在 host_vars 目录中创建主机文件，使其包含特定于主机的参数。

   1. 在 /etc/ansible/host_vars/ 目录下，为每个添加到存储集群的每个新 Ceph OSD 节点创建一个新文件：

      语法

      touch /etc/ansible/host_vars/OSD_NODE_NAME

      示例

      [root@admin ~]# touch /etc/ansible/host_vars/osd07

   2. 使用特定于主机的参数更新 文件。在裸机部署中，您可以在 文件中添加 devices: 和 dedicated_devices: 部分。

      示例

      devices:
        - /dev/sdc
        - /dev/sdd
        - /dev/sde
        - /dev/sdf
      
      dedicated_devices:
        - /dev/sda
        - /dev/sdb

8. 另外，对于所有部署（裸机 或 容器 ），您可以使用 ansible-playbook 创建自定义 CRUSH 层次结构：

   1. 设置 Ansible 清单文件。使用 osd_crush_location 参数，指定 OSD 主机处于 CRUSH map 的层次结构中的位置。您必须指定至少两种 CRUSH bucket 类型来指定 OSD 的位置，一种 bucket 类型 必须是 host。默认情况下，包括 root, datacenter, room, row, pod, pdu, rack, chassis 和 host。

      语法

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      示例

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. 将 crush_rule_config 和 create_crush_tree 参数设置为 True，如果您不想使用默认的 CRUSH 规则，至少创建一个 CRUSH 规则。例如，如果您使用 HDD 设备，请按如下所示编辑参数：

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      如果使用 SSD 设备，请按如下所示编辑参数：

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      注意

      如果没有部署 ssd 和 hdd OSD，则默认 CRUSH 规则会失败，因为默认规则现在包含 类参数 （必须定义）。

      注意

      此外，将自定义 CRUSH 层次结构添加到 host_vars 目录中的 OSD 文件，如上面的步骤中所述，使此配置正常工作。

   3. 使用在 group_vars/clients.yml 文件中创建的 crush_rules 来创建 pools。

      示例

      >>>>>>> 3993c70c7f25ab628cbfd9c8e27623403ca18c99

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. 查看树。

      [root@mon ~]# ceph osd tree

   5. 验证池。

      # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
      
      pool: pool1
      crush_rule: HDD

9. 对于 裸机 或 容器 的所有部署，打开并编辑 Ansible 清单文件（默认为 /etc/ansible/hosts 文件）。注释掉示例主机。

   1. 在 [mgrs] 部分下，添加 Ceph Manager (ceph-mgr) 节点。将 Ceph 管理器守护进程与 monitor 节点并置。

      [mgrs]
      <monitor-host-name>
      <monitor-host-name>
      <monitor-host-name>

10. 以 Ansible 用户身份，确保 Ansible 可以访问 Ceph 主机：

    [user@admin ~]$ ansible all -m ping

11. 将以下行添加到 /etc/ansible/ansible.cfg 文件中：

    retry_files_save_path = ~/

12. 以 root 用户身份，创建 /var/log/ansible/ 目录，并为 ansible 用户分配适当的权限：

    [root@admin ~]# mkdir /var/log/ansible
    [root@admin ~]# chown ansible:ansible  /var/log/ansible
    [root@admin ~]# chmod 755 /var/log/ansible

    1. 编辑 /usr/share/ceph-ansible/ansible.cfg 文件，更新 log_path 值，如下所示：

       log_path = /var/log/ansible/ansible.log

13. 以 Ansible 用户身份，切换到 /usr/share/ceph-ansible/ 目录：

    [user@admin ~]$ cd /usr/share/ceph-ansible/

14. 运行 ceph-ansible playbook：

    [user@admin ceph-ansible]$ ansible-playbook site.yml

    注意

    要提高部署速度，请在 ansible-playbook 中使用 --forks 选项。默认情况下，ceph-ansible 将 fork 设置为 20。在这个版本中，最多 20 个节点将同时安装。要一次安装最多 30 个节点，请运行 ansible-playbook --forks 30 PLAYBOOK 文件。必须监控管理节点上的资源，以确保它们不会被过度使用。如果是，则减少传递给 --forks 的数字。

15. 使用 monitor 节点上的 root 帐户，验证 Ceph 集群的状态：

    [root@monitor ~]# ceph health
    HEALTH_OK

16. 使用 rados 验证群集是否正常运行。

    1. 在监控节点上，创建一个包含八个 PG 的测试池：

       语法

       [root@monitor ~]# ceph osd pool create <pool-name> <pg-number>

       示例

       [root@monitor ~]# ceph osd pool create test 8

    2. 创建名为 hello-world.txt 的文件：

       语法

       [root@monitor ~]# vim <file-name>

       示例

       [root@monitor ~]# vim hello-world.txt

    3. 使用对象名称 hello-world 将 hello-world.txt 上传到测试池中：

       语法

       [root@monitor ~]# rados --pool <pool-name> put <object-name> <object-file>

       示例

       [root@monitor ~]# rados --pool test put hello-world hello-world.txt

    4. 从 test 池下载 hello-world，保存为 fetch.txt ：

       语法

       [root@monitor ~]# rados --pool <pool-name> get <object-name> <object-file>

       示例

       [root@monitor ~]# rados --pool test get hello-world fetch.txt

    5. 检查 fetch.txt 的内容：

       [root@monitor ~]# cat fetch.txt

       输出应该是：

       "Hello World!"

       注意

       除了验证集群状态外，您还可以使用 ceph-medic 实用程序来全面诊断 Ceph 存储群集。请参阅 Red Hat Ceph Storage 3 管理指南中的使用 ceph-medic 来诊断 Ceph Storage 集群章节。

流程

1. 在 group_vars/osds.yml 中设置 osd_scenario: lvm 和 osds_per_device: 4：

   osd_scenario: lvm
   osds_per_device: 4

2. 列出 devices 中的 NVMe 设备：

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml 中的设置类似以下示例：

   osd_scenario: lvm
   osds_per_device: 4
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 在 /etc/ansible/hosts 文件中添加新部分 [mdss] ：

   [mdss]
   hostname
   hostname
   hostname

   使用您要安装 Ceph 元数据服务器的节点的主机名替换 hostname。

2. 进入 /usr/share/ceph-ansible 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 可选。更改默认变量。

   1. 创建名为 mdss.yml 的 group_vars/mdss.yml 的副本：

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. （可选）编辑 mdss.yml 中的参数。详情请查看 mdss.yml。

4. 以 Ansible 用户身份，运行 Ansible playbook:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss

5. 安装元数据服务器后，对它们进行配置。详情请参阅 Red Hat Ceph Storage 3 的 Ceph 文件系统指南中的配置元数据服务器守护进程 一章。

1. 在 /etc/ansible/hosts 文件中添加新部分 [clients]：

   [clients]
   <client-hostname>

   将 <client-hostname> 替换为您要安装 ceph-client 角色的节点的主机名。

2. 进入 /usr/share/ceph-ansible 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 为 clients.yml.sample 文件创建一个新副本，取名为 client.yml:

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. 打开 group_vars/clients.yml 文件，取消注释以下行：

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. 使用实际客户端名称替换 client.test，并在客户端定义行中添加客户端密钥，例如：

      key: "ADD-KEYRING-HERE=="

      现在，整行示例类似如下：

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注意

      ceph-authtool --gen-print-key 命令可以生成新的客户端密钥。

5. （可选）指示 ceph-client 创建池和客户端。

   1. 更新 clients.yml。

      • 取消注释 user_config 设置并将其设置为 true。
      • 取消注释 pools 和 keys 部分，并根据需要进行更新。您可以使用 cephx 功能定义自定义池和客户端名称。

   2. 将 osd_pool_default_pg_num 设置添加到 all.yml 文件的 ceph_conf_overrides 部分：

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: <number>

      将 <number> 替换为 PG 的默认数量。

6. 运行 Ansible playbook:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit clients

1. 将网关主机添加到 [rgws] 部分下的 /etc/ansible/hosts 文件中，以将其角色标识到 Ansible。如果主机有顺序命名，请使用范围，例如：

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. 进入 Ansible 配置目录：

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. 从示例文件创建 rgws.yml 文件：

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. 打开并编辑 group_vars/rgws.yml 文件。要将管理员密钥复制到 Ceph 对象网关节点，取消注释 copy_admin_key 选项：

   copy_admin_key: true

5. rgws.yml 文件可以指定与默认端口 7480 不同的默认端口。例如：

   ceph_rgw_civetweb_port: 80

6. all.yml 文件必须 指定一个 radosgw_interface。例如：

   radosgw_interface: eth0

   指定该接口可防止 Civetweb 在同一主机上运行多个实例时绑定到与另一个 Civetweb 实例相同的 IP 地址。

7. 通常，要更改默认设置，请取消注释 rgw.yml 文件中的设置，并相应地进行更改。要对没有在 rgw.yml 文件中的设置进行其他更改，请在 all.yml 文件中使用 ceph_conf_overrides:。例如，将 rgw_dns_name: 设置为 DNS 服务器的主机，并确保集群的 DNS 服务器配置为启用 S3 子域。

   ceph_conf_overrides:
      client.rgw.rgw1:
         rgw_dns_name: <host_name>
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   有关高级配置详情，请参阅 Red Hat Ceph Storage 3 Ceph Object Gateway for Production 指南。高级议题包括：

   • 配置 Ansible 组

   • 开发存储策略.如需有关如何创建和配置池的更多详细信息，请参阅创建根池、创建系统池和创建数据放置策略部分。

     有关存储桶分片的配置详情，请参阅 Bucket Sharding。

8. 取消注释 group_vars/all.yml 文件中的 radosgw_interface 参数。

   radosgw_interface: <interface>

   替换：

   • 使用 Ceph 对象网关节点侦听的接口替换 <interface>

   如需了解更多详细信息，请参阅 all.yml 文件。

9. 运行 Ansible playbook:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws

1. 从示例文件创建 nfss 文件：

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. 将网关主机添加到 [nfss] 组下的 /etc/ansible/hosts 文件中，以识别其组成员资格。如果主机具有连续命名，则使用范围。例如：

   [nfss]
   <nfs_host_name_1>
   <nfs_host_name_2>
   <nfs_host_name[3..10]>

3. 进入 Ansible 配置目录 /etc/ansible/:

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 要将管理员密钥复制到 Ceph 对象网关节点，请取消注释 /usr/share/ceph-ansible/group_vars/nfss.yml 文件中的 copy_admin_key 设置：

   copy_admin_key: true

5. 配置 /usr/share/ceph-ansible/group_vars/nfss.yml 文件的 FSAL (File System Abstraction Layer) 部分。提供 ID、S3 用户 ID、S3 访问密钥和机密。对于 NFSv4，它应类似如下：

   ###################
   # FSAL RGW Config #
   ###################
   #ceph_nfs_rgw_export_id: <replace-w-numeric-export-id>
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   #ceph_nfs_rgw_user: "cephnfs"
   # Note: keys are optional and can be generated, but not on containerized, where
   # they must be configered.
   #ceph_nfs_rgw_access_key: "<replace-w-access-key>"
   #ceph_nfs_rgw_secret_key: "<replace-w-secret-key>"

   警告

   访问和密钥是可选的，可以生成。

6. 运行 Ansible playbook:

   [user@admin ceph-ansible]$ ansible-playbook site-docker.yml --limit nfss

1. 以 root 用户身份，导航到 /usr/share/ceph-ansible/ 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. 从 Red Hat Ceph Storage 版本 3.x 升级到最新版本时跳过此步骤。备份 group_vars/all.yml 和 group_vars/osds.yml 文件。

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. 从 Red Hat Ceph Storage 版本 3.x 升级到最新版本时跳过此步骤。从 Red Hat Ceph Storage 2.x 升级到 3.x 时，创建 group_vars/all.yml.sample、group_vars/osds.yml.sample 和 group_vars/clients.yml.sample 文件的新副本，并将它们分别重命名为 group_vars/all.yml、group_vars/osds.yml 和 group_vars/clients.yml。打开并相应地编辑它们。详情请查看 附录 H, 版本 2 和版本 3 之间的 Ansible 变量更改 和 第 3.2 节 “安装 Red Hat Ceph Storage 集群”。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. 从 Red Hat Ceph Storage 版本 3.x 升级到最新版本时跳过此步骤。当从 Red Hat Ceph Storage 2.x 升级到 3.x 时，打开 group_vars/clients.yml 文件并取消注释以下行：

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. 使用实际客户端名称替换 client.test，并在客户端定义行中添加客户端密钥，例如：

      key: "ADD-KEYRING-HERE=="

      现在，整行示例类似如下：

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注意

      若要获取客户端密钥，可运行 ceph auth get-or-create 命令，以查看指定客户端的密钥。

5. 在 group_vars/all.yml 文件中，取消注释 upgrade_ceph_packages 选项，并将它设为 True。

   upgrade_ceph_packages: True

6. 将 fetch_directory 参数添加到 group_vars/all.yml 文件。

   fetch_directory: <full_directory_path>

   替换：

   • <full_directory_path>，位置一个可写的位置，如 Ansible 用户的主目录。提供用于初始存储集群安装的现有路径。

   如果现有路径丢失或缺失，请首先执行以下操作：

   1. 在现有 group_vars/all.yml 文件中添加以下选项：

      fsid: <add_the_fsid>
      generate_fsid: false

   2. 运行 take-over-existing-cluster.yml Ansible playbook:

      [user@admin ceph-ansible]$ cp infrastructure-playbooks/take-over-existing-cluster.yml .
      [user@admin ceph-ansible]$ ansible-playbook take-over-existing-cluster.yml

7. 如果要升级的集群包含任何 Ceph 对象网关节点，请将 radosgw_interface 参数添加到 group_vars/all.yml 文件中。

   radosgw_interface: <interface>

   替换：

   • <interface> 以及 Ceph 对象网关节点侦听的接口。

8. 从 Red Hat Ceph Storage 3.2 开始，默认的 OSD 对象存储是 BlueStore。若要保留传统的 OSD 对象存储，您必须将 osd_objectstore 选项明确设置为 group_vars/all.yml 文件中的 filestore。

   osd_objectstore: filestore

   注意

   将 osd_objectstore 选项设置为 filestore 时，替换 OSD 将使用 FileStore，而不是 BlueStore。

9. 在位于 /etc/ansible/hosts 的 Ansible 清单文件中，将 Ceph Manager(ceph-mgr)节点添加到 [mgrs] 部分下。将 Ceph 管理器守护进程与 monitor 节点并置。从 3.x 升级到最新版本时跳过此步骤。

   [mgrs]
   <monitor-host-name>
   <monitor-host-name>
   <monitor-host-name>

10. 将 rolling_update.yml 从 infrastructure-playbooks 目录中复制到当前目录中。

    [root@admin ceph-ansible]# cp infrastructure-playbooks/rolling_update.yml .

    重要

    不要将 limit ansible 选项与 rolling_update.yml 搭配使用。

11. 创建 /var/log/ansible/ 目录，并为 ansible 用户分配适当的权限：

    [root@admin ceph-ansible]# mkdir /var/log/ansible
    [root@admin ceph-ansible]# chown ansible:ansible  /var/log/ansible
    [root@admin ceph-ansible]# chmod 755 /var/log/ansible

    1. 编辑 /usr/share/ceph-ansible/ansible.cfg 文件，更新 log_path 值，如下所示：

       log_path = /var/log/ansible/ansible.log

12. 以 Ansible 用户身份，运行 playbook:

    [user@admin ceph-ansible]$ ansible-playbook rolling_update.yml

13. 在以 root 用户身份登录 RBD 镜像守护进程节点时，请手动升级 rbd-mirror ：

    $ sudo apt-get upgrade rbd-mirror

    重启守护进程：

    # systemctl restart  ceph-rbd-mirror@<client-id>

14. 验证集群运行状况是否为 OK。以 root 用户身份登陆到监控节点，再运行 ceph status 命令。

1. 如果在 OpenStack 环境中工作，请更新所有 cephx 用户，以将 RBD 配置文件用于池。以下命令必须以 root 用户身份运行 ：

   • Glance 用户

     ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=<glance-pool-name>'

     示例

     [root@monitor ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

   • Cinder 用户

     ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     示例

     [root@monitor ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

   • OpenStack 常规用户

     ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     示例

     [root@monitor ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

     重要

     在执行任何实时客户端迁移前，进行这些 CAPS 更新。这使得客户端能够使用内存中运行的新库，从而导致旧 CAPS 设置从缓存中丢弃并应用新的 RBD 配置集设置。