3.2. 安装 Red Hat Ceph Storage 集群

编辑 group_vars/all.yml 文件。下表中列出了要取消注释的最常见必要参数和可选参数。请注意，该表不包含所有参数。

all.yml 文件的示例如下：

ceph_origin: distro
ceph_repository: rhcs
ceph_repository_type: cdn
ceph_rhcs_version: 3
monitor_interface: eth0
public_network: 192.168.0.0/24

如需了解更多详细信息，请参阅 all.yml 文件。

编辑 group_vars/osds.yml 文件。下表中列出了要取消注释的最常见必要参数和可选参数。请注意，该表不包含所有参数。

以下是使用三种 OSD 方案 (collocated, non-collocated, 和 lvm) 的osds.yml 文件的示例：如果没有指定，默认的 OSD 对象存储格式为 BlueStore。

osd_objectstore: filestore
osd_scenario: collocated
devices:
  - /dev/sda
  - /dev/sdb

osd_objectstore: bluestore
osd_scenario: non-collocated
devices:
 - /dev/sda
 - /dev/sdb
 - /dev/sdc
 - /dev/sdd
dedicated_devices:
 - /dev/nvme0n1
 - /dev/nvme0n1
 - /dev/nvme1n1
 - /dev/nvme1n1

此 non-collocated 示例将创建四个 BlueStore OSD，每个设备一个。在本例中，传统的硬盘驱动器（sda, sdb, sdc, sdd）用于对象数据，以及固态驱动器(SSD)（/dev/nvme0n1、/dev/nvme1n1）用于 BlueStore 数据库和 write-ahead 日志。此配置将 /dev/sda 和 /dev/sdb 设备与 /dev/nvme0n1 设备配对，并将 /dev/sdc 和 /dev/sdd 设备与 /dev/nvme1n1 设备配对。

osd_objectstore: filestore
osd_scenario: non-collocated
devices:
  - /dev/sda
  - /dev/sdb
  - /dev/sdc
  - /dev/sdd
dedicated_devices:
   - /dev/nvme0n1
   - /dev/nvme0n1
   - /dev/nvme1n1
   - /dev/nvme1n1

osd_objectstore: bluestore
osd_scenario: lvm
devices:
  - /dev/sda
  - /dev/sdb

或者

osd_objectstore: bluestore
osd_scenario: lvm
devices:
  - /dev/sda
  - /dev/sdb
  - /dev/nvme0n1

使用这些简单的配置，ceph-ansible 使用批处理模式(ceph-volume lvm batch)来创建 OSD。

在第一个场景中，如果 devices 是传统的硬盘驱动器或 SSD，则每个设备会创建一个 OSD。

在第二种场景中，当结合了传统的硬盘驱动器和 SSD 时，数据将放置在传统的硬盘驱动器（sda、sdb）上，并且将最大型的 BlueStore 数据库(block.db)在 SSD(nvme0n1)上创建。

osd_objectstore: filestore
osd_scenario: lvm
lvm_volumes:
   - data: data-lv1
     data_vg: vg1
     journal: journal-lv1
     journal_vg: vg2
   - data: data-lv2
     journal: /dev/sda
     data_vg: vg1

或者

osd_objectstore: bluestore
osd_scenario: lvm
lvm_volumes:
  - data: data-lv1
    data_vg: data-vg1
    db: db-lv1
    db_vg: db-vg1
    wal: wal-lv1
    wal_vg: wal-vg1
  - data: data-lv2
    data_vg: data-vg2
    db: db-lv2
    db_vg: db-vg2
    wal: wal-lv2
    wal_vg: wal-vg2

使用这些高级场景示例时，必须事先创建卷组和逻辑卷。它们不会由 ceph-ansible 创建。

如需了解更多详细信息，请参阅 osds.yml 文件中的注释。

在 [mons] 部分下添加 monitor 节点：

[mons]
MONITOR_NODE_NAME1
MONITOR_NODE_NAME2
MONITOR_NODE_NAME3

在 [osds] 部分下添加 OSD 节点。如果节点有顺序命名，请考虑使用范围：

[osds]
OSD_NODE_NAME1[1:10]

在 /etc/ansible/host_vars/ 目录下，为每个添加到存储集群的每个新 Ceph OSD 节点创建一个新文件：

touch /etc/ansible/host_vars/OSD_NODE_NAME

[root@admin ~]# touch /etc/ansible/host_vars/osd07

使用特定于主机的参数更新 文件。在裸机部署中，您可以在 文件中添加 devices: 和 dedicated_devices: 部分。

devices:
  - /dev/sdc
  - /dev/sdd
  - /dev/sde
  - /dev/sdf

dedicated_devices:
  - /dev/sda
  - /dev/sdb

设置 Ansible 清单文件。使用 osd_crush_location 参数，指定 OSD 主机处于 CRUSH map 的层次结构中的位置。您必须指定至少两种 CRUSH bucket 类型来指定 OSD 的位置，一种 bucket 类型 必须是 host。默认情况下，包括 root, datacenter, room, row, pod, pdu, rack, chassis 和 host。

[osds]
CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

[osds]
ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

将 crush_rule_config 和 create_crush_tree 参数设置为 True，如果您不想使用默认的 CRUSH 规则，至少创建一个 CRUSH 规则。例如，如果您使用 HDD 设备，请按如下所示编辑参数：

crush_rule_config: True
crush_rule_hdd:
    name: replicated_hdd_rule
    root: root-hdd
    type: host
    class: hdd
    default: True
crush_rules:
  - "{{ crush_rule_hdd }}"
create_crush_tree: True

如果使用 SSD 设备，请按如下所示编辑参数：

crush_rule_config: True
crush_rule_ssd:
    name: replicated_ssd_rule
    root: root-ssd
    type: host
    class: ssd
    default: True
crush_rules:
  - "{{ crush_rule_ssd }}"
create_crush_tree: True

使用在 group_vars/clients.yml 文件中创建的 crush_rules 来创建 pools。

copy_admin_key: True
user_config: True
pool1:
  name: "pool1"
  pg_num: 128
  pgp_num: 128
  rule_name: "HDD"
  type: "replicated"
  device_class: "hdd"
pools:
  - "{{ pool1 }}"

查看树。

[root@mon ~]# ceph osd tree

验证池。

# for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done

pool: pool1
crush_rule: HDD

在 [mgrs] 部分下，添加 Ceph Manager (ceph-mgr) 节点。将 Ceph 管理器守护进程与 monitor 节点并置。

[mgrs]
<monitor-host-name>
<monitor-host-name>
<monitor-host-name>

编辑 /usr/share/ceph-ansible/ansible.cfg 文件，更新 log_path 值，如下所示：

log_path = /var/log/ansible/ansible.log

在监控节点上，创建一个包含八个 PG 的测试池：

语法

[root@monitor ~]# ceph osd pool create <pool-name> <pg-number>

示例

[root@monitor ~]# ceph osd pool create test 8

创建名为 hello-world.txt 的文件：

语法

[root@monitor ~]# vim <file-name>

示例

[root@monitor ~]# vim hello-world.txt

使用对象名称 hello-world 将 hello-world.txt 上传到测试池中：

语法

[root@monitor ~]# rados --pool <pool-name> put <object-name> <object-file>

示例

[root@monitor ~]# rados --pool test put hello-world hello-world.txt

从 test 池下载 hello-world，保存为 fetch.txt ：

语法

[root@monitor ~]# rados --pool <pool-name> get <object-name> <object-file>

示例

[root@monitor ~]# rados --pool test get hello-world fetch.txt

检查 fetch.txt 的内容：

[root@monitor ~]# cat fetch.txt

输出应该是：

"Hello World!"