配置指南

所有 Red Hat Ceph Storage 集群都有一个配置，它定义：

Ansible 等部署工具通常会为您创建初始 Ceph 配置文件。但是，如果您想在没有使用部署工具的情况下引导 Red Hat Ceph Storage 集群，您可以自己创建一个。

Ceph Monitor 管理 Ceph 选项的配置数据库，通过存储整个存储集群的配置选项来集中管理配置管理。在数据库中将 Ceph 配置集中到一起，这有助于存储集群管理。默认情况下，本地 Ceph 配置文件 /etc/ceph/ceph.conf 中仍可以定义一些 Ceph 选项。很少的 Ceph 配置选项控制 Ceph 组件如何连接到 Ceph 监控器以进行身份验证，并从数据库获取配置信息。

Ceph 允许您在运行时更改守护进程的配置。通过启用或禁用 debug 设置，此功能可用于增加或减少日志输出，甚至可用于运行时优化。

掩码有两种形式：

Ceph 配置文件在启动时配置 Ceph 守护进程，这将覆盖其默认值。

Ceph 默认配置文件的位置为 /etc/ceph/ceph.conf。您可以通过设置不同的路径来更改该位置：

Ceph 配置文件采用一种 格式 的语法。您可以在前面的注释中用井号 (#) 或分号 (;) 添加注释。

# <--A pound sign (#) sign precedes a comment.
# Comments always follow a semi-colon (;) or a pound (#) on each line.
# The end of the line terminates a comment.
# We recommend that you provide comments in your configuration file(s).
; A comment may be anything.

配置文件可以在 Ceph 存储集群中配置所有 Ceph 守护进程，或者在启动时配置特定类型的所有 Ceph 守护进程。要配置一系列守护进程，必须在接收配置的进程中包含设置，如下所示：

    [mon.host01]
     `host = host01`
     `mon_addr = 10.0.0.101`
    [mon.host02]
     `host = host02`
     `mon_addr = 10.0.0.102`

全局设置会影响 Ceph 存储集群中所有守护进程的所有实例。将 [global] 标题用于 Ceph 存储集群中所有守护进程通用的值。您可以通过以下方式覆盖每个 [global] 选项：

或者

覆盖全局设置会影响所有子进程，除了您在特定守护进程中特别覆盖的子进程。

典型的全局设置涉及激活身份验证。

[global]
#Enable authentication between hosts within the cluster.
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

您可以指定适用于特定类型的守护进程的设置。当您指定 [osd] 或 [mon] 下的设置而不指定特定实例，则设置将分别应用于所有 OSD 或监控守护进程。全守护进程设置的示例是 osd 内存目标。

[osd]
osd_memory_target = 5368709120

您可以为守护进程的特定实例指定设置。您可以通过输入类型，以句点 (.) 分隔来指定一个实例，或通过实例 ID 来指定实例。Ceph OSD 守护进程的实例 ID 始终是数字，但 Ceph 监视器可能会是字母数字。

[osd.1]
# settings affect osd.1 only.

[mon.a]
# settings affect mon.a only.

典型的 Ceph 配置文件至少具有以下设置：

[global]
fsid = UNIQUE_CLUSTER_ID
mon_initial_members = NODE_NAME[, NODE_NAME]
mon_host = IP_ADDRESS[, IP_ADDRESS]

#All clusters have a front-side public network.
#If you have two NICs, you can configure a back side cluster
#network for OSD object replication, heart beats, backfilling,
#recovery, and so on
public_network = PUBLIC_NET[, PUBLIC_NET]
#cluster_network = PRIVATE_NET[, PRIVATE_NET]

#Clusters require authentication by default.
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

#Choose reasonable numbers for your number of replicas
#and placement groups.
osd_pool_default_size = NUM  # Write an object n times.
osd_pool_default_min_size = NUM # Allow writing n copy in a degraded state.
osd_pool_default_pg_num = NUM
osd_pool_default_pgp_num = NUM

#Choose a reasonable crush leaf type.
#0 for a 1-node cluster.
#1 for a multi node cluster in a single rack
#2 for a multi node, multi chassis cluster with multiple hosts in a chassis
#3 for a multi node cluster with hosts across racks, and so on
osd_crush_chooseleaf_type = NUM

[global]
cluster network = 10.74.250.101/21
fsid = 3e07d43f-688e-4284-bfb7-3e6ed5d3b77b
mon host = [v2:10.0.0.101:3300/0,v1:10.0.0.101:6789/0] [v2:10.0.0.102:3300/0,v1:10.0.0.102:6789/0] [v2:10.0.0.103:3300/0,v1:10.0.0.103:6789/0]
mon initial members = host01, host02, host03
osd pool default crush rule = -1
public network = 10.74.250.101/21

[osd]
osd memory target = 4294967296

[mon]
    [mon.host01]
     host = host01
     mon_addr = 10.0.0.101
    [mon.host02]
     host = host02
     mon_addr = 10.0.0.102

Metavariables 简化了 Ceph 存储集群配置。在配置值中设置 metavariable 时，Ceph 会将 metavariable 扩展为 Concrete 值。

在 Ceph 配置文件的 [global], [osd], [mon], 或 [client] 部分中使用时，Mtavariables 非常强大。但是，您也可以在管理套接字中使用它们。Ceph 元变量与 Bash shell 扩展类似。

Ceph 支持以下元变量：

可以在启动时或运行时查看 Ceph 配置文件。

Red Hat Ceph Storage 的配置设置可在 Ceph 监控节点运行时查看。

有两种常规方法可以设置运行时配置。

您可以使用 tell 和 injectargs 命令联系 monitor 来设置 Ceph 运行时配置选项。

BlueStore 将 OSD 堆内存使用量保留在指定目标大小下，并使用 osd_memory_target 配置选项。

选项 osd_memory_target 根据系统中可用的 RAM 来设置 OSD 内存。默认情况下，Ansible 将值设为 4 GB。在部署守护进程时，您可以在 /usr/share/ceph-ansible/group_vars/all.yml 文件中更改以字节表示的值。您还可以使用 ceph.conf 文件中的 Ceph 覆盖来手动设置 osd memory target，如 6 GB。

ceph_conf_overrides:
  osd:
    osd memory target: 6442450944

当块设备速度较慢时（例如，传统的硬盘驱动器），Ceph OSD 内存缓存更为重要，因为缓存命中的好处要高于固态硬盘的情况。但是，这需要考虑 OSD 与其他服务共处的情况，比如在超融合基础架构 (HCI) 或其他应用程序中。

MDS 服务器将其元数据保留在一个单独的存储池中（名为 cephfs_metadata），并且是 Ceph OSD 的用户。对于 Ceph 文件系统，MDS 服务器必须支持整个 Red Hat Ceph Storage 集群，而不支持存储集群中的单个存储设备，因此它们的内存要求可能会非常显著，特别是当工作负载包含小时时，数据元数据的比例更大。

示例：将 mds_cache_memory_limit 设置为 2 GiB

ceph_conf_overrides:
  osd:
    mds_cache_memory_limit: 2147483648

网络配置对于构建高性能 Red Hat Ceph Storage 集群至关重要。Ceph 存储集群不代表 Ceph 客户端执行请求路由或分配请求。相反，Ceph 客户端直接向 Ceph OSD 守护进程发出请求。Ceph OSD 代表 Ceph 客户端执行数据复制，这意味着复制和其他因素对 Ceph 存储集群的网络造成额外的负载。

所有 Ceph 集群都必须使用公共网络。但是，除非指定了内部集群网络，Ceph 会假定有一个公共网络。Ceph 可以只使用公共网络运行，但对于大型存储集群，如果您有一个私有的专用网络用于处理与集群相关的网络流量，则性能会显著提升。

要支持两个网络，每个 Ceph 节点都需要有一个以上的网络接口卡 (NIC) 。

需要考虑操作两个独立网络的原因有很多：

不需要网络配置设置。Ceph 可只用于公共网络，假定在运行 Ceph 守护进程的所有主机上都配置了公共网络。但是，Ceph 允许您建立更加具体的标准，包括用于公共网络的多个 IP 网络和子网掩码。您还可以建立一个单独的集群网络来处理 OSD 心跳、对象复制和恢复流量。

不要将您在配置中设置的 IP 地址与面向公共的 IP 地址网络客户端混淆。典型的内部 IP 网络通常为 192.168.0.0 或 10.0.0.0。

当配置网络时，您可以重启集群或重启每个守护进程。Ceph 守护进程动态绑定，因此如果更改网络配置，不必一次重启整个集群。

Ceph 有一个网络配置要求适用于所有守护进程。Ceph 配置文件必须为每个守护进程指定 host。

您可以通过指定主机名来设置守护进程所在的主机名和 IP 地址。

[mon.a]
    host = host01
    mon_addr = 10.0.0.101:6789, 10.0.0.101:3300

[osd.0]
    host = host02

您不必为守护进程设置节点 IP 地址，它是可选的。如果您有一个静态 IP 配置以及公共和专用网络，Ceph 配置文件可能会为每个守护进程指定节点的 IP 地址。为守护进程设置静态 IP 地址必须会显示在 Ceph 配置文件的守护进程实例部分中。

[osd.0]
    public_addr = 10.74.250.101/21
    cluster_addr = 10.74.250.101/21

您可以通过强制 OSD 主机，在有两个网络的集群中部署带有单个 NIC 的 OSD 主机。您可以通过向 Ceph 配置文件的 [osd.n] 部分添加 public addr 条目来强制 OSD 主机在公共网络上运行，其中 n 代表带有一个 NIC 的 OSD 号。另外，公共网络和集群网络需要能够互相路由流量，因此处于安全原因，红帽不推荐这样做。

messenger 是 Ceph 网络层实施。红帽支持两种 messenger 类型：

在 Red Hat Ceph Storage 3 及更高版本中，sync 是默认的 mesenger 类型。要更改 messenger 类型，请在 Ceph 配置文件的 [global] 部分中指定 ms_type 配置设置。

公共网络配置允许您为公共网络定义 IP 地址和子网。您可以使用特定守护进程的 公共 addr 设置特别分配静态 IP 地址或覆盖公共网络 设置。

[global]
    ...
    public_network = PUBLIC-NET/NETMASK

如果您创建集群网络，OSD 会通过集群网络路由心跳、对象复制和恢复流量。与使用单个网络相比，这可以提高性能。

集群网络配置允许您声明集群网络，并具体为集群网络定义 IP 地址和子网。您可以使用特定 OSD 守护进程的集群 addr 设置来具体分配静态 IP 地址或覆盖 集群 网络设置。

[global]
    ...
    cluster_network = CLUSTER-NET/NETMASK

默认情况下，守护进程绑定到 6800:7100 范围内的端口。您可自行配置此范围。在配置防火墙前，检查默认防火墙配置。

Ceph 监视器默认侦听端口 3300 和 6789。此外，Ceph 监视器始终对公共网络运行。

默认情况下，Ceph OSD 绑定到从 6800 端口开始的 Ceph 节点上第一个可用端口。确保对于节点上运行的每个 OSD，至少打开从端口 6800 开始的四个端口：

端口特定于节点。但是，如果进程重启并且绑定端口没有释放绑定端口，您可能需要打开比该 Ceph 节点上运行的端口所需的端口数量。当守护进程失败并重启而不释放端口，以便重启的守护进程绑定到新端口时，请考虑打开一些额外的端口。另外，请考虑在每个 OSD 节点上打开 6800:7300 端口范围。

如果设置了单独的公共和集群网络，您必须同时为公共网络和集群网络添加规则，因为客户端将使用公共网络连接，其他 Ceph OSD 守护进程将使用集群网络进行连接。

如果将集群网络放在另一个区中，请根据需要在该区中打开端口。

最大传输单元 (MTU) 值是链路层上发送的最大数据包的大小（以字节为单位）。默认的 MTU 值为 1500 字节。红帽建议将巨型帧（ MTU 值为 9000 字节）用于 Red Hat Ceph Storage 集群。

了解如何配置 Ceph monitor 是构建可靠的 Red Hat Ceph Storage 集群的重要部分。所有存储集群都至少有一个监控器。Ceph 监控器配置通常保持一致性，但您可以在存储集群中添加、删除或替换 Ceph Monitor。

Ceph 监视器维护集群映射的"主副本"。这意味着，Ceph 客户端可以通过连接到一个 Ceph 监视器并检索当前 cluster map 来确定所有 Ceph 监视器和 Ceph OSD 的位置。

在 Ceph 客户端可以从 Ceph OSD 读取或写入到 Ceph OSD 之前，它们必须首先连接到 Ceph monitor。使用 cluster map 的当前副本和 CRUSH 算法时，Ceph 客户端可以计算任何对象的位置。计算对象位置的功能允许 Ceph 客户端直接与 Ceph OSD 通信，这是 Ceph 高可扩展性和性能的一个重要方面。

Ceph Monitor 的主要角色是维护集群映射的主副本。Ceph 监控程序也提供身份验证和日志记录服务。Ceph monitor 将监控器服务中的所有更改写入单个 Paxos 实例，Paxos 会将更改写入到键值存储，以实现强一致性。Ceph monitor 可以在同步操作期间查询 cluster map 的最新版本。Ceph Monitor 利用键值存储的快照和迭代器（使用 rocksdb 数据库）来执行存储范围的同步。

集群映射不同映射的一个组合，包括 monitor 映射、OSD 映射和放置组映射。集群映射跟踪多个重要事件：

例如，当集群状态有重大改变时，Ceph OSD 会停机时，放置组将进入降级状态，以此类推。集群映射会更新，以反映集群的当前状态。此外，Ceph 监控器也维护了群集之前状态的历史记录。monitor 映射、OSD 映射和放置组映射各自维护其映射版本的历史记录。每个版本称为一个 epoch。

运行 Red Hat Ceph Storage 集群时，要跟踪这些状态是集群管理的一个重要部分。

集群将通过单一监控器运行。但是，如果只有一个监控器，则代表有单一故障点。为确保生产 Ceph 存储群集中的高可用性，可运行具有多个监控器的 Ceph，因此当一个控制器出现故障时不会造成整个存储群集故障。

当 Ceph 存储集群运行多个 Ceph Monitor 以实现高可用性时，Ceph Monitor 使用 Paxos 算法来建立与主集群映射相关的共识。共识需要大多数运行的监控器建立一个仲裁（quorum）以达成对集群映射的共识。例如，1; 2 out of 3; 3 out of 5; 4 out of 6; 等

红帽建议运行至少有三个 Ceph Monitor 的生产环境 Red Hat Ceph Storage 集群，以确保高可用性。运行多个监视器时，您可以指定必须成为存储集群成员的初始监控器，才能建立仲裁。这可减少存储集群在线所需的时间。

[mon]
mon_initial_members = a,b,c

将监控设置添加到 Ceph 配置文件时，您需要了解 Ceph 监控的一些架构方面。在发现集群中的另一个 Ceph monitor 时，Ceph 为 Ceph 监控器实施严格的一致性要求。Ceph 客户端和其他 Ceph 守护进程使用 Ceph 配置文件来发现 monitor，monitor 使用 monitor 映射 (monmap ) 而不是 Ceph 配置文件互相发现。

在发现 Red Hat Ceph Storage 集群中的其他 Ceph 监控器时，Ceph Monitor 始终指 monitor map 的本地副本。使用 monitor 映射而不是 Ceph 配置文件可以避免会破坏集群的错误。例如，在指定监控地址或端口时 Ceph 配置文件中的拼写错误。由于 monitor 使用 monitor map 进行发现，并且它们与客户端和其他 Ceph 守护进程共享 monitor 映射，monitor 映射为 monitor 提供严格保证其共识有效。

如果 Ceph 监控通过 Ceph 配置文件而不是监视器映射发现相互发现，它将带来额外的风险，因为 Ceph 配置文件没有被自动更新并分发。Ceph 监控可能会意外地使用旧的 Ceph 配置文件，无法识别 Ceph monitor，无法承担仲裁状态，或者开发 Paxos 无法准确确定系统当前状态的情况。

在大多数配置和部署情形中，部署 Ceph（如 Ansible）的工具可能会通过为您生成 monitor 映射来引导 Ceph 监视器。

Ceph 监控需要一些显式设置：

要将配置设置应用到整个集群，请在 [global] 部分输入配置设置。要将配置设置应用到集群中的所有监控器，请在 [mon] 部分输入配置设置。要将配置设置应用到特定的监控器，请指定 monitor 实例。

按照惯例，监控实例名称使用 alpha 表示法。

[global]

[mon]

[mon.a]

[mon.b]

[mon.c]

如果 Ceph 配置文件中尚未配置 DNS 和 monitor 地址，则 Ceph Monitor 的裸机监控设置包括每个 monitor 的主机名。您可以在 [mon] 下或在特定监控器的条目下配置它们。

[mon]
mon_host = hostname1,hostname2,hostname3
mon_addr = 10.0.0.10:6789,10.0.0.11:6789,10.0.0.12:6789,10.0.0.10:3300,10.0.0.11:3300,10.0.0.12:3300

或者

[mon.a]
host = hostname1
mon_addr = 10.0.0.10:6789, 10.0.0.10:3300

要配置 Ceph 集群以进行 DNS 查找，请在 Ceph 配置文件中设置 mon_dns_srv_name 设置。

设置后，配置 DNS。为 DNS 区域中的 monitor 创建 IPv4 (A) 或 IPv6 (AAAA) 记录。

#IPv4
mon1.example.com. A 192.168.0.1
mon2.example.com. A 192.168.0.2
mon3.example.com. A 192.168.0.3

#IPv6
mon1.example.com. AAAA 2001:db8::100
mon2.example.com. AAAA 2001:db8::200
mon3.example.com. AAAA 2001:db8::300

其中： example.com 是 DNS 搜索域。

然后，使用名称 mon_dns_srv_name 配置设置创建 SRV TCP 记录，指向三个监控器。以下示例使用默认的 ceph-mon 值。

_ceph-mon._tcp.example.com. 60 IN SRV 10 60 6789 mon1.example.com.
_ceph-mon._tcp.example.com. 60 IN SRV 10 60 6789 mon2.example.com.
_ceph-mon._tcp.example.com. 60 IN SRV 10 60 6789 mon3.example.com.
_ceph-mon._tcp.example.com. 60 IN SRV 10 60 3300 mon1.example.com.
_ceph-mon._tcp.example.com. 60 IN SRV 10 60 3300 mon2.example.com.
_ceph-mon._tcp.example.com. 60 IN SRV 10 60 3300 mon3.example.com.

监视器默认在端口 6789 和 3300 上运行，其优先级和 weight 分别设置为 10 和 60，在示例中分别设置为 10 和 60。

每个 Red Hat Ceph Storage 集群都有一个唯一标识符 (fsid) 。如果指定，它通常出现在配置文件的 [global] 部分中。部署工具通常会生成 fsid 并将其存储在 monitor 映射中，因此该值可能不会出现在配置文件中。通过 fsid，可以在同一硬件上为多个集群运行守护进程。

Ceph 提供了 Ceph 监视器存储数据的默认路径。

Ceph 监控器经常调用 fsync（） 函数，这可能会影响 Ceph OSD 工作负载。

Ceph 监视器将其数据存储为键值对。使用数据存储可防止恢复 Ceph 监视器通过 Paxos 运行损坏版本，而且它可在一个原子批处理中实现多次修改操作，以及其他优势。

当 Red Hat Ceph Storage 集群接近其最大容量时（通过 mon_osd_full_ratio 参数显示），Ceph 会阻止您写入 Ceph OSD 的安全措施，以防止数据丢失。因此，使一个生产环境的 Red Hat Ceph Storage 集群接近其全满比率是一个不好的做法，因为它降低了高可用性。默认全满比率为 .95 或 95% 的容量。对于具有多个 OSD 的测试集群来说，这是一个非常积极的设置。

测试集群的常见场景涉及系统管理员从 Red Hat Ceph Storage 集群中删除 Ceph OSD，以观察集群重新平衡。然后，删除另一个 Ceph OSD，直到 Red Hat Ceph Storage 集群最终达到完全的比例并锁定。

理想情况下，您要规划一系列 Ceph OSD 失败的情况，集群可以在不立即替换这些 Ceph OSD 的情况下恢复到 active + clean 状态。您可以运行状态为 active + degraded 的集群，但这对正常操作并不是一个理想的状态。

下图显示了一个简化的 Red Hat Ceph Storage 集群，其中包含每个主机有一个 Ceph OSD 的 33 Ceph 节点，每个 Ceph OSD 守护进程从中读取并写入 3TB 驱动器。因此，这一 exemplary Red Hat Ceph Storage 集群具有最大 99TB 的实际容量。当 mon osd full ratio 为 0.95，如果 Red Hat Ceph Storage 集群达到 5TB 的容量，集群不允许 Ceph 客户端读取和写入数据。因此，Red Hat Ceph Storage 集群的操作容量为 95 TB，而不是 99 TB。

在这样的集群中，一个或多个 OSD 无法正常使用。不太频繁但合理的方案涉及机架的路由器或电源故障，例如 OSD 7-12。在这种情况下，保持集群正常运行并处于 active + clean 状态仍会为您带来更大益处，即使这需要在短时间内添加具有额外 OSD 的主机。如果您的容量利用率太高，可能不会丢失数据，但您仍然可能会牺牲数据可用性，同时在故障域内解决集群的容量利用率超过完整的比例。因此，红帽建议至少使用一些最小容量规划。

识别集群的两个值：

要确定集群中的 OSD 的平均容量，请将集群的总容量除以集群中的 OSD 数量。考虑将这个数量乘以您希望在正常操作期间同时出现故障的 OSD 数量（相对较小的数）。最后，通过满比例将集群的容量乘以达到最大操作容量。然后，从 OSD 中减去您希望无法达到合理的全满比率的 OSD 的数据量。重复处理数量较高的 OSD 故障（例如，一个 OSD 机架），以达到接近的全满比率的合理数量。

Ceph 监视器通过要求来自每个 OSD 的报告以及从 OSD 接收关于其邻居 OSD 状态的报告来了解集群。Ceph 为 monitor 和 OSD 之间的交互提供了合理的默认设置，但您可以根据需要修改它们。

当您使用多个监控器运行生产集群时，每个 monitor 会检查邻居监视器是否有最新版本的 cluster map。例如，一个邻居监视器中的映射，其一个或多个 epoch 号高于即时监视器映射中当前 epoch 的数值。定期，集群中的一个监视器可能位于其他 monitor 后，它必须离开仲裁，同步来检索有关集群的最新信息，然后重新加入仲裁。

这些角色使领导能够将同步任务委派给提供程序，从而防止同步请求过载，并提高性能。在下图中，请求者已了解到它已位于其他 monitor 后。请求者要求领导要同步，并且领导者告诉请求者与提供程序同步。

同步完成后，Ceph 需要在集群中修剪。修剪要求放置组处于 active + clean 状态。

Ceph 守护进程将关键消息传递到彼此，这必须在守护进程到达超时阈值前进行处理。如果 Ceph 监视器中的时钟没有同步，它可以导致一些异常。

例如：

时钟偏移可能仍然可以通过 NTP 发现，即使差异尚未有害。Ceph 时钟偏移和时钟偏移警告可能会触发，即使 NTP 维护合理的同步级别。在这种情况下，可以容忍时钟偏移。但是，很多因素，如工作负载、网络延迟、配置为默认超时和其他同步选项，它们可以影响可接受的时钟偏移级别而不影响 Paxos 保证。

cephx 协议默认启用。加密身份验证具有一些计算成本，尽管它们通常很低。如果连接了客户端和服务器的网络环境被视为安全性，并且您无法负担身份验证计算成本，您可以禁用它。在部署 Ceph 存储集群时，部署工具将创建 client.admin 用户和密钥环。

启用 cephx 后，Ceph 将在默认搜索路径中查找密钥环，其中包括 /etc/ceph/$cluster.$name.keyring。您可以通过在 Ceph 配置文件的 [global] 部分添加 keyring 选项来覆盖该位置，但不建议这样做。

执行以下步骤，在禁用身份验证的集群中启用 cephx。如果您或部署实用程序生成了密钥，您可以跳过与生成密钥相关的步骤。

以下流程描述了如何禁用 Cephx。如果您的集群环境相对安全，您可以降低运行身份验证的计算费用。

但是，在设置或故障排除过程中可能会更容易地禁用身份验证。

当您运行 Ceph 并启用了身份验证时，ceph 管理命令和 Ceph 客户端需要身份验证密钥来访问 Ceph 存储集群。

向 ceph 管理命令和客户端提供这些密钥的最常见方式是在 /etc/ceph/ 目录下包含 Ceph 密钥环。文件名通常是 ceph.client.admin.keyring 或 $cluster.client.admin.keyring。如果您在 /etc/ceph/ 目录下包含密钥环，则不需要在 Ceph 配置文件中指定 keyring 条目。

要做到这一点，请执行以下命令：

# scp USER@HOSTNAME:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring

将 USER 替换为主机上的用户名，使用 client.admin 键，将 HOSTNAME 替换为该主机的主机名。

您可以使用 key 设置在 Ceph 配置文件中（不推荐）指定密钥本身，或使用 keyfile 设置来指定到密钥文件的路径。

管理用户或部署工具可能会像生成用户密钥环一样生成守护进程密钥环。默认情况下，Ceph 将守护进程密钥环存储在其数据目录中。默认密钥环位置，以及守护进程正常工作所需的功能。

守护进程数据目录位置默认为表单的目录：

/var/lib/ceph/$type/CLUSTER-ID

/var/lib/ceph/osd/ceph-12

您可以覆盖这些位置，但不推荐进行。

Ceph 提供精细的控制，您可以为客户端和 Ceph 之间的服务消息启用或禁用签名。您可以为 Ceph 守护进程之间的消息启用或禁用签名。

当您创建池并为池设置放置组数量时，Ceph 在不特别覆盖默认值时会使用默认值。

您可以在运行池命令时设置这些值。您还可以通过在 Ceph 配置文件的 [global] 部分添加新项来覆盖默认值。

[global]

# By default, Ceph makes 3 replicas of objects. If you want to set 4
# copies of an object as the default value--a primary copy and three replica
# copies--reset the default values as shown in 'osd pool default size'.
# If you want to allow Ceph to write a lesser number of copies in a degraded
# state, set 'osd pool default min size' to a number less than the
# 'osd pool default size' value.

osd_pool_default_size = 4  # Write an object 4 times.
osd_pool_default_min_size = 1 # Allow writing one copy in a degraded state.

# Ensure you have a realistic number of placement groups. We recommend
# approximately 100 per OSD. E.g., total number of OSDs multiplied by 100
# divided by the number of replicas (i.e., osd pool default size). So for
# 10 OSDs and osd pool default size = 4, we'd recommend approximately
# (100 * 10) / 4 = 250.

osd_pool_default_pg_num = 250
osd_pool_default_pgp_num = 250

所有 Ceph 集群都有一个配置，它定义：

Red Hat Ceph Storage Console 或 Ansible 等部署工具通常会为您创建初始 Ceph 配置文件。但是，如果您想在不使用部署工具的情况下引导集群，您可以创建一个自己。

为方便起见，每个守护进程都有一系列默认值，即 ceph/src/common/config_opts.h 脚本。您可以通过 Ceph 配置文件或运行时覆盖这些设置，方法是使用 monitor tell 命令，或直接连接到 Ceph 节点上的守护进程套接字。

除了生成多个对象副本外，Ceph 还通过清理放置组来确保数据完整性。Ceph 清理与对象存储层上的 fsck 命令类似。

对于每个放置组，Ceph 都会生成所有对象的目录，并比较每个主对象及其副本，以确保缺少对象或不匹配。

轻度清理 (每日) 会检查对象大小和属性。深度刮除（每周）读取数据并使用 checksum 来确保数据完整性。

清理对于保持数据完整性非常重要，但可能会降低性能。调整以下设置以增加或减少清理操作。

将 Ceph OSD 添加到集群或从集群中删除时，CRUSH 算法会通过将放置组移到 Ceph OSD 或从中移出来重新平衡集群。迁移放置组和包含的对象可以大大降低集群操作性能。为保持操作性能，Ceph 会使用"回填"进程执行此迁移，这使 Ceph 将回填操作设置为比读取或写入数据的请求较低优先级。

当集群启动或 Ceph OSD 意外终止并重启时，OSD 开始与其他 Ceph OSD 的对等点，然后才能执行写入操作。

如果 Ceph OSD 崩溃然后又恢复在线，通常它将与其他 Ceph OSD 同步，包含 PG 中最新版本的对象。发生这种情况时，Ceph OSD 进入恢复模式并寻求数据的最新副本，并使其映射重新变为最新。根据 Ceph OSD 停机的时长，OSD 对象和放置组可能会显著不同步。另外，如果故障域停机，例如一个机架，多个 Ceph OSD 可能会同时在线。这样可使恢复过程消耗和大量资源。

为保持可操作的性能，Ceph 对数量恢复请求、线程和对象块大小执行恢复，使 Ceph 处于降级状态。

完成初始 Ceph 配置后，您可以部署并运行 Ceph。当您执行诸如 ceph 健康状态或 ceph -s 之类的命令时，Ceph 监控器将报告 Ceph 存储集群的当前状态。Ceph Monitor 通过从每个 Ceph OSD 守护进程要求报告来了解 Ceph 存储集群，并通过从 Ceph OSD 守护进程接收报告来了解其邻居 Ceph OSD 守护进程的状态。如果 Ceph Monitor 没有接收报告，或者它收到 Ceph 存储集群中更改的报告，Ceph 监控器会更新 Ceph 集群映射的状态。

Ceph 为 Ceph Monitor 和 OSD 交互提供合理的默认设置。但是，您可以覆盖默认值。以下小节论述了 Ceph 监控器和 Ceph OSD 守护进程如何进行交互，以满足监控 Ceph 存储集群的目的。

每个 Ceph OSD 守护进程会每 6 秒检查其他 Ceph OSD 守护进程的心跳。要更改心跳间隔，请在 Ceph 配置文件的 [osd] 部分下添加 osd heartbeat 间隔 设置，或者在运行时更改其值。

如果邻居 Ceph OSD 守护进程没有在 20 秒宽限期内发送心跳数据包，Ceph OSD 守护进程可能会认为邻居 Ceph OSD 守护进程 down。它可以报告回 Ceph monitor，它将更新 Ceph 集群映射。若要更改此宽限期，请在 Ceph 配置文件的 [osd] 部分下添加 osd heartbeat grace 设置，或者在运行时设置它的值。

默认情况下，来自不同主机的两个 Ceph OSD 守护进程必须报告给另一个 Ceph OSD 守护进程处于 down 状态的 Ceph 监控器，然后确认报告的 Ceph OSD 守护进程为 down。

但是，所有 OSD 报告失败的可能性都位于具有错误交换机的机架中，导致 OSD 之间的连接问题。

为避免"错误警报"，Ceph 会将故障报告为类似 lagy 的"subcluster"的代理。虽然情况并非总是如此，但可能帮助管理员对性能不良的系统子集进行本地化处理。

Ceph 使用 mon_osd_reporter_subtree_level 设置，将 peer 分到"cluster"的常用级别类型。

默认情况下，仅需要两个来自不同子树的报告，才能报告另一个 Ceph OSD 守护进程为 down。管理员可以通过在 Ceph 的配置文件的 [mon] 部分下添加 mon_osd_min_down_reporters 和 mon_osd_reporter_subtree_level 设置，或在运行时指定值，修改报告一个 Ceph OSD Daemon 为 down 所需的来自唯一子树的报告者的数量以及通用祖先类型。

如果 Ceph OSD 守护进程无法与其 Ceph 配置文件或 cluster map 中定义的任何 Ceph OSD 守护进程的对等点，它会每 30 秒对集群 map 的最新副本发出 Ceph Monitor 命令。您可以通过在 Ceph 配置文件的 [osd] 部分下添加 osd mon heartbeat 间隔，或者在运行时设置值来更改 Ceph 监控心跳间隔。

如果 Ceph OSD 守护进程没有报告到 Ceph 监控器，Ceph Monitor 会在 mon osd report timeout 指定的超时时间已过时，认为 Ceph OSD 守护进程的状态为 down。当可报告事件（如故障）时，Ceph OSD 守护进程会向 Ceph 监控器发送报告，这是放置组统计的变化、up_thru 或在 5 秒内引导时发生的变化。您可以通过在 Ceph 配置文件的 [osd] 部分下添加 osd mon report interval min 设置，或者通过设置运行时设置值来更改 Ceph OSD 守护进程最小报告间隔。

Ceph OSD 守护进程每 120 秒向 Ceph 监控器发送报告，无论发生任何显著变化。您可以通过在 Ceph 配置文件的 [osd] 部分下添加 osd mon report interval max 设置，或者在运行时设置值，以更改 Ceph Monitor 报告间隔。

Ceph 配置文件中不需要调试设置，但可以添加 以优化日志记录。发生问题时，对 Ceph 日志记录配置的更改通常会在运行时进行，但也可能会在 Ceph 配置文件中进行修改。例如，如果启动集群时出现问题，请考虑在 Ceph 配置文件中增加日志设置。当这个问题解决时，请删除设置或将其恢复到运行时操作的最佳设置。

默认情况下，查看 /var/log/ceph 下的 Ceph 日志文件。

日志记录是资源密集型。如果集群的特定区域中有问题，请为集群该区域启用日志记录。例如，如果 OSD 运行正常但 Ceph 对象网关没有运行，则首先为特定网关实例启用调试日志记录遇到问题。根据需要增加或减少每个子系统的日志记录。

如果启用了 Ceph 日志记录或日志的增加率，请确保操作系统磁盘有足够的容量。

当集群运行良好时，请删除不必要的调试设置，以确保集群以最佳方式运行。日志记录调试输出消息相对慢，在操作集群时消耗资源的情况比较慢。