Red Hat Enterprise Linux 对象网关指南

流程

1. 在网关节点上，打开 /etc/ceph/ 目录中的 Ceph 配置文件。

2. 找到类似以下示例的 RGW 客户端部分：

   [client.rgw.gateway-node1]
   host = gateway-node1
   keyring = /var/lib/ceph/radosgw/ceph-rgw.gateway-node1/keyring
   log file = /var/log/ceph/ceph-rgw-gateway-node1.log
   rgw frontends = civetweb port=192.168.122.199:8080 num_threads=100

   [client.rgw.gateway-node1] 标题将 Ceph 配置文件的这一部分标识为配置 Ceph 存储集群客户端，其中客户端类型是由 rgw 标识的 Ceph 对象网关，节点的名称则是 gateway-node1。

3. 将默认 Ansible 配置的端口 8080 更改为 80，编辑 rgw frontends 行：

   rgw frontends = civetweb port=192.168.122.199:80 num_threads=100

   确保 rgw_frontends 键/值对中的 port= port-number 之间没有空格。

   在您要更改端口的任何其他网关节点上重复此步骤。

4. 从每个网关节点重启 Ceph 对象网关服务，使新端口设置生效：

   # systemctl restart ceph-radosgw.target

5. 确定在每个网关节点的防火墙中打开配置的端口：

   # firewall-cmd --list-all

6. 如果没有打开端口，请添加端口并重新载入防火墙配置：

   # firewall-cmd --zone=public --add-port 80/tcp --permanent
   # firewall-cmd --reload

流程

1. 修改管理服务器上的 /etc/ceph/ceph.conf 配置文件：

   1. 添加一个标题为 [client.rgw.<gateway-node>] 的部分，将 <gateway-node> 替换为 Ceph 对象网关节点的短节点名称。
   2. 使用 hostname -s 检索主机的短名称。

   3. 例如，如果网关节点名称是 gateway-node1，请在 /etc/ceph/ceph.conf 文件的 [global] 部分后添加如下部分：

      [client.rgw.gateway-node1]
      rgw frontends = beast endpoint=192.168.0.100:80

2. 将更新的配置文件复制到 Ceph 对象网关节点和其他 Ceph 节点。

   # scp /etc/ceph/ceph.conf <ceph-node>:/etc/ceph

3. 重启 Ceph 对象网关以启用 Beast 前端：

   # systemctl restart ceph-radosgw.target

4. 确保节点的防火墙上已打开配置的端口。如果未打开，请添加端口并重新加载防火墙配置。例如，在 Ceph 对象网关节点上执行：

   # firewall-cmd --list-all
   # firewall-cmd --zone=public --add-port 80/tcp --permanent
   # firewall-cmd --reload

开始前

1. 在尝试运行 NFS-Ganesha 之前，禁用将运行 NFS-Ganesha 的任何主机上运行的任何内核 NFS 服务实例。如果另一个 NFS 实例正在运行，NFS-Ganesha 将不会启动。

2. 作为 root 用户，启用 Red Hat Ceph Storage 3 Tools 存储库：

   # subscription-manager repos --enable=rhel-7-server-rhceph-3-tools-els-rpms

3. 确保 rpcbind 服务正在运行：

   # systemctl start rpcbind

   注意

   提供 rpcbind 的 The rpcbind 软件包通常会默认安装。否则，请先安装软件包。

   有关 NFS 如何使用 rpcbind 的详细信息，请参阅 Red Hat Enterprise Linux 7 的存储管理指南中的 Required Services 部分。

4. 如果 nfs-service 服务正在运行，请停止并禁用该服务：

   # systemctl stop nfs-server.service
   # systemctl disable nfs-server.service

配置 NFS-Ganesha 实例

1. 安装 nfs-ganesha-rgw 软件包：

   # yum install nfs-ganesha-rgw

2. 将 Ceph 配置文件从 Ceph 监控节点复制到 NFS-Ganesha 主机的 /etc/ceph/ 目录，并根据需要编辑该文件：

   # scp <mon-host>:/etc/ceph/ceph.conf <nfs-ganesha-rgw-host>:/etc/ceph

   注意

   Ceph 配置文件必须包含有效的 [client.rgw.{instance-name}] 部分，以及各种必要的网关配置变量的对应参数，如 rgw_data、密钥环 或 rgw_frontends。如果导出不符合有效 S3 存储桶命名要求的 Swift 容器，请将 Ceph 配置文件的 [client.rgw] 部分中的 rgw_relaxed_s3_bucket_names 设置为 true。例如，如果 Swift 容器名称包含下划线，则它不是有效的 S3 存储桶名称，并且不会同步，除非 rgw_relaxed_s3_bucket_names 设为 true。当在 NFS 之外添加对象和存储桶时，这些对象会在 rgw_nfs_namespace_expire_secs 设置的时间里显示在 NFS 命名空间中，默认为大约 5 分钟。覆盖 Ceph 配置文件中的 rgw_nfs_namespace_expire_secs 的默认值，以更改刷新率。

3. 打开 NFS-Ganesha 配置文件：

   # vim /etc/ganesha/ganesha.conf

4. 使用 FSAL (File System Abstraction Layer)块配置 EXPORT 部分。提供 ID、S3 用户 ID、S3 访问密钥和机密。对于 NFSv4，它应类似如下：

   EXPORT
   {
           Export_ID={numeric-id};
           Path = "/";
           Pseudo = "/";
           Access_Type = RW;
           SecType = "sys";
           NFS_Protocols = 4;
           Transport_Protocols = TCP;
           Squash = No_Root_Squash;
   
           FSAL {
                   Name = RGW;
                   User_Id = {s3-user-id};
                   Access_Key_Id ="{s3-access-key}";
                   Secret_Access_Key = "{s3-secret}";
           }
   }

   Path 选项指示 Ganesha 在哪里查找导出。对于 VFS FSAL，这是服务器命名空间中的位置。对于其他 FSAL，它可能是由 FSAL 命名空间管理的文件系统中的位置。例如，如果 Ceph FSAL 用于导出整个 CephFS 卷，则 路径 将是 /。

   Pseudo 选项指示 Ganesha 将导出放在 NFS v4 的伪文件系统命名空间内。NFS v4 指定服务器可以构造不与任何实际导出位置对应的伪命名空间，并且该伪文件系统的部分可能仅存在于 NFS 服务器的域中且不与任何物理目录对应。此外，NFS v4 服务器将其所有导出放置在一个命名空间内。可以将单个导出导出为伪文件系统 root，但将多个导出放置在伪文件系统中更为常见。使用传统的 VFS 时，Pseudo 位置通常与 路径 位置相同。使用 / 作为路径返回到示例 CephFS 导出，如果需要多个导出，则导出可能会有其他内容作为 Pseudo 选项。例如，/ceph。

   任何应支持 NFSv3 的 EXPORT 块都应在 NFS_Protocols 设置中包含版本 3。此外，NFSv3 是支持 UDP 传输的最后一个主要版本。早期版本的标准包括 UDP，但 RFC 7530 禁止其使用。要启用 UDP，将其包含在 Transport_Protocols 设置中。例如：

   EXPORT {
   ...
       NFS_Protocols = 3,4;
       Transport_Protocols = UDP,TCP;
   ...
   }

   设置 SecType = sys； 允许客户端在没有 Kerberos 身份验证的情况下附加.

   设置 Squash = No_Root_Squash； 允许用户在 NFS 挂载中更改目录所有权.

   使用传统 OS 原生 NFS 4.1 客户端的 NFS 客户端通常会看到由目标服务器的 pseudofs root 定义的导出文件系统的联合命名空间。其中任意数量的可以是 Ceph 对象网关导出。

   每个导出都有自己的 名称 组User_Id、access _Key 和 Secret_Access_Key，并且创建对指定用户可见的对象命名空间的代理。

   ganesha.conf 中的导出也可以包含 NFSV4 块。红帽 Ceph 存储支持 Allow_Numeric_Owners 和 only ly_Numberic_Owners 参数，作为设置 idmapper 程序的替代选择。

   NFSV4 {
       Allow_Numeric_Owners = true;
       Only_Numeric_Owners = true;
   }

5. 配置 NFS_CORE_PARAM 块。

   NFS_CORE_PARAM{
       mount_path_pseudo = true;
   }

   当 mount_path_pseudo 配置设置被设置为 true 时，它将使 NFS v3 和 NFS v4.x 挂载使用相同的服务器侧路径来访问导出，例如：

       mount -o vers=3 <IP ADDRESS>:/export /mnt
       mount -o vers=4 <IP ADDRESS>:/export /mnt

   Path            Pseudo          Tag     Mechanism   Mount
   /export/test1   /export/test1   test1   v3 Pseudo   mount -o vers=3 server:/export/test1
   /export/test1   /export/test1   test1   v3 Tag      mount -o vers=3 server:test1
   /export/test1   /export/test1   test1   v4 Pseudo   mount -o vers=4 server:/export/test1
   /               /export/ceph1   ceph1   v3 Pseudo   mount -o vers=3 server:/export/ceph1
   /               /export/ceph1   ceph1   v3 Tag      mount -o vers=3 server:ceph1
   /               /export/ceph1   ceph1   v4 Pseudo   mount -o vers=4 server:/export/ceph1
   /               /export/ceph2   ceph2   v3 Pseudo   mount -o vers=3 server:/export/ceph2
   /               /export/ceph2   ceph2   v3 Tag      mount -o vers=3 server:ceph2
   /               /export/ceph2   ceph2   v4 Pseudo   mount -o vers=4

   当 mount_path_pseudo 配置设置设为 false 时，NFS v3 挂载使用 Path 选项，NFS v4.x 挂载使用 Pseudo 选项。

   Path            Pseudo          Tag     Mechanism   Mount
   /export/test1   /export/test1   test1   v3 Path     mount -o vers=3 server:/export/test1
   /export/test1   /export/test1   test1   v3 Tag      mount -o vers=3 server:test1
   /export/test1   /export/test1   test1   v4 Pseudo   mount -o vers=4 server:/export/test1
   /               /export/ceph1   ceph1   v3 Path     mount -o vers=3 server:/
   /               /export/ceph1   ceph1   v3 Tag      mount -o vers=3 server:ceph1
   /               /export/ceph1   ceph1   v4 Pseudo   mount -o vers=4 server:/export/ceph1
   /               /export/ceph2   ceph2   v3 Path     not accessible
   /               /export/ceph2   ceph2   v3 Tag      mount -o vers=3 server:ceph2
   /               /export/ceph2   ceph2   v4 Pseudo   mount -o vers=4 server:/export/ceph2

6. 配置 RGW 部分。指定实例的名称，提供 Ceph 配置文件的路径，并指定任何初始化参数：

   RGW {
       name = "client.rgw.{instance-name}";
       ceph_conf = "/etc/ceph/ceph.conf";
       init_args = "--{arg}={arg-value}";
   }

7. 保存 /etc/ganesha/ganesha.conf 配置文件。

8. 启用并启动 nfs-ganesha 服务。

   # systemctl enable nfs-ganesha
   # systemctl start nfs-ganesha

9. 对于非常大型的伪目录，请将 ceph.conf 文件中的可配置参数 rgw_nfs_s3_fast_attrs 设置为 true，使命名空间不可变并加快速度：

   rgw_nfs_s3_fast_attrs= true

10. 从每个网关节点重启 Ceph 对象网关服务

    # systemctl restart ceph-radosgw.target

1. 使用所需的存储策略，创建一个新的 pool .rgw.buckets.special。例如，使用纠删代码、特定 CRUSH 规则集、副本数和 a pg_num 和 pgp_num 计数自定义的池。

2. 获取 zone group 配置并将其存储在文件中，如 zonegroup.json ：

   语法

   [root@master-zone]# radosgw-admin zonegroup --rgw-zonegroup=<zonegroup_name> get > zonegroup.json

   示例

   [root@master-zone]# radosgw-admin zonegroup --rgw-zonegroup=default get > zonegroup.json

3. 在 zonegroup.json 文件中，在 placement_target 下添加一个 特殊placement 条目。

   {
   	"name": "default",
   	"api_name": "",
   	"is_master": "true",
   	"endpoints": [],
   	"hostnames": [],
   	"master_zone": "",
   	"zones": [{
   		"name": "default",
   		"endpoints": [],
   		"log_meta": "false",
   		"log_data": "false",
   		"bucket_index_max_shards": 5
   	}],
   	"placement_targets": [{
   		"name": "default-placement",
   		"tags": []
   	}, {
   		"name": "special-placement",
   		"tags": []
   	}],
   	"default_placement": "default-placement"
   }

4. 使用修改的 zone group.json 文件设置 zone group ：

   [root@master-zone]# radosgw-admin zonegroup set < zonegroup.json

5. 获取区配置并将其存储在文件中，如 zone.json ：

   [root@master-zone]# radosgw-admin zone get > zone.json

6. 编辑区文件并在 placement_pool 下添加新放置策略键：

   {
   	"domain_root": ".rgw",
   	"control_pool": ".rgw.control",
   	"gc_pool": ".rgw.gc",
   	"log_pool": ".log",
   	"intent_log_pool": ".intent-log",
   	"usage_log_pool": ".usage",
   	"user_keys_pool": ".users",
   	"user_email_pool": ".users.email",
   	"user_swift_pool": ".users.swift",
   	"user_uid_pool": ".users.uid",
   	"system_key": {
   		"access_key": "",
   		"secret_key": ""
   	},
   	"placement_pools": [{
   		"key": "default-placement",
   		"val": {
   			"index_pool": ".rgw.buckets.index",
   			"data_pool": ".rgw.buckets",
   			"data_extra_pool": ".rgw.buckets.extra"
   		}
   	}, {
   		"key": "special-placement",
   		"val": {
   			"index_pool": ".rgw.buckets.index",
   			"data_pool": ".rgw.buckets.special",
   			"data_extra_pool": ".rgw.buckets.extra"
   		}
   	}]
   }

7. 设置新区域配置。

   [root@master-zone]# radosgw-admin zone set < zone.json

8. 更新 zone group map。

   [root@master-zone]# radosgw-admin period update --commit

   special-placement 条目列为 placement_target。

1. 获取 zone.json 的配置：

   $ radosgw-admin zone get --rgw-zone=<zone> > zone.json

2. 通过添加新的放置目标或修改现有目标使其具有 "index_type": 1 来修改 zone.json，例如：

   "placement_pools": [
       {
         "key": "default-placement",
         "val": {
           "index_pool": "default.rgw.buckets.index",
           "data_pool": "default.rgw.buckets.data",
           "data_extra_pool": "default.rgw.buckets.non-ec",
           "index_type": 1,
           "compression": ""
         }
       },
       {
         "key": "indexless",
         "val": {
           "index_pool": "default.rgw.buckets.index",
           "data_pool": "default.rgw.buckets.data",
           "data_extra_pool": "default.rgw.buckets.non-ec",
           "index_type": 1
         }
       }
     ],

3. 设置 zone.json 的配置：

   $ radosgw-admin zone set --rgw-zone=<zone> --infile zone.json

4. 如果您创建了新的放置目标，请确保 zonegroup 引用新的放置目标：

   $ radosgw-admin zonegroup get --rgw-zonegroup=<zonegroup> > zonegroup.json

5. 设置 zonegroup 的 default_placement ：

   $ radosgw-admin zonegroup placement default --placement-id indexless

6. 根据 需要修改 zonegroup.json。例如：

     "placement_targets": [
       {
         "name": "default-placement",
         "tags": []
       },
       {    "name": "indexless",
   		     "tags": []
       }
     ],
     "default_placement": "default-placement",

   $ radosgw-admin zonegroup set --rgw-zonegroup=<zonegroup> < zonegroup.json

7. 如果集群处于多站点配置中，请更新并提交周期：

   $ radosgw-admin period update --commit

1. 将 second zone 设置为 master 和 default zone。例如：

   # radosgw-admin zone modify --rgw-zone={zone-name} --master --default

   默认情况下，Ceph 对象网关将在主动-主动配置中运行。如果集群配置为以主动-被动配置运行，则 second zone 是只读区域。删除 --read-only 状态，以允许区域接收写入操作。例如：

   # radosgw-admin zone modify --rgw-zone={zone-name} --master --default

2. 更新 period 以使更改生效。

   # radosgw-admin period update --commit

3. 最后，重新启动 Ceph 对象网关。

   # systemctl restart ceph-radosgw@rgw.`hostname -s`

1. 从恢复的区域中，从当前 master 区域中拉取 realm。

   # radosgw-admin realm pull --url={url-to-master-zone-gateway} \
                               --access-key={access-key} --secret={secret}

2. 将恢复的区域设为 master 和 default 区域。

   # radosgw-admin zone modify --rgw-zone={zone-name} --master --default

3. 更新 period 以使更改生效。

   # radosgw-admin period update --commit

4. 然后，在恢复的区域中重启 Ceph 对象网关。

   # systemctl restart ceph-radosgw@rgw.`hostname -s`

5. 如果 second zone 需要是只读配置，请更新 second zone。

   # radosgw-admin zone modify --rgw-zone={zone-name} --read-only

6. 更新 period 以使更改生效。

   # radosgw-admin period update --commit

7. 最后，在 second zone 中重新启动 Ceph 对象网关。

   # systemctl restart ceph-radosgw@rgw.`hostname -s`

1. 创建 realm。将 <name> 替换为 realm 名称。

   [root@master-zone]# radosgw-admin realm create --rgw-realm=<name> --default

2. 重命名默认区域和 zonegroup。将 <name> 替换为 zonegroup 或 zone name。

   [root@master-zone]# radosgw-admin zonegroup rename --rgw-zonegroup default --zonegroup-new-name=<name>
   [root@master-zone]# radosgw-admin zone rename --rgw-zone default --zone-new-name us-east-1 --rgw-zonegroup=<name>

3. 配置 master zonegroup。将 <name> 替换为 realm 或 zonegroup 名称。将 <fqdn> 替换为 zonegroup 中的完全限定域名。

   [root@master-zone]# radosgw-admin zonegroup modify --rgw-realm=<name> --rgw-zonegroup=<name> --endpoints http://<fqdn>:80 --master --default

4. 配置 master zone。将 <name> 替换为 realm、zonegroup 或 zone name。将 <fqdn> 替换为 zonegroup 中的完全限定域名。

   [root@master-zone]# radosgw-admin zone modify --rgw-realm=<name> --rgw-zonegroup=<name> \
                               --rgw-zone=<name> --endpoints http://<fqdn>:80 \
                               --access-key=<access-key> --secret=<secret-key> \
                               --master --default

5. 创建系统用户.将 <user-id> 替换为用户名。将 <display-name> 替换为显示名称。它可以包含空格。

   [root@master-zone]# radosgw-admin user create --uid=<user-id> \
                               --display-name="<display-name>" \
                               --access-key=<access-key> --secret=<secret-key> \ --system

6. 提交更新的配置。

   # radosgw-admin period update --commit

7. 最后，重新启动 Ceph 对象网关。

   # systemctl restart ceph-radosgw@rgw.`hostname -s`

流程

1. 在 master zone group 的 master zone 区的一个节点中执行以下命令：

   # radosgw-admin bucket sync disable --bucket=BUCKET_NAME

   等待 所有区域的同步状态 报告数据 同步为最新版本。

2. 在 ALL 区域中 停止所有 ceph-radosgw 守护进程。

3. 在 master zone group 的 master zone 的一个节点上，重新定义存储桶。例如：

   # radosgw-admin bucket reshard --bucket=BUCKET_NAME --num-shards=NEW_SHARDS_NUMBER

4. On EACH second zone 执行以下操作：

   # radosgw-admin bucket rm --purge-objects --bucket=BUCKET_NAME

5. 在 ALL 区域中 重启所有 ceph-radosgw 守护进程。

6. 在 master zone group 的 master zone 区的一个节点中执行以下命令：

   # radosgw-admin bucket sync enable --bucket=BUCKET_NAME

流程

1. 创建 realm。

   radosgw-admin realm create --rgw-realm=realm-name [--default]

   例如：

   [root@master-zone]# radosgw-admin realm create --rgw-realm=movies --default
   {
       "id": "0956b174-fe14-4f97-8b50-bb7ec5e1cf62",
       "name": "movies",
       "current_period": "1950b710-3e63-4c41-a19e-46a715000980",
       "epoch": 1
   }

2. 创建 zone group。

   radosgw-admin zonegroup create --rgw-zonegroup=zone-group-name --endpoints=url [--rgw-realm=realm-name|--realm-id=realm-id] --master --default

   例如：

   [root@master-zone]# radosgw-admin zonegroup create --rgw-zonegroup=us --endpoints=http://rgw1:80 --rgw-realm=movies --master --default
   {
       "id": "f1a233f5-c354-4107-b36c-df66126475a6",
       "name": "us",
       "api_name": "us",
       "is_master": "true",
       "endpoints": [
           "http:\/\/rgw1:80"
       ],
       "hostnames": [],
       "hostnames_s3webzone": [],
       "master_zone": "",
       "zones": [],
       "placement_targets": [],
       "default_placement": "",
       "realm_id": "0956b174-fe14-4f97-8b50-bb7ec5e1cf62"
   }

3. 根据您的用例，创建一个或多个区域。

   radosgw-admin zone create
                --rgw-zonegroup=zone-group-name \
                --rgw-zone=zone-name \
                --master --default \
                --endpoints=http://fqdn:port[,http://fqdn:port]

   例如：

   [root@master-zone]# radosgw-admin zone create --rgw-zonegroup=us \
                                                 --rgw-zone=us-east \
                                                 --master --default \
                                                 --endpoints=http://rgw1:80

4. 使用 zone group 的配置获取 JSON 文件。

   radosgw-admin zonegroup get --rgw-zonegroup=zone-group-name > zonegroup.json

   例如：

   [root@master-zone]# radosgw-admin zonegroup get --rgw-zonegroup=us > zonegroup.json

5. 在 文件中，将 log_meta、log_data 和 sync_from_all 参数设置为 false。

       {
           "id": "72f3a886-4c70-420b-bc39-7687f072997d",
           "name": "default",
           "api_name": "",
           "is_master": "true",
           "endpoints": [],
           "hostnames": [],
           "hostnames_s3website": [],
           "master_zone": "a5e44ecd-7aae-4e39-b743-3a709acb60c5",
           "zones": [
               {
                   "id": "975558e0-44d8-4866-a435-96d3e71041db",
                   "name": "testzone",
                   "endpoints": [],
                   "log_meta": "false",
                   "log_data": "false",
                   "bucket_index_max_shards": 0,
                   "read_only": "false",
                   "tier_type": "",
                   "sync_from_all": "false",
                   "sync_from": []
               },
               {
                   "id": "a5e44ecd-7aae-4e39-b743-3a709acb60c5",
                   "name": "default",
                   "endpoints": [],
                   "log_meta": "false",
                   "log_data": "false",
                   "bucket_index_max_shards": 0,
                   "read_only": "false",
                   "tier_type": "",
                   "sync_from_all": "false",
                   "sync_from": []
               }
           ],
           "placement_targets": [
               {
                   "name": "default-placement",
                   "tags": []
               }
           ],
           "default_placement": "default-placement",
           "realm_id": "2d988e7d-917e-46e7-bb18-79350f6a5155"
       }

6. 使用更新的 JSON 文件。

   radosgw-admin zonegroup set --rgw-zonegroup=zone-group-name --infile=zonegroup.json

   例如：

   [root@master-zone]# radosgw-admin zonegroup set --rgw-zonegroup=us --infile=zonegroup.json

7. 更新 period。

   # radosgw-admin period update --commit

流程

1. 创建同步用户：

   语法

   radosgw-admin user create --uid="SYNCHRONIZATION_USER" --display-name="Synchronization User" --system

2. 在存储集群的第一个数据中心上创建一个本地域：

   语法

   radosgw-admin realm create --rgw-realm=REALM_NAME --default

   示例

   [user@rgw1]$ radosgw-admin realm create --rgw-realm=ldc1 --default

3. 在第一个数据中心上创建一个本地 master zonegroup：

   语法

   radosgw-admin zonegroup create --rgw-zonegroup=ZONE_GROUP_NAME --endpoints=http://RGW_NODE_NAME:80 --rgw-realm=REALM_NAME --master --default

   示例

   [user@rgw1]$ radosgw-admin zonegroup create --rgw-zonegroup=ldc1zg --endpoints=http://rgw1:80 --rgw-realm=ldc1 --master --default

4. 在第一个数据中心创建一个本地区：

   语法

   radosgw-admin zone create --rgw-zonegroup=ZONE_GROUP_NAME --rgw-zone=ZONE_NAME --master --default --endpoints=HTTP_FQDN[,HTTP_FQDN]

   示例

   [user@rgw1]$ radosgw-admin zone create --rgw-zonegroup=ldc1zg --rgw-zone=ldc1z --master --default --endpoints=http://rgw.example.com

5. 提交周期：

   示例

   [user@rgw1]$ radosgw-admin period update --commit

6. 使用 rgw_realm、rgw_ zonegroup 和 rgw_zone 名称更新 ceph.conf ：

   语法

   rgw_realm = REALM_NAME
   rgw_zonegroup = ZONE_GROUP_NAME
   rgw_zone = ZONE_NAME

   示例

   rgw_realm = ldc1
   rgw_zonegroup = ldc1zg
   rgw_zone = ldc1z

7. 重启 RGW 守护进程：

   语法

   systemctl restart ceph-radosgw@rgw.$(hostname -s).rgw0.service

8. 在存储集群中的第二个数据中心上创建一个本地域：

   语法

   radosgw-admin realm create --rgw-realm=REALM_NAME --default

   示例

   [user@rgw2]$ radosgw-admin realm create --rgw-realm=ldc2 --default

9. 在第二个数据中心上创建一个本地 master zonegroup：

   语法

   radosgw-admin zonegroup create --rgw-zonegroup=ZONE_GROUP_NAME --endpoints=http://RGW_NODE_NAME:80 --rgw-realm=REALM_NAME --master --default

   示例

   [user@rgw2]$ radosgw-admin zonegroup create --rgw-zonegroup=ldc2zg --endpoints=http://rgw2:80 --rgw-realm=ldc2 --master --default

10. 在第二个数据中心创建一个本地区：

    语法

    radosgw-admin zone create --rgw-zonegroup=ZONE_GROUP_NAME --rgw-zone=ZONE_NAME --master --default --endpoints=HTTP_FQDN[, HTTP_FQDN]

    示例

    [user@rgw2]$ radosgw-admin zone create --rgw-zonegroup=ldc2zg --rgw-zone=ldc2z --master --default --endpoints=http://rgw.example.com

11. 提交周期：

    示例

    [user@rgw2]$ radosgw-admin period update --commit

12. 使用 rgw_realm、rgw_ zonegroup 和 rgw_zone 名称更新 ceph.conf ：

    语法

    rgw_realm = REALM_NAME
    rgw_zonegroup = ZONE_GROUP_NAME
    rgw_zone = ZONE_NAME

    示例

    rgw_realm = ldc2
    rgw_zonegroup = ldc2zg
    rgw_zone = ldc2z

13. 重启 RGW 守护进程：

    语法

    systemctl restart ceph-radosgw@rgw.$(hostname -s).rgw0.service

14. 创建复制/同步用户：

    语法

    radosgw-admin user create --uid="r_REPLICATION_SYNCHRONIZATION_USER_" --display-name="Replication-Synchronization User" --system

15. 在存储集群的第一个数据中心上创建一个复制的域：

    语法

    radosgw-admin realm create --rgw-realm=REPLICATED_REALM_1

    示例

    [user@rgw1] radosgw-admin realm create --rgw-realm=rdc1

16. 为第一个数据中心创建一个 master zonegroup：

    语法

    radosgw-admin zonegroup create --rgw-zonegroup=RGW_ZONE_GROUP --endpoints=http://_RGW_NODE_NAME:80 --rgw-realm=_RGW_REALM_NAME --master --default

    示例

    [user@rgw1] radosgw-admin zonegroup create --rgw-zonegroup=rdc1zg --endpoints=http://rgw1:80 --rgw-realm=rdc1 --master --default

17. 在第一个数据中心上创建一个 master zone：

    语法

    radosgw-admin zone create --rgw-zonegroup=RGW_ZONE_GROUP --rgw-zone=_MASTER_RGW_NODE_NAME --master --default --endpoints=HTTP_FQDN[,HTTP_FQDN]

    示例

    [user@rgw1] radosgw-admin zone create --rgw-zonegroup=rdc1zg --rgw-zone=rdc1z --master --default --endpoints=http://rgw.example.com

18. 提交周期：

    语法

    radosgw-admin period update --commit

19. 使用第一个数据中心的 rgw_realm、rg w_zonegroup 和 rgw_zone 名称更新 ceph.conf ：

    语法

    rgw_realm = REALM_NAME
    rgw_zonegroup = ZONE_GROUP_NAME
    rgw_zone = ZONE_NAME

    示例

    rgw_realm = rdc1
    rgw_zonegroup = rdc1zg
    rgw_zone = rdc1z

20. 重启 RGW 守护进程：

    语法

    systemctl restart ceph-radosgw@rgw.$(hostname -s).rgw0.service

21. 在第二个数据中心上拉取复制域：

    语法

    radosgw-admin realm pull --url=https://tower-osd1.cephtips.com --access-key=ACCESS_KEY --secret-key=SECRET_KEY

    示例

    radosgw-admin realm pull --url=https://tower-osd1.cephtips.com --access-key=3QV0D6ZMMCJZMSCXJ2QJ --secret-key=VpvQWcsfI9OPzUCpR4kynDLAbqa1OIKqRB6WEnH8

22. 从第一个数据中心拉取 period：

    语法

    radosgw-admin period pull --url=https://tower-osd1.cephtips.com --access-key=ACCESS_KEY --secret-key=SECRET_KEY

    示例

    radosgw-admin period pull --url=https://tower-osd1.cephtips.com --access-key=3QV0D6ZMMCJZMSCXJ2QJ --secret-key=VpvQWcsfI9OPzUCpR4kynDLAbqa1OIKqRB6WEnH8

23. 在第二个数据中心中创建 second zone：

    语法

    radosgw-admin zone create --rgw-zone=RGW_ZONE --rgw-zonegroup=RGW_ZONE_GROUP --endpoints=https://tower-osd4.cephtips.com --access-key=_ACCESS_KEY --secret-key=SECRET_KEY

    示例

    [user@rgw2] radosgw-admin zone create --rgw-zone=rdc2z --rgw-zonegroup=rdc1zg --endpoints=https://tower-osd4.cephtips.com --access-key=3QV0D6ZMMCJZMSCXJ2QJ --secret-key=VpvQWcsfI9OPzUCpR4kynDLAbqa1OIKqRB6WEnH8

24. 提交周期：

    语法

    radosgw-admin period update --commit

25. 使用第二个数据中心的 rgw_realm、rg w_zonegroup 和 rgw_zone 名称更新 ceph.conf ：

    语法

    rgw_realm = REALM_NAME
    rgw_zonegroup = ZONE_GROUP_NAME
    rgw_zone = ZONE_NAME

    示例

    rgw realm = rdc1
    rgw zonegroup = rdc1zg
    rgw zone = rdc2z

26. 重启 RGW 守护进程：

    语法

    systemctl restart ceph-radosgw@rgw.$(hostname -s).rgw0.service

27. 以 root 用户身份登录第二个数据中心的端点。

28. 验证 master 域上的同步状态：

    语法

    radosgw-admin sync status

    示例

    [root@tower-osd4 ceph-ansible]# radosgw-admin sync status
              realm 59762f08-470c-46de-b2b1-d92c50986e67 (ldc2)
          zonegroup 7cf8daf8-d279-4d5c-b73e-c7fd2af65197 (ldc2zg)
               zone 034ae8d3-ae0c-4e35-8760-134782cb4196 (ldc2z)
      metadata sync no sync (zone is master)

29. 以 root 用户身份登录第一个数据中心的端点。

30. 验证 replication-synchronization 域的同步状态：

    语法

    radosgw-admin sync status --rgw-realm RGW_REALM_NAME

    例如：

    [root@tower-osd4 ceph-ansible]# [root@tower-osd4 ceph-ansible]# radosgw-admin sync status --rgw-realm rdc1
              realm 73c7b801-3736-4a89-aaf8-e23c96e6e29d (rdc1)
          zonegroup d67cc9c9-690a-4076-89b8-e8127d868398 (rdc1zg)
               zone 67584789-375b-4d61-8f12-d1cf71998b38 (rdc2z)
      metadata sync syncing
                    full sync: 0/64 shards
                    incremental sync: 64/64 shards
                    metadata is caught up with master
          data sync source: 705ff9b0-68d5-4475-9017-452107cec9a0 (rdc1z)
                            syncing
                            full sync: 0/128 shards
                            incremental sync: 128/128 shards
                            data is caught up with source
              realm 73c7b801-3736-4a89-aaf8-e23c96e6e29d (rdc1)
          zonegroup d67cc9c9-690a-4076-89b8-e8127d868398 (rdc1zg)
               zone 67584789-375b-4d61-8f12-d1cf71998b38 (rdc2z)
      metadata sync syncing
                    full sync: 0/64 shards
                    incremental sync: 64/64 shards
                    metadata is caught up with master
          data sync source: 705ff9b0-68d5-4475-9017-452107cec9a0 (rdc1z)
                            syncing
                            full sync: 0/128 shards
                            incremental sync: 128/128 shards
                            data is caught up with source

31. 要在本地站点中存储和访问数据，请为本地域创建用户：

    语法

    radosgw-admin user create --uid="LOCAL_USER" --display-name="Local user" --rgw-realm=_REALM_NAME --rgw-zonegroup=ZONE_GROUP_NAME --rgw-zone=ZONE_NAME

    示例

    [user@rgw2] #radosgw-admin user create --uid="local-user" --display-name="Local user" --rgw-realm=ldc1 --rgw-zonegroup=ldc1zg --rgw-zone=ldc1z