第 6 章 将 Object Storage 服务迁移到 OpenShift 节点上的 Red Hat OpenStack Services

1. 将新节点添加到对象存储服务环中。
2. 将现有节点的 weight 设置为 0。
3. 通过移动一个副本来重新平衡环。
4. 将 ring 复制到旧节点并重新启动服务。
5. 检查复制状态并重复前面的两个步骤，直到旧节点排空为止。
6. 从环中删除旧节点。

流程

1. 通过将 SwiftStorage 资源从 0 扩展到 3 来添加新节点：

   $ oc patch openstackcontrolplane openstack --type=merge -p='{"spec":{"swift":{"template":{"swiftStorage":{"replicas": 3}}}}}'

   Copy to Clipboard Toggle word wrap

   此命令在使用持久性卷声明的 Red Hat OpenShift Container Platform (RHOCP)集群上创建三个存储实例。

2. 等待所有三个 pod 都在运行，且环包括新设备：

   $ oc wait pods --for condition=Ready -l component=swift-storage
   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c 'swift-ring-tool get && swift-ring-builder object.builder search --device pv'

   Copy to Clipboard Toggle word wrap

3. 从当前的环中，获取节点的存储管理 IP 地址以排空：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c 'swift-ring-tool get && swift-ring-builder object.builder search _' | tail -n +2 | awk '{print $4}' | sort -u

   Copy to Clipboard Toggle word wrap

   输出结果类似如下：

   172.20.0.100
   swift-storage-0.swift-storage.openstack.svc
   swift-storage-1.swift-storage.openstack.svc
   swift-storage-2.swift-storage.openstack.svc

   Copy to Clipboard Toggle word wrap

4. 排空旧节点。在以下示例中，旧节点 172.20.0.100 排空：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c '
   swift-ring-tool get
   swift-ring-tool drain 172.20.0.100
   swift-ring-tool rebalance
   swift-ring-tool push'

   Copy to Clipboard Toggle word wrap

   根据您的部署，您可能在命令中包含更多节点。

5. 将更新的环复制到原始节点。为存储对象存储服务数据的现有节点运行 ssh 命令：

   $ oc extract --confirm cm/swift-ring-files
   $CONTROLLER1_SSH "tar -C /var/lib/config-data/puppet-generated/swift/etc/swift/ -xzf -" < swiftrings.tar.gz
   $CONTROLLER1_SSH "systemctl restart tripleo_swift_*"

   Copy to Clipboard Toggle word wrap

6. 使用 swift-dispersion-report 工具跟踪复制进度：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c "swift-ring-tool get && swift-dispersion-report"

   Copy to Clipboard Toggle word wrap

   输出显示找到的副本的 100% 少。重复该命令，直到找到所有容器和对象副本：

   Queried 1024 containers for dispersion reporting, 6s, 0 retries
   There were 5 partitions missing 1 copy.
   99.84% of container copies found (3067 of 3072)
   Sample represents 100.00% of the container partition space
   Queried 1024 objects for dispersion reporting, 7s, 0 retries
   There were 739 partitions missing 1 copy.
   There were 285 partitions missing 0 copies.
   75.94% of object copies found (2333 of 3072)
   Sample represents 100.00% of the object partition space

   Copy to Clipboard Toggle word wrap

7. 通过重新平衡并分发环，将下一个副本移到新节点：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c '
   swift-ring-tool get
   swift-ring-tool rebalance
   swift-ring-tool push'
   
   $ oc extract --confirm cm/swift-ring-files
   $CONTROLLER1_SSH "tar -C /var/lib/config-data/puppet-generated/swift/etc/swift/ -xzf -" < swiftrings.tar.gz
   $CONTROLLER1_SSH "systemctl restart tripleo_swift_*"

   Copy to Clipboard Toggle word wrap

   再次监控 swift-dispersion-report 输出，等待所有副本都找到，然后重复这个步骤，直到所有副本都移到新节点。

8. 从环移除节点：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c '
   swift-ring-tool get
   swift-ring-tool remove 172.20.0.100
   swift-ring-tool rebalance
   swift-ring-tool push'

   Copy to Clipboard Toggle word wrap
   注意

   即使所有副本都位于新节点上，而 swift-dispersion-report 命令也会报告找到副本的 100%，可能仍然是旧节点上的数据。replicators 删除这个数据，但可能需要更长的时间。

验证

1. 检查集群中的所有磁盘的磁盘用量：

   $ oc debug --keep-labels=true job/swift-ring-rebalance -- /bin/sh -c 'swift-ring-tool get && swift-recon -d'

   Copy to Clipboard Toggle word wrap

2. 确认节点上的 /srv/node 目录中 没有更多 \*.db 或 5.2.data 文件：

   $CONTROLLER1_SSH "find /srv/node/ -type f -name '*.db' -o -name '*.data' | wc -l"

   Copy to Clipboard Toggle word wrap