16.2. 地理复制要求和约束

流程

1. 更新 config.yaml 文件，使其包含要复制数据的存储引擎。您必须列出所有要使用的存储引擎：

   # ...
   FEATURE_STORAGE_REPLICATION: true
   # ...
   DISTRIBUTED_STORAGE_CONFIG:
       usstorage:
           - RHOCSStorage
           - access_key: <access_key>
             bucket_name: <example_bucket>
             hostname: my.noobaa.hostname
             is_secure: false
             port: "443"
             secret_key: <secret_key>
             storage_path: /datastorage/registry
       eustorage:
           - S3Storage
           - host: s3.amazon.com
             port: "443"
             s3_access_key: <access_key>
             s3_bucket: <example bucket>
             s3_secret_key: <secret_key>
             storage_path: /datastorage/registry
   DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS: []
   DISTRIBUTED_STORAGE_PREFERENCE:
       - usstorage
       - eustorage
   # ...

2. 可选。如果需要完成所有镜像到所有存储引擎，您可以通过手动设置 DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS 字段来手动将镜像复制到存储引擎。这样可确保所有镜像都复制到该存储引擎中。例如：

   # ...
   DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS:
       - usstorage
       - eustorage
   # ...

   注意

   要启用按命名空间复制，请联络 Red Hat Quay 支持。

3. 在为异地复制添加存储 并启用 Replicate 到存储引擎 后，您必须在所有存储中同步现有镜像数据。要做到这一点，您必须运行以下命令来在容器中执行：

   $ podman exec -it <container_id>

4. 要在添加新存储后同步内容，请输入以下命令：

   # scl enable python27 bash

   # python -m util.backfillreplication

   注意

   这是添加新存储后要同步内容的一个时间操作。

1. 将 config.yaml 复制到所有运行 Red Hat Quay 的机器

2. 对于每个区域中的每个机器，添加一个 QUAY_DISTRIBUTED_STORAGE_PREFERENCE 环境变量，其中包含运行机器的区域的首选存储引擎。

   例如，对于在 Europe 中运行且具有 $QUAY/config 上具有配置目录的机器：

   $ sudo podman run -d --rm -p 80:8080 -p 443:8443  \
      --name=quay \
      -v $QUAY/config:/conf/stack:Z \
      -e QUAY_DISTRIBUTED_STORAGE_PREFERENCE=europestorage \
      registry.redhat.io/quay/quay-rhel8:v3.12.4

   注意

   指定的环境变量值必须与配置面板中定义的 Location ID 的名称匹配。

3. 重启所有 Red Hat Quay 容器

流程

1. 运行以下命令，同步所有定义的站点之间的 Blob：

   $ python -m util.backfillreplication

   警告

   在从 Red Hat Quay config.yaml 文件中删除存储引擎 前，您必须确保在 所有定义的站点间同步所有 Blob。在继续操作前完成此步骤。

2. 在 Red Hat Quay config.yaml 文件中，删除 eu storage 站点的 DISTRIBUTED_STORAGE_CONFIG 条目。

3. 输入以下命令获取正在运行的容器列表：

   $ podman ps

   输出示例

   CONTAINER ID  IMAGE                                                                     COMMAND         CREATED         STATUS             PORTS                                        NAMES
   92c5321cde38  registry.redhat.io/rhel8/redis-5:1                                        run-redis       11 days ago     Up 11 days ago     0.0.0.0:6379->6379/tcp                       redis
   4e6d1ecd3811  registry.redhat.io/rhel8/postgresql-13:1-109                              run-postgresql  33 seconds ago  Up 34 seconds ago  0.0.0.0:5432->5432/tcp                       postgresql-quay
   d2eadac74fda  registry-proxy.engineering.redhat.com/rh-osbs/quay-quay-rhel8:v3.9.0-131  registry        4 seconds ago   Up 4 seconds ago   0.0.0.0:80->8080/tcp, 0.0.0.0:443->8443/tcp  quay

4. 输入以下命令在 PostgreSQL 容器内执行 shell：

   $ podman exec -it postgresql-quay -- /bin/bash

5. 运行以下命令来输入 psql ：

   bash-4.4$ psql

6. 输入以下命令在地理复制部署中显示站点列表：

   quay=# select * from imagestoragelocation;

   输出示例

    id |       name
   ----+-------------------
     1 | usstorage
     2 | eustorage

7. 输入以下命令退出 postgres CLI 以重新输入 bash-4.4:

   \q

8. 输入以下命令永久删除 eustorage 站点：

   重要

   以下操作无法撤消。请谨慎使用。

   bash-4.4$ python -m util.removelocation eustorage

   输出示例

   WARNING: This is a destructive operation. Are you sure you want to remove eustorage from your storage locations? [y/n] y
   Deleted placement 30
   Deleted placement 31
   Deleted placement 32
   Deleted placement 33
   Deleted location eustorage

流程

1. 为 Red Hat Quay 部署 postgres 实例。

2. 输入以下命令登录到数据库：

   psql -U <username> -h <hostname> -p <port> -d <database_name>

3. 为 Red Hat Quay 创建名为 quay 的数据库。例如：

   CREATE DATABASE quay;

4. 在数据库中启用 pg_trm 扩展

   \c quay;
   CREATE EXTENSION IF NOT EXISTS pg_trgm;

5. 部署 Redis 实例：

   注意
   • 如果您的云供应商有自己的服务，则部署 Redis 实例可能是必需的。
   • 如果您使用 Builders，则需要部署 Redis 实例。
   1. 为 Redis 部署虚拟机
   2. 验证是否可以从运行 Red Hat Quay 的集群访问
   3. 必须打开端口 6379/TCP

   4. 在实例内运行 Redis

      sudo dnf install -y podman
      podman run -d --name redis -p 6379:6379 redis

6. 创建两个对象存储后端，每个集群一个。理想情况下，一个对象存储桶将接近第一个或主集群，另一个则运行更接近第二个或次要集群。
7. 使用同一配置捆绑包部署集群，使用环境变量覆盖来为单个集群选择适当的存储后端。
8. 配置负载均衡器，以提供集群的单个入口点。

流程

1. 运行以下命令，同步所有定义的站点之间的 Blob：

   $ python -m util.backfillreplication

   警告

   在从 Red Hat Quay config.yaml 文件中删除存储引擎 前，您必须确保在 所有定义的站点间同步所有 Blob。

   在运行此命令时，会创建复制作业，由复制工作程序提取。如果有需要复制的 Blob，该脚本会返回将复制的 Blob 的 UUID。如果您多次运行此命令，并且返回脚本的输出为空，并不意味着完成复制过程；这意味着没有更多 Blob 进行复制。客户应在继续前使用适当的 judgement，因为分配的时间复制取决于检测到的 Blob 数量。

   或者，您可以使用第三方云工具（如 Microsoft Azure）来检查同步状态。

   在继续之前，必须完成此步骤。

2. 在 Red Hat Quay config.yaml 文件中，删除 eu storage 站点的 DISTRIBUTED_STORAGE_CONFIG 条目。

3. 输入以下命令来标识 Quay 应用程序 pod：

   $ oc get pod -n <quay_namespace>

   输出示例

   quay390usstorage-quay-app-5779ddc886-2drh2
   quay390eustorage-quay-app-66969cd859-n2ssm

4. 输入以下命令在 usstorage pod 中打开交互式 shell 会话：

   $ oc rsh quay390usstorage-quay-app-5779ddc886-2drh2

5. 输入以下命令永久删除 eustorage 站点：

   重要

   以下操作无法撤消。请谨慎使用。

   sh-4.4$ python -m util.removelocation eustorage

   输出示例

   WARNING: This is a destructive operation. Are you sure you want to remove eustorage from your storage locations? [y/n] y
   Deleted placement 30
   Deleted placement 31
   Deleted placement 32
   Deleted placement 33
   Deleted location eustorage