16.2. 地域复制要求和限制

流程

1. 更新 config.yaml 文件，使其包含要复制数据的存储引擎。您必须列出所有要使用的存储引擎：

   # ...
   FEATURE_STORAGE_REPLICATION: true
   # ...
   DISTRIBUTED_STORAGE_CONFIG:
       usstorage:
           - RHOCSStorage
           - access_key: <access_key>
             bucket_name: <example_bucket>
             hostname: my.noobaa.hostname
             is_secure: false
             port: "443"
             secret_key: <secret_key>
             storage_path: /datastorage/registry
       eustorage:
           - S3Storage
           - host: s3.amazon.com
             port: "443"
             s3_access_key: <access_key>
             s3_bucket: <example bucket>
             s3_secret_key: <secret_key>
             storage_path: /datastorage/registry
   DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS: []
   DISTRIBUTED_STORAGE_PREFERENCE:
       - usstorage
       - eustorage
   # ...

   Copy to Clipboard Toggle word wrap

2. 可选。如果需要将所有镜像复制到所有存储引擎，您可以通过手动设置 DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS 字段来将镜像复制到存储引擎。这可确保所有镜像复制到该存储引擎。例如：

   # ...
   DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS:
       - usstorage
       - eustorage
   # ...

   Copy to Clipboard Toggle word wrap
   注意

   要启用每个命名空间复制，请联系红帽 Quay 支持。

3. 为异地复制 默认将存储并启用 Replicate 到存储引擎 后，您必须在所有存储间同步现有镜像数据。要做到这一点，您必须运行以下命令来在容器中执行：

   $ podman exec -it <container_id>

   Copy to Clipboard Toggle word wrap

4. 要在添加新存储后同步内容，请输入以下命令：

   # scl enable python27 bash

   Copy to Clipboard Toggle word wrap

   # python -m util.backfillreplication

   Copy to Clipboard Toggle word wrap
   注意

   这是添加新存储后同步内容的一次性操作。

1. 将 config.yaml 复制到运行 Red Hat Quay 的所有机器

2. 对于每个区域中的每个机器，使用机器运行的区域的首选存储引擎添加 QUAY_DISTRIBUTED_STORAGE_PREFERENCE 环境变量。

   例如，对于在欧洲运行的机器，主机上有 $QUAY/config 的配置目录：

   $ sudo podman run -d --rm -p 80:8080 -p 443:8443  \
      --name=quay \
      -v $QUAY/config:/conf/stack:Z \
      -e QUAY_DISTRIBUTED_STORAGE_PREFERENCE=europestorage \
      registry.redhat.io/quay/quay-rhel8:v3.11.10

   Copy to Clipboard Toggle word wrap
   注意

   指定的环境变量值必须与 config 面板中定义的 Location ID 的名称匹配。

3. 重启所有 Red Hat Quay 容器

流程

1. 运行以下命令，在所有定义的站点间同步 Blob：

   $ python -m util.backfillreplication

   Copy to Clipboard Toggle word wrap
   警告

   在从 Red Hat Quay config.yaml 文件中删除存储引擎 前，您必须确保 所有 Blob 在所有定义的站点间同步。在继续操作前，请完成此步骤。

2. 在站点 usstorage 的 Red Hat Quay config.yaml 文件中，删除 eustorage 站点的 DISTRIBUTED_STORAGE_CONFIG 条目。

3. 输入以下命令获取正在运行的容器列表：

   $ podman ps

   Copy to Clipboard Toggle word wrap

   输出示例

   CONTAINER ID  IMAGE                                                                     COMMAND         CREATED         STATUS             PORTS                                        NAMES
   92c5321cde38  registry.redhat.io/rhel8/redis-5:1                                        run-redis       11 days ago     Up 11 days ago     0.0.0.0:6379->6379/tcp                       redis
   4e6d1ecd3811  registry.redhat.io/rhel8/postgresql-13:1-109                              run-postgresql  33 seconds ago  Up 34 seconds ago  0.0.0.0:5432->5432/tcp                       postgresql-quay
   d2eadac74fda  registry-proxy.engineering.redhat.com/rh-osbs/quay-quay-rhel8:v3.9.0-131  registry        4 seconds ago   Up 4 seconds ago   0.0.0.0:80->8080/tcp, 0.0.0.0:443->8443/tcp  quay

   Copy to Clipboard Toggle word wrap

4. 输入以下命令在 PostgreSQL 容器内执行 shell：

   $ podman exec -it postgresql-quay -- /bin/bash

   Copy to Clipboard Toggle word wrap

5. 运行以下命令来输入 psql ：

   bash-4.4$ psql

   Copy to Clipboard Toggle word wrap

6. 输入以下命令在 geo-replicated 部署中显示站点列表：

   quay=# select * from imagestoragelocation;

   Copy to Clipboard Toggle word wrap

   输出示例

    id |       name
   ----+-------------------
     1 | usstorage
     2 | eustorage

   Copy to Clipboard Toggle word wrap

7. 输入以下命令退出 postgres CLI 以重新输入 bash-4.4 ：

   \q

   Copy to Clipboard Toggle word wrap

8. 输入以下命令永久删除 eustorage 站点：

   重要

   无法撤销以下操作。请谨慎使用。

   bash-4.4$ python -m util.removelocation eustorage

   Copy to Clipboard Toggle word wrap

   输出示例

   WARNING: This is a destructive operation. Are you sure you want to remove eustorage from your storage locations? [y/n] y
   Deleted placement 30
   Deleted placement 31
   Deleted placement 32
   Deleted placement 33
   Deleted location eustorage

   Copy to Clipboard Toggle word wrap

流程

1. 为 Red Hat Quay 部署 postgres 实例。

2. 输入以下命令登录到数据库：

   psql -U <username> -h <hostname> -p <port> -d <database_name>

   Copy to Clipboard Toggle word wrap

3. 为 Red Hat Quay 创建名为 quay 的数据库。例如：

   CREATE DATABASE quay;

   Copy to Clipboard Toggle word wrap

4. 在数据库中启用 pg_trm 扩展

   \c quay;
   CREATE EXTENSION IF NOT EXISTS pg_trgm;

   Copy to Clipboard Toggle word wrap

5. 部署 Redis 实例：

   注意
   • 如果您的云供应商有自己的服务，则部署 Redis 实例可能是必需的。
   • 如果您使用 Builders，则需要部署 Redis 实例。
   1. 为 Redis 部署虚拟机
   2. 验证可以从运行 Red Hat Quay 的集群访问它
   3. 必须打开端口 6379/TCP

   4. 在实例内运行 Redis

      sudo dnf install -y podman
      podman run -d --name redis -p 6379:6379 redis

      Copy to Clipboard Toggle word wrap
6. 创建两个对象存储后端，每个集群一个。理想情况下，一个对象存储桶将接近第一个或主、集群，另一个将接近第二个或次要集群。
7. 使用环境变量覆盖来部署具有相同配置捆绑包的集群，以便为单个集群选择适当的存储后端。
8. 配置负载均衡器以为集群提供单一入口点。

流程

1. 运行以下命令，在所有定义的站点间同步 Blob：

   $ python -m util.backfillreplication

   Copy to Clipboard Toggle word wrap
   警告

   在从 Red Hat Quay config.yaml 文件中删除存储引擎 前，您必须确保 所有 Blob 在所有定义的站点间同步。

   运行此命令时，会创建复制 worker 提取的复制作业。如果存在需要复制的 Blob，脚本会返回要复制的 Blob 的 UUID。如果您多次运行此命令，并且返回脚本的输出为空，这并不意味着复制过程已完成；这意味着没有为复制进行排队。在继续操作前，客户应该使用适当的 judgement，因为分配的时间复制取决于检测到的 Blob 数量。

   另外，您可以使用 Microsoft Azure 等第三方云工具来检查同步状态。

   在继续操作前，必须完成此步骤。

2. 在站点 usstorage 的 Red Hat Quay config.yaml 文件中，删除 eustorage 站点的 DISTRIBUTED_STORAGE_CONFIG 条目。

3. 输入以下命令识别您的 Quay 应用程序 pod：

   $ oc get pod -n <quay_namespace>

   Copy to Clipboard Toggle word wrap

   输出示例

   quay390usstorage-quay-app-5779ddc886-2drh2
   quay390eustorage-quay-app-66969cd859-n2ssm

   Copy to Clipboard Toggle word wrap

4. 输入以下命令在 usstorage pod 中打开交互式 shell 会话：

   $ oc rsh quay390usstorage-quay-app-5779ddc886-2drh2

   Copy to Clipboard Toggle word wrap

5. 输入以下命令永久删除 eustorage 站点：

   重要

   无法撤销以下操作。请谨慎使用。

   sh-4.4$ python -m util.removelocation eustorage

   Copy to Clipboard Toggle word wrap

   输出示例

   WARNING: This is a destructive operation. Are you sure you want to remove eustorage from your storage locations? [y/n] y
   Deleted placement 30
   Deleted placement 31
   Deleted placement 32
   Deleted placement 33
   Deleted location eustorage

   Copy to Clipboard Toggle word wrap