使用 Quay Operator 在 OpenShift 上部署 Red Hat Quay

1. 创建一个命名空间，如 quay-enterprise。
2. 如果要预先配置部署的各个方面，为 config 捆绑包创建 secret

3. 在名为 quayregistry.yaml的文件中创建 QuayRegistry 自定义资源

   1. 对于最小部署，使用所有默认值：

      quayregistry.yaml:

      apiVersion: quay.redhat.com/v1
      kind: QuayRegistry
      metadata:
        name: example-registry
        namespace: quay-enterprise

   2. 如果要具有一些组件非受管，请在 spec 字段中添加此信息。例如，最小部署可能类似如下：

      quayregistry.yaml:

      apiVersion: quay.redhat.com/v1
      kind: QuayRegistry
      metadata:
        name: example-registry
        namespace: quay-enterprise
      spec:
        components:
          - kind: clair
            managed: false
          - kind: horizontalpodautoscaler
            managed: false
          - kind: mirror
            managed: false
          - kind: monitoring
            managed: false

   3. 如果您已创建了配置捆绑包，如 init-config-bundle-secret，在 quayregistry.yaml 文件中引用它：

      quayregistry.yaml:

      apiVersion: quay.redhat.com/v1
      kind: QuayRegistry
      metadata:
        name: example-registry
        namespace: quay-enterprise
      spec:
        configBundleSecret: init-config-bundle-secret

4. 在指定的命名空间中创建 QuayRegistry ：

   $ oc create -f quayregistry.yaml

5. 如需有关如何跟踪部署进度的信息，请参阅 监控和调试部署过程。

6. 等待 status.registryEndpoint 填充。

   $ oc get quayregistry -n quay-enterprise example-registry -o jsonpath="{.status.registryEndpoint}" -w

1. 创建一个命名空间，如 quay-enterprise。
2. 选择 Operators → Installed Operators，然后选择 Quay Operator 来导航到 Operator 详情视图。
3. 在 'Provided API' 下点 ' Quay Registry' 标题上的 'Create Instance'。
4. （可选）更改 QuayRegistry 的 'Name'。这将影响 registry 的主机名。所有其他字段都填充了默认值。
5. 单击 'Create' 以提交 QuayRegistry 以供 Quay Operator 部署。
6. 您应该重定向到 QuayRegistry 列表视图。点刚才创建的 QuayRegistry 来查看详情视图。
7. 'Registry Endpoint' 有值后，点它通过 UI 访问新的 Quay registry。现在，您可以选择"创建帐户"来创建用户并登录。

1. 检索 secret：

   $ oc get secret -n quay-enterprise example-registry-quay-config-editor-credentials-kk55dc7299 -o yaml
   
   apiVersion: v1
   data:
     password: SkZwQkVKTUN0a1BUZmp4dA==
     username: cXVheWNvbmZpZw==
   kind: Secret

2. 解码用户名：

   $ echo 'cXVheWNvbmZpZw==' | base64 --decode
   
   quayconfig

3. 解码密码：

   $ echo 'SkZwQkVKTUN0a1BUZmp4dA==' | base64 --decode
   
   JFpBEJMCtkPTfjxt

1. 使用配置编辑器端点，为配置编辑器指定用户名和密码：

   $ curl -k -u quayconfig:JFpBEJMCtkPTfjxt https://example-registry-quay-config-editor-quay-enterprise.apps.docs.quayteam.org/api/v1/config

   {
       "config.yaml": {
           "ALLOW_PULLS_WITHOUT_STRICT_LOGGING": false,
           "AUTHENTICATION_TYPE": "Database",
           ...
           "USER_RECOVERY_TOKEN_LIFETIME": "30m"
       },
       "certs": {
           "extra_ca_certs/service-ca.crt": "LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURVVENDQWptZ0F3SUJBZ0lJRE9kWFhuUXFjMUF3RFFZSktvWklodmNOQVFFTEJRQXdOakUwTURJR0ExVUUKQXd3cmIzQmxibk5vYVdaMExYTmxjblpwWTJVdGMyVnlkbWx1WnkxemFXZHVaWEpBTVRZek1UYzNPREV3TXpBZQpGdzB5TVRBNU1UWXdOelF4TkRKYUZ..."
       }
   }

2. 使用 config bundle secret

   1. 获取 secret 数据：

      $ oc get secret -n quay-enterprise example-registry-quay-config-bundle-jkfhs -o jsonpath='{.data}'

      {
          "config.yaml": "QUxMT1dfUFVMTFNfV0lUSE9VVF9TVFJJQ1RfTE9HR0lORzogZmFsc2UKQVVUSEVOVElDQVRJT05fVFlQRTogRGF0YWJhc2UKQVZBVEFSX0tJTkQ6IGxvY2FsCkRBVEFCQVNFX1NFQ1JFVF9LRVk6IHhlOEc1VDBNbkllaGxNQzNkTjd3MWR5WWxwVmo0a0R2enlxZ3l6Ulp5ZjFpODBmWWU3VDUxU1FPZ3hXelpocFlqYlVxNzRKaDllVVVEVWpyCkRFR
      ...
      OgotIDJ3ClRFQU1fUkVTWU5DX1NUQUxFX1RJTUU6IDYwbQpURVNUSU5HOiBmYWxzZQpVU0VSX1JFQ09WRVJZX1RPS0VOX0xJRkVUSU1FOiAzMG0K",
          "extra_ca_cert_service-ca.crt": "LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURVVENDQWptZ0F3SUJBZ0lJRE9kWFhuUXFjMUF3RFFZSktvWklodmNOQVFFTEJRQXdOakUwTURJR0ExVUUKQXd3cmIzQmxibk5vYVdaMExYTmxjblpwWTJVdGMyVnlkbWx1WnkxemFXZHVaWEpBTVRZek1UYzNPREV3TXpBZQpGdzB5TVRBNU1UWXdOelF4TkRKYUZ3MHl
      ...
      XSW1jaApkQXZTWGpFUnZOZEZzN3pHK1VzTmZwN0ZIQkJVWkY4L2RZNWJCR2MwWTVaY0J6bFNjQT09Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K"
      }

   2. 解码数据：

      $ echo 'QUxMT1dfUFVMTFN...U1FOiAzMG0K' | base64 --decode

      ALLOW_PULLS_WITHOUT_STRICT_LOGGING: false
      AUTHENTICATION_TYPE: Database
      ...
      TAG_EXPIRATION_OPTIONS:
      - 2w
      TEAM_RESYNC_STALE_TIME: 60m
      TESTING: false
      USER_RECOVERY_TOKEN_LIFETIME: 30m

1. 使用嵌入式数据或使用文件创建 secret：

   1. 直接将配置详情嵌入到 Secret 资源 YAML 文件中，例如：

      custom-ssl-config-bundle.yaml

      apiVersion: v1
      kind: Secret
      metadata:
        name: custom-ssl-config-bundle-secret
        namespace: quay-enterprise
      data:
        config.yaml: |
          ALLOW_PULLS_WITHOUT_STRICT_LOGGING: false
          AUTHENTICATION_TYPE: Database
          ...
        extra_ca_cert_my-custom-ssl.crt: |
          -----BEGIN CERTIFICATE-----
          MIIDsDCCApigAwIBAgIUCqlzkHjF5i5TXLFy+sepFrZr/UswDQYJKoZIhvcNAQEL
          BQAwbzELMAkGA1UEBhMCSUUxDzANBgNVBAgMBkdBTFdBWTEPMA0GA1UEBwwGR0FM
          ....
          -----END CERTIFICATE-----

      接下来，从 YAML 文件创建 secret：

      $ oc create  -f custom-ssl-config-bundle.yaml

   2. 另外，您可以创建包含所需信息的文件，然后从这些文件创建 secret：

      $ oc create secret generic custom-ssl-config-bundle-secret \
        --from-file=config.yaml \
        --from-file=extra_ca_cert_my-custom-ssl.crt=my-custom-ssl.crt

2. 创建或更新 QuayRegistry YAML 文件 quayregistry.yaml，引用所创建的 Secret，例如：

   quayregistry.yaml

   apiVersion: quay.redhat.com/v1
   kind: QuayRegistry
   metadata:
     name: example-registry
     namespace: quay-enterprise
   spec:
     configBundleSecret: custom-ssl-config-bundle-secret

3. 使用 YAML 文件部署或更新 registry：

   oc apply -f quayregistry.yaml

流程

1. 通过导出 QuayRegistry 自定义资源来备份它：

   $ oc get quayregistry <quay-registry-name> -n <quay-namespace> -o yaml > quay-registry.yaml

2. 编辑生成的 quayregistry.yaml 并删除 status 部分及以下元数据字段：

     metadata.creationTimestamp
     metadata.finalizers
     metadata.generation
     metadata.resourceVersion
     metadata.uid

3. 备份受管密钥 secret：

   注意

   如果您正在运行早于 Red Hat Quay 3.0 的版本，可以跳过这一步。首次部署 Quay 时会自动生成一些 secret。它们存储在 QuayRegistry 命名空间中的名为 &lt ;quay-registry-name>-quay-registry-managed-secret-keys 的 secret 中。

   $ oc get secret -n <quay-namespace> <quay-registry-name>-quay-registry-managed-secret-keys -o yaml > managed-secret-keys.yaml

4. 编辑生成的 managed-secret-keys.yaml 文件并删除所有所有者引用。您的 managed-secret-keys.yaml 文件应类似于如下：

   apiVersion: v1
   kind: Secret
   type: Opaque
   metadata:
     name: <quayname>-quay-registry-managed-secret-keys
     namespace: <quay-namespace>
   data:
     CONFIG_EDITOR_PW: <redacted>
     DATABASE_SECRET_KEY: <redacted>
     DB_ROOT_PW: <redacted>
     DB_URI: <redacted>
     SECRET_KEY: <redacted>
     SECURITY_SCANNER_V4_PSK: <redacted>

   data 属性下的所有信息都应保持不变。

5. 备份当前的 Quay 配置：

   $ oc get secret -n <quay-namespace>  $(oc get quayregistry <quay-registry-name> -n <quay-namespace>  -o jsonpath='{.spec.configBundleSecret}') -o yaml > config-bundle.yaml

6. 备份在 Quay pod 中挂载的 /conf/stack/config.yaml 文件：

   $ oc exec -it quay-pod-name -- cat /conf/stack/config.yaml > quay-config.yaml

7. 缩减 Quay Operator：

   $  oc scale --replicas=0 deployment $(oc get deployment -n <quay-operator-namespace> |awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>

8. 缩减 Quay 命名空间：

   $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace> -l quay-component=quay -o jsonpath='{.items[0].metadata.name}') -n <quay-namespace>

9. 等待 registry-quay-app pod 消失。您可以运行以下命令来检查其状态：

   $ oc get pods -n <quay-namespace>

   输出示例：

   registry-quay-config-editor-77847fc4f5-nsbbv   1/1     Running            0          9m1s
   registry-quay-database-66969cd859-n2ssm        1/1     Running            0          6d1h
   registry-quay-mirror-758fc68ff7-5wxlp          1/1     Running            0          8m29s
   registry-quay-mirror-758fc68ff7-lbl82          1/1     Running            0          8m29s
   registry-quay-redis-7cc5f6c977-956g8           1/1     Running            0          5d21h

10. 识别 Quay PostgreSQL pod 名称：

    $ oc get pod -l quay-component=postgres -n <quay-namespace> -o jsonpath='{.items[0].metadata.name}'

    exampe 输出：

1. 获取 Quay 数据库名称：

   $ oc -n <quay-namespace> rsh $(oc get pod -l app=quay -o NAME -n <quay-namespace> |head -n 1) cat /conf/stack/config.yaml|awk -F"/" '/^DB_URI/ {print $4}'
   quayregistry-quay-database

2. 下载备份数据库：

   $ oc exec quayregistry-quay-database-59f54bb7-58xs7 -- /usr/bin/pg_dump -C quayregistry-quay-database  > backup.sql

3. 解码并导出 AWS_ACCESS_KEY_ID ：

   $ export AWS_ACCESS_KEY_ID=$(oc get secret -l app=noobaa -n <quay-namespace>  -o jsonpath='{.items[0].data.AWS_ACCESS_KEY_ID}' |base64 -d)

4. 解码并导出 AWS_SECRET_ACCESS_KEY_ID ：

   $ export AWS_SECRET_ACCESS_KEY=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_SECRET_ACCESS_KEY}' |base64 -d)

5. 创建新目录并将所有 blob 复制到其中：

   $ mkdir blobs

   $ aws s3 sync --no-verify-ssl --endpoint https://$(oc get route s3 -n openshift-storage  -o jsonpath='{.spec.host}')  s3://$(oc get cm -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.BUCKET_NAME}') ./blobs

1. 扩展 Quay Operator:

   $  oc scale --replicas=1 deployment $(oc get deployment -n <quay-operator-namespace> |awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>

2. 扩展 Quay 命名空间：

   $ oc scale --replicas=1 deployment $(oc get deployment -n <quay-namespace> -l quay-component=quay -o jsonpath='{.items[0].metadata.name}') -n <quay-namespace>

3. 检查 Operator 的状态：

   $ oc get quayregistry <quay-registry-name> -n <quay-namespace> -o yaml

   输出示例：

   apiVersion: quay.redhat.com/v1
   kind: QuayRegistry
   metadata:
     ...
     name: example-registry
     namespace: <quay-namespace>
     ...
   spec:
     components:
     - kind: quay
       managed: true
     ...
     - kind: clairpostgres
       managed: true
     configBundleSecret: init-config-bundle-secret
   status:
     configEditorCredentialsSecret: example-registry-quay-config-editor-credentials-fg2gdgtm24
     configEditorEndpoint: https://example-registry-quay-config-editor-quay-enterprise.apps.docs.gcp.quaydev.org
     currentVersion: 3.7.0
     lastUpdated: 2022-05-11 13:28:38.199476938 +0000 UTC
     registryEndpoint: https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org
        0          5d21h

流程

1. 恢复备份的 Quay 配置和随机生成的密钥：

   $ oc create -f ./config-bundle.yaml

   $ oc create -f ./managed-secret-keys.yaml

   注意

   如果您收到错误 Error from server (AlreadyExists)：创建 "./config-bundle.yaml": secrets "config-bundle-secret" already exists 时的错误，您必须使用 $ oc delete Secret config-bundle-secret -n <quay -namespace > 重新创建它。

2. 恢复 QuayRegistry 自定义资源：

   $ oc create -f ./quay-registry.yaml

3. 缩减 Quay Operator：

   $  oc scale --replicas=0 deployment $(oc get deployment -n <quay-operator-namespace> |awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>

4. 缩减 Quay 命名空间：

   $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace> -l quay-component=quay -o jsonpath='{.items[0].metadata.name}') -n <quay-namespace>

5. 识别您的 Quay 数据库 pod：

   $ oc get pod -l quay-component=postgres -n  <quay-namespace> -o jsonpath='{.items[0].metadata.name}'

   输出示例：

   quayregistry-quay-database-59f54bb7-58xs7

6. 通过从本地环境复制到本地环境和 pod 来上传备份：

   $ oc cp ./backup.sql -n <quay-namespace> registry-quay-database-66969cd859-n2ssm:/tmp/backup.sql

7. 打开到数据库的远程终端：

   $ oc rsh -n <quay-namespace> registry-quay-database-66969cd859-n2ssm

8. Enter psql:

   bash-4.4$ psql

9. 您可以运行以下命令来列出数据库：

   postgres=# \l

   输出示例：

                                                     List of databases
              Name            |           Owner            | Encoding |  Collate   |   Ctype    |   Access privileges
   ----------------------------+----------------------------+----------+------------+------------+-----------------------
   postgres                   | postgres                   | UTF8     | en_US.utf8 | en_US.utf8 |
   quayregistry-quay-database | quayregistry-quay-database | UTF8     | en_US.utf8 | en_US.utf8 |

10. 丢弃数据库：

    postgres=# DROP DATABASE "quayregistry-quay-database";

    输出示例：

    DROP DATABASE

11. 退出 postgres CLI 以重新输入 bash-4.4 ：

    \q

12. 将您的 PostgreSQL 数据库重定向到备份数据库：

    sh-4.4$ psql < /tmp/backup.sql

13. 退出 bash：

    sh-4.4$ exit

14. 导出 AWS_ACCESS_KEY_ID ：

    $ export AWS_ACCESS_KEY_ID=$(oc get secret -l app=noobaa -n <quay-namespace>  -o jsonpath='{.items[0].data.AWS_ACCESS_KEY_ID}' |base64 -d)

15. 导出 AWS_SECRET_ACCESS_KEY ：

    $ export AWS_SECRET_ACCESS_KEY=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_SECRET_ACCESS_KEY}' |base64 -d)

16. 运行以下命令将所有 blob 上传到存储桶：

    $ aws s3 sync --no-verify-ssl --endpoint https://$(oc get route s3 -n openshift-storage  -o jsonpath='{.spec.host}') ./blobs  s3://$(oc get cm -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.BUCKET_NAME}')

17. 扩展 Quay Operator:

    $  oc scale --replicas=1 deployment $(oc get deployment -n <quay-operator-namespace> |awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>

18. 扩展 Quay 命名空间：

    $ oc scale --replicas=1 deployment $(oc get deployment -n <quay-namespace> -l quay-component=quay -o jsonpath='{.items[0].metadata.name}') -n <quay-namespace>

19. 检查 Operator 的状态，并确保它重新上线：

    $ oc get quayregistry -n <quay-namespace> <registry-name> -o yaml

    输出示例：

    apiVersion: quay.redhat.com/v1
    kind: QuayRegistry
    metadata:
      ...
      name: example-registry
      namespace: quay-enterprise
      ...
    spec:
      components:
      - kind: quay
        managed: true
      ...
      - kind: clairpostgres
        managed: true
      configBundleSecret: init-config-bundle-secret
    status:
      configEditorCredentialsSecret: example-registry-quay-config-editor-credentials-fg2gdgtm24
      configEditorEndpoint: https://example-registry-quay-config-editor-quay-enterprise.apps.docs.gcp.quaydev.org
      currentVersion: 3.7.0
      lastUpdated: 2022-05-11 13:28:38.199476938 +0000 UTC
      registryEndpoint: https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org
         0          5d21h

1. 将 "quay-operator/migrate": "true" 添加到 QuayEcosystem 的 metadata.labels。

   $ oc edit quayecosystem <quayecosystemname>

   metadata:
     labels:
       quay-operator/migrate: "true"

2. 等待 QuayEcosystem 使用相同的 metadata.name 创建 QuayRegistry。QuayEcosystem 将标记为标签 "quay-operator/migration-complete": "true "。
3. 设置了新的 QuayRegistry 的 status.registryEndpoint 后，访问 Quay 并确认所有数据和设置已成功迁移。
4. 当您确定一切正常工作时，您可以删除 QuayEcosystem 和 Kubernetes 垃圾回收会清理所有旧资源。