在 OpenShift Container Platform 上部署 Red Hat Quay Operator

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在搜索框中输入 本地存储，从 Operator 列表中选择 Local Storage Operator。点 Local Storage。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   • 对于 Update channel，选择 stable。
   • 对于 Installation 模式，选择 A specific namespace on the cluster。
   • 对于 Installed Namespace，请选择 Operator recommended namespace openshift-local-storage。
   • 对于 Update approval，请选择 Automatic。
6. 点 Install。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在搜索框中输入 OpenShift Data Foundation。单击 OpenShift Data Foundation。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   • 对于 Update channel，选择最新的稳定版本。
   • 对于 Installation 模式，选择 A specific namespace on the cluster。
   • 对于 Installed Namespace，选择 Operator recommended Namespace: openshift-storage。

   • 对于 Update approval，请选择 Automatic 或 Manual。

     如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

     如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   • 对于 Console 插件，选择 Enable。

6. 点 Install。

   安装 Operator 后，用户界面中会出现一个带有消息的弹出窗口，Web 控制台更新 就会出现在用户界面中。点这个弹出窗口中的 Refresh web console 来反映控制台的更改。

7. 继续以下部分"创建独立多云对象网关"，以利用 Red Hat Quay 的多云对象网关组件。

流程

1. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保命名空间为 openshift-storage。

2. 单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下内容：

   1. 为 Deployment 类型选择 Multicloud Object Gateway。
   2. 选择 Create a new StorageClass using the local storage devices 选项。

   3. 点 Next。

      注意

      如果还没有安装，系统会提示您安装 Local Storage Operator。点 Install，并按照 "Installing the Local Storage Operator on OpenShift Container Platform" 中所述的步骤进行操作。

4. 在 Create local volume set 页面中，提供以下信息：

   1. 为 LocalVolumeSet 和 StorageClass 输入一个名称。默认情况下，存储类名称会出现本地卷集名称。您可以更改名称。

   2. 选择以下任意一项：

      • 所有节点上的磁盘

        使用与所有节点上所选过滤器匹配的可用磁盘。

      • 所选节点上的磁盘

        仅在所选节点上使用与所选过滤器匹配的可用磁盘。

   3. 从可用 Disk Type 列表中，选择 SSD/NVMe。

   4. 展开 Advanced 部分并设置以下选项：

      Expand

      卷模式	文件系统会被默认选择。始终为卷模式选择 Filesystem。
      设备类型	从下拉列表中选择一个或多个设备类型。
      磁盘大小	为设备设置最小 100GB 大小，以及需要包含的设备的最大可用大小。
      磁盘限制上限	这表示节点上可以创建的 PV 数量上限。如果此字段留空，则为匹配节点上的所有可用磁盘创建 PV。

      Show more

   5. 点 Next

      此时会显示一个用于确认创建 LocalVolumeSet 的弹出窗口。

   6. 单击 Yes 以继续。

5. 在 Capacity 和 nodes 页面中，配置以下内容：

   1. 可用的原始容量会根据与存储类关联的所有附加磁盘填充容量值。这将需要一些时间才能出现。Selected nodes 列表根据存储类显示节点。
   2. 点 Next 继续。

6. 可选的。选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。

   1. 从 Key Management Service Provider 下拉列表中，选择 Vault 或 Thales CipherTrust Manager (using KMIP)。如果选择了 Vault，请进入下一步。如果您选择了 Thales CipherTrust Manager （using KMIP），请转到步骤 iii。

   2. 选择身份验证方法。

      使用令牌验证方法

      • 输入唯一的连接名称 , Vault 服务器的主机地址（'https://<hostname 或 ip>'），端口号和令牌。

      • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情：

        • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
        • （可选）输入 TLS 服务器名称和 Vault Enterprise 命名空间。
        • 上传对应的 PEM 编码证书文件，以提供 CA 证书、 客户端证书和客户端私钥。

        • 点 Save 并跳过步骤 iv。

          使用 Kubernetes 验证方法

      • 输入唯一的 Vault Connection Name, Vault 服务器的主机地址（'https://<hostname 或 ip>'）、端口号和角色名称。

      • 展开 Advanced Settings 以根据您的 Vault 配置输入额外的设置和证书详情：

        • 在 后端路径中输入为 Red Hat OpenShift Data Foundation 专用 且唯一的 Key Value secret 路径。
        • 可选：输入 TLS Server Name 和 Authentication Path （如果适用）。
        • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
        • 点 Save 并跳过步骤 iv。

   3. 要使用 Thales CipherTrust Manager (using KMIP) 作为 KMS 供应商，请按照以下步骤执行：

      1. 在项目中输入密钥管理服务的唯一连接名称。

      2. 在 Address 和 Port 部分中，输入 Thales CipherTrust Manager 的 IP 以及在其中启用了 KMIP 接口的端口。例如：

         • 地址: 123.34.3.2
         • 端口 ：5696
      3. 上传 客户端证书、CA 证书和 客户端私钥。
      4. 如果启用了 StorageClass 加密，请输入用于加密和解密的唯一标识符。
      5. TLS Server 字段是可选的，并在没有 KMIP 端点的 DNS 条目时使用。例如，kmip_all_<port>.ciphertrustmanager.local。
   4. 选择 网络。
   5. 点 Next。
7. 在 Review and create 页面中，检查配置详情。若要修改任何配置设置，请单击 Back。
8. 单击 Create StorageSystem。

流程

1. 在 OpenShift Web 控制台中，然后选择 Operators → OperatorHub。
2. 搜索 Red Hat OpenShift Data Foundation，然后选择 Install。
3. 接受所有默认选项，然后选择 Install。

4. 通过查看 Status 列确认已安装 Operator，它应标记为 Succeeded。

   警告

   安装 Red Hat OpenShift Data Foundation Operator 后，系统会提示您创建存储系统。不要遵循这个指令。反之，按照以下步骤创建 NooBaa 对象存储。

5. 在机器上，使用以下信息创建一个名为 noobaa.yaml 的文件：

   apiVersion: noobaa.io/v1alpha1
   kind: NooBaa
   metadata:
     name: noobaa
     namespace: openshift-storage
   spec:
    dbResources:
      requests:
        cpu: '0.1'
        memory: 1Gi
    dbType: postgres
    coreResources:
      requests:
        cpu: '0.1'
        memory: 1Gi

   这将创建 多云对象网关 的单一实例部署。

6. 使用以下命令应用配置：

   $ oc create -n openshift-storage -f noobaa.yaml

   输出示例

   noobaa.noobaa.io/noobaa created

7. 几分钟后，Multi-cloud 对象网关 应该完成调配。您可以输入以下命令来检查其状态：

   $ oc get -n openshift-storage noobaas noobaa -w

   输出示例

   NAME     MGMT-ENDPOINTS              S3-ENDPOINTS                IMAGE                                                                                                            PHASE   AGE
   noobaa   [https://10.0.32.3:30318]   [https://10.0.32.3:31958]   registry.redhat.io/ocs4/mcg-core-rhel8@sha256:56624aa7dd4ca178c1887343c7445a9425a841600b1309f6deace37ce6b8678d   Ready   3d18h

8. 通过创建以下 YAML 文件，名为 noobaa-pv-backing-store.yaml，为网关配置后备存储：

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: noobaa-pv-backing-store
     namespace: openshift-storage
   spec:
     pvPool:
       numVolumes: 1
       resources:
         requests:
           storage: 50Gi 

   1

   
       storageClass: STORAGE-CLASS-NAME 

   2

   
     type: pv-pool

   1

   对象存储服务的整体容量。根据需要进行调整。

   2

   用于请求的 PersistentVolume 的 StorageClass。删除此属性以使用集群默认值。

9. 输入以下命令应用配置：

   $ oc create -f noobaa-pv-backing-store.yaml

   输出示例

   backingstore.noobaa.io/noobaa-pv-backing-store created

   这会为网关创建后备存储配置。Red Hat Quay 中的所有镜像将通过网关存储在由上述配置创建的 PersistentVolume 中的对象。

10. 运行以下命令，使 PersistentVolume 后端存储 Red Hat Quay Operator 发布的所有 ObjectBucketClaims 的默认 ：

    $ oc patch bucketclass noobaa-default-bucket-class --patch '{"spec":{"placementPolicy":{"tiers":[{"backingStores":["noobaa-pv-backing-store"]}]}}}' --type merge -n openshift-storage

流程

1. 输入以下命令在 OpenShift Container Platform 集群中为 Clair 部署安装 clairctl 程序：

   $ oc -n quay-enterprise exec example-registry-clair-app-64dd48f866-6ptgw -- cat /usr/bin/clairctl > clairctl

   注意

   未正式，可以下载 clairctl 工具

2. 设置 clairctl 文件的权限，以便用户可以由用户执行并运行，例如：

   $ chmod u+x ./clairctl

流程

1. 输入以下命令来检索和解码配置 secret，然后将其保存到 Clair 配置 YAML 中：

   $ oc get secret -n quay-enterprise example-registry-clair-config-secret  -o "jsonpath={$.data['config\.yaml']}" | base64 -d > clair-config.yaml

2. 更新 clair-config.yaml 文件，以便 disable_updaters 和 airgap 参数设置为 true，例如：

   ---
   indexer:
     airgap: true
   ---
   matcher:
     disable_updaters: true
   ---

流程

1. 使用 oc CLI 工具确定 Clair 数据库服务，例如：

   $ oc get svc -n quay-enterprise

   输出示例

   NAME                                  TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                             AGE
   example-registry-clair-app            ClusterIP      172.30.224.93    <none>        80/TCP,8089/TCP                     4d21h
   example-registry-clair-postgres       ClusterIP      172.30.246.88    <none>        5432/TCP                            4d21h
   ...

2. 转发 Clair 数据库端口，使其可从本地机器访问。例如：

   $ oc port-forward -n quay-enterprise service/example-registry-clair-postgres 5432:5432

3. 更新 Clair config.yaml 文件，例如：

   indexer:
       connstring: host=localhost port=5432 dbname=postgres user=postgres password=postgres sslmode=disable 

   1

   
       scanlock_retry: 10
       layer_scan_concurrency: 5
       migrations: true
       scanner:
         repo:
           rhel-repository-scanner: 

   2

   
             repo2cpe_mapping_file: /data/cpe-map.json
         package:
           rhel_containerscanner: 

   3

   
             name2repos_mapping_file: /data/repo-map.json

   1

   在多 connstring 字段中使用 localhost 替换 host 的值。

   2

   有关 rhel-repository-scanner 参数的更多信息，请参阅 "Mapping repository to Common Product Enumeration"。

   3

   有关 rhel_containerscanner 参数的更多信息，请参阅 "Mapping repository to Common Product Enumeration information"。

流程

1. 使用 podman cp 命令为自我管理的 Clair 部署安装 clairctl 程序，例如：

   $ sudo podman cp clairv4:/usr/bin/clairctl ./clairctl

2. 设置 clairctl 文件的权限，以便用户可以由用户执行并运行，例如：

   $ chmod u+x ./clairctl

流程

1. 为您的 Clair 配置文件创建一个文件夹，例如：

   $ mkdir /etc/clairv4/config/

2. 创建一个 Clair 配置文件，将 disable_updaters 参数设置为 true，例如：

   ---
   indexer:
     airgap: true
   ---
   matcher:
     disable_updaters: true
   ---

3. 使用容器镜像启动 Clair，从您创建的文件中挂载在配置中：

   $ sudo podman run -it --rm --name clairv4 \
   -p 8081:8081 -p 8088:8088 \
   -e CLAIR_CONF=/clair/config.yaml \
   -e CLAIR_MODE=combo \
   -v /etc/clairv4/config:/clair:Z \
   registry.redhat.io/quay/clair-rhel8:v3.8.15

流程

1. 使用 oc CLI 工具确定 Clair 数据库服务，例如：

   $ oc get svc -n quay-enterprise

   输出示例

   NAME                                  TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                             AGE
   example-registry-clair-app            ClusterIP      172.30.224.93    <none>        80/TCP,8089/TCP                     4d21h
   example-registry-clair-postgres       ClusterIP      172.30.246.88    <none>        5432/TCP                            4d21h
   ...

2. 转发 Clair 数据库端口，使其可从本地机器访问。例如：

   $ oc port-forward -n quay-enterprise service/example-registry-clair-postgres 5432:5432

3. 更新 Clair config.yaml 文件，例如：

   indexer:
       connstring: host=localhost port=5432 dbname=postgres user=postgres password=postgres sslmode=disable 

   1

   
       scanlock_retry: 10
       layer_scan_concurrency: 5
       migrations: true
       scanner:
         repo:
           rhel-repository-scanner: 

   2

   
             repo2cpe_mapping_file: /data/cpe-map.json
         package:
           rhel_containerscanner: 

   3

   
             name2repos_mapping_file: /data/repo-map.json

   1

   在多 connstring 字段中使用 localhost 替换 host 的值。

   2

   有关 rhel-repository-scanner 参数的更多信息，请参阅 "Mapping repository to Common Product Enumeration"。

   3

   有关 rhel_containerscanner 参数的更多信息，请参阅 "Mapping repository to Common Product Enumeration information"。

流程

1. 在 Red Hat Quay Registry YAML 中，将 kind: tls 设置为 managed: false ：

     - kind: tls
       managed: false

2. 在 Events 页面中，更改会被阻断，直到您设置适当的 config.yaml 文件。例如：

       - lastTransitionTime: '2022-03-28T12:56:49Z'
         lastUpdateTime: '2022-03-28T12:56:49Z'
         message: >-
           required component `tls` marked as unmanaged, but `configBundleSecret`
           is missing necessary fields
         reason: ConfigInvalid
         status: 'True'

流程

1. 在默认命名空间中为 CA 证书创建一个 secret：

   $ oc create secret generic -n quay-enterprise temp-crt --from-file extra_ca_cert_build_cluster.crt

2. 在 default 命名空间中为 ssl.key 和 ssl.cert 文件创建一个 secret：

   $ oc create secret generic -n quay-enterprise quay-config-ssl --from-file ssl.cert --from-file ssl.key

流程

1. 在控制台 UI 中找到位于 Workloads → Secrets 的新 secret。

2. 对于每个 secret，找到 YAML 视图：

   kind: Secret
   apiVersion: v1
   metadata:
     name: temp-crt
     namespace: quay-enterprise
     uid: a4818adb-8e21-443a-a8db-f334ace9f6d0
     resourceVersion: '9087855'
     creationTimestamp: '2022-03-28T13:05:30Z'
   ...
   data:
     extra_ca_cert_build_cluster.crt: >-
       LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURNakNDQWhxZ0F3SUJBZ0l....
   type: Opaque

   kind: Secret
   apiVersion: v1
   metadata:
     name: quay-config-ssl
     namespace: quay-enterprise
     uid: 4f5ae352-17d8-4e2d-89a2-143a3280783c
     resourceVersion: '9090567'
     creationTimestamp: '2022-03-28T13:10:34Z'
   ...
   data:
     ssl.cert: >-
       LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUVaakNDQTA2Z0F3SUJBZ0lVT...
     ssl.key: >-
       LS0tLS1CRUdJTiBSU0EgUFJJVkFURSBLRVktLS0tLQpNSUlFcFFJQkFBS0NBUUVBc...
   type: Opaque

3. 在 UI 中找到 Red Hat Quay registry 配置捆绑包的 secret，或运行以下命令从命令行：

   $ oc get quayregistries.quay.redhat.com -o jsonpath="{.items[0].spec.configBundleSecret}{'\n'}"  -n quay-enterprise

4. 在 OpenShift Container Platform 控制台中，选择配置捆绑包 secret 的 YAML 选项卡，并从您创建的两个 secret 中添加数据：

   kind: Secret
   apiVersion: v1
   metadata:
     name: init-config-bundle-secret
     namespace: quay-enterprise
     uid: 4724aca5-bff0-406a-9162-ccb1972a27c1
     resourceVersion: '4383160'
     creationTimestamp: '2022-03-22T12:35:59Z'
   ...
   data:
     config.yaml: >-
       RkVBVFVSRV9VU0VSX0lOSVRJQUxJWkU6IHRydWUKQlJ...
     extra_ca_cert_build_cluster.crt: >-
       LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURNakNDQWhxZ0F3SUJBZ0ldw....
     ssl.cert: >-
       LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUVaakNDQTA2Z0F3SUJBZ0lVT...
     ssl.key: >-
       LS0tLS1CRUdJTiBSU0EgUFJJVkFURSBLRVktLS0tLQpNSUlFcFFJQkFBS0NBUUVBc...
   type: Opaque

5. 点击 Save。

6. 输入以下命令查看 pod 是否重启：

   $ oc get pods -n quay-enterprise

   输出示例

   NAME                                                   READY   STATUS              RESTARTS   AGE
   ...
   example-registry-quay-app-6786987b99-vgg2v             0/1     ContainerCreating   0          2s
   example-registry-quay-app-7975d4889f-q7tvl             1/1     Running             0          5d21h
   example-registry-quay-app-7975d4889f-zn8bb             1/1     Running             0          5d21h
   example-registry-quay-app-upgrade-lswsn                0/1     Completed           0          6d1h
   example-registry-quay-config-editor-77847fc4f5-nsbbv   0/1     ContainerCreating   0          2s
   example-registry-quay-config-editor-c6c4d9ccd-2mwg2    1/1     Running             0          5d21h
   example-registry-quay-database-66969cd859-n2ssm        1/1     Running             0          6d1h
   example-registry-quay-mirror-764d7b68d9-jmlkk          1/1     Terminating         0          5d21h
   example-registry-quay-mirror-764d7b68d9-jqzwg          1/1     Terminating         0          5d21h
   example-registry-quay-redis-7cc5f6c977-956g8           1/1     Running             0          5d21h

7. 重新配置 Red Hat Quay registry 后，输入以下命令检查 Red Hat Quay app pod 是否在运行：

   $ oc get pods -n quay-enterprise

   输出示例

   example-registry-quay-app-6786987b99-sz6kb             1/1     Running            0          7m45s
   example-registry-quay-app-6786987b99-vgg2v             1/1     Running            0          9m1s
   example-registry-quay-app-upgrade-lswsn                0/1     Completed          0          6d1h
   example-registry-quay-config-editor-77847fc4f5-nsbbv   1/1     Running            0          9m1s
   example-registry-quay-database-66969cd859-n2ssm        1/1     Running            0          6d1h
   example-registry-quay-mirror-758fc68ff7-5wxlp          1/1     Running            0          8m29s
   example-registry-quay-mirror-758fc68ff7-lbl82          1/1     Running            0          8m29s
   example-registry-quay-redis-7cc5f6c977-956g8           1/1     Running            0          5d21h

8. 在浏览器中，访问 registry 端点并验证证书是否已正确更新。例如：

   Common Name (CN)	example-registry-quay-quay-enterprise.apps.docs.quayteam.org
   Organisation (O)	DOCS
   Organisational Unit (OU)	QUAY