9.2. 이미지 레지스트리 설정 구성

절차

1. 다음과 같이 project.config.openshift.io/cluster CR을 편집합니다.

   $ oc edit image.config.openshift.io/cluster

   다음은 허용 목록을 포함한 image.config.openshift.io/cluster CR의 예입니다.

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       allowedRegistries: 2
       - example.com
       - quay.io
       - registry.redhat.io
       - reg1.io/myrepo/myapp:latest
       - image-registry.openshift-image-registry.svc:5000
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   빌드 및 pod 이미지에 액세스하는 경우 컨테이너 런타임에서 개별 레지스트리를 처리하는 방법을 결정할 구성이 포함되어 있습니다. 내부 클러스터 레지스트리에 대한 구성은 포함되어 있지 않습니다.

   2

   이미지 가져오기 및 내보내기 작업에 사용할 레지스트리를 지정하고 선택적으로 해당 레지스트리에서 리포지토리를 지정합니다. 다른 모든 레지스트리는 차단됩니다.

   참고

   allowedRegistries 매개변수 또는 blockedRegistries 매개변수 중 하나를 설정할 수 있지만 둘 다 설정할 수는 없습니다.

   MCO(Machine Config Operator)는 image.config.openshift.io/cluster 리소스를 통해 레지스트리에 대한 변경 사항을 확인합니다. MCO가 변경사항을 감지하면 노드를 비우고, 변경 사항을 적용한 다음 노드를 분리합니다. 노드가 Ready 상태로 돌아간 후 허용되는 레지스트리 목록은 각 노드의 /host/etc/containers/policy.json 파일에서 이미지 서명 정책을 업데이트하는 데 사용됩니다.

2. 레지스트리가 정책 파일에 추가되었는지 확인하려면 노드에서 다음 명령을 사용하십시오.

   $ cat /host/etc/containers/policy.json

   다음 정책은 example.com, quay.io 및 registry.redhat.io 레지스트리의 이미지만 이미지 풀 및 푸시할 수 있음을 나타냅니다.

   예 9.1. 이미지 서명 정책 파일 예

   {
      "default":[
         {
            "type":"reject"
         }
      ],
      "transports":{
         "atomic":{
            "example.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "image-registry.openshift-image-registry.svc:5000":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "insecure.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "quay.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "reg4.io/myrepo/myapp:latest":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "registry.redhat.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         },
         "docker":{
            "example.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "image-registry.openshift-image-registry.svc:5000":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "insecure.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "quay.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "reg4.io/myrepo/myapp:latest":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "registry.redhat.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         },
         "docker-daemon":{
            "":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         }
      }
   }

절차

1. 다음과 같이 project.config.openshift.io/cluster CR을 편집합니다.

   $ oc edit image.config.openshift.io/cluster

   다음은 차단 목록이 포함된 image.config.openshift.io/cluster 리소스의 예입니다.

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       blockedRegistries: 2
       - untrusted.com
       - reg1.io/myrepo/myapp:latest
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   빌드 및 pod 이미지에 액세스하는 경우 컨테이너 런타임에서 개별 레지스트리를 처리하는 방법을 결정할 구성이 포함되어 있습니다. 내부 클러스터 레지스트리에 대한 구성은 포함되어 있지 않습니다.

   2

   이미지 가져오기 및 내보내기 작업에 사용하면 안 되는 레지스트리를 지정하고 선택적으로 해당 레지스트리에 있는 리포지토리를 지정합니다. 다른 모든 레지스트리는 허용됩니다.

   참고

   blockedRegistries 레지스트리 또는 allowedRegistries 레지스트리 중 하나를 설정할 수 있지만 둘 다 설정할 수는 없습니다.

   MCO(Machine Config Operator)는 image.config.openshift.io/cluster 리소스를 통해 레지스트리에 대한 변경 사항을 확인합니다. MCO가 변경사항을 감지하면 노드를 비우고, 변경 사항을 적용한 다음 노드를 분리합니다. 노드가 Ready 상태가 되면 차단된 레지스트리에 대한 변경이 각 노드의 /etc/containers/registries.conf 파일에 표시됩니다.

2. 레지스트리가 정책 파일에 추가되었는지 확인하려면 노드에서 다음 명령을 사용하십시오.

   $ cat /host/etc/containers/registries.conf

   다음 예에서는 untrusted.com 레지스트리의 이미지가 이미지 풀 및 푸시를 위해 비활성화되어 있음을 나타냅니다.

   출력 예

   unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
   
   [[registry]]
     prefix = ""
     location = "untrusted.com"
     blocked = true

절차

1. 다음과 같이 project.config.openshift.io/cluster CR을 편집합니다.

   $ oc edit image.config.openshift.io/cluster

   다음은 안전하지 않은 레지스트리 목록이있는 image.config.openshift.io/cluster CR의 예입니다.

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       insecureRegistries: 2
       - insecure.com
       - reg4.io/myrepo/myapp:latest
       allowedRegistries:
       - example.com
       - quay.io
       - registry.redhat.io
       - insecure.com 3
       - reg4.io/myrepo/myapp:latest
       - image-registry.openshift-image-registry.svc:5000
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   빌드 및 pod 이미지에 액세스하는 경우 컨테이너 런타임에서 개별 레지스트리를 처리하는 방법을 결정할 구성이 포함되어 있습니다. 내부 클러스터 레지스트리에 대한 구성은 포함되어 있지 않습니다.

   2

   안전하지 않은 레지스트리를 지정합니다. 해당 레지스트리에 리포지터리를 지정할 수 있습니다.

   3

   안전하지 않은 모든 레지스트리가 allowedRegistries 목록에 포함되어 있는지 확인합니다.

   참고

   allowedRegistries 매개변수가 정의되면 명시적으로 나열되지 않은 경우 registry.redhat.io, quay.io 레지스트리 및 기본 내부 이미지 레지스트리를 포함한 모든 레지스트리가 차단됩니다. 이 매개변수를 사용하는 경우 Pod 실패를 방지하기 위해 환경의 페이로드 이미지에서 필요한 registry.redhat.io 및 quay.io 레지스트리 및 internalRegistryHostname 을 포함한 모든 레지스트리를 allowedRegistries 목록에 추가합니다. 연결 해제된 클러스터의 경우 미러 레지스트리도 추가해야 합니다.

   MCO(Machine Config Operator)는 레지스트리에 대한 변경 사항이 있는지 image.config.openshift.io/clusterCR를 감시하고 변경 사항이 탐지되면 노드를 비우고 차단을 해제합니다. 노드가 Ready 상태가 되면 안전하지 않고 차단된 레지스트리에 대한 변경이 각 노드의 /etc/containers/registries.conf 파일에 표시됩니다.

2. 레지스트리가 정책 파일에 추가되었는지 확인하려면 노드에서 다음 명령을 사용하십시오.

   $ cat /host/etc/containers/registries.conf

   다음 예는 insecure.com 레지스트리의 이미지가 안전하지 않으며, 이미지 풀 및 푸시가 허용된다는 것을 나타냅니다.

   출력 예

   unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
   
   [[registry]]
     prefix = ""
     location = "insecure.com"
     insecure = true

절차

1. 다음과 같이 project.config.openshift.io/cluster 사용자 정의 리소스를 편집합니다.

   $ oc edit image.config.openshift.io/cluster

   다음은 image.config.openshift.io/cluster CR의 예입니다.

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     allowedRegistriesForImport:
       - domainName: quay.io
         insecure: false
     additionalTrustedCA:
       name: myconfigmap
     registrySources:
       containerRuntimeSearchRegistries: 1
       - reg1.io
       - reg2.io
       - reg3.io
       allowedRegistries: 2
       - example.com
       - quay.io
       - registry.redhat.io
       - reg1.io
       - reg2.io
       - reg3.io
       - image-registry.openshift-image-registry.svc:5000
   ...
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   이미지 단축 이름으로 사용할 레지스트리를 지정합니다. 가능한 보안 위험을 줄이기 위해 내부 또는 개인 레지스트리만 있는 이미지의 단축 이름을 사용해야 합니다.

   2

   containerRuntimeSearchRegistries에 나열된 모든 레지스트리가 allowedRegistries 목록에 포함되어 있는지 확인합니다.

   참고

   allowedRegistries 매개변수가 정의되면 명시적으로 나열되지 않은 경우 registry.redhat.io, quay.io 레지스트리 및 기본 내부 이미지 레지스트리를 포함한 모든 레지스트리가 차단됩니다. 이 매개변수를 사용하는 경우 Pod 실패를 방지하기 위해 환경의 페이로드 이미지에서 필요한 registry.redhat.io 및 quay.io 레지스트리 및 internalRegistryHostname 을 포함한 모든 레지스트리를 allowedRegistries 목록에 추가합니다. 연결 해제된 클러스터의 경우 미러 레지스트리도 추가해야 합니다.

2. 레지스트리가 추가되었는지 확인하려면 노드가 Ready 상태로 반환되면 노드에서 다음 명령을 사용합니다.

   $ cat /host/etc/containers/registries.conf.d/01-image-searchRegistries.conf

   출력 예

   unqualified-search-registries = ['reg1.io', 'reg2.io', 'reg3.io']

1. 추가 CA를 구성하려면 다음을 실행합니다.

   $ oc create configmap registry-config --from-file=<external_registry_address>=ca.crt -n openshift-config

   $ oc edit image.config.openshift.io cluster

   spec:
     additionalTrustedCA:
       name: registry-config

프로세스

1. 미러링된 저장소를 설정합니다.

   • Red Hat Quay Repository Mirroring에 설명된대로 Red Hat Quay를 사용하여 미러링된 저장소를 설정합니다. Red Hat Quay를 사용하면 한 저장소에서 다른 저장소로 이미지를 복사하고 시간이 지남에 따라 해당 저장소를 반복해서 자동으로 동기화할 수 있습니다.

   • skopeo와 같은 툴을 사용하여 소스 디렉토리에서 미러링된 저장소로 이미지를 수동으로 복사합니다.

     예를 들어, Red Hat Enterprise Linux(RHEL) 7 또는 RHEL 8 시스템에 skopeo RPM 패키지를 설치한 후 다음 예와 같이 skopeo 명령을 사용합니다.

     $ skopeo copy \
     docker://registry.access.redhat.com/ubi8/ubi-minimal@sha256:5cfbaf45ca96806917830c183e9f37df2e913b187adb32e89fd83fa455ebaa6 \
     docker://example.io/example/ubi-minimal

     이 예제에는 example.io라는 컨테이너 이미지 레지스트리가 있으며, registry.access.redhat.com에서 ubi8/ubi-minimal 이미지를 복사할 example이라는 이미지 저장소가 있습니다. 레지스트리를 생성한 후 OpenShift Container Platform 클러스터를 설정하여 소스 저장소의 요청을 미러링된 저장소로 리디렉션할 수 있습니다.

2. OpenShift Container Platform 클러스터에 로그인합니다.

3. ImageContentSourcePolicy 파일(예: registryrepomirror.yaml)을 생성하고 소스 및 미러를 특정 레지스트리 및 저장소 쌍과 이미지로 교체합니다.

   apiVersion: operator.openshift.io/v1alpha1
   kind: ImageContentSourcePolicy
   metadata:
     name: ubi8repo
   spec:
     repositoryDigestMirrors:
     - mirrors:
       - example.io/example/ubi-minimal 1
       - example.com/example/ubi-minimal 2
       source: registry.access.redhat.com/ubi8/ubi-minimal 3
     - mirrors:
       - mirror.example.com/redhat
       source: registry.redhat.io/openshift4 4
     - mirrors:
       - mirror.example.com
       source: registry.redhat.io 5
     - mirrors:
       - mirror.example.net/image
       source: registry.example.com/example/myimage 6
     - mirrors:
       - mirror.example.net
       source: registry.example.com/example 7
     - mirrors:
       - mirror.example.net/registry-example-com
       source: registry.example.com 8

   1

   이미지 레지스트리 및 저장소의 이름을 가리킵니다.

   2

   각 대상 저장소에 대해 여러 미러 리포지토리를 나타냅니다. 하나의 미러가 다운된 경우 대상 저장소에서 다른 미러를 사용할 수 있습니다.

   3

   미러링된 컨텐츠를 포함하는 레지스트리 및 저장소를 가리킵니다.

   4

   해당 네임스페이스의 이미지를 사용하도록 레지스트리 내에서 네임스페이스를 구성할 수 있습니다. 레지스트리 도메인을 소스로 사용하는 경우 ImageContentSourcePolicy 리소스가 레지스트리의 모든 리포지토리에 적용됩니다.

   5

   레지스트리 이름을 구성하면 ImageContentSourcePolicy 리소스가 소스 레지스트리에서 미러 레지스트리로 모든 리포지토리에 적용됩니다.

   6

   mirror.example.net/image@sha256:…​ 이미지를 가져옵니다.

   7

   미러 mirror.example.net/ myimage @sha256:…​ 에서 소스 레지스트리 네임스페이스의 myimage 이미지를 가져옵니다.

   8

   미러 레지스트리 mirror.example.net/registry-example-com/example/myimage@sha256:…​ 에서 이미지 registry.example.com/example/myimage /myimage/myimage/myimage@sha256을 가져옵니다. ImageContentSourcePolicy 리소스는 소스 레지스트리에서 미러 레지스트리 mirror.example.net/registry-example-com 으로 모든 리포지토리에 적용됩니다.

4. 새 ImageContentSourcePolicy 개체를 생성합니다.

   $ oc create -f registryrepomirror.yaml

   ImageContentSourcePolicy 개체가 생성된 후 새 설정이 각 노드에 배포된 클러스터는 소스 저장소에 대한 요청에 미러링된 저장소를 사용하기 시작합니다.

5. 미러링된 설정이 적용되었는지 확인하려면 노드 중 하나에서 다음을 수행하십시오.

   1. 노드를 나열합니다.

      $ oc get node

      출력 예

      NAME                           STATUS                     ROLES    AGE  VERSION
      ip-10-0-137-44.ec2.internal    Ready                      worker   7m   v1.24.0
      ip-10-0-138-148.ec2.internal   Ready                      master   11m  v1.24.0
      ip-10-0-139-122.ec2.internal   Ready                      master   11m  v1.24.0
      ip-10-0-147-35.ec2.internal    Ready                      worker   7m   v1.24.0
      ip-10-0-153-12.ec2.internal    Ready                      worker   7m   v1.24.0
      ip-10-0-154-10.ec2.internal    Ready                      master   11m  v1.24.0

      Imagecontentsourcepolicy 리소스는 노드를 재시작하지 않습니다.

   2. 디버깅 프로세스를 시작하고 노드에 액세스합니다.

      $ oc debug node/ip-10-0-147-35.ec2.internal

      출력 예

      Starting pod/ip-10-0-147-35ec2internal-debug ...
      To use host binaries, run `chroot /host`

   3. 루트 디렉토리를 /host 로 변경합니다.

      sh-4.2# chroot /host

   4. /etc/containers/registries.conf 파일을 체크하여 변경 사항이 적용되었는지 확인합니다.

      sh-4.2# cat /etc/containers/registries.conf

      출력 예

      unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
      short-name-mode = ""
      
      [[registry]]
        prefix = ""
        location = "registry.access.redhat.com/ubi8/ubi-minimal"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "example.io/example/ubi-minimal"
      
        [[registry.mirror]]
          location = "example.com/example/ubi-minimal"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "mirror.example.net/registry-example-com"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com/example"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "mirror.example.net"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com/example/myimage"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "mirror.example.net/image"
      
      [[registry]]
        prefix = ""
        location = "registry.redhat.io"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "mirror.example.com"
      
      [[registry]]
        prefix = ""
        location = "registry.redhat.io/openshift4"
        mirror-by-digest-only = true
      
        [[registry.mirror]]
          location = "mirror.example.com/redhat"

   5. 소스의 이미지 다이제스트를 노드로 가져와 실제로 미러링에 의해 해결되는지 확인합니다. ImageContentSourcePolicy 개체는 이미지 태그가 아닌 이미지 다이제스트만 지원합니다.

      sh-4.2# podman pull --log-level=debug registry.access.redhat.com/ubi8/ubi-minimal@sha256:5cfbaf45ca96806917830c183e9f37df2e913b187adb32e89fd83fa455ebaa6