4.5. SiteConfig 및 GitOps ZTP를 사용하여 관리형 클러스터 배포

사전 요구 사항

• OpenShift CLI(oc)가 설치되어 있습니다.
• cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
• 필요한 설치 및 정책 CR을 생성하기 위해 허브 클러스터를 구성했습니다.

• 사용자 정의 사이트 구성 데이터를 관리하는 Git 저장소를 만들었습니다. 저장소는 허브 클러스터에서 접근할 수 있어야 하며 ArgoCD 애플리케이션의 소스 저장소로 구성해야 합니다. 자세한 내용은 GitOps ZTP 사이트 구성 리포지토리 준비를 참조하십시오.

  참고

  소스 저장소를 생성할 때 ztp-site-generate 컨테이너에서 추출한 argocd/deployment/argocd-openshift-gitops-patch.json 패치 파일로 ArgoCD 애플리케이션에 패치를 적용해야 합니다. "ArgoCD를 사용하여 허브 클러스터 구성"을 참조하세요.

• 관리형 클러스터를 프로비저닝하려면 각 베어 메탈 호스트에 대해 다음이 필요합니다.

  네트워크 연결

  네트워크에 DNS가 필요합니다. 관리되는 클러스터 호스트는 허브 클러스터에서 접근할 수 있어야 합니다. 허브 클러스터와 관리되는 클러스터 호스트 사이에 3계층 연결이 있는지 확인하세요.

  베이스보드 관리 컨트롤러(BMC) 세부 정보

  GitOps ZTP는 클러스터 설치 중에 BMC 사용자 이름과 비밀번호 세부 정보를 사용하여 BMC에 연결합니다. GitOps ZTP 플러그인은 사이트 Git 리포지토리의 SiteConfig CR을 기반으로 허브 클러스터의 ManagedCluster CR을 관리합니다. 각 호스트에 대해 개별 BMCSecret CR을 수동으로 생성합니다.

  프로세스

  1. 허브 클러스터에서 필요한 관리형 클러스터 비밀을 만듭니다. 이러한 리소스는 클러스터 이름과 일치하는 이름을 가진 네임스페이스에 있어야 합니다. 예를 들어, out/argocd/example/siteconfig/example-sno.yaml 에서 클러스터 이름과 네임스페이스는 example-sno 입니다.

     1. 다음 명령을 실행하여 클러스터 네임스페이스를 내보냅니다.

        $ export CLUSTERNS=example-sno

     2. 네임스페이스를 생성합니다.

        $ oc create namespace $CLUSTERNS

  2. 관리되는 클러스터에 대한 풀 시크릿과 BMC 시크릿 CR을 생성합니다. 풀 시크릿에는 OpenShift Container Platform과 모든 필수 운영자를 설치하는 데 필요한 모든 자격 증명이 포함되어야 합니다. 자세한 내용은 "관리형 베어 메탈 호스트 비밀 만들기"를 참조하세요.

     참고

     비밀은 SiteConfig 사용자 정의 리소스(CR)에서 이름으로 참조됩니다. 네임스페이스는 SiteConfig 네임스페이스와 일치해야 합니다.

  3. Git 저장소의 로컬 복제본에서 클러스터에 대한 SiteConfig CR을 만듭니다.

     1. out/argocd/example/siteconfig/ 폴더에서 CR에 적합한 예를 선택하세요. 폴더에는 단일 노드, 3-노드 및 표준 클러스터에 대한 예제 파일이 포함되어 있습니다.

        • example-sno.yaml
        • example-3node.yaml
        • example-standard.yaml

     2. 예제 파일에서 클러스터 및 호스트 세부 정보를 변경하여 원하는 클러스터 유형에 맞게 만듭니다. 예를 들면 다음과 같습니다.

        단일 노드 OpenShift SiteConfig CR 예제

        # example-node1-bmh-secret & assisted-deployment-pull-secret need to be created under same namespace example-sno
        ---
        apiVersion: ran.openshift.io/v1
        kind: SiteConfig
        metadata:
          name: "example-sno"
          namespace: "example-sno"
        spec:
          baseDomain: "example.com"
          pullSecretRef:
            name: "assisted-deployment-pull-secret"
          clusterImageSetNameRef: "openshift-4.18"
          sshPublicKey: "ssh-rsa AAAA..."
          clusters:
            - clusterName: "example-sno"
              networkType: "OVNKubernetes"
              # installConfigOverrides is a generic way of passing install-config
              # parameters through the siteConfig.  The 'capabilities' field configures
              # the composable openshift feature.  In this 'capabilities' setting, we
              # remove all the optional set of components.
              # Notes:
              # - OperatorLifecycleManager is needed for 4.15 and later
              # - NodeTuning is needed for 4.13 and later, not for 4.12 and earlier
              # - Ingress is needed for 4.16 and later
              installConfigOverrides: |
                {
                  "capabilities": {
                    "baselineCapabilitySet": "None",
                    "additionalEnabledCapabilities": [
                      "NodeTuning",
                      "OperatorLifecycleManager",
                      "Ingress"
                    ]
                  }
                }
              # It is strongly recommended to include crun manifests as part of the additional install-time manifests for 4.13+.
              # The crun manifests can be obtained from source-crs/optional-extra-manifest/ and added to the git repo ie.sno-extra-manifest.
              # extraManifestPath: sno-extra-manifest
              clusterLabels:
                # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples
                du-profile: "latest"
                # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples in ../policygentemplates:
                # ../acmpolicygenerator/common-ranGen.yaml will apply to all clusters with 'common: true'
                common: true
                # ../policygentemplates/group-du-sno-ranGen.yaml will apply to all clusters with 'group-du-sno: ""'
                group-du-sno: ""
                # ../policygentemplates/example-sno-site.yaml will apply to all clusters with 'sites: "example-sno"'
                # Normally this should match or contain the cluster name so it only applies to a single cluster
                sites: "example-sno"
              clusterNetwork:
                - cidr: 1001:1::/48
                  hostPrefix: 64
              machineNetwork:
                - cidr: 1111:2222:3333:4444::/64
              serviceNetwork:
                - 1001:2::/112
              additionalNTPSources:
                - 1111:2222:3333:4444::2
              # Initiates the cluster for workload partitioning. Setting specific reserved/isolated CPUSets is done via PolicyTemplate
              # please see Workload Partitioning Feature for a complete guide.
              cpuPartitioningMode: AllNodes
              # Optionally; This can be used to override the KlusterletAddonConfig that is created for this cluster:
              #crTemplates:
              #  KlusterletAddonConfig: "KlusterletAddonConfigOverride.yaml"
              nodes:
                - hostName: "example-node1.example.com"
                  role: "master"
                  # Optionally; This can be used to configure desired BIOS setting on a host:
                  #biosConfigRef:
                  #  filePath: "example-hw.profile"
                  bmcAddress: "idrac-virtualmedia+https://[1111:2222:3333:4444::bbbb:1]/redfish/v1/Systems/System.Embedded.1"
                  bmcCredentialsName:
                    name: "example-node1-bmh-secret"
                  bootMACAddress: "AA:BB:CC:DD:EE:11"
                  # Use UEFISecureBoot to enable secure boot.
                  bootMode: "UEFISecureBoot"
                  rootDeviceHints:
                    deviceName: "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0"
                  #crTemplates:
                  #  BareMetalHost: "bmhOverride.yaml"
                  # disk partition at `/var/lib/containers` with ignitionConfigOverride. Some values must be updated. See DiskPartitionContainer.md for more details
                  ignitionConfigOverride: |
                    {
                      "ignition": {
                        "version": "3.2.0"
                      },
                      "storage": {
                        "disks": [
                          {
                            "device": "/dev/disk/by-id/wwn-0x6b07b250ebb9d0002a33509f24af1f62",
                            "partitions": [
                              {
                                "label": "var-lib-containers",
                                "sizeMiB": 0,
                                "startMiB": 250000
                              }
                            ],
                            "wipeTable": false
                          }
                        ],
                        "filesystems": [
                          {
                            "device": "/dev/disk/by-partlabel/var-lib-containers",
                            "format": "xfs",
                            "mountOptions": [
                              "defaults",
                              "prjquota"
                            ],
                            "path": "/var/lib/containers",
                            "wipeFilesystem": true
                          }
                        ]
                      },
                      "systemd": {
                        "units": [
                          {
                            "contents": "# Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target",
                            "enabled": true,
                            "name": "var-lib-containers.mount"
                          }
                        ]
                      }
                    }
                  nodeNetwork:
                    interfaces:
                      - name: eno1
                        macAddress: "AA:BB:CC:DD:EE:11"
                    config:
                      interfaces:
                        - name: eno1
                          type: ethernet
                          state: up
                          ipv4:
                            enabled: false
                          ipv6:
                            enabled: true
                            address:
                              # For SNO sites with static IP addresses, the node-specific,
                              # API and Ingress IPs should all be the same and configured on
                              # the interface
                              - ip: 1111:2222:3333:4444::aaaa:1
                                prefix-length: 64
                      dns-resolver:
                        config:
                          search:
                            - example.com
                          server:
                            - 1111:2222:3333:4444::2
                      routes:
                        config:
                          - destination: ::/0
                            next-hop-interface: eno1
                            next-hop-address: 1111:2222:3333:4444::1
                            table-id: 254

        참고

        BMC 주소 지정에 대한 자세한 내용은 "추가 자료" 섹션을 참조하세요. 이 예제에서는 가독성을 높이기 위해 installConfigOverrides 및 ignitionConfigOverride 필드가 확장되었습니다.

        참고

        노드의 기본 BareMetalHost CR을 재정의하려면 SiteConfig CR의 노드 수준 crTemplates 필드에서 재정의 CR을 참조할 수 있습니다. 오버라이드 BareMetalHost CR에서 argocd.argoproj.io/sync-wave: "3" 주석을 설정했는지 확인하세요.

     3. out/argocd/extra-manifest 에서 기본 extra-manifest MachineConfig CR 세트를 검사할 수 있습니다. 설치 시 자동으로 클러스터에 적용됩니다.

     4. 선택 사항: 프로비저닝된 클러스터에 추가 설치 시간 매니페스트를 프로비저닝하려면 Git 저장소에 디렉토리(예: sno-extra-manifest/ )를 만들고 이 디렉토리에 사용자 지정 매니페스트 CR을 추가합니다. SiteConfig.yaml 이 extraManifestPath 필드에서 이 디렉토리를 참조하는 경우, 이 참조 디렉토리의 모든 CR은 기본 추가 매니페스트 세트에 추가됩니다.

        crun OCI 컨테이너 런타임 활성화

        최적의 클러스터 성능을 위해서는 단일 노드 OpenShift에서 마스터 및 작업자 노드에 대해 crun, 추가 작업자 노드가 있는 단일 노드 OpenShift, 3-노드 OpenShift 및 표준 클러스터를 활성화합니다.

        클러스터를 재부팅하지 않아도 되도록 ContainerRuntimeConfig CR에서 crun을 추가 Day 0 설치 시 매니페스트로 활성화합니다.

        enable-crun-master.yaml 및 enable-crun-worker.yaml CR 파일은 ztp-site-generate 컨테이너에서 추출할 수 있는 out/source-crs/optional-extra-manifest/ 폴더에 있습니다. 자세한 내용은 "GitOps ZTP 파이프라인에서 추가 설치 매니페스트 사용자 지정"을 참조하세요.

  4. out/argocd/example/siteconfig/kustomization.yaml에 표시된 예와 유사하게 generators 섹션의 kustomization.yaml 파일에 SiteConfig CR을 추가합니다.

  5. SiteConfig CR과 관련 kustomization.yaml 변경 사항을 Git 저장소에 커밋하고 변경 사항을 푸시합니다.

     ArgoCD 파이프라인은 변경 사항을 감지하고 관리형 클러스터 배포를 시작합니다.

검증

• 노드가 배포된 후 사용자 지정 역할과 레이블이 적용되었는지 확인하세요.

  $ oc describe node example-node.example.com