4장. RHACM 및 ClusterInstance 리소스를 사용하여 관리형 클러스터 설치


지원 서비스 및 core-reduction 기술이 활성화된 GitOps 플러그인 정책 생성기를 사용하여 RHACM(Red Hat Advanced Cluster Management)을 사용하여 대규모로 OpenShift Container Platform 클러스터를 프로비저닝할 수 있습니다. GitOps ZTP(ZTP) 파이프라인은 클러스터 설치를 수행합니다. GitOps ZTP는 연결이 끊긴 환경에서 사용할 수 있습니다.

중요

PolicyGenTemplate CR을 사용하여 정책을 관리하고 배포하는 것은 더 이상 사용되지 않으며 향후 OpenShift Container Platform 릴리스에서 제거됩니다. RHACM(Advanced Cluster Management) 및 PolicyGenerator CR을 사용하여 동일하고 개선된 기능을 사용할 수 있습니다.

PolicyGenerator 리소스에 대한 자세한 내용은 RHACM 통합 정책 생성기 설명서를 참조하십시오.

PolicyGenTemplate CR에서 PolicyGenerator CR로 마이그레이션하는 방법에 대한 자세한 내용은 OpenShift Container Platform을 사용하여 RHACM 정책 생성기로 마이그레이션 을 참조하십시오.

4.1. GitOps ZTP 및 토폴로지 인식 라이프사이클 관리자

ZTP(ZTP)는 Git 매니페스트에서 설치 및 구성 CR을 생성하여 Red Hat Advanced Cluster Management(RHACM), 지원 서비스 및 Topology Aware Lifecycle Manager(TALM)에서 클러스터 라이프 사이클을 관리하는 허브 클러스터에 적용합니다.

GitOps ZTP 파이프라인의 구성 단계는 TALM을 사용하여 구성 CR의 애플리케이션을 클러스터에 오케스트레이션합니다.

정책 정보
기본적으로 GitOps ZTP는 inform 이라는 수정 작업을 사용하여 모든 정책을 생성합니다. 이러한 정책을 사용하면 RHACM에서 정책과 관련된 클러스터의 규정 준수 상태를 보고하지만 원하는 구성은 적용되지 않습니다. GitOps ZTP 프로세스 중에 OpenShift를 설치한 후 생성된 정보 정책을 통해 TALM을 단계화하고 대상 관리 클러스터에 적용합니다. 이렇게 하면 구성이 관리 클러스터에 적용됩니다. 클러스터 라이프사이클의 GitOps ZTP 단계 외부에서는 해당 변경 사항을 영향을 받는 클러스터로 즉시 롤아웃할 위험이 없는 정책을 변경할 수 있습니다. TALM을 사용하여 수정되는 클러스터 세트와 타이밍을 제어할 수 있습니다.
ClusterGroupUpgrade CR 자동 생성

새로 배포된 클러스터의 초기 구성을 자동화하기 위해 TALM은 hub 클러스터에서 모든 ManagedCluster CR의 상태를 모니터링합니다. 새로 생성된 ManagedCluster CR을 포함하여 ztp-done 레이블이 적용되지 않은 ManagedCluster CR을 사용하면 TALM에서 다음과 같은 특성을 가진 ClusterGroupUpgrade CR을 자동으로 생성합니다.

  • ztp-install 네임스페이스에서 ClusterGroupUpgrade CR이 생성되고 활성화됩니다.
  • ClusterGroupUpgrade CR의 이름은 ManagedCluster CR과 동일합니다.
  • 클러스터 선택기에는 해당 ManagedCluster CR과 연결된 클러스터만 포함됩니다.
  • 관리 정책 세트에는 ClusterGroupUpgrade 가 생성될 때 RHACM이 클러스터에 바인딩한 모든 정책이 포함됩니다.
  • 사전 캐싱은 비활성화되어 있습니다.
  • 시간 초과가 4시간(240분)으로 설정됩니다.

활성화된 ClusterGroupUpgrade 의 자동 생성을 통해 사용자 개입 없이도 초기 무차별 클러스터 배포를 진행할 수 있습니다. 또한 ztp-done 레이블이 없는 ManagedCluster 에 대한 ClusterGroupUpgrade CR을 자동으로 생성하면 클러스터에 대한 ClusterGroupUpgrade CR을 간단히 삭제하여 실패한 GitOps ZTP 설치를 다시 시작할 수 있습니다.

웨이브

PolicyGenerator 또는 PolicyGentemplate CR에서 생성된 각 정책에는 ztp-deploy-ECDHE 주석이 포함됩니다. 이 주석은 해당 정책에 포함된 각 CR에서 동일한 주석을 기반으로 합니다. 웨이브 주석은 자동 생성된 ClusterGroupUpgrade CR의 정책을 정렬하는 데 사용됩니다. 웨이브 주석은 자동 생성된 ClusterGroupUpgrade CR 이외의 용도로는 사용되지 않습니다.

참고

동일한 정책의 모든 CR에는 ztp-deploy- Cryostat 주석에 대해 동일한 설정이 있어야 합니다. 각 CR에 대한 이 주석의 기본값은 PolicyGenerator 또는 PolicyGentemplate 에서 재정의할 수 있습니다. 소스 CR의 웨이브 주석은 정책파 주석을 결정하고 설정하는 데 사용됩니다. 이 주석은 런타임 시 생성된 정책에 포함된 각 빌드된 CR에서 제거됩니다.

TALM은 웨이브 주석에 의해 지정된 순서로 구성 정책을 적용합니다. TALM은 다음 정책으로 이동하기 전에 각 정책이 준수될 때까지 기다립니다. 각 CR의 웨이브 주석이 클러스터에 적용되려면 해당 CR의 사전 요구 사항을 고려해야 합니다. 예를 들어 Operator의 구성과 동시에 Operator를 설치해야 합니다. 마찬가지로 Operator 서브스크립션 이전 또는 동시에 Operator의 CatalogSource 를 설치해야 합니다. 각 CR의 기본 웨이브 값은 이러한 사전 요구 사항을 고려합니다.

참고

여러 CR과 정책은 동일한 웨이브 번호를 공유할 수 있습니다. 정책을 줄이면 배포가 빨라지고 CPU 사용량을 줄일 수 있습니다. 많은 CR을 비교적 적은 파도로 그룹화하는 것이 좋습니다.

각 소스 CR의 기본 웨이브 값을 확인하려면 ztp-site-generate 컨테이너 이미지에서 추출된 out/source-crs 디렉터리에 대해 다음 명령을 실행합니다.

$ grep -r "ztp-deploy-wave" out/source-crs
단계 레이블

ClusterGroupUpgrade CR이 자동으로 생성되고 GitOps ZTP 프로세스의 시작 및 종료 시 라벨을 사용하여 ManagedCluster CR에 주석을 달 수 있는 지시문이 포함됩니다.

GitOps ZTP 구성 후 설치가 시작되면 ManagedCluster 에 ztp-running 레이블이 적용됩니다. 모든 정책이 클러스터에 수정되어 완전히 준수되면 이러한 지시문으로 인해 TALM에서 ztp-running 레이블을 제거하고 ztp-done 레이블을 적용합니다.

informDuValidator 정책을 사용하는 배포의 경우 클러스터가 애플리케이션 배포를 완전히 준비할 때 ztp-done 레이블이 적용됩니다. 여기에는 GitOps ZTP가 적용된 구성 CR의 모든 조정 및 결과 영향이 포함됩니다. ztp-done 레이블은 TALM의 자동 ClusterGroupUpgrade CR 생성에 영향을 미칩니다. 클러스터의 초기 GitOps ZTP 설치 후에는 이 라벨을 조작하지 마십시오.

연결된 CR
자동으로 생성된 ClusterGroupUpgrade CR에는 파생된 ManagedCluster 로 설정된 owner 참조가 있습니다. 이 참조를 사용하면 ManagedCluster CR을 삭제하면 지원되는 리소스와 함께 ClusterGroupUpgrade 인스턴스가 삭제됩니다.

4.2. GitOps ZTP를 사용하여 관리형 클러스터 배포 개요

RHACM(Red Hat Advanced Cluster Management)은 GitOps ZTP(ZTP)를 사용하여 단일 노드 OpenShift Container Platform 클러스터, 3노드 클러스터 및 표준 클러스터를 배포합니다. Git 리포지토리에서 OpenShift Container Platform CR로 사이트 구성 데이터를 관리합니다.

GitOps ZTP는 development-once, deploy-anywhere 모델을 사용하여 관리 클러스터를 배포하는 데 선언적 GitOps 접근 방식을 사용합니다.

클러스터 배포에는 다음이 포함됩니다.

  • 빈 서버에 호스트 운영 체제(RHCOS) 설치
  • OpenShift Container Platform 배포
  • 클러스터 정책 및 사이트 서브스크립션 생성
  • 서버 운영 체제에 필요한 네트워크 구성 만들기
  • 프로파일 Operator 배포 및 성능 프로필, PTP 및 SR-IOV와 같은 필요한 소프트웨어 관련 구성 수행
참고

물리적 서버 대신 OpenShift Virtualization VM에서 실행되는 가상화된 컨트롤 플레인으로 클러스터를 배포하려면 KubeVirt Redfish를 사용하여 VM을 Redfish 끝점으로 노출할 수 있습니다. 자세한 내용은 "가상화된 컨트롤 플레인"을 참조하십시오.

4.3. 관리 사이트 설치 프로세스 개요

허브 클러스터에 관리 사이트 CR(사용자 정의 리소스)을 적용한 후 다음 작업이 자동으로 수행됩니다.

  1. 검색 이미지 ISO 파일이 생성되어 대상 호스트에서 부팅됩니다.
  2. 대상 호스트에서 ISO 파일이 성공적으로 부팅되면 호스트 하드웨어 정보를 RHACM에 보고합니다.
  3. 모든 호스트가 검색되면 OpenShift Container Platform이 설치됩니다.
  4. OpenShift Container Platform 설치가 완료되면 허브가 대상 클러스터에 klusterlet 서비스를 설치합니다.
  5. 요청된 애드온 서비스가 대상 클러스터에 설치되어 있습니다.

hub 클러스터에서 관리 클러스터의 Agent CR이 생성되면 Discovery 이미지 ISO 프로세스가 완료됩니다.

중요

대상 베어 메탈 호스트는 네트워킹인 펌웨어를 충족해야 합니다. 자세한 내용은 "vDU 애플리케이션 워크로드에 대한 단일 노드 OpenShift 클러스터 구성 권장"을 참조하십시오.

4.4. 관리형 베어 메탈 호스트 시크릿 생성

관리 베어 메탈 호스트에 필요한 Secret CR(사용자 정의 리소스)을 hub 클러스터에 추가합니다. BMC(Baseboard Management Controller) 및 지원 설치 관리자 서비스의 풀 시크릿에 액세스하려면 GitOps ZTP(ZTP) 파이프라인의 시크릿이 필요합니다.

참고

보안은 이름으로 ClusterInstance CR에서 참조됩니다. 네임스페이스는 ClusterInstance 네임스페이스와 일치해야 합니다.

절차

  1. OpenShift 및 모든 추가 기능 클러스터 Operator 설치에 필요한 호스트 BMC(Baseboard Management Controller)에 대한 인증 정보와 풀 시크릿을 포함하는 YAML 시크릿 파일을 생성합니다.

    1. 다음 YAML을 example-sno-secret.yaml 파일로 저장합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: example-sno-bmc-secret
        namespace: example-sno
      data:
        password: <base64_password>
        username: <base64_username>
      type: Opaque
      ---
      apiVersion: v1
      kind: Secret
      metadata:
        name: pull-secret
        namespace: example-sno
      data:
        .dockerconfigjson: <pull_secret>
      type: kubernetes.io/dockerconfigjson

      다음과 같습니다.

      네임스페이스
      관련 ClusterInstance CR에 구성된 네임스페이스와 일치해야 합니다.
      암호,사용자 이름
      암호 및 사용자 이름에 대한 base64로 인코딩된 값입니다.
      .dockerconfigjson
      base64로 인코딩된 풀 시크릿입니다.
  2. 클러스터를 설치하는 데 사용하는 kustomization.yaml 파일에 example-sno-secret.yaml 에 상대 경로를 추가합니다.

4.5. GitOps ZTP를 사용하여 설치를 위해 Discovery ISO 커널 인수 구성

InfraEnv 리소스를 편집하여 관리형 베어 메탈 호스트에 OpenShift Container Platform을 설치하는 동안ZTP( GitOps Zero Touch Provisioning) 워크플로우에서 사용하는 Discovery ISO에 대한 커널 인수를 지정할 수 있습니다.

예를 들어 클러스터의 정적 네트워킹을 용이하게 하거나 설치 중에 루트 파일 시스템을 다운로드하기 전에 DHCP 주소를 수신하도록 Discovery ISO에 rd.net.timeout.carrier 커널 인수를 구성합니다.

참고

OpenShift Container Platform 5.0에서는 커널 인수만 추가할 수 있습니다. 커널 인수를 교체하거나 삭제할 수 없습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

프로세스

  1. InfraEnv CR을 생성하고 spec.kernelArguments 사양을 편집하여 커널 인수를 구성합니다.

    1. 다음 YAML을 InfraEnv-example.yaml 파일에 저장합니다.

      참고

      이 예제의 InfraEnv CR은 ClusterInstance CR의 값에 따라 채워진 {{ .Cluster.ClusterName }} 과 같은 템플릿 구문을 사용합니다. ClusterInstance CR은 배포 중에 이러한 템플릿의 값을 자동으로 채웁니다. 템플릿을 수동으로 편집하지 마십시오.

      apiVersion: agent-install.openshift.io/v1beta1
      kind: InfraEnv
      metadata:
        annotations:
          argocd.argoproj.io/sync-wave: "1"
        name: "{{ .Cluster.ClusterName }}"
        namespace: "{{ .Cluster.ClusterName }}"
      spec:
        clusterRef:
          name: "{{ .Cluster.ClusterName }}"
          namespace: "{{ .Cluster.ClusterName }}"
        kernelArguments:
          - operation: append
            value: audit=0
          - operation: append
            value: trace=1
        sshAuthorizedKey: "{{ .Site.SshPublicKey }}"
        proxy: "{{ .Cluster.ProxySettings }}"
        pullSecretRef:
          name: "{{ .Site.PullSecretRef.Name }}"
        ignitionConfigOverride: "{{ .Cluster.IgnitionConfigOverride }}"
        nmStateConfigLabelSelector:
          matchLabels:
            nmstate-label: "{{ .Cluster.ClusterName }}"
        additionalNTPSources: "{{ .Cluster.AdditionalNTPSources }}"
      • kernelArguments.operation 는 커널 인수를 추가하기 위한 추가 작업을 지정합니다.
      • kernelArguments.value 는 구성할 커널 인수를 지정합니다. 이 예제에서는 audit 커널 인수와 trace 커널 인수를 구성합니다.
  2. InfraEnv-example.yaml 파일을 Git 리포지토리에 커밋하고 변경 사항을 내보냅니다. 다음 예제에서는 샘플 Git 리포지토리 구조를 보여줍니다.

    ~/example-ztp/install
              └── site-install
                   ├── clusterinstance-example.yaml
                   ├── InfraEnv-example.yaml
                   └── kustomization.yaml
  3. configMapGenerator 필드를 사용하여 InfraEnv CR을 ConfigMap 에 패키징하도록 kustomization.yaml 파일을 업데이트합니다.

    apiVersion: kustomize.config.k8s.io/v1beta1
    kind: Kustomization
    resources:
      - clusterinstance-example.yaml
    configMapGenerator:
      - name: custom-infraenv-cm
        namespace: example-cluster
        files:
          - InfraEnv-example.yaml
    generatorOptions:
      disableNameSuffixHash: true
    • clusterinstance-example.yaml 은 ClusterInstance CR의 이름을 지정합니다.
    • configMapGenerator.name 은 사용자 정의 InfraEnv CR이 포함된 ConfigMap 의 이름을 지정합니다.
    • configMapGenerator.namespace 는 ClusterInstance 네임스페이스와 일치해야 합니다.
  4. ClusterInstance CR에서 spec.templateRefs 필드의 ConfigMap 을 참조합니다.

    apiVersion: siteconfig.open-cluster-management.io/v1alpha1
    kind: ClusterInstance
    metadata:
      name: "example-cluster"
      namespace: "example-cluster"
    spec:
      clusterName: "example-cluster"
      templateRefs:
        - name: custom-infraenv-cm
          namespace: example-cluster
    # ...
    • spec.templateRefs 는 사용자 정의 InfraEnv CR 템플릿이 포함된 ConfigMap CR을 지정합니다.
  5. ClusterInstance CR 및 kustomization.yaml 을 Git 리포지토리에 커밋하고 변경 사항을 내보냅니다.

    Argo CD 파이프라인이 변경 사항을 동기화하면 SiteConfig Operator는 생성된 ConfigMap 의 사용자 정의 InfraEnv-example CR을 사용하여 사용자 정의 커널 인수를 포함하여 인프라 환경을 구성합니다.

검증

커널 인수가 적용되었는지 확인하려면 검색 이미지에서 OpenShift Container Platform을 설치할 준비가 되었는지 확인한 후 설치 프로세스가 시작되기 전에 대상 호스트에 SSH를 수행할 수 있습니다. 이때 /proc/cmdline 파일에서 Discovery ISO의 커널 인수를 볼 수 있습니다.

  1. 대상 호스트를 사용하여 SSH 세션을 시작합니다.

    $ ssh -i /path/to/privatekey core@<host_name>
  2. 다음 명령을 사용하여 시스템의 커널 인수를 확인합니다.

    $ cat /proc/cmdline

4.6. ClusterInstance 및 GitOps ZTP를 사용하여 관리형 클러스터 배포

다음 절차에 따라 ClusterInstance CR(사용자 정의 리소스) 및 관련 파일을 생성하고 ZTP( GitOps Zero Touch Provisioning) 클러스터 배포를 시작합니다.

참고

SiteConfig Operator를 설치하고 ClusterInstance CR을 사용하려면 RHACM(Red Hat Advanced Cluster Management) 버전 2.12 이상이 필요합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • hub 클러스터에 SiteConfig Operator를 설치했습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
  • 필요한 설치 및 정책 CR을 생성하도록 허브 클러스터를 구성했습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성하셨습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 ArgoCD 애플리케이션의 소스 리포지토리로 구성해야 합니다. 자세한 내용은 " GitOps ZTP 사이트 구성 리포지토리 준비"를 참조하십시오.

    참고

    소스 리포지토리를 생성할 때 ztp-site-generate 컨테이너에서 추출한 argocd/deployment/argocd-openshift-gitops-patch.json patch-file을 사용하여 ArgoCD 애플리케이션을 패치하는지 확인합니다. " ArgoCD를 사용하여 허브 클러스터 구성"을 참조하십시오.

  • 관리 클러스터 프로비저닝을 준비하려면 각 베어 메탈 호스트에 대해 다음이 필요합니다.

    네트워크 연결
    네트워크에는 DNS가 필요합니다. 허브 클러스터에서 관리 클러스터 호스트에 연결할 수 있어야 합니다. hub 클러스터와 관리 클러스터 호스트 간에 계층 3 연결이 있는지 확인합니다.
    BMC(Baseboard Management Controller) 세부 정보
    GitOps ZTP는 BMC 사용자 이름과 암호 세부 정보를 사용하여 클러스터 설치 중에 BMC에 연결합니다. GitOps ZTP 플러그인은 사이트 Git 리포지토리의 ClusterInstance CR을 기반으로 Hub 클러스터에서 ManagedCluster CR을 관리합니다. 각 호스트에 대해 수동으로 개별 BMCSecret CR을 생성합니다.

프로세스

  1. hub 클러스터에 필요한 관리 클러스터 시크릿을 생성합니다. 이러한 리소스는 클러스터 이름과 일치하는 이름이 있는 네임스페이스에 있어야 합니다. 예를 들어 out/argocd/example/clusterinstance/example-sno.yaml 에서 클러스터 이름과 네임스페이스는 example-sno 입니다.

    1. 다음 명령을 실행하여 클러스터 네임스페이스를 내보냅니다.

      $ export CLUSTERNS=example-sno
    2. 네임스페이스를 생성합니다.

      $ oc create namespace $CLUSTERNS
  2. 관리 클러스터에 대한 풀 시크릿 및 BMC Secret CR을 생성합니다. 풀 시크릿에는 OpenShift Container Platform 및 필요한 모든 Operator를 설치하는 데 필요한 모든 인증 정보가 포함되어야 합니다. 자세한 내용은 "관리된 베어 메탈 호스트 시크릿 생성"을 참조하십시오.

    참고

    보안은 이름으로 ClusterInstance CR(사용자 정의 리소스)에서 참조합니다. 네임스페이스는 ClusterInstance 네임스페이스와 일치해야 합니다.

  3. Git 리포지토리의 로컬 복제본에 클러스터의 ClusterInstance CR을 생성합니다.

    1. out/argocd/example/clusterinstance/ 폴더에서 CR에 대한 적절한 예를 선택합니다. 폴더에는 단일 노드, 3-노드 및 표준 클러스터에 대한 예제 파일이 포함되어 있습니다.

      • example-sno.yaml
      • example-3node.yaml
      • example-standard.yaml
    2. 예제 파일의 클러스터 및 호스트 세부 정보를 원하는 클러스터 유형과 일치하도록 변경합니다. 예를 들면 다음과 같습니다.

      단일 노드 OpenShift ClusterInstance CR의 예

      apiVersion: siteconfig.open-cluster-management.io/v1alpha1
      kind: ClusterInstance
      metadata:
        name: "example-ai-sno"
        namespace: "example-ai-sno"
      spec:
        baseDomain: "example.com"
        pullSecretRef:
          name: "assisted-deployment-pull-secret"
        clusterImageSetNameRef: "openshift-5.0"
        sshPublicKey: "ssh-rsa AAAA..."
        clusterName: "example-ai-sno"
        networkType: "OVNKubernetes"
        # installConfigOverrides is a generic way of passing install-config
        # parameters through the siteConfig.  The 'capabilities' field configures
        # the composable openshift feature.  In this 'capabilities' setting, we
        # remove all the optional set of components.
        # Notes:
        # - OperatorLifecycleManager is needed for 4.15 and later
        # - NodeTuning is needed for 4.13 and later, not for 4.12 and earlier
        # - Ingress is needed for 4.16 and later
        installConfigOverrides: |
          {
            "capabilities": {
              "baselineCapabilitySet": "None",
              "additionalEnabledCapabilities": [
                "NodeTuning",
                "OperatorLifecycleManager",
                "Ingress"
              ]
            }
          }
        # Include references to extraManifest ConfigMaps.
        extraManifestsRefs:
          - name: sno-extra-manifest-configmap
        extraLabels:
          ManagedCluster:
            # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples
            du-profile: "latest"
            # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples in ../policygentemplates:
            # ../policygentemplates/common-ranGen.yaml will apply to all clusters with 'common: true'
            common: "true"
            # ../policygentemplates/group-du-sno-ranGen.yaml will apply to all clusters with 'group-du-sno: ""'
            group-du-sno: ""
            # ../policygentemplates/example-sno-site.yaml will apply to all clusters with 'sites: "example-sno"'
            # Normally this should match or contain the cluster name so it only applies to a single cluster
            sites : "example-sno"
        clusterNetwork:
          - cidr: 1001:1::/48
            hostPrefix: 64
        machineNetwork:
          - cidr: 1111:2222:3333:4444::/64
        serviceNetwork:
          - cidr: 1001:2::/112
        additionalNTPSources:
          - 1111:2222:3333:4444::2
        # Initiates the cluster for workload partitioning. Setting specific reserved/isolated CPUSets is done via PolicyTemplate
        # please see Workload Partitioning Feature for a complete guide.
        cpuPartitioningMode: AllNodes
        templateRefs:
          - name: ai-cluster-templates-v1
            namespace: open-cluster-management
        nodes:
          - hostName: "example-node1.example.com"
            role: "master"
            bmcAddress: "idrac-virtualmedia+https://[1111:2222:3333:4444::bbbb:1]/redfish/v1/Systems/System.Embedded.1"
            bmcCredentialsName:
              name: "example-node1-bmh-secret"
            bootMACAddress: "AA:BB:CC:DD:EE:11"
            # Use UEFISecureBoot to enable secure boot, UEFI to disable.
            bootMode: "UEFISecureBoot"
            rootDeviceHints:
              deviceName: "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0"
            # disk partition at `/var/lib/containers` with ignitionConfigOverride. Some values must be updated. See DiskPartitionContainer.md in argocd folder for more details
            ignitionConfigOverride: |
              {
                "ignition": {
                  "version": "3.2.0"
                },
                "storage": {
                  "disks": [
                    {
                      "device": "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0",
                      "partitions": [
                        {
                          "label": "var-lib-containers",
                          "sizeMiB": 0,
                          "startMiB": 250000
                        }
                      ],
                      "wipeTable": false
                    }
                  ],
                  "filesystems": [
                    {
                      "device": "/dev/disk/by-partlabel/var-lib-containers",
                      "format": "xfs",
                      "mountOptions": [
                        "defaults",
                        "prjquota"
                      ],
                      "path": "/var/lib/containers",
                      "wipeFilesystem": true
                    }
                  ]
                },
                "systemd": {
                  "units": [
                    {
                      "contents": "# Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target",
                      "enabled": true,
                      "name": "var-lib-containers.mount"
                    }
                  ]
                }
              }
            nodeNetwork:
              interfaces:
                - name: eno1
                  macAddress: "AA:BB:CC:DD:EE:11"
              config:
                interfaces:
                  - name: eno1
                    type: ethernet
                    state: up
                    ipv4:
                      enabled: false
                    ipv6:
                      enabled: true
                      address:
                      # For SNO sites with static IP addresses, the node-specific,
                      # API and Ingress IPs should all be the same and configured on
                      # the interface
                      - ip: 1111:2222:3333:4444::aaaa:1
                        prefix-length: 64
                dns-resolver:
                  config:
                    search:
                    - example.com
                    server:
                    - 1111:2222:3333:4444::2
                routes:
                  config:
                  - destination: ::/0
                    next-hop-interface: eno1
                    next-hop-address: 1111:2222:3333:4444::1
                    table-id: 254
            templateRefs:
              - name: ai-node-templates-v1
                namespace: open-cluster-management

      참고

      BMC 주소 지정에 대한 자세한 내용은 "추가 리소스" 섹션을 참조하십시오. installConfigOverrides 및 ignitionConfigOverride 필드는 쉽게 읽을 수 있도록 확장됩니다.

      참고

      노드의 기본 BareMetalHost CR을 재정의하려면 ConfigMap 에 사용자 정의 노드 템플릿을 생성하고 ClusterInstance CR의 노드 수준 spec.nodes.templateRefs 필드에서 참조합니다. override BareMetalHost CR에 argocd.argoproj.io/sync-ECDSA: "3" 주석을 설정해야 합니다.

    3. 외부/argocd/extra-manifest에서 기본 extra-manifest MachineConfig CR 세트를 검사할 수 있습니다. 설치 시 클러스터에 자동으로 적용됩니다.
    4. 선택 사항: 프로비저닝된 클러스터에서 추가 설치 시간 매니페스트를 프로비저닝하려면 ConfigMap 에 추가 매니페스트 CR을 패키징하고 ClusterInstance CR의 extraManifestsRefs 필드에서 참조합니다. 자세한 내용은 " GitOps ZTP 파이프라인의 추가 설치 매니페스트 사용자 지정"을 참조하십시오.

      중요

      최적의 클러스터 성능을 위해서는 단일 노드 OpenShift에서 마스터 및 작업자 노드에 대해 crun, 추가 작업자 노드가 있는 단일 노드 OpenShift, 3-노드 OpenShift 및 표준 클러스터를 활성화합니다.

      클러스터를 재부팅하지 않도록 ContainerRuntimeConfig CR에서 0일 추가 설치 시간 매니페스트로 crun을 활성화합니다.

      enable-crun-master.yaml 및 enable-crun-worker.yaml CR 파일은 ztp-site-generate 컨테이너에서 추출할 수 있는 out/source-crs/optional-extra-manifest/ 폴더에 있습니다.

  4. out/argocd/example/clusterinstance/ kustomization.yaml 과 유사하게 generators 섹션의 kustomization.yaml 파일에 ClusterInstance CR을 추가합니다.
  5. Git 리포지토리에서 ClusterInstance CR 및 관련 kustomization.yaml 변경 사항을 커밋하고 변경 사항을 내보냅니다.

    ArgoCD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.

검증

  • 노드가 배포된 후 사용자 정의 역할 및 라벨이 적용되는지 확인합니다.

    $ oc describe node example-node.example.com

    다음 예제 출력은 사용자 정의 역할 및 레이블을 보여줍니다.

    Name:   example-node.example.com
    Roles:  control-plane,example-label,master,worker
    Labels: beta.kubernetes.io/arch=amd64
            beta.kubernetes.io/os=linux
            custom-label/parameter1=true
            kubernetes.io/arch=amd64
            kubernetes.io/hostname=cnfdf03.telco5gran.eng.rdu2.redhat.com
            kubernetes.io/os=linux
            node-role.kubernetes.io/control-plane=
            node-role.kubernetes.io/example-label=
            node-role.kubernetes.io/master=
            node-role.kubernetes.io/worker=
            node.openshift.io/os_id=rhcos
    • node-role.kubernetes.io/example-label= 에는 노드에 적용되는 사용자 정의 레이블이 표시됩니다.

GitOps ZTP 및 RHACM(Red Hat Advanced Cluster Management)을 사용하여 설치하는 관리형 단일 노드 OpenShift 클러스터에서 IPsec 암호화를 활성화할 수 있습니다.

관리 클러스터와 관리 클러스터 외부의 IPsec 끝점 간 트래픽을 암호화할 수 있습니다. OVN-Kubernetes 클러스터 네트워크의 노드 간 모든 네트워크 트래픽은 전송 모드에서 IPsec으로 암호화됩니다.

중요

다음 절차에 따라 추가 작업자 노드를 사용하여 단일 노드 OpenShift 클러스터에 대해 IPsec 암호화를 구성할 수도 있습니다. MachineConfig CR(사용자 정의 리소스)을 사용하여 리소스 가용성이 낮기 때문에 단일 노드 OpenShift 클러스터 및 단일 노드 OpenShift 클러스터에 대한 IPsec 암호화를 구성하는 것이 좋습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
  • hub 클러스터에 SiteConfig Operator를 설치했습니다.
  • 관리 클러스터에 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하도록 RHACM 및 허브 클러스터를 구성했습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.
  • butane 유틸리티 버전 0.20.0 이상을 설치했습니다.
  • IPsec 끝점에 대한 PKCS#12 인증서와 PEM 형식의 CA 인증서가 있습니다.

프로세스

  1. 최신 버전의 ztp-site-generate 컨테이너 소스를 추출하여 사용자 지정 사이트 구성 데이터를 관리하는 리포지토리와 병합합니다.
  2. 클러스터에서 IPsec을 구성하는 필수 값으로 optional-extra-manifest/ipsec-endpoint-config.yaml 을 구성합니다. 예를 들면 다음과 같습니다.

    interfaces:
    - name: hosta_conn
      type: ipsec
      libreswan:
        left: '%defaultroute'
        leftid: '%fromcert'
        leftmodecfgclient: false
        leftcert: left_server
        leftrsasigkey: '%cert'
        right: <external_host>
        rightid: '%fromcert'
        rightrsasigkey: '%cert'
        rightsubnet: <external_address>
        ikev2: insist
        type: tunnel
    • leftcert 는 원격 시스템에서 사용된 인증서 이름과 일치해야 합니다.
    • 외부 호스트 IP 주소 또는 DNS 호스트 이름이 오른쪽 입니다.
    • rightsubnet 은 IPsec 터널의 다른 쪽에 있는 외부 호스트의 IP 서브넷입니다.
    • ikev2: insist 는 IKEv2 VPN 암호화 프로토콜만 사용합니다. 더 이상 사용되지 않는 IKEv1을 사용하지 마십시오.
  3. optional-extra-manifest/ipsec 폴더에 다음 인증서를 추가합니다.

    • left_server.p12: IPsec 엔드포인트의 인증서 번들
    • ca.pem: 인증서에 서명한 인증 기관

      인증서 파일은 각 호스트의 NSS(Network Security Services) 데이터베이스에 필요합니다. 이러한 파일은 이후 단계에서 Butane 구성의 일부로 가져옵니다.

  4. 사용자 지정 사이트 구성 데이터를 유지 관리하는 Git 리포지토리의 optional-extra-manifest/ipsec 폴더에서 쉘 프롬프트를 엽니다.
  5. optional-extra-manifest/ipsec/build.sh 스크립트를 실행하여 필요한 Butane 및 MachineConfig CR 파일을 생성합니다.

    PKCS#12 인증서가 암호로 보호되는 경우 -W 인수를 설정합니다.

    다음 예제에서는 생성된 출력 디렉터리 구조를 보여줍니다.

    out
     └── argocd
          └── example
               └── optional-extra-manifest
                    └── ipsec
                         ├── 99-ipsec-master-endpoint-config.bu
                         ├── 99-ipsec-master-endpoint-config.yaml
                         ├── 99-ipsec-worker-endpoint-config.bu
                         ├── 99-ipsec-worker-endpoint-config.yaml
                         ├── build.sh
                         ├── ca.pem
                         ├── left_server.p12
                         ├── enable-ipsec.yaml
                         ├── ipsec-endpoint-config.yml
                         └── README.md
    • ipsec/build.sh 스크립트는 Butane 및 endpoint 구성 CR을 생성합니다.
    • 네트워크와 관련된 ca.pem 및 left_server.p12 인증서 파일을 추가합니다.
  6. 사용자 지정 사이트 구성 데이터를 관리하는 리포지토리에 ipsec-manifests/ 폴더를 생성합니다. enable-ipsec.yaml 및 99-ipsec-* YAML 파일을 디렉터리에 추가합니다. 예를 들면 다음과 같습니다.

    site-configs/
      ├── hub-1/
      │   └── clusterinstance-site1-sno-du.yaml
      ├── ipsec-manifests/
      │   ├── enable-ipsec.yaml
      │   ├── 99-ipsec-worker-endpoint-config.yaml
      │   └── 99-ipsec-master-endpoint-config.yaml
      └── kustomization.yaml
  7. configMapGenerator 를 사용하여 IPsec 매니페스트를 ConfigMap 에 패키징하는 kustomization.yaml 파일을 생성합니다.

    apiVersion: kustomize.config.k8s.io/v1beta1
    kind: Kustomization
    resources:
      - hub-1/clusterinstance-site1-sno-du.yaml
    configMapGenerator:
      - name: ipsec-manifests-cm
        namespace: site1-sno-du
        files:
          - ipsec-manifests/enable-ipsec.yaml
          - ipsec-manifests/99-ipsec-master-endpoint-config.yaml
          - ipsec-manifests/99-ipsec-worker-endpoint-config.yaml
    generatorOptions:
      disableNameSuffixHash: true
    • 네임스페이스 는 ClusterInstance 네임스페이스와 일치해야 합니다.
    • disableNameSuffixHash: true 는 ConfigMap 이름을 예측할 수 있도록 해시 접미사를 비활성화합니다.
  8. ClusterInstance CR에서 extraManifestsRefs 필드의 ConfigMap 을 참조합니다.

    apiVersion: siteconfig.open-cluster-management.io/v1alpha1
    kind: ClusterInstance
    metadata:
      name: "site1-sno-du"
      namespace: "site1-sno-du"
    spec:
      clusterName: "site1-sno-du"
      networkType: "OVNKubernetes"
      extraManifestsRefs:
        - name: ipsec-manifests-cm
    # ...
    • extraManifestsRefs.name 은 IPsec 매니페스트가 포함된 ConfigMap 을 참조합니다.
    참고

    다른 추가 매니페스트가 있는 경우 동일한 ConfigMap 에 이를 포함하거나 여러 ConfigMap 리소스를 생성하고 extraManifestsRefs 필드에 있는 각 매니페스트를 참조할 수 있습니다.

  9. Git 리포지토리에서 ClusterInstance CR, IPsec 매니페스트 파일 및 kustomization.yaml 변경 사항을 커밋하고 관리 클러스터를 프로비저닝하도록 변경 사항을 푸시하고 IPsec 암호화를 구성합니다.

    Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.

    클러스터 프로비저닝 중에 siteConfig Operator는 참조된 ConfigMap 리소스에 포함된 CR을 추가 매니페스트로 적용합니다.

검증

IPsec 암호화를 확인하는 방법에 대한 자세한 내용은 " IPsec 암호화 확인"을 참조하십시오.

GitOps ZTP 및 RHACM(Red Hat Advanced Cluster Management)을 사용하여 설치하는 관리형 다중 노드 클러스터에서 IPsec 암호화를 활성화할 수 있습니다.

관리 클러스터와 관리 클러스터 외부의 IPsec 끝점 간 트래픽을 암호화할 수 있습니다. OVN-Kubernetes 클러스터 네트워크의 노드 간 모든 네트워크 트래픽은 전송 모드에서 IPsec으로 암호화됩니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
  • hub 클러스터에 SiteConfig Operator를 설치했습니다.
  • 관리 클러스터에 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하도록 RHACM 및 허브 클러스터를 구성했습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.
  • butane 유틸리티 버전 0.20.0 이상을 설치했습니다.
  • IPsec 끝점에 대한 PKCS#12 인증서와 PEM 형식의 CA 인증서가 있습니다.
  • NMState Operator가 설치되어 있습니다.

프로세스

  1. 최신 버전의 ztp-site-generate 컨테이너 소스를 추출하여 사용자 지정 사이트 구성 데이터를 관리하는 리포지토리와 병합합니다.
  2. 클러스터에서 IPsec을 구성하는 필수 값으로 optional-extra-manifest/ipsec-config-policy.yaml 파일을 구성합니다.

    IPsec 구성을 생성하기 위한 ConfigurationPolicy 오브젝트

    apiVersion: policy.open-cluster-management.io/v1
    kind: ConfigurationPolicy
    metadata:
      name: policy-config
    spec:
      namespaceSelector:
        include: ["default"]
        exclude: []
        matchExpressions: []
        matchLabels: {}
      remediationAction: inform
      severity: low
      evaluationInterval:
        compliant:
        noncompliant:
      object-templates-raw: |
        {{- range (lookup "v1" "Node" "" "").items }}
        - complianceType: musthave
          objectDefinition:
            kind: NodeNetworkConfigurationPolicy
            apiVersion: nmstate.io/v1
            metadata:
              name: {{ .metadata.name }}-ipsec-policy
            spec:
              nodeSelector:
                kubernetes.io/hostname: {{ .metadata.name }}
              desiredState:
                interfaces:
                - name: hosta_conn
                  type: ipsec
                  libreswan:
                    left: '%defaultroute'
                    leftid: '%fromcert'
                    leftmodecfgclient: false
                    leftcert: left_server
                    leftrsasigkey: '%cert'
                    right: <external_host>
                    rightid: '%fromcert'
                    rightrsasigkey: '%cert'
                    rightsubnet: <external_address>
                    ikev2: insist
                    type: tunnel

    • leftcert 는 원격 시스템에서 사용된 인증서 이름과 일치해야 합니다.
    • 외부 호스트 IP 주소 또는 DNS 호스트 이름이 오른쪽 입니다.
    • rightsubnet 은 IPsec 터널의 다른 쪽에 있는 외부 호스트의 IP 서브넷입니다.
    • ikev2: insist 는 IKEv2 VPN 암호화 프로토콜만 사용합니다. 더 이상 사용되지 않는 IKEv1을 사용하지 마십시오.
  3. optional-extra-manifest/ipsec 폴더에 다음 인증서를 추가합니다.

    • left_server.p12: IPsec 엔드포인트의 인증서 번들
    • ca.pem: 인증서에 서명한 인증 기관

      인증서 파일은 각 호스트의 NSS(Network Security Services) 데이터베이스에 필요합니다. 이러한 파일은 이후 단계에서 Butane 구성의 일부로 가져옵니다.

  4. 사용자 지정 사이트 구성 데이터를 유지 관리하는 Git 리포지토리의 optional-extra-manifest/ipsec 폴더에서 쉘 프롬프트를 엽니다.
  5. optional-extra-manifest/ipsec/import-certs.sh 스크립트를 실행하여 외부 인증서를 가져오는 데 필요한 Butane 및 MachineConfig CR을 생성합니다.

    PKCS#12 인증서가 암호로 보호되는 경우 -W 인수를 설정합니다.

    다음 예제에서는 생성된 출력 디렉터리 구조를 보여줍니다.

    out
     └── argocd
          └── example
               └── optional-extra-manifest
                    └── ipsec
                         ├── 99-ipsec-master-import-certs.bu
                         ├── 99-ipsec-master-import-certs.yaml
                         ├── 99-ipsec-worker-import-certs.bu
                         ├── 99-ipsec-worker-import-certs.yaml
                         ├── import-certs.sh
                         ├── ca.pem
                         ├── left_server.p12
                         ├── enable-ipsec.yaml
                         ├── ipsec-config-policy.yaml
                         └── README.md
    • ipsec/import-certs.sh 스크립트는 Butane 및 endpoint 구성 CR을 생성합니다.
    • 네트워크와 관련된 ca.pem 및 left_server.p12 인증서 파일을 추가합니다.
  6. 리포지토리에 ipsec-manifests/ 폴더를 생성하여 사용자 지정 사이트 구성 데이터를 관리하고 enable-ipsec.yaml 및 99-ipsec-* YAML 파일을 디렉터리에 추가합니다.

    사이트 구성 디렉터리 예

    site-configs/
      ├── hub-1/
      │   └── clusterinstance-site1-mno-du.yaml
      ├── ipsec-manifests/
      │   ├── enable-ipsec.yaml
      │   ├── 99-ipsec-master-import-certs.yaml
      │   └── 99-ipsec-worker-import-certs.yaml
      └── kustomization.yaml

  7. configMapGenerator 를 사용하여 IPsec 매니페스트를 ConfigMap 에 패키징하는 kustomization.yaml 파일을 생성합니다.

    apiVersion: kustomize.config.k8s.io/v1beta1
    kind: Kustomization
    resources:
      - hub-1/clusterinstance-site1-mno-du.yaml
    configMapGenerator:
      - name: ipsec-manifests-cm
        namespace: site1-mno-du
        files:
          - ipsec-manifests/enable-ipsec.yaml
          - ipsec-manifests/99-ipsec-master-import-certs.yaml
          - ipsec-manifests/99-ipsec-worker-import-certs.yaml
    generatorOptions:
      disableNameSuffixHash: true
    • 네임스페이스 는 ClusterInstance 네임스페이스와 일치해야 합니다.
    • disableNameSuffixHash: true 는 ConfigMap 이름을 예측할 수 있도록 해시 접미사를 비활성화합니다.
  8. ClusterInstance CR에서 extraManifestsRefs 필드의 ConfigMap 을 참조합니다.

    apiVersion: siteconfig.open-cluster-management.io/v1alpha1
    kind: ClusterInstance
    metadata:
      name: "site1-mno-du"
      namespace: "site1-mno-du"
    spec:
      clusterName: "site1-mno-du"
      networkType: "OVNKubernetes"
      extraManifestsRefs:
        - name: ipsec-manifests-cm
    # ...
    • extraManifestsRefs.name 은 IPsec 인증서 가져오기 매니페스트가 포함된 ConfigMap 을 참조합니다.
    참고

    다른 추가 매니페스트가 있는 경우 동일한 ConfigMap 에 이를 포함하거나 여러 ConfigMap 리소스를 생성하고 extraManifestsRefs 에서 모두 참조할 수 있습니다.

  9. GitOps의 source-crs 디렉터리에 ipsec-config-policy.yaml 구성 정책 파일을 포함하고 PolicyGenerator CR 중 하나에서 파일을 참조합니다.
  10. Git 리포지토리에서 ClusterInstance CR, IPsec 매니페스트 파일 및 kustomization.yaml 변경 사항을 커밋하고 관리 클러스터를 프로비저닝하도록 변경 사항을 푸시하고 IPsec 암호화를 구성합니다.

    Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.

    클러스터 프로비저닝 중에 siteConfig Operator는 참조된 ConfigMap 리소스에 포함된 CR을 추가 매니페스트로 적용합니다. IPsec 구성 정책은 클러스터를 프로비저닝한 후 Day 2 작업으로 적용됩니다.

검증

IPsec 암호화를 확인하는 방법에 대한 자세한 내용은 " IPsec 암호화 확인"을 참조하십시오.

4.6.3. IPsec 암호화 확인

IPsec 암호화가 관리형 OpenShift Container Platform 클러스터에 성공적으로 적용되었는지 확인할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
  • IPsec 암호화를 구성했습니다.

프로세스

  1. 다음 명령을 실행하여 관리 클러스터의 디버그 Pod를 시작합니다.

    $ oc debug node/<node_name>
  2. 다음 명령을 실행하여 IPsec 정책이 클러스터 노드에 적용되었는지 확인합니다.

    sh-5.1# ip xfrm policy

    다음 예제 출력은 클러스터 노드에 적용되는 IPsec 정책을 보여줍니다.

    src 172.16.123.0/24 dst 10.1.232.10/32
      dir out priority 1757377 ptype main
      tmpl src 10.1.28.190 dst 10.1.232.10
        proto esp reqid 16393 mode tunnel
    src 10.1.232.10/32 dst 172.16.123.0/24
      dir fwd priority 1757377 ptype main
      tmpl src 10.1.232.10 dst 10.1.28.190
        proto esp reqid 16393 mode tunnel
    src 10.1.232.10/32 dst 172.16.123.0/24
      dir in priority 1757377 ptype main
      tmpl src 10.1.232.10 dst 10.1.28.190
        proto esp reqid 16393 mode tunnel
  3. 다음 명령을 실행하여 IPsec 터널이 가동되어 연결되어 있는지 확인합니다.

    sh-5.1# ip xfrm state

    다음 예제 출력에서는 IPsec 터널이 가동되어 연결되어 있음을 보여줍니다.

    src 10.1.232.10 dst 10.1.28.190
      proto esp spi 0xa62a05aa reqid 16393 mode tunnel
      replay-window 0 flag af-unspec esn
      auth-trunc hmac(sha1) 0x8c59f680c8ea1e667b665d8424e2ab749cec12dc 96
      enc cbc(aes) 0x2818a489fe84929c8ab72907e9ce2f0eac6f16f2258bd22240f4087e0326badb
      anti-replay esn context:
       seq-hi 0x0, seq 0x0, oseq-hi 0x0, oseq 0x0
       replay_window 128, bitmap-length 4
       00000000 00000000 00000000 00000000
    src 10.1.28.190 dst 10.1.232.10
      proto esp spi 0x8e96e9f9 reqid 16393 mode tunnel
      replay-window 0 flag af-unspec esn
      auth-trunc hmac(sha1) 0xd960ddc0a6baaccb343396a51295e08cfd8aaddd 96
      enc cbc(aes) 0x0273c02e05b4216d5e652de3fc9b3528fea94648bc2b88fa01139fdf0beb27ab
      anti-replay esn context:
       seq-hi 0x0, seq 0x0, oseq-hi 0x0, oseq 0x0
       replay_window 128, bitmap-length 4
       00000000 00000000 00000000 00000000
  4. 다음 명령을 실행하여 외부 호스트 서브넷에서 알려진 IP를 ping합니다. 예를 들어 ipsec/ipsec-endpoint-config.yaml 파일에서 설정한 rightsubnet 범위에서 IP 주소를 ping합니다.

    sh-5.1# ping 172.16.110.8

    다음 예제 출력에서는 ping 응답이 성공적으로 수행됩니다.

    PING 172.16.110.8 (172.16.110.8) 56(84) bytes of data.
    64 bytes from 172.16.110.8: icmp_seq=1 ttl=64 time=153 ms
    64 bytes from 172.16.110.8: icmp_seq=2 ttl=64 time=155 ms

4.6.4. ClusterInstance CR 설치 참조

ClusterInstance 사용자 정의 리소스에 대한 자세한 API 참조는 RHACM(Red Hat Advanced Cluster Management) 설명서의 ClusterInstance API 를 참조하십시오.

4.7. GitOps ZTP를 사용하여 호스트 펌웨어 설정 관리

호스트에는 고성능과 최적의 효율성을 보장하기 위해 올바른 펌웨어 구성이 필요합니다. GitOps ZTP를 사용하여 관리 클러스터의 사용자 정의 호스트 펌웨어 구성을 배포할 수 있습니다.

랩의 특정 하드웨어 프로필로 호스트를 튜닝하고 요구 사항에 맞게 최적화되었는지 확인합니다. 만족에 대한 호스트 튜닝을 완료한 경우 호스트 프로필을 추출하여 GitOps ZTP 리포지토리에 저장합니다. 그런 다음 호스트 프로필을 사용하여 GitOps ZTP로 배포하는 관리 클러스터 호스트에서 펌웨어 설정을 구성합니다.

HostFirmwareSettings CR을 생성하고, ConfigMap 리소스에 패키지하고, ClusterInstance CR의 templateRefs 필드에서 해당 프로필을 참조하여 필요한 하드웨어 프로필을 지정합니다. SiteConfig Operator는 hub 클러스터에 적용되는 필수 HostFirmwareSettings 및 BareMetalHost CR을 생성합니다.

다음 모범 사례를 사용하여 호스트 펌웨어 프로필을 관리합니다.

하드웨어 벤더로 중요한 펌웨어 설정 확인
하드웨어 벤더와 협력하여 배포된 호스트 플랫폼과 최적의 성능 및 호환성에 필요한 중요한 호스트 펌웨어 설정을 식별하고 문서화하십시오.
유사한 하드웨어 플랫폼에서 공통 펌웨어 구성 사용
가능한 경우 유사한 하드웨어 플랫폼에서 표준화된 호스트 펌웨어 구성을 사용하여 배포 중에 복잡성과 잠재적 오류를 줄입니다.
랩 환경에서 펌웨어 구성 테스트
설정이 하드웨어, 펌웨어 및 소프트웨어와 호환되는지 확인하기 위해 프로덕션에 배포하기 전에 제어된 랩 환경에서 호스트 펌웨어 구성을 테스트합니다.
소스 제어에서 펌웨어 프로필 관리
Git 리포지토리에서 호스트 펌웨어 프로필을 관리하여 변경 사항을 추적하고 일관성을 보장하며 벤더와의 협업이 용이해집니다.

4.7.1. 관리 클러스터의 호스트 펌웨어 스키마 검색

관리 클러스터의 호스트 펌웨어 스키마를 검색할 수 있습니다. 베어 메탈 호스트의 호스트 펌웨어 스키마는 Ironic API에서 반환하는 정보로 채워집니다. API는 펌웨어 설정 유형, 허용 가능한 값, 범위 및 플래그를 포함하여 호스트 펌웨어 인터페이스에 대한 정보를 반환합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • RHACM(Red Hat Advanced Cluster Management)을 설치하고 cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • RHACM에서 관리하는 클러스터를 프로비저닝했습니다.

프로세스

  • 관리 클러스터의 호스트 펌웨어 스키마를 검색합니다. 다음 명령을 실행합니다.

    $ oc get firmwareschema -n <managed_cluster_namespace> -o yaml

    다음 예제 출력은 호스트 펌웨어 스키마를 보여줍니다.

    apiVersion: v1
    items:
    - apiVersion: metal3.io/v1alpha1
      kind: FirmwareSchema
      metadata:
        creationTimestamp: "2024-09-11T10:29:43Z"
        generation: 1
        name: schema-40562318
        namespace: compute-1
        ownerReferences:
        - apiVersion: metal3.io/v1alpha1
          kind: HostFirmwareSettings
          name: compute-1.example.com
          uid: 65d0e89b-1cd8-4317-966d-2fbbbe033fe9
        resourceVersion: "280057624"
        uid: 511ad25d-f1c9-457b-9a96-776605c7b887
      spec:
        schema:
          AccessControlService:
            allowable_values:
            - Enabled
            - Disabled
            attribute_type: Enumeration
            read_only: false
          # ...

4.7.2. 관리 클러스터의 호스트 펌웨어 설정 검색

관리 클러스터의 호스트 펌웨어 설정을 검색할 수 있습니다. 이 기능은 호스트 펌웨어에 변경 사항을 배포하고 변경 사항을 모니터링하고 성공적으로 적용되도록 하려는 경우에 유용합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • RHACM(Red Hat Advanced Cluster Management)을 설치하고 cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • RHACM에서 관리하는 클러스터를 프로비저닝했습니다.

프로세스

  1. 관리 클러스터의 호스트 펌웨어 설정을 검색합니다. 다음 명령을 실행합니다.

    $ oc get hostfirmwaresettings -n <cluster_namespace> <node_name> -o yaml

    다음 예제 출력은 호스트 펌웨어 설정을 보여줍니다.

    apiVersion: v1
    items:
    - apiVersion: metal3.io/v1alpha1
      kind: HostFirmwareSettings
      metadata:
        creationTimestamp: "2024-09-11T10:29:43Z"
        generation: 1
        name: compute-1.example.com
        namespace: kni-qe-24
        ownerReferences:
        - apiVersion: metal3.io/v1alpha1
          blockOwnerDeletion: true
          controller: true
          kind: BareMetalHost
          name: compute-1.example.com
          uid: 0baddbb7-bb34-4224-8427-3d01d91c9287
        resourceVersion: "280057626"
        uid: 65d0e89b-1cd8-4317-966d-2fbbbe033fe9
      spec:
        settings: {}
      status:
        conditions:
        - lastTransitionTime: "2024-09-11T10:29:43Z"
          message: ""
          observedGeneration: 1
          reason: Success
          # Indicates that a change in the host firmware settings has been detected.
          status: "True"
          type: ChangeDetected
        - lastTransitionTime: "2024-09-11T10:29:43Z"
          message: Invalid BIOS setting
          observedGeneration: 1
          reason: ConfigurationError
          # Indicates that the host has an invalid firmware setting.
          status: "False"
          type: Valid
        lastUpdated: "2024-09-11T10:29:43Z"
        schema:
          name: schema-40562318
          namespace: compute-1
        # Contains the complete list of configured host firmware settings returned under the `status.settings` field.
        settings:
          AccessControlService: Enabled
          AcpiHpet: Enabled
          AcpiRootBridgePxm: Enabled
          # ...
  2. 선택 사항: 클러스터에서 Hfs( HostFirmwareSettings )사용자정의 리소스의 상태를 확인합니다.

    $ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="ChangeDetected")].status}'

    다음 예제 출력에서는 감지된 변경 사항을 보여줍니다.

    True
  3. 선택 사항: 다음 명령을 실행하여 클러스터 호스트에서 잘못된 펌웨어 설정을 확인합니다.

    $ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="Valid")].status}'

    다음 예제 출력은 잘못된 펌웨어 설정을 보여줍니다.

    False

HostFirmwareSettings CR을 포함하는 사용자 정의 노드 템플릿을 생성하고 ClusterInstance CR에서 참조하여 사용자 정의 펌웨어 설정을 클러스터 호스트에 배포할 수 있습니다. 다음 시나리오에서 호스트에 적용하도록 하드웨어 프로필을 구성할 수 있습니다.

  • 클러스터의 모든 호스트
  • 클러스터의 개별 호스트
중요

계층 구조에 적용할 호스트 하드웨어 프로필을 구성할 수 있습니다. 노드 수준 프로필은 클러스터 수준 설정을 덮어씁니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • RHACM(Red Hat Advanced Cluster Management) 버전 2.12 이상을 설치하고 cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • hub 클러스터에 SiteConfig Operator를 설치했습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성하셨습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.

절차

  1. 적용하려는 펌웨어 설정이 포함된 HostFirmwareSettings CR을 생성합니다. 예를 들어 다음 YAML 파일을 생성합니다.

    host-firmware-settings.yaml

    apiVersion: metal3.io/v1alpha1
    kind: HostFirmwareSettings
    metadata:
      name: "site1-sno-du"
      namespace: "site1-sno-du"
    spec:
      settings:
        BootMode: "Uefi"
        LogicalProc: "Enabled"
        ProcVirtualization: "Enabled"

  2. 클러스터를 프로비저닝하는 데 사용하는 kustomization.yaml 파일을 기준으로 HostFirmwareSettings CR 파일을 저장합니다. 예를 들면 다음과 같습니다.

    site-configs/
      └── site1-sno-du/
            ├── clusterinstance-site1-sno-du.yaml
            ├── kustomization.yaml
            └── host-firmware-settings.yaml
  3. HostFirmwareSettings CR을 저장할 ConfigMap 을 생성합니다. configMapGenerator 와 함께 kustomization.yaml 파일을 사용하여 ConfigMap 을 생성할 수 있습니다. 예를 들면 다음과 같습니다.

    apiVersion: kustomize.config.k8s.io/v1beta1
    kind: Kustomization
    resources:
      - clusterinstance-site1-sno-du.yaml
    configMapGenerator:
      - name: host-firmware-settings-cm
        namespace: site1-sno-du
        files:
          - host-firmware-settings.yaml
    generatorOptions:
      disableNameSuffixHash: true
    • 네임스페이스 는 ClusterInstance 네임스페이스와 일치해야 합니다.
    • host-firmware-settings.yaml 은 HostFirmwareSettings CR의 이름입니다.
  4. 클러스터의 모든 호스트에 하드웨어 프로필을 적용하려면 ClusterInstance CR의 spec.templateRefs 필드에 있는 ConfigMap 을 참조합니다. 예를 들면 다음과 같습니다.

    apiVersion: siteconfig.open-cluster-management.io/v1alpha1
    kind: ClusterInstance
    metadata:
      name: "site1-sno-du"
      namespace: "site1-sno-du"
    spec:
      clusterName: "site1-sno-du"
      # ...
      templateRefs:
        - name: host-firmware-settings-cm
          namespace: site1-sno-du
      nodes:
        - hostName: "node1.example.com"
          # ...
    • templateRefs 는 클러스터의 모든 호스트에 펌웨어 프로필을 적용합니다.
  5. 선택 사항: 클러스터의 특정 호스트에 하드웨어 프로필을 적용하려면 spec.nodes[].templateRefs 필드의 ConfigMap 을 참조합니다. 예를 들면 다음과 같습니다.

    apiVersion: siteconfig.open-cluster-management.io/v1alpha1
    kind: ClusterInstance
    metadata:
      name: "site1-sno-du"
      namespace: "site1-sno-du"
    spec:
      clusterName: "site1-sno-du"
      # ...
      nodes:
        - hostName: "node1.example.com"
          # ...
          templateRefs:
            - name: host-firmware-node1-cm
              namespace: site1-sno-du
        - hostName: "node2.example.com"
          # ...
    • nodes[].templateRefs 는 펌웨어 프로필을 node1.example.com 호스트에만 적용합니다.

      참고

      노드 수준 templateRefs 설정은 클러스터 수준 templateRefs 설정을 재정의합니다.

  6. Git 리포지토리에서 ClusterInstance CR, ConfigMap, 관련 kustomization.yaml 변경 사항을 커밋하고 변경 사항을 내보냅니다.

    Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.

    참고

    클러스터 배포는 잘못된 펌웨어 설정이 감지된 경우에도 진행됩니다. GitOps ZTP를 사용하여 수정 사항을 적용하려면 수정된 하드웨어 프로필로 클러스터를 재배포합니다.

검증

  • 펌웨어 설정이 관리 클러스터 호스트에 적용되었는지 확인합니다. 예를 들어 다음 명령을 실행합니다.

    $ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="Valid")].status}'
  • <managed_cluster_namespace >는 관리 클러스터의 네임스페이스이며 < managed_cluster_name >은 관리 클러스터의 이름입니다.

    다음 예제 출력은 유효한 펌웨어 설정을 보여줍니다.

    True

4.8. 관리형 클러스터 설치 진행 상황 모니터링

Argo CD 파이프라인이 ClusterInstance CR을 hub 클러스터로 동기화한 후 RHACM 대시보드 또는 명령줄에서 관리형 클러스터 설치 진행 상황을 모니터링할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

절차

  1. 다음 명령을 실행하여 클러스터 설치 진행 상황을 모니터링합니다.

    1. 클러스터 이름을 내보냅니다.

      $ export CLUSTER=<clusterName>
    2. 관리 클러스터의 AgentClusterInstall CR을 쿼리합니다.

      $ oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.conditions[?(@.type=="Completed")]}' | jq
    3. 클러스터의 설치 이벤트를 가져옵니다.

      $ curl -sk $(oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.debugInfo.eventsURL}')  | jq '.[-2,-1]'

4.9. 설치 CR을 검증하여 GitOps ZTP 문제 해결

ArgoCD 파이프라인은 ClusterInstance 및 PolicyGenerator 또는 PolicyGentemplate 사용자 정의 리소스(CR)를 사용하여 클러스터 구성 CR 및 RHACM(Red Hat Advanced Cluster Management) 정책을 생성합니다. 이 프로세스 중에 발생할 수 있는 문제를 해결하려면 다음 단계를 사용하십시오.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

프로세스

  1. 다음 명령을 사용하여 설치 CR이 생성되었는지 확인합니다.

    $ oc get AgentClusterInstall -n <cluster_name>

    오브젝트가 반환되지 않은 경우 다음 단계를 사용하여 ClusterInstance 파일에서 설치 CR로 ArgoCD 파이프라인 흐름의 문제를 해결합니다.

  2. hub 클러스터의 ClusterInstance CR을 사용하여 ManagedCluster CR이 생성되었는지 확인합니다.

    $ oc get managedcluster
  3. ManagedCluster 가 없는 경우 클러스터 애플리케이션이 Git 리포지토리의 파일을 hub 클러스터와 동기화하지 않았는지 확인합니다.

    $ oc get applications.argoproj.io -n openshift-gitops clusters -o yaml

4.10. SuperMicro 서버에서 GitOps ZTP 가상 미디어 부팅 문제 해결

Supermicro X11 서버는 https 프로토콜을 사용하여 이미지를 제공하는 경우 가상 미디어 설치를 지원하지 않습니다.

결과적으로 이 환경의 단일 노드 OpenShift 배포가 대상 노드에서 부팅되지 않습니다. 이 문제를 방지하려면 hub 클러스터에 로그인하고 프로비저닝 리소스에서 TLS(Transport Layer Security)를 비활성화합니다. 이렇게 하면 이미지 주소가 https 스키마를 사용하더라도 TLS로 이미지가 제공되지 않습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

프로세스

  1. 다음 명령을 실행하여 프로비저닝 리소스에서 TLS를 비활성화합니다.

    $ oc patch provisioning provisioning-configuration --type merge -p '{"spec":{"disableVirtualMediaTLS": true}}'
  2. 단일 노드 OpenShift 클러스터를 배포하려면 단계를 계속합니다.

4.11. GitOps ZTP 파이프라인에서 관리 클러스터 사이트 제거

GitOps ZTP(ZTP) 파이프라인에서 관리 사이트 및 관련 설치 및 구성 정책 CR을 제거할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

절차

  1. kustomization.yaml 파일에서 관련 ClusterInstance 및 PolicyGenerator 또는 PolicyGentemplate 파일을 제거하여 사이트 및 관련 CR을 제거합니다.
  2. 대상 사이트를 관리하는 ArgoCD 애플리케이션에 다음 syncOptions 필드를 추가합니다.

    kind: Application
    spec:
      syncPolicy:
        syncOptions:
        - PrunePropagationPolicy=background

    GitOps ZTP 파이프라인을 다시 실행하면 생성된 CR이 제거됩니다.

  3. 선택 사항: 사이트를 영구적으로 제거하려면 Git 리포지토리의 template-values/ 디렉터리에서 ClusterInstance 및 모든 그룹 또는 사이트별 ConfigMap 리소스도 제거해야 합니다.
  4. 선택 사항: 예를 들어 사이트를 재배포할 때 일시적으로 사이트를 제거하려면 ClusterInstance 및 그룹 또는 사이트별 ConfigMap 리소스를 Git 리포지토리에 남겨 둘 수 있습니다.

4.12. GitOps ZTP 파이프라인에서 더 이상 사용되지 않는 콘텐츠 제거

PolicyGenerator 또는 PolicyGentemplate 구성을 변경하면 정책 이름 변경과 같이 더 이상 사용되지 않는 정책이 생성되는 경우 다음 절차를 사용하여 더 이상 사용되지 않는 정책을 제거합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

프로세스

  1. Git 리포지토리에서 영향을 받는 PolicyGenerator 또는 PolicyGentemplate 파일을 제거하고 원격 리포지토리를 커밋하고 내보냅니다.
  2. 변경 사항이 애플리케이션을 통해 동기화되고 영향을 받는 정책이 허브 클러스터에서 제거될 때까지 기다립니다.
  3. 업데이트된 PolicyGenerator 또는 PolicyGentemplate 파일을 Git 리포지토리에 다시 추가한 다음 원격 리포지토리를 커밋하고 내보냅니다.

    참고

    Git 리포지토리에서 GitOps Zero Touch Provisioning(ZTP) 정책을 제거하면 허브 클러스터에서도 해당 정책을 제거해도 관리 클러스터의 구성에 영향을 미치지 않습니다. 해당 정책에서 관리하는 정책 및 CR은 관리 클러스터에 남아 있습니다.

  4. 선택 사항: 대신 PolicyGenerator 또는 PolicyGentemplate CR을 변경하여 더 이상 사용되지 않는 정책을 생성한 후 hub 클러스터에서 이러한 정책을 수동으로 제거할 수 있습니다. Governance 탭을 사용하거나 다음 명령을 실행하여 RHACM 콘솔에서 정책을 삭제할 수 있습니다.

    $ oc delete policy -n <namespace> <policy_name>

4.13. GitOps ZTP 파이프라인 종료

ArgoCD 파이프라인 및 생성된 모든 ZTP(ZTP) 아티팩트를 제거할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 허브 클러스터에 로그인했습니다.

프로세스

  1. hub 클러스터의 RHACM(Red Hat Advanced Cluster Management)에서 모든 클러스터를 분리합니다.
  2. 다음 명령을 사용하여 배포 디렉터리에서 kustomization.yaml 파일을 삭제합니다.

    $ oc delete -k out/argocd/deployment
  3. 변경 사항을 커밋하고 사이트 리포지토리로 내보냅니다.
Red Hat logoGithubRedditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 문서 정보

Legal Notice

Theme

© 2026 Red Hat
맨 위로 이동