4장. RHACM 및 ClusterInstance 리소스를 사용하여 관리형 클러스터 설치
지원 서비스 및 core-reduction 기술이 활성화된 GitOps 플러그인 정책 생성기를 사용하여 RHACM(Red Hat Advanced Cluster Management)을 사용하여 대규모로 OpenShift Container Platform 클러스터를 프로비저닝할 수 있습니다. GitOps ZTP(ZTP) 파이프라인은 클러스터 설치를 수행합니다. GitOps ZTP는 연결이 끊긴 환경에서 사용할 수 있습니다.
PolicyGenTemplate CR을 사용하여 정책을 관리하고 배포하는 것은 더 이상 사용되지 않으며 향후 OpenShift Container Platform 릴리스에서 제거됩니다. RHACM(Advanced Cluster Management) 및 PolicyGenerator CR을 사용하여 동일하고 개선된 기능을 사용할 수 있습니다.
PolicyGenerator 리소스에 대한 자세한 내용은 RHACM 통합 정책 생성기 설명서를 참조하십시오.
PolicyGenTemplate CR에서 PolicyGenerator CR로 마이그레이션하는 방법에 대한 자세한 내용은 OpenShift Container Platform을 사용하여 RHACM 정책 생성기로 마이그레이션 을 참조하십시오.
4.1. GitOps ZTP 및 토폴로지 인식 라이프사이클 관리자 링크 복사링크가 클립보드에 복사되었습니다!
ZTP(ZTP)는 Git 매니페스트에서 설치 및 구성 CR을 생성하여 Red Hat Advanced Cluster Management(RHACM), 지원 서비스 및 Topology Aware Lifecycle Manager(TALM)에서 클러스터 라이프 사이클을 관리하는 허브 클러스터에 적용합니다.
GitOps ZTP 파이프라인의 구성 단계는 TALM을 사용하여 구성 CR의 애플리케이션을 클러스터에 오케스트레이션합니다.
- 정책 정보
-
기본적으로 GitOps ZTP는
inform이라는 수정 작업을 사용하여 모든 정책을 생성합니다. 이러한 정책을 사용하면 RHACM에서 정책과 관련된 클러스터의 규정 준수 상태를 보고하지만 원하는 구성은 적용되지 않습니다. GitOps ZTP 프로세스 중에 OpenShift를 설치한 후 생성된정보정책을 통해 TALM을 단계화하고 대상 관리 클러스터에 적용합니다. 이렇게 하면 구성이 관리 클러스터에 적용됩니다. 클러스터 라이프사이클의 GitOps ZTP 단계 외부에서는 해당 변경 사항을 영향을 받는 클러스터로 즉시 롤아웃할 위험이 없는 정책을 변경할 수 있습니다. TALM을 사용하여 수정되는 클러스터 세트와 타이밍을 제어할 수 있습니다. - ClusterGroupUpgrade CR 자동 생성
새로 배포된 클러스터의 초기 구성을 자동화하기 위해 TALM은 hub 클러스터에서 모든
ManagedClusterCR의 상태를 모니터링합니다. 새로 생성된ManagedClusterCR을 포함하여ztp-done레이블이 적용되지 않은ManagedClusterCR을 사용하면 TALM에서 다음과 같은 특성을 가진ClusterGroupUpgradeCR을 자동으로 생성합니다.-
ztp-install네임스페이스에서ClusterGroupUpgradeCR이 생성되고 활성화됩니다. -
ClusterGroupUpgradeCR의 이름은ManagedClusterCR과 동일합니다. -
클러스터 선택기에는 해당
ManagedClusterCR과 연결된 클러스터만 포함됩니다. -
관리 정책 세트에는
ClusterGroupUpgrade가 생성될 때 RHACM이 클러스터에 바인딩한 모든 정책이 포함됩니다. - 사전 캐싱은 비활성화되어 있습니다.
- 시간 초과가 4시간(240분)으로 설정됩니다.
활성화된
ClusterGroupUpgrade의 자동 생성을 통해 사용자 개입 없이도 초기 무차별 클러스터 배포를 진행할 수 있습니다. 또한ztp-done레이블이 없는ManagedCluster에 대한ClusterGroupUpgradeCR을 자동으로 생성하면 클러스터에 대한ClusterGroupUpgradeCR을 간단히 삭제하여 실패한 GitOps ZTP 설치를 다시 시작할 수 있습니다.-
- 웨이브
PolicyGenerator또는PolicyGentemplateCR에서 생성된 각 정책에는ztp-deploy-ECDHE 주석이포함됩니다. 이 주석은 해당 정책에 포함된 각 CR에서 동일한 주석을 기반으로 합니다. 웨이브 주석은 자동 생성된ClusterGroupUpgradeCR의 정책을 정렬하는 데 사용됩니다. 웨이브 주석은 자동 생성된ClusterGroupUpgradeCR 이외의 용도로는 사용되지 않습니다.참고동일한 정책의 모든 CR에는
ztp-deploy-Cryostat 주석에 대해 동일한 설정이 있어야 합니다. 각 CR에 대한 이 주석의 기본값은PolicyGenerator또는PolicyGentemplate에서 재정의할 수 있습니다. 소스 CR의 웨이브 주석은 정책파 주석을 결정하고 설정하는 데 사용됩니다. 이 주석은 런타임 시 생성된 정책에 포함된 각 빌드된 CR에서 제거됩니다.TALM은 웨이브 주석에 의해 지정된 순서로 구성 정책을 적용합니다. TALM은 다음 정책으로 이동하기 전에 각 정책이 준수될 때까지 기다립니다. 각 CR의 웨이브 주석이 클러스터에 적용되려면 해당 CR의 사전 요구 사항을 고려해야 합니다. 예를 들어 Operator의 구성과 동시에 Operator를 설치해야 합니다. 마찬가지로 Operator 서브스크립션 이전 또는 동시에 Operator의
CatalogSource를 설치해야 합니다. 각 CR의 기본 웨이브 값은 이러한 사전 요구 사항을 고려합니다.참고여러 CR과 정책은 동일한 웨이브 번호를 공유할 수 있습니다. 정책을 줄이면 배포가 빨라지고 CPU 사용량을 줄일 수 있습니다. 많은 CR을 비교적 적은 파도로 그룹화하는 것이 좋습니다.
각 소스 CR의 기본 웨이브 값을 확인하려면
ztp-site-generate컨테이너 이미지에서 추출된out/source-crs디렉터리에 대해 다음 명령을 실행합니다.$ grep -r "ztp-deploy-wave" out/source-crs- 단계 레이블
ClusterGroupUpgradeCR이 자동으로 생성되고 GitOps ZTP 프로세스의 시작 및 종료 시 라벨을 사용하여ManagedClusterCR에 주석을 달 수 있는 지시문이 포함됩니다.GitOps ZTP 구성 후 설치가 시작되면
ManagedCluster에ztp-running레이블이 적용됩니다. 모든 정책이 클러스터에 수정되어 완전히 준수되면 이러한 지시문으로 인해 TALM에서ztp-running레이블을 제거하고ztp-done레이블을 적용합니다.informDuValidator정책을 사용하는 배포의 경우 클러스터가 애플리케이션 배포를 완전히 준비할 때ztp-done레이블이 적용됩니다. 여기에는 GitOps ZTP가 적용된 구성 CR의 모든 조정 및 결과 영향이 포함됩니다.ztp-done레이블은 TALM의 자동ClusterGroupUpgradeCR 생성에 영향을 미칩니다. 클러스터의 초기 GitOps ZTP 설치 후에는 이 라벨을 조작하지 마십시오.- 연결된 CR
-
자동으로 생성된
ClusterGroupUpgradeCR에는 파생된ManagedCluster로 설정된 owner 참조가 있습니다. 이 참조를 사용하면ManagedClusterCR을 삭제하면 지원되는 리소스와 함께ClusterGroupUpgrade인스턴스가 삭제됩니다.
4.2. GitOps ZTP를 사용하여 관리형 클러스터 배포 개요 링크 복사링크가 클립보드에 복사되었습니다!
RHACM(Red Hat Advanced Cluster Management)은 GitOps ZTP(ZTP)를 사용하여 단일 노드 OpenShift Container Platform 클러스터, 3노드 클러스터 및 표준 클러스터를 배포합니다. Git 리포지토리에서 OpenShift Container Platform CR로 사이트 구성 데이터를 관리합니다.
GitOps ZTP는 development-once, deploy-anywhere 모델을 사용하여 관리 클러스터를 배포하는 데 선언적 GitOps 접근 방식을 사용합니다.
클러스터 배포에는 다음이 포함됩니다.
- 빈 서버에 호스트 운영 체제(RHCOS) 설치
- OpenShift Container Platform 배포
- 클러스터 정책 및 사이트 서브스크립션 생성
- 서버 운영 체제에 필요한 네트워크 구성 만들기
- 프로파일 Operator 배포 및 성능 프로필, PTP 및 SR-IOV와 같은 필요한 소프트웨어 관련 구성 수행
물리적 서버 대신 OpenShift Virtualization VM에서 실행되는 가상화된 컨트롤 플레인으로 클러스터를 배포하려면 KubeVirt Redfish를 사용하여 VM을 Redfish 끝점으로 노출할 수 있습니다. 자세한 내용은 "가상화된 컨트롤 플레인"을 참조하십시오.
4.3. 관리 사이트 설치 프로세스 개요 링크 복사링크가 클립보드에 복사되었습니다!
허브 클러스터에 관리 사이트 CR(사용자 정의 리소스)을 적용한 후 다음 작업이 자동으로 수행됩니다.
- 검색 이미지 ISO 파일이 생성되어 대상 호스트에서 부팅됩니다.
- 대상 호스트에서 ISO 파일이 성공적으로 부팅되면 호스트 하드웨어 정보를 RHACM에 보고합니다.
- 모든 호스트가 검색되면 OpenShift Container Platform이 설치됩니다.
-
OpenShift Container Platform 설치가 완료되면 허브가 대상 클러스터에
klusterlet서비스를 설치합니다. - 요청된 애드온 서비스가 대상 클러스터에 설치되어 있습니다.
hub 클러스터에서 관리 클러스터의 Agent CR이 생성되면 Discovery 이미지 ISO 프로세스가 완료됩니다.
대상 베어 메탈 호스트는 네트워킹인 펌웨어를 충족해야 합니다. 자세한 내용은 "vDU 애플리케이션 워크로드에 대한 단일 노드 OpenShift 클러스터 구성 권장"을 참조하십시오.
4.4. 관리형 베어 메탈 호스트 시크릿 생성 링크 복사링크가 클립보드에 복사되었습니다!
관리 베어 메탈 호스트에 필요한 Secret CR(사용자 정의 리소스)을 hub 클러스터에 추가합니다. BMC(Baseboard Management Controller) 및 지원 설치 관리자 서비스의 풀 시크릿에 액세스하려면 GitOps ZTP(ZTP) 파이프라인의 시크릿이 필요합니다.
보안은 이름으로 ClusterInstance CR에서 참조됩니다. 네임스페이스는 ClusterInstance 네임스페이스와 일치해야 합니다.
절차
OpenShift 및 모든 추가 기능 클러스터 Operator 설치에 필요한 호스트 BMC(Baseboard Management Controller)에 대한 인증 정보와 풀 시크릿을 포함하는 YAML 시크릿 파일을 생성합니다.
다음 YAML을
example-sno-secret.yaml파일로 저장합니다.apiVersion: v1 kind: Secret metadata: name: example-sno-bmc-secret namespace: example-sno data: password: <base64_password> username: <base64_username> type: Opaque --- apiVersion: v1 kind: Secret metadata: name: pull-secret namespace: example-sno data: .dockerconfigjson: <pull_secret> type: kubernetes.io/dockerconfigjson다음과 같습니다.
네임스페이스-
관련
ClusterInstanceCR에 구성된 네임스페이스와 일치해야 합니다. 암호,사용자 이름-
암호및사용자 이름에 대한 base64로 인코딩된 값입니다. .dockerconfigjson- base64로 인코딩된 풀 시크릿입니다.
-
클러스터를 설치하는 데 사용하는
kustomization.yaml파일에example-sno-secret.yaml에 상대 경로를 추가합니다.
4.5. GitOps ZTP를 사용하여 설치를 위해 Discovery ISO 커널 인수 구성 링크 복사링크가 클립보드에 복사되었습니다!
InfraEnv 리소스를 편집하여 관리형 베어 메탈 호스트에 OpenShift Container Platform을 설치하는 동안ZTP( GitOps Zero Touch Provisioning) 워크플로우에서 사용하는 Discovery ISO에 대한 커널 인수를 지정할 수 있습니다.
예를 들어 클러스터의 정적 네트워킹을 용이하게 하거나 설치 중에 루트 파일 시스템을 다운로드하기 전에 DHCP 주소를 수신하도록 Discovery ISO에 rd.net.timeout.carrier 커널 인수를 구성합니다.
OpenShift Container Platform 5.0에서는 커널 인수만 추가할 수 있습니다. 커널 인수를 교체하거나 삭제할 수 없습니다.
사전 요구 사항
- OpenShift CLI(oc)가 설치되어 있습니다.
- cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
프로세스
InfraEnvCR을 생성하고spec.kernelArguments사양을 편집하여 커널 인수를 구성합니다.다음 YAML을
InfraEnv-example.yaml파일에 저장합니다.참고이 예제의
InfraEnvCR은ClusterInstanceCR의 값에 따라 채워진{{ .Cluster.ClusterName }}과 같은 템플릿 구문을 사용합니다.ClusterInstanceCR은 배포 중에 이러한 템플릿의 값을 자동으로 채웁니다. 템플릿을 수동으로 편집하지 마십시오.apiVersion: agent-install.openshift.io/v1beta1 kind: InfraEnv metadata: annotations: argocd.argoproj.io/sync-wave: "1" name: "{{ .Cluster.ClusterName }}" namespace: "{{ .Cluster.ClusterName }}" spec: clusterRef: name: "{{ .Cluster.ClusterName }}" namespace: "{{ .Cluster.ClusterName }}" kernelArguments: - operation: append value: audit=0 - operation: append value: trace=1 sshAuthorizedKey: "{{ .Site.SshPublicKey }}" proxy: "{{ .Cluster.ProxySettings }}" pullSecretRef: name: "{{ .Site.PullSecretRef.Name }}" ignitionConfigOverride: "{{ .Cluster.IgnitionConfigOverride }}" nmStateConfigLabelSelector: matchLabels: nmstate-label: "{{ .Cluster.ClusterName }}" additionalNTPSources: "{{ .Cluster.AdditionalNTPSources }}"-
kernelArguments.operation는 커널 인수를 추가하기 위한 추가 작업을 지정합니다. -
kernelArguments.value는 구성할 커널 인수를 지정합니다. 이 예제에서는audit커널 인수와trace커널 인수를 구성합니다.
-
InfraEnv-example.yaml파일을 Git 리포지토리에 커밋하고 변경 사항을 내보냅니다. 다음 예제에서는 샘플 Git 리포지토리 구조를 보여줍니다.~/example-ztp/install └── site-install ├── clusterinstance-example.yaml ├── InfraEnv-example.yaml └── kustomization.yamlconfigMapGenerator필드를 사용하여InfraEnvCR을ConfigMap에 패키징하도록kustomization.yaml파일을 업데이트합니다.apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - clusterinstance-example.yaml configMapGenerator: - name: custom-infraenv-cm namespace: example-cluster files: - InfraEnv-example.yaml generatorOptions: disableNameSuffixHash: true-
clusterinstance-example.yaml은ClusterInstanceCR의 이름을 지정합니다. -
configMapGenerator.name은 사용자 정의InfraEnvCR이 포함된ConfigMap의 이름을 지정합니다. -
configMapGenerator.namespace는ClusterInstance네임스페이스와 일치해야 합니다.
-
ClusterInstanceCR에서spec.templateRefs필드의ConfigMap을 참조합니다.apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "example-cluster" namespace: "example-cluster" spec: clusterName: "example-cluster" templateRefs: - name: custom-infraenv-cm namespace: example-cluster # ...-
spec.templateRefs는 사용자 정의InfraEnvCR 템플릿이 포함된ConfigMapCR을 지정합니다.
-
ClusterInstanceCR 및kustomization.yaml을 Git 리포지토리에 커밋하고 변경 사항을 내보냅니다.Argo CD 파이프라인이 변경 사항을 동기화하면 SiteConfig Operator는 생성된
ConfigMap의 사용자 정의InfraEnv-exampleCR을 사용하여 사용자 정의 커널 인수를 포함하여 인프라 환경을 구성합니다.
검증
커널 인수가 적용되었는지 확인하려면 검색 이미지에서 OpenShift Container Platform을 설치할 준비가 되었는지 확인한 후 설치 프로세스가 시작되기 전에 대상 호스트에 SSH를 수행할 수 있습니다. 이때 /proc/cmdline 파일에서 Discovery ISO의 커널 인수를 볼 수 있습니다.
대상 호스트를 사용하여 SSH 세션을 시작합니다.
$ ssh -i /path/to/privatekey core@<host_name>다음 명령을 사용하여 시스템의 커널 인수를 확인합니다.
$ cat /proc/cmdline
4.6. ClusterInstance 및 GitOps ZTP를 사용하여 관리형 클러스터 배포 링크 복사링크가 클립보드에 복사되었습니다!
다음 절차에 따라 ClusterInstance CR(사용자 정의 리소스) 및 관련 파일을 생성하고 ZTP( GitOps Zero Touch Provisioning) 클러스터 배포를 시작합니다.
SiteConfig Operator를 설치하고 ClusterInstance CR을 사용하려면 RHACM(Red Hat Advanced Cluster Management) 버전 2.12 이상이 필요합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. - hub 클러스터에 SiteConfig Operator를 설치했습니다.
-
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다. - 필요한 설치 및 정책 CR을 생성하도록 허브 클러스터를 구성했습니다.
사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성하셨습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 ArgoCD 애플리케이션의 소스 리포지토리로 구성해야 합니다. 자세한 내용은 " GitOps ZTP 사이트 구성 리포지토리 준비"를 참조하십시오.
참고소스 리포지토리를 생성할 때
ztp-site-generate컨테이너에서 추출한argocd/deployment/argocd-openshift-gitops-patch.jsonpatch-file을 사용하여 ArgoCD 애플리케이션을 패치하는지 확인합니다. " ArgoCD를 사용하여 허브 클러스터 구성"을 참조하십시오.관리 클러스터 프로비저닝을 준비하려면 각 베어 메탈 호스트에 대해 다음이 필요합니다.
- 네트워크 연결
- 네트워크에는 DNS가 필요합니다. 허브 클러스터에서 관리 클러스터 호스트에 연결할 수 있어야 합니다. hub 클러스터와 관리 클러스터 호스트 간에 계층 3 연결이 있는지 확인합니다.
- BMC(Baseboard Management Controller) 세부 정보
-
GitOps ZTP는 BMC 사용자 이름과 암호 세부 정보를 사용하여 클러스터 설치 중에 BMC에 연결합니다. GitOps ZTP 플러그인은 사이트 Git 리포지토리의
ClusterInstanceCR을 기반으로 Hub 클러스터에서ManagedClusterCR을 관리합니다. 각 호스트에 대해 수동으로 개별BMCSecretCR을 생성합니다.
프로세스
hub 클러스터에 필요한 관리 클러스터 시크릿을 생성합니다. 이러한 리소스는 클러스터 이름과 일치하는 이름이 있는 네임스페이스에 있어야 합니다. 예를 들어
out/argocd/example/clusterinstance/example-sno.yaml에서 클러스터 이름과 네임스페이스는example-sno입니다.다음 명령을 실행하여 클러스터 네임스페이스를 내보냅니다.
$ export CLUSTERNS=example-sno네임스페이스를 생성합니다.
$ oc create namespace $CLUSTERNS
관리 클러스터에 대한 풀 시크릿 및 BMC
SecretCR을 생성합니다. 풀 시크릿에는 OpenShift Container Platform 및 필요한 모든 Operator를 설치하는 데 필요한 모든 인증 정보가 포함되어야 합니다. 자세한 내용은 "관리된 베어 메탈 호스트 시크릿 생성"을 참조하십시오.참고보안은 이름으로
ClusterInstanceCR(사용자 정의 리소스)에서 참조합니다. 네임스페이스는ClusterInstance네임스페이스와 일치해야 합니다.Git 리포지토리의 로컬 복제본에 클러스터의
ClusterInstanceCR을 생성합니다.out/argocd/example/clusterinstance/폴더에서 CR에 대한 적절한 예를 선택합니다. 폴더에는 단일 노드, 3-노드 및 표준 클러스터에 대한 예제 파일이 포함되어 있습니다.-
example-sno.yaml -
example-3node.yaml -
example-standard.yaml
-
예제 파일의 클러스터 및 호스트 세부 정보를 원하는 클러스터 유형과 일치하도록 변경합니다. 예를 들면 다음과 같습니다.
단일 노드 OpenShift ClusterInstance CR의 예
apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "example-ai-sno" namespace: "example-ai-sno" spec: baseDomain: "example.com" pullSecretRef: name: "assisted-deployment-pull-secret" clusterImageSetNameRef: "openshift-5.0" sshPublicKey: "ssh-rsa AAAA..." clusterName: "example-ai-sno" networkType: "OVNKubernetes" # installConfigOverrides is a generic way of passing install-config # parameters through the siteConfig. The 'capabilities' field configures # the composable openshift feature. In this 'capabilities' setting, we # remove all the optional set of components. # Notes: # - OperatorLifecycleManager is needed for 4.15 and later # - NodeTuning is needed for 4.13 and later, not for 4.12 and earlier # - Ingress is needed for 4.16 and later installConfigOverrides: | { "capabilities": { "baselineCapabilitySet": "None", "additionalEnabledCapabilities": [ "NodeTuning", "OperatorLifecycleManager", "Ingress" ] } } # Include references to extraManifest ConfigMaps. extraManifestsRefs: - name: sno-extra-manifest-configmap extraLabels: ManagedCluster: # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples du-profile: "latest" # These example cluster labels correspond to the bindingRules in the PolicyGenTemplate examples in ../policygentemplates: # ../policygentemplates/common-ranGen.yaml will apply to all clusters with 'common: true' common: "true" # ../policygentemplates/group-du-sno-ranGen.yaml will apply to all clusters with 'group-du-sno: ""' group-du-sno: "" # ../policygentemplates/example-sno-site.yaml will apply to all clusters with 'sites: "example-sno"' # Normally this should match or contain the cluster name so it only applies to a single cluster sites : "example-sno" clusterNetwork: - cidr: 1001:1::/48 hostPrefix: 64 machineNetwork: - cidr: 1111:2222:3333:4444::/64 serviceNetwork: - cidr: 1001:2::/112 additionalNTPSources: - 1111:2222:3333:4444::2 # Initiates the cluster for workload partitioning. Setting specific reserved/isolated CPUSets is done via PolicyTemplate # please see Workload Partitioning Feature for a complete guide. cpuPartitioningMode: AllNodes templateRefs: - name: ai-cluster-templates-v1 namespace: open-cluster-management nodes: - hostName: "example-node1.example.com" role: "master" bmcAddress: "idrac-virtualmedia+https://[1111:2222:3333:4444::bbbb:1]/redfish/v1/Systems/System.Embedded.1" bmcCredentialsName: name: "example-node1-bmh-secret" bootMACAddress: "AA:BB:CC:DD:EE:11" # Use UEFISecureBoot to enable secure boot, UEFI to disable. bootMode: "UEFISecureBoot" rootDeviceHints: deviceName: "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0" # disk partition at `/var/lib/containers` with ignitionConfigOverride. Some values must be updated. See DiskPartitionContainer.md in argocd folder for more details ignitionConfigOverride: | { "ignition": { "version": "3.2.0" }, "storage": { "disks": [ { "device": "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0", "partitions": [ { "label": "var-lib-containers", "sizeMiB": 0, "startMiB": 250000 } ], "wipeTable": false } ], "filesystems": [ { "device": "/dev/disk/by-partlabel/var-lib-containers", "format": "xfs", "mountOptions": [ "defaults", "prjquota" ], "path": "/var/lib/containers", "wipeFilesystem": true } ] }, "systemd": { "units": [ { "contents": "# Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target", "enabled": true, "name": "var-lib-containers.mount" } ] } } nodeNetwork: interfaces: - name: eno1 macAddress: "AA:BB:CC:DD:EE:11" config: interfaces: - name: eno1 type: ethernet state: up ipv4: enabled: false ipv6: enabled: true address: # For SNO sites with static IP addresses, the node-specific, # API and Ingress IPs should all be the same and configured on # the interface - ip: 1111:2222:3333:4444::aaaa:1 prefix-length: 64 dns-resolver: config: search: - example.com server: - 1111:2222:3333:4444::2 routes: config: - destination: ::/0 next-hop-interface: eno1 next-hop-address: 1111:2222:3333:4444::1 table-id: 254 templateRefs: - name: ai-node-templates-v1 namespace: open-cluster-management참고BMC 주소 지정에 대한 자세한 내용은 "추가 리소스" 섹션을 참조하십시오.
installConfigOverrides및ignitionConfigOverride필드는 쉽게 읽을 수 있도록 확장됩니다.참고노드의 기본
BareMetalHostCR을 재정의하려면ConfigMap에 사용자 정의 노드 템플릿을 생성하고ClusterInstanceCR의 노드 수준spec.nodes.templateRefs필드에서 참조합니다. overrideBareMetalHostCR에argocd.argoproj.io/sync-ECDSA: "3"주석을 설정해야 합니다.-
외부/argocd/extra-manifest에서기본 extra-manifestMachineConfigCR 세트를 검사할 수 있습니다. 설치 시 클러스터에 자동으로 적용됩니다. 선택 사항: 프로비저닝된 클러스터에서 추가 설치 시간 매니페스트를 프로비저닝하려면
ConfigMap에 추가 매니페스트 CR을 패키징하고ClusterInstanceCR의extraManifestsRefs필드에서 참조합니다. 자세한 내용은 " GitOps ZTP 파이프라인의 추가 설치 매니페스트 사용자 지정"을 참조하십시오.중요최적의 클러스터 성능을 위해서는 단일 노드 OpenShift에서 마스터 및 작업자 노드에 대해 crun, 추가 작업자 노드가 있는 단일 노드 OpenShift, 3-노드 OpenShift 및 표준 클러스터를 활성화합니다.
클러스터를 재부팅하지 않도록
ContainerRuntimeConfigCR에서 0일 추가 설치 시간 매니페스트로 crun을 활성화합니다.enable-crun-master.yaml및enable-crun-worker.yamlCR 파일은ztp-site-generate컨테이너에서 추출할 수 있는out/source-crs/optional-extra-manifest/폴더에 있습니다.
-
out/argocd/example/clusterinstance/과 유사하게kustomization.yamlgenerators섹션의 kustomization.yaml 파일에ClusterInstanceCR을 추가합니다. Git 리포지토리에서
ClusterInstanceCR 및 관련kustomization.yaml변경 사항을 커밋하고 변경 사항을 내보냅니다.ArgoCD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.
검증
노드가 배포된 후 사용자 정의 역할 및 라벨이 적용되는지 확인합니다.
$ oc describe node example-node.example.com다음 예제 출력은 사용자 정의 역할 및 레이블을 보여줍니다.
Name: example-node.example.com Roles: control-plane,example-label,master,worker Labels: beta.kubernetes.io/arch=amd64 beta.kubernetes.io/os=linux custom-label/parameter1=true kubernetes.io/arch=amd64 kubernetes.io/hostname=cnfdf03.telco5gran.eng.rdu2.redhat.com kubernetes.io/os=linux node-role.kubernetes.io/control-plane= node-role.kubernetes.io/example-label= node-role.kubernetes.io/master= node-role.kubernetes.io/worker= node.openshift.io/os_id=rhcos-
node-role.kubernetes.io/example-label=에는 노드에 적용되는 사용자 정의 레이블이 표시됩니다.
-
4.6.1. GitOps ZTP 및 ClusterInstance 리소스를 사용하여 단일 노드 OpenShift 클러스터에 대한 IPsec 암호화 구성 링크 복사링크가 클립보드에 복사되었습니다!
GitOps ZTP 및 RHACM(Red Hat Advanced Cluster Management)을 사용하여 설치하는 관리형 단일 노드 OpenShift 클러스터에서 IPsec 암호화를 활성화할 수 있습니다.
관리 클러스터와 관리 클러스터 외부의 IPsec 끝점 간 트래픽을 암호화할 수 있습니다. OVN-Kubernetes 클러스터 네트워크의 노드 간 모든 네트워크 트래픽은 전송 모드에서 IPsec으로 암호화됩니다.
다음 절차에 따라 추가 작업자 노드를 사용하여 단일 노드 OpenShift 클러스터에 대해 IPsec 암호화를 구성할 수도 있습니다. MachineConfig CR(사용자 정의 리소스)을 사용하여 리소스 가용성이 낮기 때문에 단일 노드 OpenShift 클러스터 및 단일 노드 OpenShift 클러스터에 대한 IPsec 암호화를 구성하는 것이 좋습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다. - hub 클러스터에 SiteConfig Operator를 설치했습니다.
- 관리 클러스터에 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하도록 RHACM 및 허브 클러스터를 구성했습니다.
- 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.
-
butane유틸리티 버전 0.20.0 이상을 설치했습니다. - IPsec 끝점에 대한 PKCS#12 인증서와 PEM 형식의 CA 인증서가 있습니다.
프로세스
-
최신 버전의
ztp-site-generate컨테이너 소스를 추출하여 사용자 지정 사이트 구성 데이터를 관리하는 리포지토리와 병합합니다. 클러스터에서 IPsec을 구성하는 필수 값으로
optional-extra-manifest/ipsec-endpoint-config.yaml을 구성합니다. 예를 들면 다음과 같습니다.interfaces: - name: hosta_conn type: ipsec libreswan: left: '%defaultroute' leftid: '%fromcert' leftmodecfgclient: false leftcert: left_server leftrsasigkey: '%cert' right: <external_host> rightid: '%fromcert' rightrsasigkey: '%cert' rightsubnet: <external_address> ikev2: insist type: tunnel-
leftcert는 원격 시스템에서 사용된 인증서 이름과 일치해야 합니다. -
외부 호스트 IP 주소 또는 DNS 호스트 이름이
오른쪽입니다. -
rightsubnet은 IPsec 터널의 다른 쪽에 있는 외부 호스트의 IP 서브넷입니다. -
ikev2: insist는 IKEv2 VPN 암호화 프로토콜만 사용합니다. 더 이상 사용되지 않는 IKEv1을 사용하지 마십시오.
-
optional-extra-manifest/ipsec폴더에 다음 인증서를 추가합니다.-
left_server.p12: IPsec 엔드포인트의 인증서 번들 ca.pem: 인증서에 서명한 인증 기관인증서 파일은 각 호스트의 NSS(Network Security Services) 데이터베이스에 필요합니다. 이러한 파일은 이후 단계에서 Butane 구성의 일부로 가져옵니다.
-
-
사용자 지정 사이트 구성 데이터를 유지 관리하는 Git 리포지토리의
optional-extra-manifest/ipsec폴더에서 쉘 프롬프트를 엽니다. optional-extra-manifest/ipsec/build.sh스크립트를 실행하여 필요한 Butane 및MachineConfigCR 파일을 생성합니다.PKCS#12 인증서가 암호로 보호되는 경우
-W인수를 설정합니다.다음 예제에서는 생성된 출력 디렉터리 구조를 보여줍니다.
out └── argocd └── example └── optional-extra-manifest └── ipsec ├── 99-ipsec-master-endpoint-config.bu ├── 99-ipsec-master-endpoint-config.yaml ├── 99-ipsec-worker-endpoint-config.bu ├── 99-ipsec-worker-endpoint-config.yaml ├── build.sh ├── ca.pem ├── left_server.p12 ├── enable-ipsec.yaml ├── ipsec-endpoint-config.yml └── README.md-
ipsec/build.sh스크립트는 Butane 및 endpoint 구성 CR을 생성합니다. -
네트워크와 관련된
ca.pem및left_server.p12인증서 파일을 추가합니다.
-
사용자 지정 사이트 구성 데이터를 관리하는 리포지토리에
ipsec-manifests/폴더를 생성합니다.enable-ipsec.yaml및99-ipsec-*YAML 파일을 디렉터리에 추가합니다. 예를 들면 다음과 같습니다.site-configs/ ├── hub-1/ │ └── clusterinstance-site1-sno-du.yaml ├── ipsec-manifests/ │ ├── enable-ipsec.yaml │ ├── 99-ipsec-worker-endpoint-config.yaml │ └── 99-ipsec-master-endpoint-config.yaml └── kustomization.yamlconfigMapGenerator를 사용하여 IPsec 매니페스트를ConfigMap에 패키징하는kustomization.yaml파일을 생성합니다.apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - hub-1/clusterinstance-site1-sno-du.yaml configMapGenerator: - name: ipsec-manifests-cm namespace: site1-sno-du files: - ipsec-manifests/enable-ipsec.yaml - ipsec-manifests/99-ipsec-master-endpoint-config.yaml - ipsec-manifests/99-ipsec-worker-endpoint-config.yaml generatorOptions: disableNameSuffixHash: true-
네임스페이스는ClusterInstance네임스페이스와 일치해야 합니다. -
disableNameSuffixHash: true는ConfigMap이름을 예측할 수 있도록 해시 접미사를 비활성화합니다.
-
ClusterInstanceCR에서extraManifestsRefs필드의ConfigMap을 참조합니다.apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "site1-sno-du" namespace: "site1-sno-du" spec: clusterName: "site1-sno-du" networkType: "OVNKubernetes" extraManifestsRefs: - name: ipsec-manifests-cm # ...-
extraManifestsRefs.name은 IPsec 매니페스트가 포함된ConfigMap을 참조합니다.
참고다른 추가 매니페스트가 있는 경우 동일한
ConfigMap에 이를 포함하거나 여러ConfigMap리소스를 생성하고extraManifestsRefs필드에 있는 각 매니페스트를 참조할 수 있습니다.-
Git 리포지토리에서
ClusterInstanceCR, IPsec 매니페스트 파일 및kustomization.yaml변경 사항을 커밋하고 관리 클러스터를 프로비저닝하도록 변경 사항을 푸시하고 IPsec 암호화를 구성합니다.Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.
클러스터 프로비저닝 중에 siteConfig Operator는 참조된
ConfigMap리소스에 포함된 CR을 추가 매니페스트로 적용합니다.
검증
IPsec 암호화를 확인하는 방법에 대한 자세한 내용은 " IPsec 암호화 확인"을 참조하십시오.
4.6.2. GitOps ZTP 및 ClusterInstance 리소스를 사용하여 다중 노드 클러스터의 IPsec 암호화 구성 링크 복사링크가 클립보드에 복사되었습니다!
GitOps ZTP 및 RHACM(Red Hat Advanced Cluster Management)을 사용하여 설치하는 관리형 다중 노드 클러스터에서 IPsec 암호화를 활성화할 수 있습니다.
관리 클러스터와 관리 클러스터 외부의 IPsec 끝점 간 트래픽을 암호화할 수 있습니다. OVN-Kubernetes 클러스터 네트워크의 노드 간 모든 네트워크 트래픽은 전송 모드에서 IPsec으로 암호화됩니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다. - hub 클러스터에 SiteConfig Operator를 설치했습니다.
- 관리 클러스터에 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하도록 RHACM 및 허브 클러스터를 구성했습니다.
- 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.
-
butane유틸리티 버전 0.20.0 이상을 설치했습니다. - IPsec 끝점에 대한 PKCS#12 인증서와 PEM 형식의 CA 인증서가 있습니다.
- NMState Operator가 설치되어 있습니다.
프로세스
-
최신 버전의
ztp-site-generate컨테이너 소스를 추출하여 사용자 지정 사이트 구성 데이터를 관리하는 리포지토리와 병합합니다. 클러스터에서 IPsec을 구성하는 필수 값으로
optional-extra-manifest/ipsec-config-policy.yaml파일을 구성합니다.IPsec 구성을 생성하기 위한
ConfigurationPolicy오브젝트apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: policy-config spec: namespaceSelector: include: ["default"] exclude: [] matchExpressions: [] matchLabels: {} remediationAction: inform severity: low evaluationInterval: compliant: noncompliant: object-templates-raw: | {{- range (lookup "v1" "Node" "" "").items }} - complianceType: musthave objectDefinition: kind: NodeNetworkConfigurationPolicy apiVersion: nmstate.io/v1 metadata: name: {{ .metadata.name }}-ipsec-policy spec: nodeSelector: kubernetes.io/hostname: {{ .metadata.name }} desiredState: interfaces: - name: hosta_conn type: ipsec libreswan: left: '%defaultroute' leftid: '%fromcert' leftmodecfgclient: false leftcert: left_server leftrsasigkey: '%cert' right: <external_host> rightid: '%fromcert' rightrsasigkey: '%cert' rightsubnet: <external_address> ikev2: insist type: tunnel-
leftcert는 원격 시스템에서 사용된 인증서 이름과 일치해야 합니다. -
외부 호스트 IP 주소 또는 DNS 호스트 이름이
오른쪽입니다. -
rightsubnet은 IPsec 터널의 다른 쪽에 있는 외부 호스트의 IP 서브넷입니다. -
ikev2: insist는 IKEv2 VPN 암호화 프로토콜만 사용합니다. 더 이상 사용되지 않는 IKEv1을 사용하지 마십시오.
-
optional-extra-manifest/ipsec폴더에 다음 인증서를 추가합니다.-
left_server.p12: IPsec 엔드포인트의 인증서 번들 ca.pem: 인증서에 서명한 인증 기관인증서 파일은 각 호스트의 NSS(Network Security Services) 데이터베이스에 필요합니다. 이러한 파일은 이후 단계에서 Butane 구성의 일부로 가져옵니다.
-
-
사용자 지정 사이트 구성 데이터를 유지 관리하는 Git 리포지토리의
optional-extra-manifest/ipsec폴더에서 쉘 프롬프트를 엽니다. optional-extra-manifest/ipsec/import-certs.sh스크립트를 실행하여 외부 인증서를 가져오는 데 필요한 Butane 및MachineConfigCR을 생성합니다.PKCS#12 인증서가 암호로 보호되는 경우
-W인수를 설정합니다.다음 예제에서는 생성된 출력 디렉터리 구조를 보여줍니다.
out └── argocd └── example └── optional-extra-manifest └── ipsec ├── 99-ipsec-master-import-certs.bu ├── 99-ipsec-master-import-certs.yaml ├── 99-ipsec-worker-import-certs.bu ├── 99-ipsec-worker-import-certs.yaml ├── import-certs.sh ├── ca.pem ├── left_server.p12 ├── enable-ipsec.yaml ├── ipsec-config-policy.yaml └── README.md-
ipsec/import-certs.sh스크립트는 Butane 및 endpoint 구성 CR을 생성합니다. -
네트워크와 관련된
ca.pem및left_server.p12인증서 파일을 추가합니다.
-
리포지토리에
ipsec-manifests/폴더를 생성하여 사용자 지정 사이트 구성 데이터를 관리하고enable-ipsec.yaml및99-ipsec-*YAML 파일을 디렉터리에 추가합니다.사이트 구성 디렉터리 예
site-configs/ ├── hub-1/ │ └── clusterinstance-site1-mno-du.yaml ├── ipsec-manifests/ │ ├── enable-ipsec.yaml │ ├── 99-ipsec-master-import-certs.yaml │ └── 99-ipsec-worker-import-certs.yaml └── kustomization.yamlconfigMapGenerator를 사용하여 IPsec 매니페스트를ConfigMap에 패키징하는kustomization.yaml파일을 생성합니다.apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - hub-1/clusterinstance-site1-mno-du.yaml configMapGenerator: - name: ipsec-manifests-cm namespace: site1-mno-du files: - ipsec-manifests/enable-ipsec.yaml - ipsec-manifests/99-ipsec-master-import-certs.yaml - ipsec-manifests/99-ipsec-worker-import-certs.yaml generatorOptions: disableNameSuffixHash: true-
네임스페이스는ClusterInstance네임스페이스와 일치해야 합니다. -
disableNameSuffixHash: true는ConfigMap이름을 예측할 수 있도록 해시 접미사를 비활성화합니다.
-
ClusterInstanceCR에서extraManifestsRefs필드의ConfigMap을 참조합니다.apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "site1-mno-du" namespace: "site1-mno-du" spec: clusterName: "site1-mno-du" networkType: "OVNKubernetes" extraManifestsRefs: - name: ipsec-manifests-cm # ...-
extraManifestsRefs.name은 IPsec 인증서 가져오기 매니페스트가 포함된ConfigMap을 참조합니다.
참고다른 추가 매니페스트가 있는 경우 동일한
ConfigMap에 이를 포함하거나 여러ConfigMap리소스를 생성하고extraManifestsRefs에서 모두 참조할 수 있습니다.-
-
GitOps의
source-crs디렉터리에ipsec-config-policy.yaml구성 정책 파일을 포함하고PolicyGeneratorCR 중 하나에서 파일을 참조합니다. Git 리포지토리에서
ClusterInstanceCR, IPsec 매니페스트 파일 및kustomization.yaml변경 사항을 커밋하고 관리 클러스터를 프로비저닝하도록 변경 사항을 푸시하고 IPsec 암호화를 구성합니다.Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.
클러스터 프로비저닝 중에 siteConfig Operator는 참조된
ConfigMap리소스에 포함된 CR을 추가 매니페스트로 적용합니다. IPsec 구성 정책은 클러스터를 프로비저닝한 후 Day 2 작업으로 적용됩니다.
검증
IPsec 암호화를 확인하는 방법에 대한 자세한 내용은 " IPsec 암호화 확인"을 참조하십시오.
4.6.3. IPsec 암호화 확인 링크 복사링크가 클립보드에 복사되었습니다!
IPsec 암호화가 관리형 OpenShift Container Platform 클러스터에 성공적으로 적용되었는지 확인할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다. - IPsec 암호화를 구성했습니다.
프로세스
다음 명령을 실행하여 관리 클러스터의 디버그 Pod를 시작합니다.
$ oc debug node/<node_name>다음 명령을 실행하여 IPsec 정책이 클러스터 노드에 적용되었는지 확인합니다.
sh-5.1# ip xfrm policy다음 예제 출력은 클러스터 노드에 적용되는 IPsec 정책을 보여줍니다.
src 172.16.123.0/24 dst 10.1.232.10/32 dir out priority 1757377 ptype main tmpl src 10.1.28.190 dst 10.1.232.10 proto esp reqid 16393 mode tunnel src 10.1.232.10/32 dst 172.16.123.0/24 dir fwd priority 1757377 ptype main tmpl src 10.1.232.10 dst 10.1.28.190 proto esp reqid 16393 mode tunnel src 10.1.232.10/32 dst 172.16.123.0/24 dir in priority 1757377 ptype main tmpl src 10.1.232.10 dst 10.1.28.190 proto esp reqid 16393 mode tunnel다음 명령을 실행하여 IPsec 터널이 가동되어 연결되어 있는지 확인합니다.
sh-5.1# ip xfrm state다음 예제 출력에서는 IPsec 터널이 가동되어 연결되어 있음을 보여줍니다.
src 10.1.232.10 dst 10.1.28.190 proto esp spi 0xa62a05aa reqid 16393 mode tunnel replay-window 0 flag af-unspec esn auth-trunc hmac(sha1) 0x8c59f680c8ea1e667b665d8424e2ab749cec12dc 96 enc cbc(aes) 0x2818a489fe84929c8ab72907e9ce2f0eac6f16f2258bd22240f4087e0326badb anti-replay esn context: seq-hi 0x0, seq 0x0, oseq-hi 0x0, oseq 0x0 replay_window 128, bitmap-length 4 00000000 00000000 00000000 00000000 src 10.1.28.190 dst 10.1.232.10 proto esp spi 0x8e96e9f9 reqid 16393 mode tunnel replay-window 0 flag af-unspec esn auth-trunc hmac(sha1) 0xd960ddc0a6baaccb343396a51295e08cfd8aaddd 96 enc cbc(aes) 0x0273c02e05b4216d5e652de3fc9b3528fea94648bc2b88fa01139fdf0beb27ab anti-replay esn context: seq-hi 0x0, seq 0x0, oseq-hi 0x0, oseq 0x0 replay_window 128, bitmap-length 4 00000000 00000000 00000000 00000000다음 명령을 실행하여 외부 호스트 서브넷에서 알려진 IP를 ping합니다. 예를 들어
ipsec/ipsec-endpoint-config.yaml파일에서 설정한rightsubnet범위에서 IP 주소를 ping합니다.sh-5.1# ping 172.16.110.8다음 예제 출력에서는 ping 응답이 성공적으로 수행됩니다.
PING 172.16.110.8 (172.16.110.8) 56(84) bytes of data. 64 bytes from 172.16.110.8: icmp_seq=1 ttl=64 time=153 ms 64 bytes from 172.16.110.8: icmp_seq=2 ttl=64 time=155 ms
4.6.4. ClusterInstance CR 설치 참조 링크 복사링크가 클립보드에 복사되었습니다!
ClusterInstance 사용자 정의 리소스에 대한 자세한 API 참조는 RHACM(Red Hat Advanced Cluster Management) 설명서의 ClusterInstance API 를 참조하십시오.
4.7. GitOps ZTP를 사용하여 호스트 펌웨어 설정 관리 링크 복사링크가 클립보드에 복사되었습니다!
호스트에는 고성능과 최적의 효율성을 보장하기 위해 올바른 펌웨어 구성이 필요합니다. GitOps ZTP를 사용하여 관리 클러스터의 사용자 정의 호스트 펌웨어 구성을 배포할 수 있습니다.
랩의 특정 하드웨어 프로필로 호스트를 튜닝하고 요구 사항에 맞게 최적화되었는지 확인합니다. 만족에 대한 호스트 튜닝을 완료한 경우 호스트 프로필을 추출하여 GitOps ZTP 리포지토리에 저장합니다. 그런 다음 호스트 프로필을 사용하여 GitOps ZTP로 배포하는 관리 클러스터 호스트에서 펌웨어 설정을 구성합니다.
HostFirmwareSettings CR을 생성하고, ConfigMap 리소스에 패키지하고, ClusterInstance CR의 templateRefs 필드에서 해당 프로필을 참조하여 필요한 하드웨어 프로필을 지정합니다. SiteConfig Operator는 hub 클러스터에 적용되는 필수 HostFirmwareSettings 및 BareMetalHost CR을 생성합니다.
다음 모범 사례를 사용하여 호스트 펌웨어 프로필을 관리합니다.
- 하드웨어 벤더로 중요한 펌웨어 설정 확인
- 하드웨어 벤더와 협력하여 배포된 호스트 플랫폼과 최적의 성능 및 호환성에 필요한 중요한 호스트 펌웨어 설정을 식별하고 문서화하십시오.
- 유사한 하드웨어 플랫폼에서 공통 펌웨어 구성 사용
- 가능한 경우 유사한 하드웨어 플랫폼에서 표준화된 호스트 펌웨어 구성을 사용하여 배포 중에 복잡성과 잠재적 오류를 줄입니다.
- 랩 환경에서 펌웨어 구성 테스트
- 설정이 하드웨어, 펌웨어 및 소프트웨어와 호환되는지 확인하기 위해 프로덕션에 배포하기 전에 제어된 랩 환경에서 호스트 펌웨어 구성을 테스트합니다.
- 소스 제어에서 펌웨어 프로필 관리
- Git 리포지토리에서 호스트 펌웨어 프로필을 관리하여 변경 사항을 추적하고 일관성을 보장하며 벤더와의 협업이 용이해집니다.
4.7.1. 관리 클러스터의 호스트 펌웨어 스키마 검색 링크 복사링크가 클립보드에 복사되었습니다!
관리 클러스터의 호스트 펌웨어 스키마를 검색할 수 있습니다. 베어 메탈 호스트의 호스트 펌웨어 스키마는 Ironic API에서 반환하는 정보로 채워집니다. API는 펌웨어 설정 유형, 허용 가능한 값, 범위 및 플래그를 포함하여 호스트 펌웨어 인터페이스에 대한 정보를 반환합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
RHACM(Red Hat Advanced Cluster Management)을 설치하고
cluster-admin권한이 있는 사용자로 hub 클러스터에 로그인했습니다. - RHACM에서 관리하는 클러스터를 프로비저닝했습니다.
프로세스
관리 클러스터의 호스트 펌웨어 스키마를 검색합니다. 다음 명령을 실행합니다.
$ oc get firmwareschema -n <managed_cluster_namespace> -o yaml다음 예제 출력은 호스트 펌웨어 스키마를 보여줍니다.
apiVersion: v1 items: - apiVersion: metal3.io/v1alpha1 kind: FirmwareSchema metadata: creationTimestamp: "2024-09-11T10:29:43Z" generation: 1 name: schema-40562318 namespace: compute-1 ownerReferences: - apiVersion: metal3.io/v1alpha1 kind: HostFirmwareSettings name: compute-1.example.com uid: 65d0e89b-1cd8-4317-966d-2fbbbe033fe9 resourceVersion: "280057624" uid: 511ad25d-f1c9-457b-9a96-776605c7b887 spec: schema: AccessControlService: allowable_values: - Enabled - Disabled attribute_type: Enumeration read_only: false # ...
4.7.2. 관리 클러스터의 호스트 펌웨어 설정 검색 링크 복사링크가 클립보드에 복사되었습니다!
관리 클러스터의 호스트 펌웨어 설정을 검색할 수 있습니다. 이 기능은 호스트 펌웨어에 변경 사항을 배포하고 변경 사항을 모니터링하고 성공적으로 적용되도록 하려는 경우에 유용합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
RHACM(Red Hat Advanced Cluster Management)을 설치하고
cluster-admin권한이 있는 사용자로 hub 클러스터에 로그인했습니다. - RHACM에서 관리하는 클러스터를 프로비저닝했습니다.
프로세스
관리 클러스터의 호스트 펌웨어 설정을 검색합니다. 다음 명령을 실행합니다.
$ oc get hostfirmwaresettings -n <cluster_namespace> <node_name> -o yaml다음 예제 출력은 호스트 펌웨어 설정을 보여줍니다.
apiVersion: v1 items: - apiVersion: metal3.io/v1alpha1 kind: HostFirmwareSettings metadata: creationTimestamp: "2024-09-11T10:29:43Z" generation: 1 name: compute-1.example.com namespace: kni-qe-24 ownerReferences: - apiVersion: metal3.io/v1alpha1 blockOwnerDeletion: true controller: true kind: BareMetalHost name: compute-1.example.com uid: 0baddbb7-bb34-4224-8427-3d01d91c9287 resourceVersion: "280057626" uid: 65d0e89b-1cd8-4317-966d-2fbbbe033fe9 spec: settings: {} status: conditions: - lastTransitionTime: "2024-09-11T10:29:43Z" message: "" observedGeneration: 1 reason: Success # Indicates that a change in the host firmware settings has been detected. status: "True" type: ChangeDetected - lastTransitionTime: "2024-09-11T10:29:43Z" message: Invalid BIOS setting observedGeneration: 1 reason: ConfigurationError # Indicates that the host has an invalid firmware setting. status: "False" type: Valid lastUpdated: "2024-09-11T10:29:43Z" schema: name: schema-40562318 namespace: compute-1 # Contains the complete list of configured host firmware settings returned under the `status.settings` field. settings: AccessControlService: Enabled AcpiHpet: Enabled AcpiRootBridgePxm: Enabled # ...선택 사항: 클러스터에서 Hfs(
HostFirmwareSettings)사용자정의 리소스의 상태를 확인합니다.$ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="ChangeDetected")].status}'다음 예제 출력에서는 감지된 변경 사항을 보여줍니다.
True선택 사항: 다음 명령을 실행하여 클러스터 호스트에서 잘못된 펌웨어 설정을 확인합니다.
$ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="Valid")].status}'다음 예제 출력은 잘못된 펌웨어 설정을 보여줍니다.
False
4.7.3. GitOps ZTP를 사용하여 클러스터 호스트에 사용자 정의 펌웨어 배포 링크 복사링크가 클립보드에 복사되었습니다!
HostFirmwareSettings CR을 포함하는 사용자 정의 노드 템플릿을 생성하고 ClusterInstance CR에서 참조하여 사용자 정의 펌웨어 설정을 클러스터 호스트에 배포할 수 있습니다. 다음 시나리오에서 호스트에 적용하도록 하드웨어 프로필을 구성할 수 있습니다.
- 클러스터의 모든 호스트
- 클러스터의 개별 호스트
계층 구조에 적용할 호스트 하드웨어 프로필을 구성할 수 있습니다. 노드 수준 프로필은 클러스터 수준 설정을 덮어씁니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
RHACM(Red Hat Advanced Cluster Management) 버전 2.12 이상을 설치하고
cluster-admin권한이 있는 사용자로 hub 클러스터에 로그인했습니다. - hub 클러스터에 SiteConfig Operator를 설치했습니다.
- 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성하셨습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.
절차
적용하려는 펌웨어 설정이 포함된
HostFirmwareSettingsCR을 생성합니다. 예를 들어 다음 YAML 파일을 생성합니다.host-firmware-settings.yaml
apiVersion: metal3.io/v1alpha1 kind: HostFirmwareSettings metadata: name: "site1-sno-du" namespace: "site1-sno-du" spec: settings: BootMode: "Uefi" LogicalProc: "Enabled" ProcVirtualization: "Enabled"클러스터를 프로비저닝하는 데 사용하는
kustomization.yaml파일을 기준으로HostFirmwareSettingsCR 파일을 저장합니다. 예를 들면 다음과 같습니다.site-configs/ └── site1-sno-du/ ├── clusterinstance-site1-sno-du.yaml ├── kustomization.yaml └── host-firmware-settings.yamlHostFirmwareSettingsCR을 저장할ConfigMap을 생성합니다.configMapGenerator와 함께kustomization.yaml파일을 사용하여ConfigMap을 생성할 수 있습니다. 예를 들면 다음과 같습니다.apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - clusterinstance-site1-sno-du.yaml configMapGenerator: - name: host-firmware-settings-cm namespace: site1-sno-du files: - host-firmware-settings.yaml generatorOptions: disableNameSuffixHash: true-
네임스페이스는ClusterInstance네임스페이스와 일치해야 합니다. -
host-firmware-settings.yaml은HostFirmwareSettingsCR의 이름입니다.
-
클러스터의 모든 호스트에 하드웨어 프로필을 적용하려면
ClusterInstanceCR의spec.templateRefs필드에 있는ConfigMap을 참조합니다. 예를 들면 다음과 같습니다.apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "site1-sno-du" namespace: "site1-sno-du" spec: clusterName: "site1-sno-du" # ... templateRefs: - name: host-firmware-settings-cm namespace: site1-sno-du nodes: - hostName: "node1.example.com" # ...-
templateRefs는 클러스터의 모든 호스트에 펌웨어 프로필을 적용합니다.
-
선택 사항: 클러스터의 특정 호스트에 하드웨어 프로필을 적용하려면
spec.nodes[].templateRefs필드의ConfigMap을 참조합니다. 예를 들면 다음과 같습니다.apiVersion: siteconfig.open-cluster-management.io/v1alpha1 kind: ClusterInstance metadata: name: "site1-sno-du" namespace: "site1-sno-du" spec: clusterName: "site1-sno-du" # ... nodes: - hostName: "node1.example.com" # ... templateRefs: - name: host-firmware-node1-cm namespace: site1-sno-du - hostName: "node2.example.com" # ...nodes[].templateRefs는 펌웨어 프로필을node1.example.com호스트에만 적용합니다.참고노드 수준
templateRefs설정은 클러스터 수준templateRefs설정을 재정의합니다.
Git 리포지토리에서
ClusterInstanceCR,ConfigMap, 관련kustomization.yaml변경 사항을 커밋하고 변경 사항을 내보냅니다.Argo CD 파이프라인은 변경 사항을 감지하고 관리 클러스터 배포를 시작합니다.
참고클러스터 배포는 잘못된 펌웨어 설정이 감지된 경우에도 진행됩니다. GitOps ZTP를 사용하여 수정 사항을 적용하려면 수정된 하드웨어 프로필로 클러스터를 재배포합니다.
검증
펌웨어 설정이 관리 클러스터 호스트에 적용되었는지 확인합니다. 예를 들어 다음 명령을 실행합니다.
$ oc get hfs -n <managed_cluster_namespace> <managed_cluster_name> -o jsonpath='{.status.conditions[?(@.type=="Valid")].status}'<managed_cluster_namespace>는 관리 클러스터의 네임스페이스이며 <managed_cluster_name>은 관리 클러스터의 이름입니다.다음 예제 출력은 유효한 펌웨어 설정을 보여줍니다.
True
4.8. 관리형 클러스터 설치 진행 상황 모니터링 링크 복사링크가 클립보드에 복사되었습니다!
Argo CD 파이프라인이 ClusterInstance CR을 hub 클러스터로 동기화한 후 RHACM 대시보드 또는 명령줄에서 관리형 클러스터 설치 진행 상황을 모니터링할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
절차
다음 명령을 실행하여 클러스터 설치 진행 상황을 모니터링합니다.
클러스터 이름을 내보냅니다.
$ export CLUSTER=<clusterName>관리 클러스터의
AgentClusterInstallCR을 쿼리합니다.$ oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.conditions[?(@.type=="Completed")]}' | jq클러스터의 설치 이벤트를 가져옵니다.
$ curl -sk $(oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.debugInfo.eventsURL}') | jq '.[-2,-1]'
4.9. 설치 CR을 검증하여 GitOps ZTP 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
ArgoCD 파이프라인은 ClusterInstance 및 PolicyGenerator 또는 PolicyGentemplate 사용자 정의 리소스(CR)를 사용하여 클러스터 구성 CR 및 RHACM(Red Hat Advanced Cluster Management) 정책을 생성합니다. 이 프로세스 중에 발생할 수 있는 문제를 해결하려면 다음 단계를 사용하십시오.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
프로세스
다음 명령을 사용하여 설치 CR이 생성되었는지 확인합니다.
$ oc get AgentClusterInstall -n <cluster_name>오브젝트가 반환되지 않은 경우 다음 단계를 사용하여
ClusterInstance파일에서 설치 CR로 ArgoCD 파이프라인 흐름의 문제를 해결합니다.hub 클러스터의
ClusterInstanceCR을 사용하여ManagedClusterCR이 생성되었는지 확인합니다.$ oc get managedclusterManagedCluster가 없는 경우클러스터애플리케이션이 Git 리포지토리의 파일을 hub 클러스터와 동기화하지 않았는지 확인합니다.$ oc get applications.argoproj.io -n openshift-gitops clusters -o yaml
4.10. SuperMicro 서버에서 GitOps ZTP 가상 미디어 부팅 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
Supermicro X11 서버는 https 프로토콜을 사용하여 이미지를 제공하는 경우 가상 미디어 설치를 지원하지 않습니다.
결과적으로 이 환경의 단일 노드 OpenShift 배포가 대상 노드에서 부팅되지 않습니다. 이 문제를 방지하려면 hub 클러스터에 로그인하고 프로비저닝 리소스에서 TLS(Transport Layer Security)를 비활성화합니다. 이렇게 하면 이미지 주소가 https 스키마를 사용하더라도 TLS로 이미지가 제공되지 않습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
프로세스
다음 명령을 실행하여
프로비저닝리소스에서 TLS를 비활성화합니다.$ oc patch provisioning provisioning-configuration --type merge -p '{"spec":{"disableVirtualMediaTLS": true}}'- 단일 노드 OpenShift 클러스터를 배포하려면 단계를 계속합니다.
4.11. GitOps ZTP 파이프라인에서 관리 클러스터 사이트 제거 링크 복사링크가 클립보드에 복사되었습니다!
GitOps ZTP(ZTP) 파이프라인에서 관리 사이트 및 관련 설치 및 구성 정책 CR을 제거할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
절차
-
kustomization.yaml파일에서 관련ClusterInstance및PolicyGenerator또는PolicyGentemplate파일을 제거하여 사이트 및 관련 CR을 제거합니다. 대상 사이트를 관리하는 ArgoCD 애플리케이션에 다음
syncOptions필드를 추가합니다.kind: Application spec: syncPolicy: syncOptions: - PrunePropagationPolicy=backgroundGitOps ZTP 파이프라인을 다시 실행하면 생성된 CR이 제거됩니다.
-
선택 사항: 사이트를 영구적으로 제거하려면 Git 리포지토리의
template-values/디렉터리에서ClusterInstance및 모든 그룹 또는 사이트별ConfigMap리소스도 제거해야 합니다. -
선택 사항: 예를 들어 사이트를 재배포할 때 일시적으로 사이트를 제거하려면
ClusterInstance및 그룹 또는 사이트별ConfigMap리소스를 Git 리포지토리에 남겨 둘 수 있습니다.
4.12. GitOps ZTP 파이프라인에서 더 이상 사용되지 않는 콘텐츠 제거 링크 복사링크가 클립보드에 복사되었습니다!
PolicyGenerator 또는 PolicyGentemplate 구성을 변경하면 정책 이름 변경과 같이 더 이상 사용되지 않는 정책이 생성되는 경우 다음 절차를 사용하여 더 이상 사용되지 않는 정책을 제거합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
프로세스
-
Git 리포지토리에서 영향을 받는
PolicyGenerator또는PolicyGentemplate파일을 제거하고 원격 리포지토리를 커밋하고 내보냅니다. - 변경 사항이 애플리케이션을 통해 동기화되고 영향을 받는 정책이 허브 클러스터에서 제거될 때까지 기다립니다.
업데이트된
PolicyGenerator또는PolicyGentemplate파일을 Git 리포지토리에 다시 추가한 다음 원격 리포지토리를 커밋하고 내보냅니다.참고Git 리포지토리에서 GitOps Zero Touch Provisioning(ZTP) 정책을 제거하면 허브 클러스터에서도 해당 정책을 제거해도 관리 클러스터의 구성에 영향을 미치지 않습니다. 해당 정책에서 관리하는 정책 및 CR은 관리 클러스터에 남아 있습니다.
선택 사항: 대신
PolicyGenerator또는PolicyGentemplateCR을 변경하여 더 이상 사용되지 않는 정책을 생성한 후 hub 클러스터에서 이러한 정책을 수동으로 제거할 수 있습니다. Governance 탭을 사용하거나 다음 명령을 실행하여 RHACM 콘솔에서 정책을 삭제할 수 있습니다.$ oc delete policy -n <namespace> <policy_name>
4.13. GitOps ZTP 파이프라인 종료 링크 복사링크가 클립보드에 복사되었습니다!
ArgoCD 파이프라인 및 생성된 모든 ZTP(ZTP) 아티팩트를 제거할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin권한이 있는 사용자로 허브 클러스터에 로그인했습니다.
프로세스
- hub 클러스터의 RHACM(Red Hat Advanced Cluster Management)에서 모든 클러스터를 분리합니다.
다음 명령을 사용하여
배포디렉터리에서kustomization.yaml파일을 삭제합니다.$ oc delete -k out/argocd/deployment- 변경 사항을 커밋하고 사이트 리포지토리로 내보냅니다.