Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

확장 및 성능

OpenShift Container Platform 4.11

프로덕션 환경에서 OpenShift Container Platform 클러스터 스케일링 및 성능 튜닝

Red Hat OpenShift Documentation Team

초록

이 문서에서는 OpenShift Container Platform 환경의 클러스터를 스케일링하고 성능을 최적화하는 방법을 설명합니다.

4장. Node Tuning Operator 사용
링크 복사

Node Tuning Operator에 대해 알아보고, Node Tuning Operator를 사용하여 Tuned 데몬을 오케스트레이션하고 노드 수준 튜닝을 관리하는 방법도 알아봅니다.

4.1. Node Tuning Operator 정보
링크 복사

Node Tuning Operator는 TuneD 데몬을 오케스트레이션하여 노드 수준 튜닝을 관리하고 Performance Profile 컨트롤러를 사용하여 짧은 대기 시간 성능을 달성하는 데 도움이 됩니다. 대부분의 고성능 애플리케이션에는 일정 수준의 커널 튜닝이 필요합니다. Node Tuning Operator는 노드 수준 sysctls 사용자에게 통합 관리 인터페이스를 제공하며 사용자의 필요에 따라 지정되는 사용자 정의 튜닝을 추가할 수 있는 유연성을 제공합니다.

Operator는 OpenShift Container Platform의 컨테이너화된 TuneD 데몬을 Kubernetes 데몬 세트로 관리합니다. 클러스터에서 실행되는 모든 컨테이너화된 TuneD 데몬에 사용자 정의 튜닝 사양이 데몬이 이해할 수 있는 형식으로 전달되도록 합니다. 데몬은 클러스터의 모든 노드에서 노드당 하나씩 실행됩니다.

컨테이너화된 TuneD 데몬을 통해 적용되는 노드 수준 설정은 프로필 변경을 트리거하는 이벤트 시 또는 컨테이너화된 TuneD 데몬이 종료 신호를 수신하고 처리하여 정상적으로 종료될 때 롤백됩니다.

Node Tuning Operator는 Performance Profile 컨트롤러를 사용하여 자동 튜닝을 구현하여 OpenShift Container Platform 애플리케이션에 대해 짧은 대기 시간 성능을 실현합니다. 클러스터 관리자는 다음과 같은 노드 수준 설정을 정의하도록 성능 프로필을 구성합니다.

  • 커널을 kernel-rt로 업데이트
  • 하우스키핑을 위해 CPU를 선택합니다.
  • 워크로드 실행을 위한 CPU 선택.

버전 4.1 이상에서는 Node Tuning Operator가 표준 OpenShift Container Platform 설치에 포함되어 있습니다.

참고

이전 버전의 OpenShift Container Platform에서는 OpenShift 애플리케이션에 대해 짧은 대기 시간 성능을 실현하기 위해 자동 튜닝을 구현하는 데 Performance Addon Operator를 사용했습니다. OpenShift Container Platform 4.11 이상에서는 이 기능은 Node Tuning Operator의 일부입니다.

4.2. Node Tuning Operator 사양 예에 액세스
링크 복사

이 프로세스를 사용하여 Node Tuning Operator 사양 예에 액세스하십시오.

프로세스

  • 다음 명령을 실행하여 Node Tuning Operator 사양 예제에 액세스합니다. 

    oc get tuned.tuned.openshift.io/default -o yaml -n openshift-cluster-node-tuning-operator
    Copy to Clipboard Toggle word wrap

기본 CR은 OpenShift Container Platform 플랫폼의 표준 노드 수준 튜닝을 제공하기 위한 것이며 Operator 관리 상태를 설정하는 경우에만 수정할 수 있습니다. Operator는 기본 CR에 대한 다른 모든 사용자 정의 변경사항을 덮어씁니다. 사용자 정의 튜닝의 경우 고유한 Tuned CR을 생성합니다. 새로 생성된 CR은 노드 또는 Pod 라벨 및 프로필 우선 순위에 따라 OpenShift Container Platform 노드에 적용된 기본 CR 및 사용자 정의 튜닝과 결합됩니다.

주의

특정 상황에서는 Pod 라벨에 대한 지원이 필요한 튜닝을 자동으로 제공하는 편리한 방법일 수 있지만 이러한 방법은 권장되지 않으며 특히 대규모 클러스터에서는 이러한 방법을 사용하지 않는 것이 좋습니다. 기본 Tuned CR은 Pod 라벨이 일치되지 않은 상태로 제공됩니다. Pod 라벨이 일치된 상태로 사용자 정의 프로필이 생성되면 해당 시점에 이 기능이 활성화됩니다. Pod 라벨 기능은 Node Tuning Operator의 향후 버전에서 더 이상 사용되지 않습니다.

4.3. 클러스터에 설정된 기본 프로필
링크 복사

다음은 클러스터에 설정된 기본 프로필입니다. 

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: default
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=Optimize systems running OpenShift (provider specific parent profile)
      include=-provider-${f:exec:cat:/var/lib/tuned/provider},openshift
    name: openshift
  recommend:
  - profile: openshift-control-plane
    priority: 30
    match:
    - label: node-role.kubernetes.io/master
    - label: node-role.kubernetes.io/infra
  - profile: openshift-node
    priority: 40
Copy to Clipboard Toggle word wrap

OpenShift Container Platform 4.9부터 모든 OpenShift TuneD 프로필이 TuneD 패키지와 함께 제공됩니다. oc exec 명령을 사용하여 이러한 프로필의 내용을 볼 수 있습니다. 

$ oc exec $tuned_pod -n openshift-cluster-node-tuning-operator -- find /usr/lib/tuned/openshift{,-control-plane,-node} -name tuned.conf -exec grep -H ^ {} \;
Copy to Clipboard Toggle word wrap

4.4. TuneD 프로필이 적용되었는지 검증
링크 복사

클러스터 노드에 적용되는 TuneD 프로필을 확인합니다. 

$ oc get profile.tuned.openshift.io -n openshift-cluster-node-tuning-operator
Copy to Clipboard Toggle word wrap

출력 예

NAME             TUNED                     APPLIED   DEGRADED   AGE
master-0         openshift-control-plane   True      False      6h33m
master-1         openshift-control-plane   True      False      6h33m
master-2         openshift-control-plane   True      False      6h33m
worker-a         openshift-node            True      False      6h28m
worker-b         openshift-node            True      False      6h28m
Copy to Clipboard Toggle word wrap

  • NAME: Profile 오브젝트의 이름입니다. 노드당 하나의 Profile 오브젝트가 있고 해당 이름이 일치합니다.
  • TUNED: 적용할 TuneD 프로파일의 이름입니다.
  • APPLIED: TuneD 데몬이 원하는 프로필을 적용한 경우 True입니다. (True/False/Unknown).
  • DEGRADED: TuneD 프로파일 적용 중에 오류가 보고된 경우 (True/False/Unknown).
  • AGE: Profile 개체 생성 이후 경과 시간입니다.

4.5. 사용자 정의 튜닝 사양
링크 복사

Operator의 CR(사용자 정의 리소스)에는 두 가지 주요 섹션이 있습니다. 첫 번째 섹션인 profile:은 TuneD 프로필 및 해당 이름의 목록입니다. 두 번째인 recommend:은 프로필 선택 논리를 정의합니다.

여러 사용자 정의 튜닝 사양은 Operator의 네임스페이스에 여러 CR로 존재할 수 있습니다. 새로운 CR의 존재 또는 오래된 CR의 삭제는 Operator에서 탐지됩니다. 기존의 모든 사용자 정의 튜닝 사양이 병합되고 컨테이너화된 TuneD 데몬의 해당 오브젝트가 업데이트됩니다.

관리 상태

Operator 관리 상태는 기본 Tuned CR을 조정하여 설정됩니다. 기본적으로 Operator는 Managed 상태이며 기본 Tuned CR에는 spec.managementState 필드가 없습니다. Operator 관리 상태에 유효한 값은 다음과 같습니다.

  • Managed: 구성 리소스가 업데이트되면 Operator가 해당 피연산자를 업데이트합니다.
  • Unmanaged: Operator가 구성 리소스에 대한 변경을 무시합니다.
  • Removed: Operator가 프로비저닝한 해당 피연산자 및 리소스를 Operator가 제거합니다.

프로필 데이터

profile: 섹션에는 TuneD 프로필 및 해당 이름이 나열됩니다. 

profile:
- name: tuned_profile_1
  data: |
    # TuneD profile specification
    [main]
    summary=Description of tuned_profile_1 profile

    [sysctl]
    net.ipv4.ip_forward=1
    # ... other sysctl's or other TuneD daemon plugins supported by the containerized TuneD

# ...

- name: tuned_profile_n
  data: |
    # TuneD profile specification
    [main]
    summary=Description of tuned_profile_n profile

    # tuned_profile_n profile settings
Copy to Clipboard Toggle word wrap

권장 프로필

profile: 선택 논리는 CR의 recommend: 섹션에 의해 정의됩니다. recommend: 섹션은 선택 기준에 따라 프로필을 권장하는 항목의 목록입니다. 

recommend:
<recommend-item-1>
# ...
<recommend-item-n>
Copy to Clipboard Toggle word wrap

목록의 개별 항목은 다음과 같습니다. 

- machineConfigLabels:
1 

    <mcLabels>
2 

  match:
3 

    <match>
4 

  priority: <priority>
5 

  profile: <tuned_profile_name>
6 

  operand:
7 

    debug: <bool>
8 

    tunedConfig:
      reapply_sysctl: <bool>
9
Copy to Clipboard Toggle word wrap
1
선택 사항입니다.
2
키/값 MachineConfig 라벨 사전입니다. 키는 고유해야 합니다.
3
생략하면 우선 순위가 높은 프로필이 먼저 일치되거나 machineConfigLabels가 설정되어 있지 않으면 프로필이 일치하는 것으로 가정합니다.
4
선택사항 목록입니다.
5
프로필 순서 지정 우선 순위입니다. 숫자가 작을수록 우선 순위가 높습니다(0이 가장 높은 우선 순위임).
6
일치에 적용할 TuneD 프로필입니다. 예를 들어 tuned_profile_1이 있습니다.
7
선택적 피연산자 구성입니다.
8
TuneD 데몬의 디버깅을 켜거나 끕니다. 옵션은 On 또는 false 에 대해 true 입니다. 기본값은 false입니다.
9
TuneD 데몬에 대해 reapply_sysctl 기능을 켜거나 끕니다. 옵션은 on 및 off에 대해 true 입니다.

<match>는 다음과 같이 재귀적으로 정의되는 선택사항 목록입니다. 

- label: <label_name>
1 

  value: <label_value>
2 

  type: <label_type>
3 

    <match>
4
Copy to Clipboard Toggle word wrap
1
노드 또는 Pod 라벨 이름입니다.
2
선택사항 노드 또는 Pod 라벨 값입니다. 생략하면 <label_name>이 있기 때문에 일치 조건을 충족합니다.
3
선택사항 오브젝트 유형(node 또는 pod)입니다. 생략하면 node라고 가정합니다.
4
선택사항 <match> 목록입니다.

<match>를 생략하지 않으면 모든 중첩 <match> 섹션도 true로 평가되어야 합니다. 생략하면 false로 가정하고 해당 <match> 섹션이 있는 프로필을 적용하지 않거나 권장하지 않습니다. 따라서 중첩(하위 <match> 섹션)은 논리 AND 연산자 역할을 합니다. 반대로 <match> 목록의 항목이 일치하면 전체 <match> 목록이 true로 평가됩니다. 따라서 이 목록이 논리 OR 연산자 역할을 합니다.

machineConfigLabels가 정의되면 지정된 recommend: 목록 항목에 대해 머신 구성 풀 기반 일치가 설정됩니다. <mcLabels>는 머신 구성의 라벨을 지정합니다. 머신 구성은 <tuned_profile_name> 프로필에 대해 커널 부팅 매개변수와 같은 호스트 설정을 적용하기 위해 자동으로 생성됩니다. 여기에는 <mcLabels>와 일치하는 머신 구성 선택기가 있는 모든 머신 구성 풀을 찾고 머신 구성 풀이 할당된 모든 노드에서 <tuned_profile_name> 프로필을 설정하는 작업이 포함됩니다. 마스터 및 작업자 역할이 모두 있는 노드를 대상으로 하려면 마스터 역할을 사용해야 합니다.

목록 항목 match 및 machineConfigLabels는 논리 OR 연산자로 연결됩니다. match 항목은 단락 방식으로 먼저 평가됩니다. 따라서 true로 평가되면 machineConfigLabels 항목이 고려되지 않습니다.

중요

머신 구성 풀 기반 일치를 사용하는 경우 동일한 하드웨어 구성을 가진 노드를 동일한 머신 구성 풀로 그룹화하는 것이 좋습니다. 이 방법을 따르지 않으면 TuneD 피연산자가 동일한 머신 구성 풀을 공유하는 두 개 이상의 노드에 대해 충돌하는 커널 매개변수를 계산할 수 있습니다.

예: 노드 또는 Pod 라벨 기반 일치

- match:
  - label: tuned.openshift.io/elasticsearch
    match:
    - label: node-role.kubernetes.io/master
    - label: node-role.kubernetes.io/infra
    type: pod
  priority: 10
  profile: openshift-control-plane-es
- match:
  - label: node-role.kubernetes.io/master
  - label: node-role.kubernetes.io/infra
  priority: 20
  profile: openshift-control-plane
- priority: 30
  profile: openshift-node
Copy to Clipboard Toggle word wrap

위의 CR은 컨테이너화된 TuneD 데몬의 프로필 우선 순위에 따라 recommended.conf 파일로 변환됩니다. 우선 순위가 가장 높은 프로필(10)이 openshift-control-plane-es이므로 이 프로필을 첫 번째로 고려합니다. 지정된 노드에서 실행되는 컨테이너화된 TuneD 데몬은 tuned.openshift.io/elasticsearch 라벨이 설정된 동일한 노드에서 실행되는 Pod가 있는지 확인합니다. 없는 경우 전체 <match> 섹션이 false로 평가됩니다. 라벨이 있는 Pod가 있는 경우 <match> 섹션을 true로 평가하려면 노드 라벨도 node-role.kubernetes.io/master 또는 node-role.kubernetes.io/infra여야 합니다.

우선 순위가 10인 프로필의 라벨이 일치하면 openshift-control-plane-es 프로필이 적용되고 다른 프로필은 고려되지 않습니다. 노드/Pod 라벨 조합이 일치하지 않으면 두 번째로 높은 우선 순위 프로필(openshift-control-plane)이 고려됩니다. 컨테이너화된 TuneD Pod가 node-role.kubernetes.io/master 또는 node-role.kubernetes.io/infra. 라벨이 있는 노드에서 실행되는 경우 이 프로필이 적용됩니다.

마지막으로, openshift-node 프로필은 우선 순위가 가장 낮은 30입니다. 이 프로필에는 <match> 섹션이 없으므로 항상 일치합니다. 지정된 노드에서 우선 순위가 더 높은 다른 프로필이 일치하지 않는 경우 openshift-node 프로필을 설정하는 데 catch-all 프로필 역할을 합니다.

결정 워크플로
View larger image
결정 워크플로

예: 머신 구성 풀 기반 일치

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: openshift-node-custom
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=Custom OpenShift node profile with an additional kernel parameter
      include=openshift-node
      [bootloader]
      cmdline_openshift_node_custom=+skew_tick=1
    name: openshift-node-custom

  recommend:
  - machineConfigLabels:
      machineconfiguration.openshift.io/role: "worker-custom"
    priority: 20
    profile: openshift-node-custom
Copy to Clipboard Toggle word wrap

노드 재부팅을 최소화하려면 머신 구성 풀의 노드 선택기와 일치하는 라벨로 대상 노드에 라벨을 지정한 후 위의 Tuned CR을 생성하고 마지막으로 사용자 정의 머신 구성 풀을 생성합니다.

클라우드 공급자별 TuneD 프로필

이 기능을 통해 모든 클라우드 공급자별 노드는 OpenShift Container Platform 클러스터의 지정된 클라우드 공급자에 특별히 조정된 TuneD 프로필을 편리하게 할당할 수 있습니다. 이 작업은 노드 레이블을 추가하거나 머신 구성 풀로 노드를 그룹화하지 않고도 수행할 수 있습니다.

이 기능은 <cloud-provider> ://<cloud-provider-specific-id> 형식으로 spec.provider ID 노드 오브젝트 값을 사용하고 NTO 피연산자 컨테이너의 < cloud-provider> 값으로 /var/lib/tuned/provider 파일을 작성합니다. 그런 다음 이 파일의 내용은 TuneD에서 이러한 프로필이 있는 경우 provider-<cloud-provider > 프로필을 로드하는 데 사용됩니다.

openshift -control-plane 및 openshift-node 프로필이 모두 의 설정을 상속하는 openshift 프로필이 이제 조건부 프로필 로드를 사용하여 이 기능을 사용하도록 업데이트되었습니다. NTO 또는 TuneD는 현재 클라우드 공급자별 프로필이 제공되지 않습니다. 그러나 모든 클라우드 공급자별 클러스터 노드에 적용되는 사용자 정의 프로필 provider-<cloud- provider>를 생성할 수 있습니다.

GCE Cloud 공급자 프로필 예

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: provider-gce
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=GCE Cloud provider-specific profile
      # Your tuning for GCE Cloud provider goes here.
    name: provider-gce
Copy to Clipboard Toggle word wrap

참고

프로필 상속으로 인해 provider-< cloud-provider > 프로필에 지정된 모든 설정이 openshift 프로필 및 해당 하위 프로필에서 덮어씁니다.

4.6. 사용자 정의 튜닝 예
링크 복사

기본 CR에서 TuneD 프로파일 사용

다음 CR에서는 tuned.openshift.io/ingress-node-label 레이블이 임의의 값으로 설정된 OpenShift Container Platform 노드에 대해 사용자 정의 노드 수준 튜닝을 적용합니다.

예: openshift-control-plane TuneD 프로필을 사용한 사용자 정의 튜닝

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: ingress
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=A custom OpenShift ingress profile
      include=openshift-control-plane
      [sysctl]
      net.ipv4.ip_local_port_range="1024 65535"
      net.ipv4.tcp_tw_reuse=1
    name: openshift-ingress
  recommend:
  - match:
    - label: tuned.openshift.io/ingress-node-label
    priority: 10
    profile: openshift-ingress
Copy to Clipboard Toggle word wrap

중요

사용자 정의 프로필 작성자는 기본 TuneD CR에 제공된 기본 Tuned 데몬 프로필을 포함하는 것이 좋습니다. 위의 예에서는 기본 openshift-control-plane 프로필을 사용하여 작업을 수행합니다.

내장된 TuneD 프로필 사용

NTO 관리 데몬 세트가 성공적으로 롤아웃되면 TuneD 피연산자는 모두 동일한 버전의 TuneD 데몬을 관리합니다. 데몬에서 지원하는 기본 제공 TuneD 프로필을 나열하려면 다음 방식으로 TuneD Pod를 쿼리합니다. 

$ oc exec $tuned_pod -n openshift-cluster-node-tuning-operator -- find /usr/lib/tuned/ -name tuned.conf -printf '%h\n' | sed 's|^.*/||'
Copy to Clipboard Toggle word wrap

사용자 정의 튜닝 사양에서 이 명령으로 검색한 프로필 이름을 사용할 수 있습니다.

예: 기본 제공 hpc-compute TuneD 프로필 사용

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: openshift-node-hpc-compute
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=Custom OpenShift node profile for HPC compute workloads
      include=openshift-node,hpc-compute
    name: openshift-node-hpc-compute

  recommend:
  - match:
    - label: tuned.openshift.io/openshift-node-hpc-compute
    priority: 20
    profile: openshift-node-hpc-compute
Copy to Clipboard Toggle word wrap

기본 제공 hpc-compute 프로필 외에도 위의 예제에는 기본 Tuned CR 내에 제공된 openshift-node TuneD 데몬 프로필이 포함되어 컴퓨팅 노드에 OpenShift별 튜닝을 사용합니다.

4.7. 지원되는 TuneD 데몬 플러그인
링크 복사

Tuned CR의 profile: 섹션에 정의된 사용자 정의 프로필을 사용하는 경우 [main] 섹션을 제외한 다음 TuneD 플러그인이 지원됩니다.

  • audio
  • cpu
  • disk
  • eeepc_she
  • modules
  • mounts
  • net
  • scheduler
  • scsi_host
  • selinux
  • sysctl
  • sysfs
  • usb
  • video
  • vm
  • bootloader

일부 플러그인에서 제공하는 동적 튜닝 기능은 지원되지 않습니다. 다음 TuneD 플러그인은 현재 지원되지 않습니다.

  • script
  • systemd
참고

TuneD 부트로더 플러그인은 RHCOS(Red Hat Enterprise Linux CoreOS) 작업자 노드만 지원합니다.

추가 리소스

5장. CPU 관리자 및 토폴로지 관리자 사용
링크 복사

CPU 관리자는 CPU 그룹을 관리하고 워크로드를 특정 CPU로 제한합니다.

CPU 관리자는 다음과 같은 속성 중 일부가 포함된 워크로드에 유용합니다.

  • 가능한 한 많은 CPU 시간이 필요합니다.
  • 프로세서 캐시 누락에 민감합니다.
  • 대기 시간이 짧은 네트워크 애플리케이션입니다.
  • 다른 프로세스와 조정하고 단일 프로세서 캐시 공유를 통해 얻는 이점이 있습니다.

토폴로지 관리자는 동일한 NUMA(Non-Uniform Memory Access) 노드의 모든 QoS(Quality of Service) 클래스에 대해 CPU 관리자, 장치 관리자, 기타 힌트 공급자로부터 힌트를 수집하여 CPU, SR-IOV VF, 기타 장치 리소스 등의 Pod 리소스를 정렬합니다.

토폴로지 관리자는 토폴로지 관리자 정책 및 요청된 Pod 리소스를 기반으로 수집된 팁의 토폴로지 정보를 사용하여 노드에서 Pod를 수락하거나 거부할 수 있는지 결정합니다.

토폴로지 관리자는 하드웨어 가속기를 사용하여 대기 시간이 중요한 실행과 처리량이 높은 병렬 계산을 지원하는 워크로드에 유용합니다.

토폴로지 관리자를 사용하려면 정적 정책을 사용하여 CPU 관리자를 구성해야 합니다.

5.1. CPU 관리자 설정
링크 복사

프로세스

  1. 선택사항: 노드에 레이블을 지정합니다. 

    # oc label node perf-node.example.com cpumanager=true
    Copy to Clipboard Toggle word wrap

  2. CPU 관리자를 활성화해야 하는 노드의 MachineConfigPool을 편집합니다. 이 예에서는 모든 작업자의 CPU 관리자가 활성화됩니다. 

    # oc edit machineconfigpool worker
    Copy to Clipboard Toggle word wrap

  3. 작업자 머신 구성 풀에 레이블을 추가합니다. 

    metadata:
  creationTimestamp: 2020-xx-xxx
  generation: 3
  labels:
    custom-kubelet: cpumanager-enabled
    Copy to Clipboard Toggle word wrap

  4. KubeletConfig, cpumanager-kubeletconfig.yaml, CR(사용자 정의 리소스)을 생성합니다. 이전 단계에서 생성한 레이블을 참조하여 올바른 노드가 새 kubelet 구성으로 업데이트되도록 합니다. machineConfigPoolSelector 섹션을 참조하십시오. 

    apiVersion: machineconfiguration.openshift.io/v1
kind: KubeletConfig
metadata:
  name: cpumanager-enabled
spec:
  machineConfigPoolSelector:
    matchLabels:
      custom-kubelet: cpumanager-enabled
  kubeletConfig:
     cpuManagerPolicy: static
    1 
    
     cpuManagerReconcilePeriod: 5s
    2
    Copy to Clipboard Toggle word wrap
    1
    정책을 지정합니다.
    • none. 이 정책은 기존 기본 CPU 선호도 체계를 명시적으로 활성화하여 스케줄러가 자동으로 수행하는 것 이상으로 선호도를 제공하지 않도록 합니다. 이는 기본 정책입니다.
    • static. 이 정책을 사용하면 정수 CPU 요청이 있는 보장된 Pod의 컨테이너를 사용할 수 있습니다. 또한 노드의 전용 CPU에 대한 액세스 권한을 제한합니다. 정 적인 경우 소문자 s 를 사용해야 합니다.
    2
    선택사항입니다. CPU 관리자 조정 빈도를 지정합니다. 기본값은 5s입니다.

  5. 동적 kubelet 구성을 생성합니다. 

    # oc create -f cpumanager-kubeletconfig.yaml
    Copy to Clipboard Toggle word wrap

    그러면 kubelet 구성에 CPU 관리자 기능이 추가되고 필요한 경우 MCO(Machine Config Operator)가 노드를 재부팅합니다. CPU 관리자를 활성화하는 데는 재부팅이 필요하지 않습니다.

  6. 병합된 kubelet 구성을 확인합니다. 

    # oc get machineconfig 99-worker-XXXXXX-XXXXX-XXXX-XXXXX-kubelet -o json | grep ownerReference -A7
    Copy to Clipboard Toggle word wrap

    출력 예

           "ownerReferences": [
            {
                "apiVersion": "machineconfiguration.openshift.io/v1",
                "kind": "KubeletConfig",
                "name": "cpumanager-enabled",
                "uid": "7ed5616d-6b72-11e9-aae1-021e1ce18878"
            }
        ]
    Copy to Clipboard Toggle word wrap

  7. 작업자에서 업데이트된 kubelet.conf를 확인합니다. 

    # oc debug node/perf-node.example.com
sh-4.2# cat /host/etc/kubernetes/kubelet.conf | grep cpuManager
    Copy to Clipboard Toggle word wrap

    출력 예

    cpuManagerPolicy: static
    1 
    
cpuManagerReconcilePeriod: 5s
    2
    Copy to Clipboard Toggle word wrap

    1
    cpuManagerPolicy 는 KubeletConfig CR을 생성할 때 정의됩니다.
    2
    cpuManagerReconcilePeriod 는 KubeletConfig CR을 생성할 때 정의됩니다.

  8. 코어를 하나 이상 요청하는 Pod를 생성합니다. 제한 및 요청 둘 다 해당 CPU 값이 정수로 설정되어야 합니다. 해당 숫자는 이 Pod 전용으로 사용할 코어 수입니다. 

    # cat cpumanager-pod.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: v1
kind: Pod
metadata:
  generateName: cpumanager-
spec:
  containers:
  - name: cpumanager
    image: gcr.io/google_containers/pause-amd64:3.0
    resources:
      requests:
        cpu: 1
        memory: "1G"
      limits:
        cpu: 1
        memory: "1G"
  nodeSelector:
    cpumanager: "true"
    Copy to Clipboard Toggle word wrap

  9. Pod를 생성합니다. 

    # oc create -f cpumanager-pod.yaml
    Copy to Clipboard Toggle word wrap

  10. 레이블 지정한 노드에 Pod가 예약되어 있는지 검증합니다. 

    # oc describe pod cpumanager
    Copy to Clipboard Toggle word wrap

    출력 예

    Name:               cpumanager-6cqz7
Namespace:          default
Priority:           0
PriorityClassName:  <none>
Node:  perf-node.example.com/xxx.xx.xx.xxx
...
 Limits:
      cpu:     1
      memory:  1G
    Requests:
      cpu:        1
      memory:     1G
...
QoS Class:       Guaranteed
Node-Selectors:  cpumanager=true
    Copy to Clipboard Toggle word wrap

  11. cgroups가 올바르게 설정되었는지 검증합니다. pause 프로세스의 PID(프로세스 ID)를 가져옵니다. 

    # ├─init.scope
│ └─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 17
└─kubepods.slice
  ├─kubepods-pod69c01f8e_6b74_11e9_ac0f_0a2b62178a22.slice
  │ ├─crio-b5437308f1a574c542bdf08563b865c0345c8f8c0b0a655612c.scope
  │ └─32706 /pause
    Copy to Clipboard Toggle word wrap

    QoS(Quality of Service) 계층 Guaranteed의 Pod는 kubepods.slice에 있습니다. 다른 QoS 계층의 Pod는 kubepods의 하위 cgroups에 있습니다. 

    # cd /sys/fs/cgroup/cpuset/kubepods.slice/kubepods-pod69c01f8e_6b74_11e9_ac0f_0a2b62178a22.slice/crio-b5437308f1ad1a7db0574c542bdf08563b865c0345c86e9585f8c0b0a655612c.scope
# for i in `ls cpuset.cpus tasks` ; do echo -n "$i "; cat $i ; done
    Copy to Clipboard Toggle word wrap

    출력 예

    cpuset.cpus 1
tasks 32706
    Copy to Clipboard Toggle word wrap

  12. 작업에 허용되는 CPU 목록을 확인합니다. 

    # grep ^Cpus_allowed_list /proc/32706/status
    Copy to Clipboard Toggle word wrap

    출력 예

     Cpus_allowed_list:    1
    Copy to Clipboard Toggle word wrap

  13. Guaranteed Pod용으로 할당된 코어에서는 시스템의 다른 Pod(이 경우 burstable QoS 계층의 Pod)를 실행할 수 없는지 검증합니다. 

    # cat /sys/fs/cgroup/cpuset/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-podc494a073_6b77_11e9_98c0_06bba5c387ea.slice/crio-c56982f57b75a2420947f0afc6cafe7534c5734efc34157525fa9abbf99e3849.scope/cpuset.cpus
0
# oc describe node perf-node.example.com
    Copy to Clipboard Toggle word wrap

    출력 예

    ...
Capacity:
 attachable-volumes-aws-ebs:  39
 cpu:                         2
 ephemeral-storage:           124768236Ki
 hugepages-1Gi:               0
 hugepages-2Mi:               0
 memory:                      8162900Ki
 pods:                        250
Allocatable:
 attachable-volumes-aws-ebs:  39
 cpu:                         1500m
 ephemeral-storage:           124768236Ki
 hugepages-1Gi:               0
 hugepages-2Mi:               0
 memory:                      7548500Ki
 pods:                        250
-------                               ----                           ------------  ----------  ---------------  -------------  ---
  default                                 cpumanager-6cqz7               1 (66%)       1 (66%)     1G (12%)         1G (12%)       29m

Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource                    Requests          Limits
  --------                    --------          ------
  cpu                         1440m (96%)       1 (66%)
    Copy to Clipboard Toggle word wrap

    이 VM에는 두 개의 CPU 코어가 있습니다. system-reserved 설정은 500밀리코어로 설정되었습니다. 즉, Node Allocatable 양이 되는 노드의 전체 용량에서 한 코어의 절반이 감산되었습니다. Allocatable CPU는 1500 밀리코어임을 확인할 수 있습니다. 즉, Pod마다 하나의 전체 코어를 사용하므로 CPU 관리자 Pod 중 하나를 실행할 수 있습니다. 전체 코어는 1000밀리코어에 해당합니다. 두 번째 Pod를 예약하려고 하면 시스템에서 해당 Pod를 수락하지만 Pod가 예약되지 않습니다. 

    NAME                    READY   STATUS    RESTARTS   AGE
cpumanager-6cqz7        1/1     Running   0          33m
cpumanager-7qc2t        0/1     Pending   0          11s
    Copy to Clipboard Toggle word wrap

5.2. 토폴로지 관리자 정책
링크 복사

토폴로지 관리자는 CPU 관리자 및 장치 관리자와 같은 힌트 공급자로부터 토폴로지 힌트를 수집하고 수집된 힌트로 Pod 리소스를 정렬하는 방법으로 모든 QoS(Quality of Service) 클래스의 Pod 리소스를 정렬합니다.

토폴로지 관리자는 cpumanager-enabled 라는 KubeletConfig CR(사용자 정의 리소스)에서 할당하는 네 가지 할당 정책을 지원합니다.

none 정책
기본 정책으로, 토폴로지 정렬을 수행하지 않습니다.
best-effort 정책
best-effort 토폴로지 관리 정책을 사용하는 Pod의 각 컨테이너에서는 kubelet이 각 힌트 공급자를 호출하여 해당 리소스 가용성을 검색합니다. 토폴로지 관리자는 이 정보를 사용하여 해당 컨테이너의 기본 NUMA 노드 선호도를 저장합니다. 선호도를 기본 설정하지 않으면 토폴로지 관리자가 해당 정보를 저장하고 노드에 대해 Pod를 허용합니다.
restricted 정책
restricted 토폴로지 관리 정책을 사용하는 Pod의 각 컨테이너에서는 kubelet이 각 힌트 공급자를 호출하여 해당 리소스 가용성을 검색합니다. 토폴로지 관리자는 이 정보를 사용하여 해당 컨테이너의 기본 NUMA 노드 선호도를 저장합니다. 선호도를 기본 설정하지 않으면 토폴로지 관리자가 노드에서 이 Pod를 거부합니다. 그러면 Pod는 Terminated 상태가 되고 Pod 허용 실패가 발생합니다.
single-numa-node 정책
single-numa-node 토폴로지 관리 정책을 사용하는 Pod의 각 컨테이너에서는 kubelet이 각 힌트 공급자를 호출하여 해당 리소스 가용성을 검색합니다. 토폴로지 관리자는 이 정보를 사용하여 단일 NUMA 노드 선호도가 가능한지 여부를 결정합니다. 가능한 경우 노드에 대해 Pod가 허용됩니다. 단일 NUMA 노드 선호도가 가능하지 않은 경우 토폴로지 관리자가 노드에서 Pod를 거부합니다. 그러면 Pod는 Terminated 상태가 되고 Pod 허용 실패가 발생합니다.

5.3. 토폴로지 관리자 설정
링크 복사

토폴로지 관리자를 사용하려면 cpumanager-enabled 라는 KubeletConfig CR(사용자 정의 리소스)에서 할당 정책을 구성해야 합니다. CPU 관리자를 설정한 경우 해당 파일이 존재할 수 있습니다. 파일이 없으면 파일을 생성할 수 있습니다.

전제 조건

  • CPU 관리자 정책을 static으로 구성하십시오.

절차

토폴로지 관리자를 활성화하려면 다음을 수행합니다.

  1. 사용자 정의 리소스에서 토폴로지 관리자 할당 정책을 구성합니다. 

    $ oc edit KubeletConfig cpumanager-enabled
    Copy to Clipboard Toggle word wrap 
    apiVersion: machineconfiguration.openshift.io/v1
kind: KubeletConfig
metadata:
  name: cpumanager-enabled
spec:
  machineConfigPoolSelector:
    matchLabels:
      custom-kubelet: cpumanager-enabled
  kubeletConfig:
     cpuManagerPolicy: static
    1 
    
     cpuManagerReconcilePeriod: 5s
     topologyManagerPolicy: single-numa-node
    2
    Copy to Clipboard Toggle word wrap
    1
    이 매개변수는 소문자 s 가 있는 static 이어야 합니다.
    2
    선택한 토폴로지 관리자 할당 정책을 지정합니다. 여기서는 정책이 single-numa-node입니다. 허용 가능한 값은 default, best-effort, restricted, single-numa-node입니다.

5.4. Pod와 토폴로지 관리자 정책 간의 상호 작용
링크 복사

아래 Pod 사양의 예는 Pod와 토폴로지 관리자 간 상호 작용을 보여주는 데 도움이 됩니다.

다음 Pod는 리소스 요청 또는 제한이 지정되어 있지 않기 때문에 BestEffort QoS 클래스에서 실행됩니다. 

spec:
  containers:
  - name: nginx
    image: nginx
Copy to Clipboard Toggle word wrap

다음 Pod는 요청이 제한보다 작기 때문에 Burstable QoS 클래스에서 실행됩니다. 

spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      limits:
        memory: "200Mi"
      requests:
        memory: "100Mi"
Copy to Clipboard Toggle word wrap

선택한 정책이 none이 아니면 토폴로지 관리자는 이러한 Pod 사양 중 하나를 고려하지 않습니다.

아래 마지막 예의 Pod는 요청이 제한과 동일하기 때문에 Guaranteed QoS 클래스에서 실행됩니다. 

spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      limits:
        memory: "200Mi"
        cpu: "2"
        example.com/device: "1"
      requests:
        memory: "200Mi"
        cpu: "2"
        example.com/device: "1"
Copy to Clipboard Toggle word wrap

토폴로지 관리자는 이러한 Pod를 고려합니다. 토폴로지 관리자는 포드에 대한 토폴로지 힌트 힌트를 얻으려면 CPU 관리자 및 장치 관리자인 힌트 공급자를 참조합니다.

토폴로지 관리자는 이 정보를 사용하여 이 컨테이너에 가장 적합한 토폴로지를 저장합니다. 이 Pod의 경우 CPU 관리자와 장치 관리자는 리소스 할당 단계에서 이러한 저장된 정보를 사용합니다.

6장. NUMA 인식 워크로드 예약
링크 복사

NUMA 인식 스케줄링과 이를 사용하여 OpenShift Container Platform 클러스터에서 고성능 워크로드를 배포하는 방법에 대해 알아보십시오.

중요

NUMA 인식 스케줄링은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

NUMA 리소스 Operator를 사용하면 동일한 NUMA 영역에 고성능 워크로드를 예약할 수 있습니다. 사용 가능한 클러스터 노드 NUMA 리소스에 보고하는 노드 리소스 내보내기 에이전트와 워크로드를 관리하는 보조 스케줄러를 배포합니다.

6.1. NUMA 인식 스케줄링 정보
링크 복사

NUMA(Non-Uniform Memory Access)는 다른 CPU가 다른 속도로 다양한 메모리에 액세스할 수 있도록 하는 컴퓨팅 플랫폼 아키텍처입니다. NUMA 리소스 토폴로지는 계산 노드에서 서로 상대적 CPU, 메모리 및 PCI 장치의 위치를 나타냅니다. 공동 배치 리소스는 동일한 NUMA 영역에 있다고 합니다. 고성능 애플리케이션의 경우 클러스터는 단일 NUMA 영역에서 Pod 워크로드를 처리해야 합니다.

NUMA 아키텍처를 사용하면 여러 메모리 컨트롤러가 있는 CPU는 메모리가 있는 위치와 관계없이 CPU 복잡성에서 사용 가능한 메모리를 사용할 수 있습니다. 이렇게 하면 성능이 저하될 때 유연성이 향상됩니다. NUMA 영역 외부에 있는 메모리를 사용하여 워크로드를 처리하는 CPU는 단일 NUMA 영역에서 처리된 워크로드보다 속도가 느립니다. 또한 I/O-constrained 워크로드의 경우 멀리 있는 NUMA 영역의 네트워크 인터페이스가 애플리케이션에 도달하는 속도가 얼마나 빠르게 느려집니다. 통신 워크로드와 같은 고성능 워크로드는 이러한 조건에서 사양으로 작동할 수 없습니다. NUMA 인식 스케줄링은 지연에 민감한 또는 고성능 워크로드를 효율적으로 처리하기 위해 동일한 NUMA 영역의 요청된 클러스터 컴퓨팅 리소스(CPU, 메모리, 장치)를 조정합니다. NUMA 인식 스케줄링은 리소스 효율성을 높이기 위해 컴퓨팅 노드당 Pod 밀도도 향상시킵니다.

기본 OpenShift Container Platform Pod 스케줄러 스케줄링 논리는 개별 NUMA 영역이 아닌 전체 컴퓨팅 노드의 사용 가능한 리소스를 고려합니다. kubelet 토폴로지 관리자에서 가장 제한적인 리소스 정렬을 요청하는 경우 노드에 Pod를 허용할 때 오류 조건이 발생할 수 있습니다. 반대로 가장 제한적인 리소스 정렬을 요청하지 않으면 Pod를 적절한 리소스 정렬 없이 노드에 허용하여 성능이 저하되거나 예측할 수 없는 성능이 저하될 수 있습니다. 예를 들어 Pod 스케줄러가 Pod의 요청된 리소스를 사용할 수 있는지 여부를 확인하지 않고 보장된 Pod 워크로드에 대한 하위 최적화 스케줄링 결정을 내릴 때 Topology Affinity Errors를 사용한 실행 Pod 생성이 발생할 수 있습니다. 예약 불일치 결정으로 인해 Pod 시작 지연이 발생할 수 있습니다. 또한 클러스터 상태 및 리소스 할당에 따라 Pod 예약 결정이 실패한 시작 시도로 인해 클러스터에 추가 로드가 발생할 수 있습니다.

NUMA 리소스 Operator는 사용자 정의 NUMA 리소스 보조 스케줄러 및 기타 리소스를 배포하여 기본 OpenShift Container Platform Pod 스케줄러의 단점에 대해 완화합니다. 다음 다이어그램에서는 NUMA 인식 Pod 스케줄링에 대한 고급 개요를 제공합니다.

그림 6.1. NUMA 인식 스케줄링 개요

클러스터에서 다양한 구성 요소가 서로 상호 작용하는 방법을 보여주는 NUMA 인식 스케줄링
View larger image
클러스터에서 다양한 구성 요소가 서로 상호 작용하는 방법을 보여주는 NUMA 인식 스케줄링
NodeResourceTopology API
NodeResourceTopology API는 각 컴퓨팅 노드에서 사용 가능한 NUMA 영역 리소스를 설명합니다.
NUMA 인식 스케줄러
NUMA 인식 보조 스케줄러는 NodeResourceTopology API에서 사용 가능한 NUMA 영역에 대한 정보를 수신하고 최적으로 처리할 수 있는 노드에서 고성능 워크로드를 예약합니다.
노드 토폴로지 내보내기
노드 토폴로지 내보내기자는 각 계산 노드에 대해 사용 가능한 NUMA 영역 리소스를 NodeResourceTopology API에 노출합니다. 노드 토폴로지 내보내기 데몬은 PodResources API를 사용하여 kubelet에서 리소스 할당을 추적합니다.
PodResources API
PodResources API는 각 노드의 로컬이며 리소스 토폴로지 및 사용 가능한 리소스를 kubelet에 노출합니다.

추가 리소스

  • 클러스터에서 보조 Pod 스케줄러 실행 및 보조 Pod 스케줄러를 사용하여 Pod를 배포하는 방법에 대한 자세한 내용은 보조 스케줄러 를 사용하여 Pod 스케줄링을 참조하십시오.

6.2. NUMA Resources Operator 설치
링크 복사

NUMA 리소스 Operator는 NUMA 인식 워크로드 및 배포를 예약할 수 있는 리소스를 배포합니다. OpenShift Container Platform CLI 또는 웹 콘솔을 사용하여 NUMA 리소스 Operator를 설치할 수 있습니다.

6.2.1. CLI를 사용하여 NUMA 리소스 Operator 설치
링크 복사

클러스터 관리자는 CLI를 사용하여 Operator를 설치할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. NUMA Resources Operator의 네임스페이스를 생성합니다.

    1. nro-namespace.yaml 파일에 다음 YAML을 저장합니다. 

      apiVersion: v1
kind: Namespace
metadata:
  name: openshift-numaresources
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 Namespace CR을 생성합니다. 

      $ oc create -f nro-namespace.yaml
      Copy to Clipboard Toggle word wrap

  2. NUMA 리소스 Operator의 Operator 그룹을 생성합니다.

    1. 다음 YAML을 nro-operatorgroup.yaml 파일에 저장합니다. 

      apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: numaresources-operator
  namespace: openshift-numaresources
spec:
  targetNamespaces:
  - openshift-numaresources
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 OperatorGroup CR을 생성합니다. 

      $ oc create -f nro-operatorgroup.yaml
      Copy to Clipboard Toggle word wrap

  3. NUMA 리소스 Operator에 대한 서브스크립션을 생성합니다.

    1. 다음 YAML을 nro-sub.yaml 파일에 저장합니다. 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: numaresources-operator
  namespace: openshift-numaresources
spec:
  channel: "4.11"
  name: numaresources-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 Subscription CR을 생성합니다. 

      $ oc create -f nro-sub.yaml
      Copy to Clipboard Toggle word wrap

검증

  1. openshift-numaresources 네임스페이스에서 CSV 리소스를 검사하여 설치에 성공했는지 확인합니다. 다음 명령을 실행합니다. 

    $ oc get csv -n openshift-numaresources
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                             DISPLAY                  VERSION   REPLACES   PHASE
numaresources-operator.v4.11.2   numaresources-operator   4.11.2               Succeeded
    Copy to Clipboard Toggle word wrap

6.2.2. 웹 콘솔을 사용하여 NUMA Resources Operator 설치
링크 복사

클러스터 관리자는 웹 콘솔을 사용하여 NUMA Resources Operator를 설치할 수 있습니다.

절차

  1. NUMA Resources Operator의 네임스페이스를 생성합니다.

    1. OpenShift Container Platform 웹 콘솔에서 관리 → 네임스페이스를 클릭합니다.
    2. 네임스페이스 생성을 클릭하고 이름 필드에 openshift-numaresources 를 입력한 다음 생성 을 클릭합니다.

  2. NUMA Resources Operator를 설치합니다.

    1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
    2. 사용 가능한 Operator 목록에서 NUMA Resources Operator 를 선택한 다음 설치를 클릭합니다.
    3. 설치된 네임스페이스 필드에서 openshift-numaresources 네임스페이스를 선택한 다음 설치를 클릭합니다.

  3. 선택 사항: NUMA 리소스 Operator가 설치되었는지 확인합니다.

    1. Operator → 설치된 Operator 페이지로 전환합니다.

    2. NUMA Resources Operator 가 openshift-numaresources 네임스페이스에 InstallSucceeded 상태로 나열되어 있는지 확인합니다.

      참고

      설치 중에 Operator는 실패 상태를 표시할 수 있습니다. 나중에 InstallSucceeded 메시지와 함께 설치에 성공하면 이 실패 메시지를 무시할 수 있습니다.

      Operator가 설치된 것으로 나타나지 않으면 다음과 같이 추가 문제 해결을 수행합니다.

      • Operator → 설치된 Operator 페이지로 이동하고 Operator 서브스크립션 및 설치 계획 탭의 상태에 장애나 오류가 있는지 검사합니다.
      • 워크로드 → Pod 페이지로 이동하여 기본 프로젝트에서 Pod 로그를 확인합니다.

6.3. NUMAResourcesOperator 사용자 정의 리소스 생성
링크 복사

NUMA 리소스 Operator를 설치한 경우 데몬 세트 및 API를 포함하여 NUMA 인식 스케줄러를 지원하는 데 필요한 모든 클러스터 인프라를 설치하도록 NUMA 리소스 Operator에 지시하는 NUMAResourcesOperator CR(사용자 정의 리소스)을 생성합니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • NUMA 리소스 Operator를 설치합니다.

절차

  1. 작업자 노드에 대한 사용자 정의 kubelet 구성을 활성화하는 MachineConfigPool 사용자 정의 리소스를 생성합니다.

    1. 다음 YAML을 nro-machineconfig.yaml 파일에 저장합니다. 

      apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfigPool
metadata:
  labels:
    cnf-worker-tuning: enabled
    machineconfiguration.openshift.io/mco-built-in: ""
    pools.operator.machineconfiguration.openshift.io/worker: ""
  name: worker
spec:
  machineConfigSelector:
    matchLabels:
      machineconfiguration.openshift.io/role: worker
  nodeSelector:
    matchLabels:
      node-role.kubernetes.io/worker: ""
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 MachineConfigPool CR을 생성합니다. 

      $ oc create -f nro-machineconfig.yaml
      Copy to Clipboard Toggle word wrap

  2. NUMAResourcesOperator 사용자 정의 리소스를 생성합니다.

    1. nrop.yaml 파일에 다음 YAML을 저장합니다. 

      apiVersion: nodetopology.openshift.io/v1alpha1
kind: NUMAResourcesOperator
metadata:
  name: numaresourcesoperator
spec:
  nodeGroups:
  - machineConfigPoolSelector:
      matchLabels:
        pools.operator.machineconfiguration.openshift.io/worker: ""
      1
      Copy to Clipboard Toggle word wrap
      1
      관련 MachineConfigPool CR의 작업자 노드에 적용되는 레이블과 일치해야 합니다.

    2. 다음 명령을 실행하여 NUMAResourcesOperator CR을 생성합니다. 

      $ oc create -f nrop.yaml
      Copy to Clipboard Toggle word wrap

검증

다음 명령을 실행하여 NUMA Resources Operator가 성공적으로 배포되었는지 확인합니다. 

$ oc get numaresourcesoperators.nodetopology.openshift.io
Copy to Clipboard Toggle word wrap

출력 예

NAME                    AGE
numaresourcesoperator   10m
Copy to Clipboard Toggle word wrap

6.4. NUMA 인식 보조 Pod 스케줄러 배포
링크 복사

NUMA 리소스 Operator를 설치한 후 다음을 수행하여 NUMA 인식 보조 Pod 스케줄러를 배포합니다.

  • 필수 머신 프로필에 대한 Pod 허용 정책 구성
  • 필요한 머신 구성 풀 생성
  • NUMA 인식 보조 스케줄러 배포

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • NUMA 리소스 Operator를 설치합니다.

절차

  1. 머신 프로필에 대한 Pod 허용 정책을 구성하는 KubeletConfig 사용자 정의 리소스를 생성합니다.

    1. 다음 YAML을 nro-kubeletconfig.yaml 파일에 저장합니다. 

      apiVersion: machineconfiguration.openshift.io/v1
kind: KubeletConfig
metadata:
  name: cnf-worker-tuning
spec:
  machineConfigPoolSelector:
    matchLabels:
      cnf-worker-tuning: enabled
  kubeletConfig:
    cpuManagerPolicy: "static"
      1 
      
    cpuManagerReconcilePeriod: "5s"
    reservedSystemCPUs: "0,1"
    memoryManagerPolicy: "Static"
      2 
      
    evictionHard:
      memory.available: "100Mi"
    kubeReserved:
      memory: "512Mi"
    reservedMemory:
      - numaNode: 0
        limits:
          memory: "1124Mi"
    systemReserved:
      memory: "512Mi"
    topologyManagerPolicy: "single-numa-node"
      3 
      
    topologyManagerScope: "pod"
      Copy to Clipboard Toggle word wrap
      1
      cpuManagerPolicy 의 경우static 은 소문자 s 를 사용해야 합니다.
      2
      memoryManagerPolicy 의 경우정적 에서는 대문자 S 를 사용해야 합니다.
      3
      topologyManagerPolicy 를 single-numa-node 로 설정해야 합니다.

    2. 다음 명령을 실행하여 KubeletConfig CR(사용자 정의 리소스)을 생성합니다. 

      $ oc create -f nro-kubeletconfig.yaml
      Copy to Clipboard Toggle word wrap

  2. NUMA 인식 사용자 정의 Pod 스케줄러를 배포하는 NUMAResourcesScheduler 사용자 정의 리소스를 생성합니다.

    1. 다음 YAML을 nro-scheduler.yaml 파일에 저장합니다. 

      apiVersion: nodetopology.openshift.io/v1alpha1
kind: NUMAResourcesScheduler
metadata:
  name: numaresourcesscheduler
spec:
  imageSpec: "registry.redhat.io/openshift4/noderesourcetopology-scheduler-container-rhel8:v4.11"
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 NUMAResourcesScheduler CR을 생성합니다. 

      $ oc create -f nro-scheduler.yaml
      Copy to Clipboard Toggle word wrap

검증

다음 명령을 실행하여 필요한 리소스가 성공적으로 배포되었는지 확인합니다. 

$ oc get all -n openshift-numaresources
Copy to Clipboard Toggle word wrap

출력 예

NAME                                                    READY   STATUS    RESTARTS   AGE
pod/numaresources-controller-manager-7575848485-bns4s   1/1     Running   0          13m
pod/numaresourcesoperator-worker-dvj4n                  2/2     Running   0          16m
pod/numaresourcesoperator-worker-lcg4t                  2/2     Running   0          16m
pod/secondary-scheduler-56994cf6cf-7qf4q                1/1     Running   0          16m
NAME                                          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                     AGE
daemonset.apps/numaresourcesoperator-worker   2         2         2       2            2           node-role.kubernetes.io/worker=   16m
NAME                                               READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/numaresources-controller-manager   1/1     1            1           13m
deployment.apps/secondary-scheduler                1/1     1            1           16m
NAME                                                          DESIRED   CURRENT   READY   AGE
replicaset.apps/numaresources-controller-manager-7575848485   1         1         1       13m
replicaset.apps/secondary-scheduler-56994cf6cf                1         1         1       16m
Copy to Clipboard Toggle word wrap

6.5. NUMA 인식 스케줄러로 워크로드 예약
링크 복사

워크로드를 처리하는 데 필요한 최소 리소스를 지정하는 Deployment CR을 사용하여 NUMA 인식 스케줄러로 워크로드를 예약할 수 있습니다.

다음 예제 배포에서는 샘플 워크로드에 대해 NUMA 인식 스케줄링을 사용합니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • NUMA 리소스 Operator를 설치하고 NUMA 인식 보조 스케줄러를 배포합니다.

절차

  1. 다음 명령을 실행하여 클러스터에 배포된 NUMA 인식 스케줄러의 이름을 가져옵니다. 

    $ oc get numaresourcesschedulers.nodetopology.openshift.io numaresourcesscheduler -o json | jq '.status.schedulerName'
    Copy to Clipboard Toggle word wrap

    출력 예

    topo-aware-scheduler
    Copy to Clipboard Toggle word wrap

  2. topo-aware-scheduler 라는 스케줄러를 사용하는 Deployment CR을 생성합니다. 예를 들면 다음과 같습니다.

    1. 다음 YAML을 nro-deployment.yaml 파일에 저장합니다. 

      apiVersion: apps/v1
kind: Deployment
metadata:
  name: numa-deployment-1
  namespace: openshift-numaresources
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test
  template:
    metadata:
      labels:
        app: test
    spec:
      schedulerName: topo-aware-scheduler
      1 
      
      containers:
      - name: ctnr
        image: quay.io/openshifttest/hello-openshift:openshift
        imagePullPolicy: IfNotPresent
        resources:
          limits:
            memory: "100Mi"
            cpu: "10"
          requests:
            memory: "100Mi"
            cpu: "10"
      - name: ctnr2
        image: registry.access.redhat.com/rhel:latest
        imagePullPolicy: IfNotPresent
        command: ["/bin/sh", "-c"]
        args: [ "while true; do sleep 1h; done;" ]
        resources:
          limits:
            memory: "100Mi"
            cpu: "8"
          requests:
            memory: "100Mi"
            cpu: "8"
      Copy to Clipboard Toggle word wrap
      1
      schedulerName 은 클러스터에 배포된 NUMA 인식 스케줄러의 이름과 일치해야 합니다(예: topo-aware-scheduler ).

    2. 다음 명령을 실행하여 Deployment CR을 생성합니다. 

      $ oc create -f nro-deployment.yaml
      Copy to Clipboard Toggle word wrap

검증

  1. 배포에 성공했는지 확인합니다. 

    $ oc get pods -n openshift-numaresources
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                                READY   STATUS    RESTARTS   AGE
numa-deployment-1-56954b7b46-pfgw8                  2/2     Running   0          129m
numaresources-controller-manager-7575848485-bns4s   1/1     Running   0          15h
numaresourcesoperator-worker-dvj4n                  2/2     Running   0          18h
numaresourcesoperator-worker-lcg4t                  2/2     Running   0          16h
secondary-scheduler-56994cf6cf-7qf4q                1/1     Running   0          18h
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 topo-aware-scheduler 에서 배포된 Pod를 예약하고 있는지 확인합니다. 

    $ oc describe pod numa-deployment-1-56954b7b46-pfgw8 -n openshift-numaresources
    Copy to Clipboard Toggle word wrap

    출력 예

    Events:
  Type    Reason          Age   From                  Message
  ----    ------          ----  ----                  -------
  Normal  Scheduled       130m  topo-aware-scheduler  Successfully assigned openshift-numaresources/numa-deployment-1-56954b7b46-pfgw8 to compute-0.example.com
    Copy to Clipboard Toggle word wrap

    참고

    예약할 수 있는 것보다 더 많은 리소스를 요청하는 배포는 MinimumReplicasUnavailable 오류로 실패합니다. 필요한 리소스를 사용할 수 있게 되면 배포가 성공합니다. 필요한 리소스를 사용할 수 있을 때까지 Pod는 Pending 상태로 유지됩니다.

  3. 예상 할당된 리소스가 노드에 나열되어 있는지 확인합니다. 다음 명령을 실행합니다. 

    $ oc describe noderesourcetopologies.topology.node.k8s.io
    Copy to Clipboard Toggle word wrap

    출력 예

    ...

Zones:
  Costs:
    Name:   node-0
    Value:  10
    Name:   node-1
    Value:  21
  Name:     node-0
  Resources:
    Allocatable:  39
    Available:    21
    1 
    
    Capacity:     40
    Name:         cpu
    Allocatable:  6442450944
    Available:    6442450944
    Capacity:     6442450944
    Name:         hugepages-1Gi
    Allocatable:  134217728
    Available:    134217728
    Capacity:     134217728
    Name:         hugepages-2Mi
    Allocatable:  262415904768
    Available:    262206189568
    Capacity:     270146007040
    Name:         memory
  Type:           Node
    Copy to Clipboard Toggle word wrap

    1
    보장된 Pod에 할당된 리소스로 인해 사용 가능한 용량이 줄어듭니다.

    보장된 Pod에서 사용하는 리소스는 noderesourcetopologies.topology.node.k8s.io 아래에 나열된 사용 가능한 노드 리소스에서 제거됩니다.

  4. Best-effort 또는 Burstable 서비스 품질(qosClass)이 있는 Pod에 대한 리소스 할당은 noderesourcetopologies.topology.node.k8s.io 의 NUMA 노드 리소스에 반영되지 않습니다. Pod의 소비 리소스가 노드 리소스 계산에 반영되지 않는 경우 다음 명령을 실행하여 Pod에 Guaranteed qosClass 가 있는지 확인합니다. 

    $ oc get pod <pod_name> -n <pod_namespace> -o jsonpath="{ .status.qosClass }"
    Copy to Clipboard Toggle word wrap

    출력 예

    Guaranteed
    Copy to Clipboard Toggle word wrap

6.6. NUMA 인식 스케줄링 문제 해결
링크 복사

NUMA 인식 Pod 예약과 관련된 일반적인 문제를 해결하려면 다음 단계를 수행합니다.

사전 요구 사항

  • OpenShift Container Platform CLI (oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • NUMA 리소스 Operator를 설치하고 NUMA 인식 보조 스케줄러를 배포합니다.

절차

  1. 다음 명령을 실행하여 noderesourcetopologies CRD가 클러스터에 배포되었는지 확인합니다. 

    $ oc get crd | grep noderesourcetopologies
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                                              CREATED AT
noderesourcetopologies.topology.node.k8s.io                       2022-01-18T08:28:06Z
    Copy to Clipboard Toggle word wrap

  2. NUMA 인식 스케줄러 이름이 다음 명령을 실행하여 NUMA 인식 워크로드에 지정된 이름과 일치하는지 확인합니다. 

    $ oc get numaresourcesschedulers.nodetopology.openshift.io numaresourcesscheduler -o json | jq '.status.schedulerName'
    Copy to Clipboard Toggle word wrap

    출력 예

    topo-aware-scheduler
    Copy to Clipboard Toggle word wrap

  3. NUMA가 인식 가능한 노드에 noderesourcetopologies CR이 적용되는지 확인합니다. 다음 명령을 실행합니다. 

    $ oc get noderesourcetopologies.topology.node.k8s.io
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                    AGE
compute-0.example.com   17h
compute-1.example.com   17h
    Copy to Clipboard Toggle word wrap

    참고

    노드 수는 머신 구성 풀(mcp) 작업자 정의로 구성된 작업자 노드 수와 같아야 합니다.

  4. 다음 명령을 실행하여 모든 측정 가능한 노드에 대한 NUMA 영역 세분성을 확인합니다. 

    $ oc get noderesourcetopologies.topology.node.k8s.io -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: v1
items:
- apiVersion: topology.node.k8s.io/v1alpha1
  kind: NodeResourceTopology
  metadata:
    annotations:
      k8stopoawareschedwg/rte-update: periodic
    creationTimestamp: "2022-06-16T08:55:38Z"
    generation: 63760
    name: worker-0
    resourceVersion: "8450223"
    uid: 8b77be46-08c0-4074-927b-d49361471590
  topologyPolicies:
  - SingleNUMANodeContainerLevel
  zones:
  - costs:
    - name: node-0
      value: 10
    - name: node-1
      value: 21
    name: node-0
    resources:
    - allocatable: "38"
      available: "38"
      capacity: "40"
      name: cpu
    - allocatable: "134217728"
      available: "134217728"
      capacity: "134217728"
      name: hugepages-2Mi
    - allocatable: "262352048128"
      available: "262352048128"
      capacity: "270107316224"
      name: memory
    - allocatable: "6442450944"
      available: "6442450944"
      capacity: "6442450944"
      name: hugepages-1Gi
    type: Node
  - costs:
    - name: node-0
      value: 21
    - name: node-1
      value: 10
    name: node-1
    resources:
    - allocatable: "268435456"
      available: "268435456"
      capacity: "268435456"
      name: hugepages-2Mi
    - allocatable: "269231067136"
      available: "269231067136"
      capacity: "270573244416"
      name: memory
    - allocatable: "40"
      available: "40"
      capacity: "40"
      name: cpu
    - allocatable: "1073741824"
      available: "1073741824"
      capacity: "1073741824"
      name: hugepages-1Gi
    type: Node
- apiVersion: topology.node.k8s.io/v1alpha1
  kind: NodeResourceTopology
  metadata:
    annotations:
      k8stopoawareschedwg/rte-update: periodic
    creationTimestamp: "2022-06-16T08:55:37Z"
    generation: 62061
    name: worker-1
    resourceVersion: "8450129"
    uid: e8659390-6f8d-4e67-9a51-1ea34bba1cc3
  topologyPolicies:
  - SingleNUMANodeContainerLevel
  zones:
    1 
    
  - costs:
    - name: node-0
      value: 10
    - name: node-1
      value: 21
    name: node-0
    resources:
    2 
    
    - allocatable: "38"
      available: "38"
      capacity: "40"
      name: cpu
    - allocatable: "6442450944"
      available: "6442450944"
      capacity: "6442450944"
      name: hugepages-1Gi
    - allocatable: "134217728"
      available: "134217728"
      capacity: "134217728"
      name: hugepages-2Mi
    - allocatable: "262391033856"
      available: "262391033856"
      capacity: "270146301952"
      name: memory
    type: Node
  - costs:
    - name: node-0
      value: 21
    - name: node-1
      value: 10
    name: node-1
    resources:
    - allocatable: "40"
      available: "40"
      capacity: "40"
      name: cpu
    - allocatable: "1073741824"
      available: "1073741824"
      capacity: "1073741824"
      name: hugepages-1Gi
    - allocatable: "268435456"
      available: "268435456"
      capacity: "268435456"
      name: hugepages-2Mi
    - allocatable: "269192085504"
      available: "269192085504"
      capacity: "270534262784"
      name: memory
    type: Node
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""
    Copy to Clipboard Toggle word wrap

    1
    영역 의 각 스탠자는 단일 NUMA 영역의 리소스를 설명합니다.
    2
    리소스 는 NUMA 영역 리소스의 현재 상태를 설명합니다. items.zones.resources.available 에 나열된 리소스가 각 보장된 pod에 할당된 독점 NUMA 영역 리소스와 일치하는지 확인합니다.

6.6.1. NUMA 인식 스케줄러 로그 확인
링크 복사

로그를 검토하여 NUMA 인식 스케줄러에서 문제를 해결합니다. 필요한 경우 NUMAResourcesScheduler 리소스의 spec.logLevel 필드를 수정하여 스케줄러 로그 수준을 늘릴 수 있습니다. 허용 가능한 값은 Normal,Debug 및 Trace 이며 Trace 는 가장 자세한 정보 옵션입니다.

참고

보조 스케줄러의 로그 수준을 변경하려면 실행 중인 스케줄러 리소스를 삭제하고 변경된 로그 수준으로 재배포합니다. 이 다운타임 동안 새 워크로드를 예약하는 데 스케줄러를 사용할 수 없습니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. 현재 실행 중인 NUMAResourcesScheduler 리소스를 삭제합니다.

    1. 다음 명령을 실행하여 활성 NUMAResourcesScheduler 를 가져옵니다. 

      $ oc get NUMAResourcesScheduler
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                     AGE
numaresourcesscheduler   90m
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 보조 스케줄러 리소스를 삭제합니다. 

      $ oc delete NUMAResourcesScheduler numaresourcesscheduler
      Copy to Clipboard Toggle word wrap

      출력 예

      numaresourcesscheduler.nodetopology.openshift.io "numaresourcesscheduler" deleted
      Copy to Clipboard Toggle word wrap

  2. 다음 YAML을 nro-scheduler-debug.yaml 파일에 저장합니다. 이 예제에서는 로그 수준을 Debug 로 변경합니다. 

    apiVersion: nodetopology.openshift.io/v1alpha1
kind: NUMAResourcesScheduler
metadata:
  name: numaresourcesscheduler
spec:
  imageSpec: "registry.redhat.io/openshift4/noderesourcetopology-scheduler-container-rhel8:v4.11"
  logLevel: Debug
    Copy to Clipboard Toggle word wrap

  3. 다음 명령을 실행하여 업데이트된 Debug logging NUMAResourcesScheduler 리소스를 생성합니다. 

    $ oc create -f nro-scheduler-debug.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    numaresourcesscheduler.nodetopology.openshift.io/numaresourcesscheduler created
    Copy to Clipboard Toggle word wrap

검증 단계

  1. NUMA 인식 스케줄러가 성공적으로 배포되었는지 확인합니다.

    1. 다음 명령을 실행하여 CRD가 적절하게 생성되었는지 확인합니다. 

      $ oc get crd | grep numaresourcesschedulers
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                                                              CREATED AT
numaresourcesschedulers.nodetopology.openshift.io                 2022-02-25T11:57:03Z
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 새 사용자 정의 스케줄러를 사용할 수 있는지 확인합니다. 

      $ oc get numaresourcesschedulers.nodetopology.openshift.io
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                     AGE
numaresourcesscheduler   3h26m
      Copy to Clipboard Toggle word wrap

  2. 스케줄러의 로그에 로그 수준이 증가되었는지 확인합니다.

    1. 다음 명령을 실행하여 openshift-numaresources 네임스페이스에서 실행 중인 Pod 목록을 가져옵니다. 

      $ oc get pods -n openshift-numaresources
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                                               READY   STATUS    RESTARTS   AGE
numaresources-controller-manager-d87d79587-76mrm   1/1     Running   0          46h
numaresourcesoperator-worker-5wm2k                 2/2     Running   0          45h
numaresourcesoperator-worker-pb75c                 2/2     Running   0          45h
secondary-scheduler-7976c4d466-qm4sc               1/1     Running   0          21m
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 보조 스케줄러 Pod의 로그를 가져옵니다. 

      $ oc logs secondary-scheduler-7976c4d466-qm4sc -n openshift-numaresources
      Copy to Clipboard Toggle word wrap

      출력 예

      ...
I0223 11:04:55.614788       1 reflector.go:535] k8s.io/client-go/informers/factory.go:134: Watch close - *v1.Namespace total 11 items received
I0223 11:04:56.609114       1 reflector.go:535] k8s.io/client-go/informers/factory.go:134: Watch close - *v1.ReplicationController total 10 items received
I0223 11:05:22.626818       1 reflector.go:535] k8s.io/client-go/informers/factory.go:134: Watch close - *v1.StorageClass total 7 items received
I0223 11:05:31.610356       1 reflector.go:535] k8s.io/client-go/informers/factory.go:134: Watch close - *v1.PodDisruptionBudget total 7 items received
I0223 11:05:31.713032       1 eventhandlers.go:186] "Add event for scheduled pod" pod="openshift-marketplace/certified-operators-thtvq"
I0223 11:05:53.461016       1 eventhandlers.go:244] "Delete event for scheduled pod" pod="openshift-marketplace/certified-operators-thtvq"
      Copy to Clipboard Toggle word wrap

6.6.2. 리소스 토폴로지 내보내기 문제 해결
링크 복사

해당 resource-topology-exporter 로그를 검사하여 예기치 않은 결과가 발생하는 noderesourcetopologies 오브젝트의 문제를 해결합니다.

참고

클러스터의 NUMA 리소스 토폴로지 내보내기 인스턴스의 이름을 참조하는 노드의 이름을 지정하는 것이 좋습니다. 예를 들어 이름이 worker인 작업자 노드에는 worker 라는 해당 noderesourcetopologies 오브젝트가 있어야 합니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. NUMA 리소스 Operator에서 관리하는 데몬 세트를 가져옵니다. 각 daemonset에는 NUMAResourcesOperator CR에 해당 nodeGroup 이 있습니다. 다음 명령을 실행합니다. 

    $ oc get numaresourcesoperators.nodetopology.openshift.io numaresourcesoperator -o jsonpath="{.status.daemonsets[0]}"
    Copy to Clipboard Toggle word wrap

    출력 예

    {"name":"numaresourcesoperator-worker","namespace":"openshift-numaresources"}
    Copy to Clipboard Toggle word wrap

  2. 이전 단계의 이름 값을 사용하여 관심 있는 daemonset의 레이블을 가져옵니다. 

    $ oc get ds -n openshift-numaresources numaresourcesoperator-worker -o jsonpath="{.spec.selector.matchLabels}"
    Copy to Clipboard Toggle word wrap

    출력 예

    {"name":"resource-topology"}
    Copy to Clipboard Toggle word wrap

  3. 다음 명령을 실행하여 resource-topology 레이블을 사용하여 Pod를 가져옵니다. 

    $ oc get pods -n openshift-numaresources -l name=resource-topology -o wide
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                 READY   STATUS    RESTARTS   AGE    IP            NODE
numaresourcesoperator-worker-5wm2k   2/2     Running   0          2d1h   10.135.0.64   compute-0.example.com
numaresourcesoperator-worker-pb75c   2/2     Running   0          2d1h   10.132.2.33   compute-1.example.com
    Copy to Clipboard Toggle word wrap

  4. 문제 해결 노드에 해당하는 작업자 Pod에서 실행되는 resource-topology-exporter 컨테이너의 로그를 검사합니다. 다음 명령을 실행합니다. 

    $ oc logs -n openshift-numaresources -c resource-topology-exporter numaresourcesoperator-worker-pb75c
    Copy to Clipboard Toggle word wrap

    출력 예

    I0221 13:38:18.334140       1 main.go:206] using sysinfo:
reservedCpus: 0,1
reservedMemory:
  "0": 1178599424
I0221 13:38:18.334370       1 main.go:67] === System information ===
I0221 13:38:18.334381       1 sysinfo.go:231] cpus: reserved "0-1"
I0221 13:38:18.334493       1 sysinfo.go:237] cpus: online "0-103"
I0221 13:38:18.546750       1 main.go:72]
cpus: allocatable "2-103"
hugepages-1Gi:
  numa cell 0 -> 6
  numa cell 1 -> 1
hugepages-2Mi:
  numa cell 0 -> 64
  numa cell 1 -> 128
memory:
  numa cell 0 -> 45758Mi
  numa cell 1 -> 48372Mi
    Copy to Clipboard Toggle word wrap

6.6.3. 누락된 리소스 토폴로지 내보내기 구성 맵 수정
링크 복사

경우에 따라 클러스터 설정이 잘못 구성된 클러스터에 NUMA 리소스 Operator를 설치하는 경우 Operator가 활성으로 표시되지만 리소스 토폴로지 내보내기(RTE) 데몬 세트 Pod의 로그에 RTE의 구성이 누락된 것으로 표시됩니다. 

Info: couldn't find configuration in "/etc/resource-topology-exporter/config.yaml"
Copy to Clipboard Toggle word wrap

이 로그 메시지는 필요한 구성이 있는 kubeletconfig 가 클러스터에 제대로 적용되지 않아 RTE 구성 맵이 누락되었음을 나타냅니다. 예를 들어 다음 클러스터에는 numaresourcesoperator-worker configmap CR(사용자 정의 리소스)이 없습니다. 

$ oc get configmap
Copy to Clipboard Toggle word wrap

출력 예

NAME                           DATA   AGE
0e2a6bd3.openshift-kni.io      0      6d21h
kube-root-ca.crt               1      6d21h
openshift-service-ca.crt       1      6d21h
topo-aware-scheduler-config    1      6d18h
Copy to Clipboard Toggle word wrap

올바르게 구성된 클러스터에서 oc get configmap 도 numaresourcesoperator-worker configmap CR을 반환합니다.

사전 요구 사항

  • OpenShift Container Platform CLI (oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • NUMA 리소스 Operator를 설치하고 NUMA 인식 보조 스케줄러를 배포합니다.

절차

  1. 다음 명령을 사용하여 kubeletconfig 의 spec.machineConfigPoolSelector.matchLabels 값과 MachineConfigPool (mcp) worker CR의 metadata.labels 값을 비교합니다.

    1. 다음 명령을 실행하여 kubeletconfig 라벨을 확인합니다. 

      $ oc get kubeletconfig -o yaml
      Copy to Clipboard Toggle word wrap

      출력 예

      machineConfigPoolSelector:
  matchLabels:
    cnf-worker-tuning: enabled
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 mcp 레이블을 확인합니다. 

      $ oc get mcp worker -o yaml
      Copy to Clipboard Toggle word wrap

      출력 예

      labels:
  machineconfiguration.openshift.io/mco-built-in: ""
  pools.operator.machineconfiguration.openshift.io/worker: ""
      Copy to Clipboard Toggle word wrap

      cnf-worker-tuning: enabled 레이블은 MachineConfigPool 오브젝트에 존재하지 않습니다.

  2. 누락된 레이블을 포함하도록 MachineConfigPool CR을 편집합니다. 예를 들면 다음과 같습니다. 

    $ oc edit mcp worker -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    labels:
  machineconfiguration.openshift.io/mco-built-in: ""
  pools.operator.machineconfiguration.openshift.io/worker: ""
  cnf-worker-tuning: enabled
    Copy to Clipboard Toggle word wrap

  3. 레이블 변경 사항을 적용하고 클러스터가 업데이트된 구성을 적용할 때까지 기다립니다. 다음 명령을 실행합니다.

검증

  • 누락된 numaresourcesoperator-worker configmap CR이 적용되었는지 확인합니다. 

    $ oc get configmap
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                           DATA   AGE
0e2a6bd3.openshift-kni.io      0      6d21h
kube-root-ca.crt               1      6d21h
numaresourcesoperator-worker   1      5m
openshift-service-ca.crt       1      6d21h
topo-aware-scheduler-config    1      6d18h
    Copy to Clipboard Toggle word wrap

7장. Cluster Monitoring Operator 스케일링
링크 복사

OpenShift Container Platform에서는 Cluster Monitoring Operator가 수집하여 Prometheus 기반 모니터링 스택에 저장하는 지표를 공개합니다. 관리자는 Observe → Dashboards 로 이동하여 OpenShift Container Platform 웹 콘솔의 시스템 리소스, 컨테이너 및 구성 요소 지표에 대한 대시보드를 볼 수 있습니다.

7.1. Prometheus 데이터베이스 스토리지 요구사항
링크 복사

Red Hat은 여러 스케일링 크기에 대해 다양한 테스트를 수행했습니다.

참고

아래 Prometheus 스토리지 요구 사항은 규범이 아니며 참조로 사용해야 합니다. Prometheus에서 수집한 메트릭을 노출하는 Pod, 컨테이너, 경로 또는 기타 리소스 수를 포함하여 워크로드 활동 및 리소스 밀도에 따라 클러스터에서 리소스 사용량이 증가할 수 있습니다.

Expand
표 7.1. 클러스터의 노드/Pod 수에 따른 Prometheus 데이터베이스 스토리지 요구사항
노드 수Pod 수 (2 Pod당 컨테이너)Prometheus 스토리지 증가(1일당)Prometheus 스토리지 증가(15일당)네트워크(tsdb 청크당)

50

1800

6.3GB

94GB

16MB

100

3600

13GB

195GB

26MB

150

5400

19GB

283GB

36MB

200

7200

25GB

375GB

46MB

스토리지 요구사항이 계산된 값을 초과하지 않도록 예상 크기의 약 20%가 오버헤드로 추가되었습니다.

위의 계산은 기본 OpenShift Container Platform Cluster Monitoring Operator용입니다.

참고

CPU 사용률은 약간의 영향을 미칩니다. 50개 노드 및 1,800개 Pod당 비율이 약 40개 중 1개 코어입니다.

OpenShift Container Platform 권장 사항

  • 인프라(infra) 노드를 두 개 이상 사용합니다.
  • SSD 또는 NVMe(Non-volatile Memory express) 드라이브를 사용하여 openshift-container-storage 노드를 3개 이상 사용합니다.

7.2. 클러스터 모니터링 구성
링크 복사

클러스터 모니터링 스택에서 Prometheus 구성 요소의 스토리지 용량을 늘릴 수 있습니다.

절차

Prometheus의 스토리지 용량을 늘리려면 다음을 수행합니다.

  1. YAML 구성 파일 cluster-monitoring-config.yaml 을 생성합니다. 예를 들어 다음과 같습니다. 

    apiVersion: v1
kind: ConfigMap
data:
  config.yaml: |
    prometheusK8s:
      retention: {{PROMETHEUS_RETENTION_PERIOD}}
    1 
    
      nodeSelector:
        node-role.kubernetes.io/infra: ""
      volumeClaimTemplate:
        spec:
          storageClassName: {{STORAGE_CLASS}}
    2 
    
          resources:
            requests:
              storage: {{PROMETHEUS_STORAGE_SIZE}}
    3 
    
    alertmanagerMain:
      nodeSelector:
        node-role.kubernetes.io/infra: ""
      volumeClaimTemplate:
        spec:
          storageClassName: {{STORAGE_CLASS}}
    4 
    
          resources:
            requests:
              storage: {{ALERTMANAGER_STORAGE_SIZE}}
    5 
    
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
    Copy to Clipboard Toggle word wrap
    1
    Prometheus 보존의 기본값은 PROMETHEUS_RETENTION_PERIOD=15d 입니다. 단위는 s, m, h, d 접미사 중 하나를 사용하는 시간으로 측정됩니다.
    2 4
    클러스터의 스토리지 클래스입니다.
    3
    일반적인 값은 PROMETHEUS_STORAGE_SIZE=2000Gi입니다. 스토리지 값은 일반 정수 또는 E, P, T, G, M, K 접미사 중 하나를 사용하는 고정 지점 정수일 수 있습니다. Ei, Pi, Ti, Gi, Mi, Ki의 power-of-two를 사용할 수도 있습니다.
    5
    일반적인 값은 ALERTMANAGER_STORAGE_SIZE=20Gi입니다. 스토리지 값은 일반 정수 또는 E, P, T, G, M, K 접미사 중 하나를 사용하는 고정 지점 정수일 수 있습니다. Ei, Pi, Ti, Gi, Mi, Ki의 power-of-two를 사용할 수도 있습니다.
  2. 보존 기간, 스토리지 클래스 및 스토리지 크기에 대한 값을 추가합니다.
  3. 파일을 저장합니다.

  4. 다음을 실행하여 변경사항을 적용합니다. 

    $ oc create -f cluster-monitoring-config.yaml
    Copy to Clipboard Toggle word wrap

8장. 오브젝트 최대값에 따른 환경 계획
링크 복사

OpenShift Container Platform 클러스터를 계획하는 경우 다음과 같은 테스트된 오브젝트 최대값을 고려하십시오.

이러한 지침은 가능한 가장 큰 클러스터를 기반으로 합니다. 크기가 작은 클러스터의 경우 최대값이 더 낮습니다. etcd 버전 또는 스토리지 데이터 형식을 비롯하여 명시된 임계값에 영향을 주는 요인은 여러 가지가 있습니다.

중요

이러한 지침은 OVN(Open Virtual Network)이 아닌 SDN(소프트웨어 정의 네트워킹)을 사용하는 OpenShift Container Platform에 적용됩니다.

대부분의 경우 이러한 수치를 초과하면 전체 성능이 저하됩니다. 반드시 클러스터가 실패하는 것은 아닙니다.

주의

Pod 시작 및 중지 Pod와 같이 빠른 변경이 발생하는 클러스터는 문서화된 것보다 실제 가능한 최대 크기를 줄일 수 있습니다.

OpenShift Container Platform 3.x에 대해 테스트된 클라우드 플랫폼은 RHOSP(Red Hat OpenStack Platform), Amazon Web Services 및 Microsoft Azure입니다. OpenShift Container Platform 4.x에 대해 테스트된 클라우드 플랫폼은 Amazon Web Services, Microsoft Azure 및 Google Cloud Platform입니다.

Expand
최대값 유형3.x 테스트된 최대값4.x 테스트된 최대값

노드 수

2,000

2,000 [1]

Pod 수 [2]

150,000

150,000

노드당 Pod 수

250

500 [3]

코어당 Pod 수

기본값 없음

기본값 없음

네임스페이스 수 [4]

10,000

10,000

빌드 수

10,000(기본 Pod RAM 512Mi) - Pipeline 전략

10,000(기본 Pod RAM 512Mi) - S2I(Source-to-Image) 빌드 전략

네임스페이스당 Pod 수 [5]

25,000

25,000

Ingress 컨트롤러당 경로 및 백엔드 수

라우터당 2,000개

라우터당 2,000개

보안 수

80,000

80,000

구성 맵 수

90,000

90,000

서비스 수 [6]

10,000

10,000

네임스페이스당 서비스 수

5,000

5,000

서비스당 백엔드 수

5,000

5,000

네임스페이스당 배포 수 [5]

2,000

2,000

빌드 구성 수

12,000

12,000

CRD(사용자 정의 리소스 정의) 수

기본값 없음

512 [7]

  1. 2000개의 노드 규모에서 OpenShift Container Platform의 컨트롤 플레인 구성 요소를 강조하기 위해 일시 정지 Pod가 배포되었습니다.
  2. 여기에 표시된 Pod 수는 테스트 Pod 수입니다. 실제 Pod 수는 애플리케이션 메모리, CPU 및 스토리지 요구사항에 따라 달라집니다.
  3. 이 테스트는 작업자 노드가 100개이며 작업자 노드당 Pod가 500개인 클러스터에서 수행되었습니다. 기본 maxPods는 계속 250입니다. maxPods가 500이 되도록 하려면 사용자 정의 kubelet 구성을 사용하여 500으로 설정된 maxPods가 포함된 클러스터를 생성해야 합니다. 500개의 사용자 Pod가 필요한 경우 노드에서 이미 실행되고 있는 시스템 Pod가 10~15개가 있으므로 hostPrefix 22가 필요합니다. 연결된 PVC(영구 볼륨 클레임)가 있는 Pod의 최대 수는 PVC가 할당된 스토리지 백엔드에 따라 달라집니다. 이 테스트에서는 OpenShift Data Foundation v4(OCS v4)만 이 문서에서 설명하는 노드당 Pod 수를 충족할 수 있었습니다.
  4. 활성 프로젝트 수가 많은 경우 키 공간이 지나치게 커져서 공간 할당량을 초과하면 etcd 성능이 저하될 수 있습니다. etcd 스토리지를 확보하려면 조각 모음을 포함하여 etcd를 정기적으로 유지 관리하는 것이 좋습니다.
  5. 시스템에는 일부 상태 변경에 대한 대응으로 지정된 네임스페이스의 모든 오브젝트에서 반복해야 하는 컨트롤 루프가 많습니다. 단일 네임스페이스에 지정된 유형의 오브젝트가 많이 있으면 루프 비용이 많이 들고 지정된 상태 변경 처리 속도가 느려질 수 있습니다. 이 제한을 적용하면 애플리케이션 요구사항을 충족하기에 충분한 CPU, 메모리 및 디스크가 시스템에 있다고 가정합니다.
  6. 각 서비스 포트와 각 서비스 백엔드는 iptables에 해당 항목이 있습니다. 지정된 서비스의 백엔드 수는 끝점 오브젝트의 크기에 영향을 미치므로 시스템 전체에서 전송되는 데이터의 크기에 영향을 미칩니다.
  7. OpenShift Container Platform에는 OpenShift Container Platform에 의해 설치된 제품, OpenShift Container Platform 및 사용자 생성 CRD와 통합되는 제품을 포함한 512개 총 CRD(사용자 정의 리소스 정의) 제한이 있습니다. 512개 이상의 CRD가 생성된 경우 oc 명령 요청이 제한될 수 있습니다.
참고

Red Hat은 OpenShift Container Platform 클러스터 크기 조정에 대한 직접적인 지침을 제공하지 않습니다. 이는 클러스터가 OpenShift Container Platform의 지원되는 경계 내에 있는지 확인하려면 클러스터 규모를 제한하는 모든 다차원 요소를 신중하게 고려해야 하기 때문입니다.

8.2.1. AWS 클라우드 플랫폼
링크 복사

Expand
노드플레이버vCPURAM(GiB)디스크 유형디스크 크기(GiB)/IOS수량리전

컨트롤 플레인/etcd [1]

r5.4xlarge

16

128

gp3

220

3

us-west-2

인프라 [2]

m5.12xlarge

48

192

gp3

100

3

us-west-2

워크로드 [3]

m5.4xlarge

16

64

gp3

500 [4]

1

us-west-2

Compute

m5.2xlarge

8

32

gp3

100

3/25/250/500 [5]

us-west-2

  1. etcd는 대기 시간에 민감하기 때문에 3000 IOPS 및 125MiB의 성능이 있는 gp3 디스크는 컨트롤 플레인/etcd 노드에 사용됩니다. gp3 볼륨은 버스트 성능을 사용하지 않습니다.
  2. 인프라 노드는 모니터링, Ingress 및 레지스트리 구성 요소를 호스팅하는데 사용되어 대규모로 실행할 수 있는 충분한 리소스가 있는지 확인합니다.
  3. 워크로드 노드는 성능 및 확장 가능한 워크로드 생성기 실행 전용입니다.
  4. 성능 및 확장성 테스트 실행 중에 수집되는 대량의 데이터를 저장할 수 있는 충분한 공간을 확보 할 수 있도록 큰 디스크 크기가 사용됩니다.
  5. 클러스터는 반복적으로 확장되며 성능 및 확장성 테스트는 지정된 노드 수에 따라 실행됩니다.

8.2.2. IBM Power 플랫폼
링크 복사

Expand
노드vCPURAM(GiB)디스크 유형디스크 크기(GiB)/IOS수량

컨트롤 플레인/etcd [1]

16

32

io1

GiB당 120 / 10 IOPS

3

인프라 [2]

16

64

gp2

120

2

워크로드 [3]

16

256

gp2

120 [4]

1

Compute

16

64

gp2

120

2~100 [5]

  1. etcd는 I/O 집약적이고 지연 시간에 민감하므로 GiB당 120 / 10 IOPS가 있는 io1 디스크는 컨트롤 플레인/etcd 노드에 사용됩니다.
  2. 인프라 노드는 모니터링, Ingress 및 레지스트리 구성 요소를 호스팅하는데 사용되어 대규모로 실행할 수 있는 충분한 리소스가 있는지 확인합니다.
  3. 워크로드 노드는 성능 및 확장 가능한 워크로드 생성기 실행 전용입니다.
  4. 성능 및 확장성 테스트 실행 중에 수집되는 대량의 데이터를 저장할 수 있는 충분한 공간을 확보 할 수 있도록 큰 디스크 크기가 사용됩니다.
  5. 클러스터는 반복으로 확장됩니다.

8.2.3. IBM Z 플랫폼
링크 복사

Expand
노드vCPU [4]RAM(GiB)[5]디스크 유형디스크 크기(GiB)/IOS수량

컨트롤 플레인/etcd [1,2]

8

32

ds8k

300 / LCU 1

3

Compute [1,3]

8

32

ds8k

150 / LCU 2

노드 4개 (노드당 100/250/500 Pod로 확장)

  1. etcd는 I/O 집약적이고 지연 시간에 민감하므로 두 개의 논리 제어 단위(LCU)에 분산되어 컨트롤 플레인/etcd 노드의 디스크 I/O 로드를 최적화합니다. etcd I/O 수요가 다른 워크로드를 방해하지 않아야 합니다.
  2. 컴퓨팅 노드 4개가 동시에 100/250/500개의 Pod로 여러 반복을 실행하는 테스트에 사용됩니다. 먼저 유휴 Pod를 사용하여 Pod를 인스턴스할 수 있는지 평가합니다. 다음으로, 네트워크 및 CPU의 우선 순위 클라이언트/서버 워크로드가 강조되는 시스템의 안정성을 평가하는 데 사용되었습니다. 클라이언트 및 서버 Pod가 쌍으로 배포되었으며 각 쌍이 두 개의 컴퓨팅 노드에 분배되었습니다.
  3. 별도의 워크로드 노드가 사용되지 않았습니다. 워크로드는 두 개의 컴퓨팅 노드 간에 마이크로 서비스 워크로드를 시뮬레이션합니다.
  4. 사용되는 물리적 프로세서 수는 6개의 IIFL(Integrated F facility)입니다.
  5. 사용된 총 물리 메모리는 512GiB입니다.

8.3. 테스트된 클러스터 최대값에 따라 환경을 계획하는 방법
링크 복사

중요

노드에서 물리적 리소스에 대한 서브스크립션을 초과하면 Pod를 배치하는 동안 Kubernetes 스케줄러가 보장하는 리소스에 영향을 미칩니다. 메모리 교체가 발생하지 않도록 하기 위해 수행할 수 있는 조치를 알아보십시오.

테스트된 최대값 중 일부는 단일 차원에서만 확장됩니다. 클러스터에서 실행되는 오브젝트가 많으면 최대값이 달라집니다.

이 문서에 명시된 수치는 Red Hat의 테스트 방법론, 설정, 구성, 튜닝을 기반으로 한 것입니다. 고유한 개별 설정 및 환경에 따라 수치가 달라질 수 있습니다.

환경을 계획하는 동안 노드당 몇 개의 Pod가 적합할 것으로 예상되는지 결정하십시오. 

required pods per cluster / pods per node = total number of nodes needed
Copy to Clipboard Toggle word wrap

노드당 기본 최대 Pod 수는 250입니다. 하지만 노드에 적합한 Pod 수는 애플리케이션 자체에 따라 달라집니다. "애플리케이션 요구 사항에 따라 환경을 계획하는 방법"에 설명된 대로 애플리케이션의 메모리, CPU 및 스토리지 요구 사항을 고려하십시오.

시나리오 예

클러스터당 2,200개의 Pod로 클러스터 규모를 지정하려면 노드당 최대 500개의 Pod가 있다고 가정하여 최소 5개의 노드가 있어야 합니다. 

2200 / 500 = 4.4
Copy to Clipboard Toggle word wrap

노드 수를 20으로 늘리면 Pod 배포는 노드당 110개 Pod로 변경됩니다. 

2200 / 20 = 110
Copy to Clipboard Toggle word wrap

다음과 같습니다. 

required pods per cluster / total number of nodes = expected pods per node
Copy to Clipboard Toggle word wrap

OpenShift Container Platform에는 SDN, DNS, Operator 등과 같은 여러 시스템 Pod가 제공되며 기본적으로 모든 작업자 노드에서 실행됩니다. 따라서 위 공식의 결과는 다를 수 있습니다.

8.4. 애플리케이션 요구사항에 따라 환경을 계획하는 방법
링크 복사

예에 나온 애플리케이션 환경을 고려해 보십시오.

Expand
Pod 유형Pod 수량최대 메모리CPU 코어 수영구 스토리지

apache

100

500MB

0.5

1GB

node.js

200

1GB

1

1GB

postgresql

100

1GB

2

10GB

JBoss EAP

100

1GB

1

1GB

예상 요구사항은 CPU 코어 550개, RAM 450GB 및 스토리지 1.4TB입니다.

노드의 인스턴스 크기는 기본 설정에 따라 높게 또는 낮게 조정될 수 있습니다. 노드에서는 리소스 초과 커밋이 발생하는 경우가 많습니다. 이 배포 시나리오에서는 동일한 양의 리소스를 제공하는 데 더 작은 노드를 추가로 실행하도록 선택할 수도 있고 더 적은 수의 더 큰 노드를 실행하도록 선택할 수도 있습니다. 운영 민첩성 및 인스턴스당 비용과 같은 요인을 고려해야 합니다.

Expand
노드 유형수량CPURAM(GB)

노드(옵션 1)

100

4

16

노드(옵션 2)

50

8

32

노드(옵션 3)

25

16

64

어떤 애플리케이션은 초과 커밋된 환경에 적합하지만 어떤 애플리케이션은 그렇지 않습니다. 대부분의 Java 애플리케이션과 대규모 페이지를 사용하는 애플리케이션은 초과 커밋에 적합하지 않은 애플리케이션의 예입니다. 해당 메모리는 다른 애플리케이션에 사용할 수 없습니다. 위의 예에 나온 환경에서는 초과 커밋이 약 30%이며, 이는 일반적으로 나타나는 비율입니다.

애플리케이션 Pod는 환경 변수 또는 DNS를 사용하여 서비스에 액세스할 수 있습니다. 환경 변수를 사용하는 경우 노드에서 Pod가 실행될 때 활성 서비스마다 kubelet을 통해 변수를 삽입합니다. 클러스터 인식 DNS 서버는 새로운 서비스의 Kubernetes API를 확인하고 각각에 대해 DNS 레코드 세트를 생성합니다. 클러스터 전체에서 DNS가 활성화된 경우 모든 Pod가 자동으로 해당 DNS 이름을 통해 서비스를 확인할 수 있어야 합니다. 서비스가 5,000개를 넘어야 하는 경우 DNS를 통한 서비스 검색을 사용할 수 있습니다. 서비스 검색에 환경 변수를 사용하는 경우 네임스페이스에서 서비스가 5,000개를 넘은 후 인수 목록이 허용되는 길이를 초과하면 Pod 및 배포가 실패하기 시작합니다. 이 문제를 해결하려면 배포의 서비스 사양 파일에서 서비스 링크를 비활성화하십시오. 

---
apiVersion: template.openshift.io/v1
kind: Template
metadata:
  name: deployment-config-template
  creationTimestamp:
  annotations:
    description: This template will create a deploymentConfig with 1 replica, 4 env vars and a service.
    tags: ''
objects:
- apiVersion: apps.openshift.io/v1
  kind: DeploymentConfig
  metadata:
    name: deploymentconfig${IDENTIFIER}
  spec:
    template:
      metadata:
        labels:
          name: replicationcontroller${IDENTIFIER}
      spec:
        enableServiceLinks: false
        containers:
        - name: pause${IDENTIFIER}
          image: "${IMAGE}"
          ports:
          - containerPort: 8080
            protocol: TCP
          env:
          - name: ENVVAR1_${IDENTIFIER}
            value: "${ENV_VALUE}"
          - name: ENVVAR2_${IDENTIFIER}
            value: "${ENV_VALUE}"
          - name: ENVVAR3_${IDENTIFIER}
            value: "${ENV_VALUE}"
          - name: ENVVAR4_${IDENTIFIER}
            value: "${ENV_VALUE}"
          resources: {}
          imagePullPolicy: IfNotPresent
          capabilities: {}
          securityContext:
            capabilities: {}
            privileged: false
        restartPolicy: Always
        serviceAccount: ''
    replicas: 1
    selector:
      name: replicationcontroller${IDENTIFIER}
    triggers:
    - type: ConfigChange
    strategy:
      type: Rolling
- apiVersion: v1
  kind: Service
  metadata:
    name: service${IDENTIFIER}
  spec:
    selector:
      name: replicationcontroller${IDENTIFIER}
    ports:
    - name: serviceport${IDENTIFIER}
      protocol: TCP
      port: 80
      targetPort: 8080
    clusterIP: ''
    type: ClusterIP
    sessionAffinity: None
  status:
    loadBalancer: {}
parameters:
- name: IDENTIFIER
  description: Number to append to the name of resources
  value: '1'
  required: true
- name: IMAGE
  description: Image to use for deploymentConfig
  value: gcr.io/google-containers/pause-amd64:3.0
  required: false
- name: ENV_VALUE
  description: Value to use for environment variables
  generate: expression
  from: "[A-Za-z0-9]{255}"
  required: false
labels:
  template: deployment-config-template
Copy to Clipboard Toggle word wrap

네임스페이스에서 실행할 수 있는 애플리케이션 Pod 수는 서비스 검색에 환경 변수가 사용될 때 서비스 수와 서비스 이름의 길이에 따라 달라집니다. ARG_MAX 는 새 프로세스의 최대 인수 길이를 정의하고 기본적으로 2097152바이트(2MiB)로 설정됩니다. Kubelet은 네임스페이스에서 실행되도록 예약된 각 pod에 환경 변수를 삽입합니다. 여기에는 다음이 포함됩니다.

  • <SERVICE_NAME>_SERVICE_HOST=<IP>
  • <SERVICE_NAME>_SERVICE_PORT=<PORT>
  • <SERVICE_NAME>_PORT=tcp://<IP>:<PORT>
  • <SERVICE_NAME>_PORT_<PORT>_TCP=tcp://<IP>:<PORT>
  • <SERVICE_NAME>_PORT_<PORT>_TCP_PROTO=tcp
  • <SERVICE_NAME>_PORT_<PORT>_TCP_PORT=<PORT>
  • <SERVICE_NAME>_PORT_<PORT>_TCP_ADDR=<ADDR>

인수 길이가 허용된 값을 초과하고 서비스 이름의 문자 수에 영향을 미치는 경우 네임스페이스의 Pod가 실패합니다. 예를 들어, 5000개의 서비스가 있는 네임스페이스에서 서비스 이름의 제한은 33자이며, 네임스페이스에서 5000개의 Pod를 실행할 수 있습니다.

9장. 스토리지 최적화
링크 복사

스토리지를 최적화하면 모든 리소스에서 스토리지 사용을 최소화할 수 있습니다. 관리자는 스토리지를 최적화하여 기존 스토리지 리소스가 효율적으로 작동하도록 합니다.

9.1. 사용 가능한 영구 스토리지 옵션
링크 복사

OpenShift Container Platform 환경을 최적화할 수 있도록 영구 스토리지 옵션에 대해 알아보십시오.

Expand
표 9.1. 사용 가능한 스토리지 옵션
스토리지 유형설명예

블록

  • 운영 체제(OS)에 블록 장치로 제공됩니다.
  • 스토리지에 대한 모든 권한이 필요하며 파일 시스템을 우회하여 파일의 낮은 수준에서 작동하는 애플리케이션에 적합합니다.
  • SAN(Storage Area Network)이라고도 합니다.
  • 공유가 불가능합니다. 즉, 한 번에 하나의 클라이언트만 이 유형의 끝점을 마운트할 수 있습니다.

AWS EBS 및 VMware vSphere는 OpenShift Container Platform에서 기본적으로 동적 PV(영구 볼륨) 프로비저닝을 지원합니다.

파일

  • OS에 마운트할 파일 시스템 내보내기로 제공됩니다.
  • NAS(Network Attached Storage)라고도 합니다.
  • 동시성, 대기 시간, 파일 잠금 메커니즘 및 기타 기능은 프로토콜, 구현, 벤더 및 스케일링에 따라 크게 다릅니다.

RHEL NFS, NetApp NFS [1] 및 Vendor NFS

개체

  • REST API 끝점을 통해 액세스할 수 있습니다.
  • OpenShift 이미지 레지스트리에서 사용할 수 있도록 구성 가능
  • 애플리케이션에서 해당 드라이버를 애플리케이션 및/또는 컨테이너에 빌드해야 합니다.

AWS S3

  1. NetApp NFS는 Trident 플러그인을 사용할 때 동적 PV 프로비저닝을 지원합니다.

9.3. 데이터 스토리지 관리
링크 복사

다음 표에는 OpenShift Container Platform 구성 요소가 데이터를 쓰는 기본 디렉터리가 요약되어 있습니다.

Expand
표 9.3. OpenShift Container Platform 데이터를 저장하는 기본 디렉터리
디렉터리참고크기 조정예상 증가

/var/log

모든 구성 요소의 로그 파일입니다.

10~30GB입니다.

로그 파일이 빠르게 증가할 수 있습니다. 크기는 디스크를 늘리거나 로그 회전을 사용하여 관리할 수 있습니다.

/var/lib/etcd

데이터베이스를 저장할 때 etcd 스토리지에 사용됩니다.

20GB 미만입니다.

데이터베이스는 최대 8GB까지 증가할 수 있습니다.

환경과 함께 천천히 증가합니다. 메타데이터만 저장합니다.

추가로 메모리가 8GB 증가할 때마다 추가로 20~25GB가 증가합니다.

/var/lib/containers

CRI-O 런타임의 마운트 옵션입니다. Pod를 포함한 활성 컨테이너 런타임에 사용되는 스토리지 및 로컬 이미지 스토리지입니다. 레지스트리 스토리지에는 사용되지 않습니다.

16GB 메모리가 있는 노드의 경우 50GB가 증가합니다. 이 크기 조정은 최소 클러스터 요구사항을 결정하는 데 사용하면 안 됩니다.

추가로 메모리가 8GB 증가할 때마다 추가로 20~25GB가 증가합니다.

컨테이너 실행 용량에 의해 증가가 제한됩니다.

/var/lib/kubelet

Pod용 임시 볼륨 스토리지입니다. 런타임 시 컨테이너로 마운트된 외부 요소가 모두 포함됩니다. 영구 볼륨에서 지원하지 않는 환경 변수, kube 보안 및 데이터 볼륨이 포함됩니다.

변동 가능

스토리지가 필요한 Pod가 영구 볼륨을 사용하는 경우 최소입니다. 임시 스토리지를 사용하는 경우 빠르게 증가할 수 있습니다.

9.4. Microsoft Azure의 스토리지 성능 최적화
링크 복사

OpenShift Container Platform 및 Kubernetes는 디스크 성능에 민감하며 특히 컨트롤 플레인 노드의 etcd에 더 빠른 스토리지를 사용하는 것이 좋습니다.

워크로드가 집약적인 프로덕션 Azure 클러스터 및 클러스터의 경우 컨트롤 플레인 머신용 가상 머신 운영 체제 디스크는 5000 IOPS / 200MBps의 테스트된 권장 최소 처리량을 유지할 수 있어야 합니다. 이 처리량은 최소 1 TiB Premium SSD (P30)를 보유하여 제공할 수 있습니다. Azure 및 Azure Stack Hub에서 디스크 성능은 SSD 디스크 크기에 직접 따라 달라집니다. Standard_D8s_v3 가상 머신 또는 기타 유사한 머신 유형 및 5000 IOPS 대상에서 지원하는 처리량을 달성하려면 최소 P30 디스크가 필요합니다.

짧은 대기 시간과 높은 IOPS 및 처리량은 데이터를 읽을 때 호스트 캐싱을 ReadOnly 로 설정해야 합니다. VM 메모리 또는 로컬 SSD 디스크에 있는 캐시에서 데이터를 읽는 것은 Blob 스토리지에 있는 디스크에서 데이터를 읽는 것보다 훨씬 빠릅니다.

10장. 라우팅 최적화
링크 복사

OpenShift Container Platform HAProxy 라우터는 성능을 최적화하도록 확장 또는 구성할 수 있습니다.

10.1. 기본 Ingress 컨트롤러(라우터) 성능
링크 복사

OpenShift Container Platform Ingress 컨트롤러 또는 라우터는 경로 및 인그레스를 사용하여 구성된 애플리케이션 및 서비스의 수신 트래픽의 수신 지점입니다.

초당 처리된 HTTP 요청 측면에서 단일 HAProxy 라우터 성능을 평가할 때 성능은 여러 요인에 따라 달라집니다. 특히 중요한 요인은 다음과 같습니다.

  • HTTP 연결 유지/닫기 모드
  • 경로 유형
  • TLS 세션 재개 클라이언트 지원
  • 대상 경로당 동시 연결 수
  • 대상 경로 수
  • 백엔드 서버 페이지 크기
  • 기본 인프라(네트워크/SDN 솔루션, CPU 등)

특정 환경의 성능은 달라질 수 있으나 Red Hat 랩은 크기가 4 vCPU/16GB RAM인 퍼블릭 클라우드 인스턴스에서 테스트합니다. 1kB 정적 페이지를 제공하는 백엔드에서 종료한 100개의 경로를 처리하는 단일 HAProxy 라우터가 처리할 수 있는 초당 트랜잭션 수는 다음과 같습니다.

HTTP 연결 유지 모드 시나리오에서는 다음과 같습니다.

Expand
EncryptionLoadBalancerServiceHostNetwork

none

21515

29622

edge

16743

22913

passthrough

36786

53295

re-encrypt

21583

25198

HTTP 닫기(연결 유지 제외) 시나리오에서는 다음과 같습니다.

Expand
EncryptionLoadBalancerServiceHostNetwork

none

5719

8273

edge

2729

4069

passthrough

4121

5344

re-encrypt

2320

2941

기본 Ingress 컨트롤러 구성은 spec.tuningOptions.threadCount 필드에서 4 로 설정된 상태에서 사용되었습니다. 두 가지 엔드 포인트 게시 전략이 테스트되었습니다: Load Balancer Service 및 Host Network. 암호화된 경로에는 TLS 세션 재개가 사용되었습니다. HTTP keep-alive를 사용하면 단일 HAProxy 라우터가 8kB의 작은 페이지 크기에서 1Gbit NIC를 포화시킬 수 있습니다.

최신 프로세서가 있는 베어 메탈에서 실행하는 경우 성능이 위 퍼블릭 클라우드 인스턴스의 약 2배가 될 것을 예상할 수 있습니다. 이 오버헤드는 퍼블릭 클라우드에서 가상화 계층에 의해 도입되며 프라이빗 클라우드 기반 가상화에도 적용됩니다. 다음 표는 라우터 뒤에서 사용할 애플리케이션 수에 대한 가이드입니다.

Expand
애플리케이션 수애플리케이션 유형

5-10

정적 파일/웹 서버 또는 캐싱 프록시

100-1000

동적 콘텐츠를 생성하는 애플리케이션

일반적으로 HAProxy는 사용 중인 기술에 따라 최대 1000개의 애플리케이션 경로를 지원할 수 있습니다. Ingress 컨트롤러 성능은 언어 또는 정적 콘텐츠 대비 동적 콘텐츠 등 지원하는 애플리케이션의 기능과 성능에 따라 제한될 수 있습니다.

Ingress 또는 라우터 샤딩을 사용하여 애플리케이션에 대한 경로를 더 많이 제공하면 라우팅 계층을 수평으로 확장하는 데 도움이 됩니다.

Ingress 샤딩에 대한 자세한 내용은 경로 라벨을 사용하여 Ingress 컨트롤러 샤 딩 구성 및 네임스페이스 레이블 을 사용하여 Ingress 컨트롤러 샤딩 구성을 참조하십시오.

tuningOptions 에 대한 자세한 내용은 Ingress 컨트롤러 구성 매개변수를 참조하십시오.

시간 초과 및 Ingress 컨트롤러 사양의 기타 튜닝 구성에 대한 스레드 및 Ingress 컨트롤러 구성 매개변수 설정에 제공된 정보를 사용하여 Ingress 컨트롤러 배포를 수정할 수 있습니다.

11장. 네트워킹 최적화
링크 복사

OpenShift SDN 은 OpenvSwitch, VXLAN(Virtual extensible LAN) 터널, OpenFlow 규칙 및 iptables를 사용합니다. 이 네트워크는 점보 프레임, NIC(네트워크 인터페이스 컨트롤러) 오프로드, 멀티 큐, ethtool 설정을 사용하여 조정할 수 있습니다.

OVN-Kubernetes 는 VXLAN 대신 Geneve(Generic Network Virtualization Encapsulation)를 터널 프로토콜로 사용합니다.

VXLAN은 VLAN에 비해 네트워크 수가 4096개에서 1600만 개 이상으로 증가하고 물리적 네트워크 전반에 걸쳐 계층 2 연결과 같은 이점을 제공합니다. 이를 통해 서비스 뒤에 있는 모든 Pod가 서로 다른 시스템에서 실행되는 경우에도 서로 통신할 수 있습니다.

VXLAN은 사용자 데이터그램 프로토콜(UDP) 패킷의 터널링된 모든 트래픽을 캡슐화합니다. 그러나 이로 인해 CPU 사용량이 증가합니다. 이러한 외부 및 내부 패킷은 전송 중에 데이터가 손상되지 않도록하기 위해 일반 체크섬 규칙을 따릅니다. CPU 성능에 따라 이러한 추가 처리 오버헤드는 처리량이 감소하고 기존 비 오버레이 네트워크에 비해 대기 시간이 증가할 수 있습니다.

클라우드, 가상 머신, 베어 메탈 CPU 성능은 많은 Gbps의 네트워크 처리량을 처리할 수 있습니다. 10 또는 40Gbps와 같은 높은 대역폭 링크를 사용하는 경우 성능이 저하될 수 있습니다. 이 문제는 VXLAN 기반 환경에서 알려진 문제이며 컨테이너 또는 OpenShift Container Platform에만 국한되지 않습니다. VXLAN 터널에 의존하는 네트워크는 VXLAN 구현으로 인해 비슷한 작업을 수행할 수 있습니다.

Gbps을 초과하여 푸시하려는 경우 다음을 수행할 수 있습니다.

  • BGP(Border Gateway Protocol)와 같은 다른 라우팅 기술을 구현하는 네트워크 플러그인을 평가합니다.
  • VXLAN 오프로드 가능 네트워크 어댑터를 사용합니다. VXLAN 오프로드는 패킷 체크섬 계산 및 관련 CPU 오버헤드를 시스템 CPU에서 네트워크 어댑터의 전용 하드웨어로 이동합니다. 이를 통해 Pod 및 애플리케이션에서 사용할 CPU 사이클을 확보하고 사용자는 네트워크 인프라의 전체 대역폭을 사용할 수 있습니다.

VXLAN 오프로드는 대기 시간을 단축시키지 않습니다. 그러나 대기 시간 테스트에서도 CPU 사용량이 감소합니다.

11.1. 네트워크에 대한 MTU 최적화
링크 복사

중요한 최대 전송 단위(MTU)는 NIC(네트워크 인터페이스 컨트롤러) MTU와 클러스터 네트워크 MTU입니다.

NIC MTU는 OpenShift Container Platform을 설치할 때만 구성됩니다. MTU는 네트워크 NIC에서 지원되는 최대 값과 작거나 같아야 합니다. 처리량을 최적화하려면 가능한 가장 큰 값을 선택합니다. 최소 지연을 최적화하려면 더 낮은 값을 선택합니다.

OpenShift SDN 네트워크 플러그인 오버레이 MTU는 NIC MTU보다 최소 50바이트 작아야 합니다. 이 계정은 SDN 오버레이 헤더에 대한 계정입니다. 따라서 일반적인 이더넷 네트워크에서는 이 값을 1450 으로 설정해야 합니다. 점보 프레임 이더넷 네트워크에서는 이 값을 8950 으로 설정해야 합니다. 이러한 값은 NIC의 구성된 MTU를 기반으로 Cluster Network Operator에서 자동으로 설정해야 합니다. 따라서 클러스터 관리자는 일반적으로 이러한 값을 업데이트하지 않습니다. AWS(Amazon Web Services) 및 베어 메탈 환경은 점보 프레임 이더넷 네트워크를 지원합니다. 이 설정은 특히 TCP(Transmission Control Protocol)에서 처리량에 도움이 됩니다.

OVN 및 Geneve의 경우 MTU는 NIC MTU보다 최소 100바이트 작아야 합니다.

참고

50바이트 오버레이 헤더는 OpenShift SDN 네트워크 플러그인과 관련이 있습니다. 기타 SDN 솔루션에서는 이 값이 더 크거나 작아야 할 수 있습니다.

11.3. IPsec 영향
링크 복사

노드 호스트의 암호화 및 암호 해독은 CPU를 사용하기 때문에 사용 중인 IP 보안 시스템에 관계없이 암호화를 사용할 때 노드의 처리량과 CPU 사용량 모두에서 성능에 영향을 미칩니다.

IPsec은 NIC에 도달하기 전에 IP 페이로드 수준에서 트래픽을 암호화하여 NIC 오프로드에 사용되는 필드를 보호합니다. 즉, IPSec가 활성화되면 일부 NIC 가속 기능을 사용할 수 없으며 처리량이 감소하고 CPU 사용량이 증가합니다.

12장. 베어 메탈 호스트 관리
링크 복사

베어 메탈 클러스터에 OpenShift Container Platform을 설치할 때 클러스터에 있는 베어 메탈 호스트에 대한 machine 및 machineset CR(사용자 정의 리소스)을 사용하여 베어 메탈 노드를 프로비저닝하고 관리할 수 있습니다.

12.1. 베어 메탈 호스트 및 노드 정보
링크 복사

RHCOS(Red Hat Enterprise Linux CoreOS) 베어 메탈 호스트를 클러스터에서 노드로 프로비저닝하려면 먼저 베어 메탈 호스트 하드웨어에 해당하는 MachineSet CR(사용자 정의 리소스) 오브젝트를 생성합니다. 베어 메탈 호스트 머신 세트는 구성과 관련된 인프라 구성 요소를 설명합니다. 이러한 머신에 특정 Kubernetes 레이블을 적용한 다음 해당 머신 세트에서만 실행되도록 인프라 구성 요소를 업데이트합니다.

machine CR은 metal3.io/autoscale-to-hosts 주석이 포함된 관련 MachineSet을 확장하면 자동으로 생성됩니다. OpenShift Container Platform은 Machine CR을 사용하여 MachineSet CR에 지정된 대로 호스트에 해당하는 베어 메탈 노드를 프로비저닝합니다.

12.2. 베어 메탈 호스트 유지관리
링크 복사

OpenShift Container Platform 웹 콘솔에서 클러스터의 베어 메탈 호스트의 세부 정보를 유지 관리할 수 있습니다. 컴퓨팅 → 베어 메탈 호스트로 이동하여 작업 드롭다운 메뉴에서 작업을 선택합니다. 여기에서 BMC 세부 정보, 호스트의 MAC 주소 부팅, 전원 관리 활성화 등의 항목을 관리할 수 있습니다. 네트워크 인터페이스의 세부 정보와 호스트에 대한 드라이브도 검토할 수 있습니다.

베어 메탈 호스트를 유지 관리 모드로 이동할 수 있습니다. 호스트를 유지 관리 모드로 이동할 때 스케줄러는 모든 관리 워크로드를 해당 베어 메탈 노드에서 이동합니다. 유지 관리 모드에서는 새 워크로드가 예약되지 않습니다.

웹 콘솔에서 베어 메탈 호스트를 프로비저닝 해제할 수 있습니다. 호스트 프로비저닝 해제는 다음 작업을 수행합니다.

  1. cluster.k8s.io/delete-machine: true를 사용하여 베어 메탈 호스트 CR에 주석을 답니다.
  2. 관련 머신 세트를 축소합니다.
참고

먼저 데몬 세트와 관리되지 않는 정적 Pod를 다른 노드로 이동하지 않고 호스트의 전원을 끄면 서비스가 중단되고 데이터가 손실될 수 있습니다.

12.2.1. 웹 콘솔을 사용하여 클러스터에 베어 메탈 호스트 추가
링크 복사

웹 콘솔의 클러스터에 베어 메탈 호스트를 추가할 수 있습니다.

사전 요구 사항

  • 베어 메탈에 RHCOS 클러스터 설치
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. 웹 콘솔에서 Compute → Bare Metal Hosts로 이동합니다.
  2. Add Host → New with Dialog를 선택합니다.
  3. 새 베어 메탈 호스트의 고유 이름을 지정합니다.
  4. Boot MAC address를 설정합니다.
  5. Baseboard Management Console (BMC) Address를 설정합니다.
  6. 호스트의 BMC(Baseboard Management Controller)에 대한 사용자 인증 정보를 입력합니다.
  7. 생성 후 호스트 전원을 켜도록선택하고 Create를 선택합니다.
  8. 사용 가능한 베어 메탈 호스트 수와 일치하도록 복제본 수를 확장합니다. Compute → MachineSets로 이동하고 Actions 드롭다운 메뉴에서 Edit Machine count을 선택하여 클러스터에서 머신 복제본 수를 늘립니다.
참고

oc scale 명령 및 적절한 베어 메탈 머신 세트를 사용하여 베어 메탈 노드 수를 관리할 수도 있습니다.

베어 메탈 호스트를 설명하는 YAML 파일을 사용하여 웹 콘솔의 클러스터에 베어 메탈 호스트를 추가할 수 있습니다.

사전 요구 사항

  • 클러스터에 사용할 RHCOS 컴퓨팅 머신을 베어메탈 인프라에 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • 베어 메탈 호스트의 Secret CR을 생성합니다.

절차

  1. 웹 콘솔에서 Compute → Bare Metal Hosts로 이동합니다.
  2. Add Host → New from YAML을 선택합니다.

  3. 아래 YAML을 복사하고 붙여넣고 호스트의 세부 정보로 관련 필드를 수정합니다. 

    apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
  name: <bare_metal_host_name>
spec:
  online: true
  bmc:
    address: <bmc_address>
    credentialsName: <secret_credentials_name>
    1 
    
    disableCertificateVerification: True
    2 
    
  bootMACAddress: <host_boot_mac_address>
    Copy to Clipboard Toggle word wrap
    1
    credentialsName은 유효한 Secret CR을 참조해야 합니다. baremetal-operator는 credentialsName에서 참조되는 유효한 Secret 없이 베어 메탈 호스트를 관리할 수 없습니다. 시크릿 및 시크릿 생성 방법에 대한 자세한 내용은 시크릿 이해를 참조하십시오.
    2
    disableCertificateVerification 을 true 로 설정하면 클러스터와 BMC(Baseboard Management Controller) 간 TLS 호스트 유효성 검사가 비활성화됩니다.
  4. Create를 선택하여 YAML을 저장하고 새 베어 메탈 호스트를 생성합니다.

  5. 사용 가능한 베어 메탈 호스트 수와 일치하도록 복제본 수를 확장합니다. Compute → MachineSets로 이동하고 Actions 드롭다운 메뉴에서 Edit Machine count를 선택하여 클러스터의 머신 수를 늘립니다.

    참고

    oc scale 명령 및 적절한 베어 메탈 머신 세트를 사용하여 베어 메탈 노드 수를 관리할 수도 있습니다.

12.2.3. 사용 가능한 베어 메탈 호스트 수로 머신 자동 스케일링
링크 복사

사용 가능한 BareMetalHost 오브젝트 수와 일치하는 Machine 오브젝트 수를 자동으로 생성하려면 MachineSet 오브젝트에 metal3.io/autoscale-to-hosts 주석을 추가합니다.

사전 요구 사항

  • 클러스터에서 사용할 RHCOS 베어 메탈 컴퓨팅 머신을 설치하고 해당 BareMetalHost 오브젝트를 생성합니다.
  • OpenShift Container Platform CLI (oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. metal3.io/autoscale-to-hosts 주석을 추가하여 자동 스케일링을 구성할 머신 세트에 주석을 답니다. & lt;machineset >를 머신 세트 이름으로 바꿉니다. 

    $ oc annotate machineset <machineset> -n openshift-machine-api 'metal3.io/autoscale-to-hosts=<any_value>'
    Copy to Clipboard Toggle word wrap

    새로 확장된 머신이 시작될 때까지 기다립니다.

참고

BareMetalHost 오브젝트를 사용하여 클러스터에 머신을 생성하고 레이블 또는 선택기가 BareMetalHost에서 변경되면 Machine 오브젝트가 생성된 MachineSet에 대해 BareMetalHost 오브젝트가 계속 계산됩니다.

12.2.4. provisioner 노드에서 베어 메탈 호스트 제거
링크 복사

특정 상황에서는 프로비저너 노드에서 베어 메탈 호스트를 일시적으로 삭제할 수 있습니다. 예를 들어 OpenShift Container Platform 관리 콘솔을 사용하거나 Machine Config Pool 업데이트로 인해 베어 메탈 호스트 재부팅이 트리거되는 경우 OpenShift Container Platform은 통합된 Dell Remote Access Controller(iDrac)에 로그인하여 작업 대기열 삭제를 발행합니다.

사용 가능한 BareMetalHost 오브젝트 수와 일치하는 Machine 오브젝트 수를 관리하지 않으려면 baremetalhost.metal3.io/detached 주석을 MachineSet 오브젝트에 추가합니다.

참고

이 주석은 Provisioned,ExternallyProvisioned 또는 Ready/Available 상태인 BareMetalHost 오브젝트에만 적용됩니다.

사전 요구 사항

  • 클러스터에서 사용할 RHCOS 베어 메탈 컴퓨팅 머신을 설치하고 해당 BareMetalHost 오브젝트를 생성합니다.
  • OpenShift Container Platform CLI (oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. baremetalhost.metal3.io/detached 주석을 추가하여 프로비저너 노드에서 삭제할 컴퓨팅 머신 세트에 주석을 답니다. 

    $ oc annotate machineset <machineset> -n openshift-machine-api 'baremetalhost.metal3.io/detached'
    Copy to Clipboard Toggle word wrap

    새 머신이 시작될 때까지 기다립니다.

    참고

    BareMetalHost 오브젝트를 사용하여 클러스터에 머신을 생성하고 레이블 또는 선택기가 BareMetalHost에서 변경되면 Machine 오브젝트가 생성된 MachineSet에 대해 BareMetalHost 오브젝트가 계속 계산됩니다.

  2. 프로비저닝 사용 사례에서 다음 명령을 사용하여 재부팅 후 주석을 제거합니다. 

    $ oc annotate machineset <machineset> -n openshift-machine-api 'baremetalhost.metal3.io/detached-'
    Copy to Clipboard Toggle word wrap
중요

Bare Metal Event Relay는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

13.1. 베어 메탈 이벤트 정보
링크 복사

Bare Metal Event Relay를 사용하여 OpenShift Container Platform 클러스터에서 실행되는 애플리케이션을 기본 베어 메탈 호스트에서 생성된 이벤트에 서브스크립션합니다. Redfish 서비스는 노드에 이벤트를 게시하고 고급 메시지 큐에 서브스크립션된 애플리케이션으로 전송합니다.

베어 메탈 이벤트는 DCTF(Distributed Management Task Force)의 지침에 따라 개발된 오픈 Redfish 표준을 기반으로 합니다. Redfish는 REST API를 사용하여 보안 업계 표준 프로토콜을 제공합니다. 이 프로토콜은 분산, 컨버지드 또는 소프트웨어 정의 리소스 및 인프라를 관리하는 데 사용됩니다.

Redfish를 통해 게시된 하드웨어 관련 이벤트는 다음과 같습니다.

  • 온도 제한 위반
  • 서버 상태
  • 팬 상태

Bare Metal Event Relay Operator를 배포하여 베어 메탈 이벤트 사용을 시작하고 애플리케이션에 서비스에 가입하십시오. Bare Metal Event Relay Operator는 Redfish 베어 메탈 이벤트 서비스의 라이프사이클을 설치하고 관리합니다.

참고

베어 메탈 이벤트 릴레이는 베어 메탈 인프라에서 프로비저닝된 단일 노드 클러스터에서 Redfish 가능 장치에서만 작동합니다.

13.2. 베어 메탈 이벤트 작동 방식
링크 복사

Bare Metal Event Relay를 사용하면 베어 메탈 클러스터에서 실행되는 애플리케이션이 Redfish 하드웨어 변경 및 온도 임계값 위반, 디스크 손실, 정전 및 메모리 실패와 같은 Redfish 하드웨어 변경 및 장애에 빠르게 대응할 수 있습니다. 이러한 하드웨어 이벤트는 AMQP(Advanced Message Queuing Protocol)를 기반으로 하는 안정적인 대기 시간이 짧은 전송 채널을 통해 제공됩니다. 메시징 서비스의 대기 시간은 10~20밀리초입니다.

베어 메탈 이벤트 릴레이는 여러 애플리케이션이 REST API를 사용하여 이벤트를 구독하고 사용할 수 있는 하드웨어 이벤트에 대한 게시-서브스크립션 서비스를 제공합니다. 베어 메탈 이벤트 릴레이는 Redfish OpenAPI v1.8 이상을 준수하는 하드웨어를 지원합니다.

13.2.1. 베어 메탈 이벤트 릴레이 데이터 흐름
링크 복사

다음 그림은 베어 메탈 이벤트 데이터 흐름의 예를 보여줍니다.

그림 13.1. 베어 메탈 이벤트 릴레이 데이터 흐름

베어 메탈 이벤트 데이터 흐름
View larger image
베어 메탈 이벤트 데이터 흐름
13.2.1.1. Operator에서 관리하는 Pod
링크 복사

Operator는 사용자 정의 리소스를 사용하여 HardwareEvent CR을 사용하여 Bare Metal Event Relay 및 해당 구성 요소가 포함된 Pod를 관리합니다.

13.2.1.2. Bare Metal Event Relay
링크 복사

시작 시 베어 메탈 이벤트 릴레이는 Redfish API를 쿼리하고 사용자 지정 레지스트리를 포함한 모든 메시지 레지스트리를 다운로드합니다. 그런 다음 Bare Metal Event Relay가 Redfish 하드웨어에서 서브스크립션 이벤트를 수신하기 시작합니다.

Bare Metal Event Relay를 사용하면 베어 메탈 클러스터에서 실행되는 애플리케이션이 Redfish 하드웨어 변경 및 온도 임계값 위반, 디스크 손실, 정전 및 메모리 실패와 같은 Redfish 하드웨어 변경 및 장애에 빠르게 대응할 수 있습니다. 이벤트는 HardwareEvent CR을 사용하여 보고합니다.

13.2.1.3. 클라우드 네이티브 이벤트
링크 복사

CCNE(클라우드 네이티브 이벤트)는 이벤트 데이터 형식을 정의하기 위한 REST API 사양입니다.

13.2.1.4. CNCF CloudEvents
링크 복사

CloudEvents 는 이벤트 데이터 형식을 정의하기 위해 CCNCF(Cloud Native Computing Foundation)에서 개발한 벤더 중립 사양입니다.

13.2.1.5. AMQP 디스패치 라우터
링크 복사

디스패치 라우터는 게시자와 구독자 간의 메시지 전달 서비스를 담당합니다. AMQP 1.0 qpid는 인터넷을 통해 안정적인 고성능의 완전한 메시징을 지원하는 오픈 표준입니다.

13.2.1.6. 클라우드 이벤트 프록시 사이드카
링크 복사

클라우드 이벤트 프록시 사이드카 컨테이너 이미지는 ORAN API 사양을 기반으로 하며 하드웨어 이벤트에 대한 게시-구독 이벤트 프레임워크를 제공합니다.

13.2.2. Redfish 메시지 구문 분석 서비스
링크 복사

Redfish 이벤트를 처리하는 것 외에도 Bare Metal Event Relay는 Message 속성 없이 이벤트에 대한 메시지 구문 분석 기능을 제공합니다. 프록시는 시작될 때 하드웨어에서 벤더별 레지스트리를 포함하여 모든 Redfish 메시지 레지스트리를 다운로드합니다. 이벤트에 Message 속성이 포함되어 있지 않은 경우 프록시는 Redfish 메시지 레지스트리를 사용하여 Message 및 Resolution 속성을 구성하고 이벤트를 클라우드 이벤트 프레임워크에 전달하기 전에 이벤트에 추가합니다. 이 서비스를 사용하면 Redfish 이벤트의 메시지 크기와 전송 대기 시간이 단축될 수 있습니다.

13.2.3. CLI를 사용하여 베어 메탈 이벤트 릴레이 설치
링크 복사

클러스터 관리자는 CLI를 사용하여 Bare Metal Event Relay Operator를 설치할 수 있습니다.

사전 요구 사항

  • BMC(RedFish-enabled Baseboard Management Controller)가 있는 노드를 사용하여 베어 메탈 하드웨어에 설치된 클러스터입니다.
  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

프로세스

  1. 베어 메탈 이벤트 릴레이의 네임스페이스를 생성합니다.

    1. 다음 YAML을 베어 메탈-events-namespace.yaml 파일에 저장합니다. 

      apiVersion: v1
kind: Namespace
metadata:
  name: openshift-bare-metal-events
  labels:
    name: openshift-bare-metal-events
    openshift.io/cluster-monitoring: "true"
      Copy to Clipboard Toggle word wrap

    2. Namespace CR을 생성합니다. 

      $ oc create -f bare-metal-events-namespace.yaml
      Copy to Clipboard Toggle word wrap

  2. Bare Metal Event Relay Operator에 대한 Operator 그룹을 생성합니다.

    1. 다음 YAML을 bare-metal-events-operatorgroup.yaml 파일에 저장합니다. 

      apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: bare-metal-event-relay-group
  namespace: openshift-bare-metal-events
spec:
  targetNamespaces:
  - openshift-bare-metal-events
      Copy to Clipboard Toggle word wrap

    2. OperatorGroup CR을 생성합니다. 

      $ oc create -f bare-metal-events-operatorgroup.yaml
      Copy to Clipboard Toggle word wrap

  3. 베어 메탈 이벤트 릴레이를 구독합니다.

    1. 다음 YAML을 bare-metal-events-sub.yaml 파일에 저장합니다. 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: bare-metal-event-relay-subscription
  namespace: openshift-bare-metal-events
spec:
  channel: "stable"
  name: bare-metal-event-relay
  source: redhat-operators
  sourceNamespace: openshift-marketplace
      Copy to Clipboard Toggle word wrap

    2. Subscription CR을 생성합니다. 

      $ oc create -f bare-metal-events-sub.yaml
      Copy to Clipboard Toggle word wrap

검증

Bare Metal Event Relay Operator가 설치되었는지 확인하려면 다음 명령을 실행합니다. 

$ oc get csv -n openshift-bare-metal-events -o custom-columns=Name:.metadata.name,Phase:.status.phase
Copy to Clipboard Toggle word wrap

출력 예

Name                                                          Phase
bare-metal-event-relay.4.11.0-xxxxxxxxxxxx            Succeeded
Copy to Clipboard Toggle word wrap

13.2.4. 웹 콘솔을 사용하여 베어 메탈 이벤트 릴레이 설치
링크 복사

클러스터 관리자는 웹 콘솔을 사용하여 Bare Metal Event Relay Operator를 설치할 수 있습니다.

사전 요구 사항

  • BMC(RedFish-enabled Baseboard Management Controller)가 있는 노드를 사용하여 베어 메탈 하드웨어에 설치된 클러스터입니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

프로세스

  1. OpenShift Container Platform 웹 콘솔을 사용하여 Bare Metal Event Relay를 설치합니다.

    1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
    2. 사용 가능한 Operator 목록에서 Bare Metal Event Relay 를 선택한 다음 설치를 클릭합니다.
    3. Operator 설치 페이지에서 네임스페이스 를 선택하거나 생성한 후 openshift-bare-metal-events 를 선택한 다음 설치를 클릭합니다.

검증

선택 사항: 다음 검사를 수행하여 Operator가 성공적으로 설치되었는지 확인할 수 있습니다.

  1. Operator → 설치된 Operator 페이지로 전환합니다.

  2. InstallSucceeded 상태로 프로젝트에 Bare Metal Event Relay 가 나열되어 있는지 확인합니다.

    참고

    설치 중에 Operator는 실패 상태를 표시할 수 있습니다. 나중에 InstallSucceeded 메시지와 함께 설치에 성공하면 이 실패 메시지를 무시할 수 있습니다.

Operator가 설치된 것으로 나타나지 않으면 다음과 같이 추가 문제 해결을 수행합니다.

  • Operator → 설치된 Operator 페이지로 이동하고 Operator 서브스크립션 및 설치 계획 탭의 상태에 장애나 오류가 있는지 검사합니다.
  • 워크로드 → Pod 페이지로 이동하여 프로젝트 네임스페이스에서 Pod 로그를 확인합니다.

13.3. AMQ 메시징 버스 설치
링크 복사

노드에서 게시자와 구독자 간에 Redfish 베어 메탈 이벤트 알림을 전달하려면 노드에서 로컬로 실행되도록 AMQ 메시징 버스를 설치하고 구성해야 합니다. 클러스터에서 사용할 AMQ Interconnect Operator를 설치하여 이 작업을 수행합니다.

사전 요구 사항

  • OpenShift Container Platform CLI (oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

프로세스

검증

  1. AMQ Interconnect Operator를 사용할 수 있고 필요한 Pod가 실행 중인지 확인합니다. 

    $ oc get pods -n amq-interconnect
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                    READY   STATUS    RESTARTS   AGE
amq-interconnect-645db76c76-k8ghs       1/1     Running   0          23h
interconnect-operator-5cb5fc7cc-4v7qm   1/1     Running   0          23h
    Copy to Clipboard Toggle word wrap

  2. 필요한 bare-metal-event-relay 베어 메탈 이벤트 생산자 Pod가 openshift-bare-metal-events 네임스페이스에서 실행 중인지 확인합니다. 

    $ oc get pods -n openshift-bare-metal-events
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                                            READY   STATUS    RESTARTS   AGE
hw-event-proxy-operator-controller-manager-74d5649b7c-dzgtl     2/2     Running   0          25s
    Copy to Clipboard Toggle word wrap

13.4. 클러스터 노드의 Redfish BMC 베어 메탈 이벤트 구독
링크 복사

클러스터 관리자는 노드의 BMCEventSubscription CR(사용자 정의 리소스)을 생성하고, 이벤트에 대한 HardwareEvent CR을 생성하고 BMC에 대한 Secret CR을 생성하여 클러스터의 노드에서 생성된 Redfish BMC 이벤트를 구독할 수 있습니다.

13.4.1. 베어 메탈 이벤트 구독
링크 복사

BMC(Baseboard Management Controller)를 구성하여 OpenShift Container Platform 클러스터에서 실행되는 서브스크립션 애플리케이션에 베어 메탈 이벤트를 보낼 수 있습니다. Redfish 베어 메탈 이벤트의 예로는 장치 온도 증가 또는 장치 제거가 포함됩니다. REST API를 사용하여 애플리케이션을 베어 메탈 이벤트에 서브스크립션합니다.

중요

Redfish를 지원하고 벤더 인터페이스가 redfish 또는 idrac-redfish 로 설정된 물리적 하드웨어에 대한 BMCEventSubscription CR(사용자 정의 리소스)만 생성할 수 있습니다.

참고

BMCEventSubscription CR을 사용하여 사전 정의된 Redfish 이벤트를 구독합니다. Redfish 표준에서는 특정 경고 및 임계값을 생성할 수 있는 옵션을 제공하지 않습니다. 예를 들어 인클로저의 온도가 40>-< Celsius를 초과하는 경우 경고 이벤트를 수신하려면 공급 업체의 권장 사항에 따라 이벤트를 수동으로 구성해야 합니다.

BMCEventSubscription CR을 사용하여 노드의 베어 메탈 이벤트를 구독하려면 다음 절차를 수행합니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • BMC의 사용자 이름과 암호를 가져옵니다.

  • 클러스터에 Redfish 지원 BMC(Baseboard Management Controller)를 사용하여 베어 메탈 노드를 배포하고 BMC에서 Redfish 이벤트를 활성화합니다.

    참고

    특정 하드웨어에서 Redfish 이벤트를 활성화하는 것은 이 정보의 범위를 벗어납니다. 특정 하드웨어에 대한 Redfish 이벤트 활성화에 대한 자세한 내용은 BMC 제조업체 설명서를 참조하십시오.

프로세스

  1. 다음 curl 명령을 실행하여 노드 하드웨어에 Redfish EventService 가 활성화되어 있는지 확인합니다. 

    curl https://<bmc_ip_address>/redfish/v1/EventService --insecure -H 'Content-Type: application/json' -u "<bmc_username>:<password>"
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    bmc_ip_address
    Redfish 이벤트가 생성되는 BMC의 IP 주소입니다.

    출력 예

    {
   "@odata.context": "/redfish/v1/$metadata#EventService.EventService",
   "@odata.id": "/redfish/v1/EventService",
   "@odata.type": "#EventService.v1_0_2.EventService",
   "Actions": {
      "#EventService.SubmitTestEvent": {
         "EventType@Redfish.AllowableValues": ["StatusChange", "ResourceUpdated", "ResourceAdded", "ResourceRemoved", "Alert"],
         "target": "/redfish/v1/EventService/Actions/EventService.SubmitTestEvent"
      }
   },
   "DeliveryRetryAttempts": 3,
   "DeliveryRetryIntervalSeconds": 30,
   "Description": "Event Service represents the properties for the service",
   "EventTypesForSubscription": ["StatusChange", "ResourceUpdated", "ResourceAdded", "ResourceRemoved", "Alert"],
   "EventTypesForSubscription@odata.count": 5,
   "Id": "EventService",
   "Name": "Event Service",
   "ServiceEnabled": true,
   "Status": {
      "Health": "OK",
      "HealthRollup": "OK",
      "State": "Enabled"
   },
   "Subscriptions": {
      "@odata.id": "/redfish/v1/EventService/Subscriptions"
   }
}
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 클러스터의 Bare Metal Event Relay 서비스 경로를 가져옵니다. 

    $ oc get route -n openshift-bare-metal-events
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME             HOST/PORT                                                                                           PATH   SERVICES                 PORT   TERMINATION   WILDCARD
hw-event-proxy   hw-event-proxy-openshift-bare-metal-events.apps.compute-1.example.com          hw-event-proxy-service   9087   edge          None
    Copy to Clipboard Toggle word wrap

  3. BMCEventSubscription 리소스를 생성하여 Redfish 이벤트를 구독합니다.

    1. 다음 YAML을 bmc_sub.yaml 파일에 저장합니다. 

      apiVersion: metal3.io/v1alpha1
kind: BMCEventSubscription
metadata:
  name: sub-01
  namespace: openshift-machine-api
spec:
   hostName: <hostname>
      1 
      
   destination: <proxy_service_url>
      2 
      
   context: ''
      Copy to Clipboard Toggle word wrap
      1
      Redfish 이벤트가 생성되는 작업자 노드의 이름 또는 UUID를 지정합니다.
      2
      베어 메탈 이벤트 프록시 서비스를 지정합니다(예: https://hw-event-proxy-openshift-bare-metal-events.apps.compute-1.example.com/webhook ).

    2. BMCEventSubscription CR을 생성합니다. 

      $ oc create -f bmc_sub.yaml
      Copy to Clipboard Toggle word wrap

  4. 선택 사항: BMC 이벤트 서브스크립션을 삭제하려면 다음 명령을 실행합니다. 

    $ oc delete -f bmc_sub.yaml
    Copy to Clipboard Toggle word wrap

  5. 선택 사항: BMCEventSubscription CR을 생성하지 않고 Redfish 이벤트 서브스크립션을 수동으로 생성하려면 BMC 사용자 이름과 암호를 지정하여 다음 curl 명령을 실행합니다. 

    $ curl -i -k -X POST -H "Content-Type: application/json"  -d '{"Destination": "https://<proxy_service_url>", "Protocol" : "Redfish", "EventTypes": ["Alert"], "Context": "root"}' -u <bmc_username>:<password> 'https://<bmc_ip_address>/redfish/v1/EventService/Subscriptions' –v
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    proxy_service_url
    베어 메탈 이벤트 프록시 서비스(예: https://hw-event-proxy-openshift-bare-metal-events.apps.compute-1.example.com/webhook )입니다.
    bmc_ip_address
    Redfish 이벤트가 생성되는 BMC의 IP 주소입니다.

    출력 예

    HTTP/1.1 201 Created
Server: AMI MegaRAC Redfish Service
Location: /redfish/v1/EventService/Subscriptions/1
Allow: GET, POST
Access-Control-Allow-Origin: *
Access-Control-Expose-Headers: X-Auth-Token
Access-Control-Allow-Headers: X-Auth-Token
Access-Control-Allow-Credentials: true
Cache-Control: no-cache, must-revalidate
Link: <http://redfish.dmtf.org/schemas/v1/EventDestination.v1_6_0.json>; rel=describedby
Link: <http://redfish.dmtf.org/schemas/v1/EventDestination.v1_6_0.json>
Link: </redfish/v1/EventService/Subscriptions>; path=
ETag: "1651135676"
Content-Type: application/json; charset=UTF-8
OData-Version: 4.0
Content-Length: 614
Date: Thu, 28 Apr 2022 08:47:57 GMT
    Copy to Clipboard Toggle word wrap

13.4.2. curl을 사용하여 Redfish 베어 메탈 이벤트 서브스크립션 쿼리
링크 복사

일부 하드웨어 벤더는 Redfish 하드웨어 이벤트 서브스크립션의 양을 제한합니다. curl 을 사용하여 Redfish 이벤트 서브스크립션 수를 쿼리할 수 있습니다.

사전 요구 사항

  • BMC의 사용자 이름과 암호를 가져옵니다.
  • 클러스터에 Redfish 사용 BMC(Baseboard Management Controller)를 사용하여 베어 메탈 노드를 배포하고 BMC에서 Redfish 하드웨어 이벤트를 활성화합니다.

절차

  1. 다음 curl 명령을 실행하여 BMC의 현재 서브스크립션을 확인합니다. 

    $ curl --globoff -H "Content-Type: application/json" -k -X GET --user <bmc_username>:<password> https://<bmc_ip_address>/redfish/v1/EventService/Subscriptions
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    bmc_ip_address
    Redfish 이벤트가 생성되는 BMC의 IP 주소입니다.

    출력 예

    % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 435 100 435 0 0 399 0 0:00:01 0:00:01 --:--:-- 399
{
  "@odata.context": "/redfish/v1/$metadata#EventDestinationCollection.EventDestinationCollection",
  "@odata.etag": ""
  1651137375 "",
  "@odata.id": "/redfish/v1/EventService/Subscriptions",
  "@odata.type": "#EventDestinationCollection.EventDestinationCollection",
  "Description": "Collection for Event Subscriptions",
  "Members": [
  {
    "@odata.id": "/redfish/v1/EventService/Subscriptions/1"
  }],
  "Members@odata.count": 1,
  "Name": "Event Subscriptions Collection"
}
    Copy to Clipboard Toggle word wrap

    이 예에서 단일 서브스크립션이 /redfish/v1/EventService/Subscriptions/1 로 구성되어 있습니다.

  2. 선택 사항: curl 을 사용하여 /redfish/v1/EventService/Subscriptions/1 서브스크립션을 제거하려면 BMC 사용자 이름과 암호를 지정하여 다음 명령을 실행합니다. 

    $ curl --globoff -L -w "%{http_code} %{url_effective}\n" -k -u <bmc_username>:<password >-H "Content-Type: application/json" -d '{}' -X DELETE https://<bmc_ip_address>/redfish/v1/EventService/Subscriptions/1
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    bmc_ip_address
    Redfish 이벤트가 생성되는 BMC의 IP 주소입니다.

13.4.3. 베어 메탈 이벤트 및 Secret CR 생성
링크 복사

베어 메탈 이벤트 사용을 시작하려면 Redfish 하드웨어가 있는 호스트에 대한 HardwareEvent CR(사용자 정의 리소스)을 생성합니다. 하드웨어 이벤트 및 오류는 hw-event-proxy 로그에 보고됩니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • 베어 메탈 이벤트 릴레이를 설치합니다.
  • BMC Redfish 하드웨어에 대한 BMCEventSubscription CR을 생성합니다.
참고

여러 HardwareEvent 리소스가 허용되지 않습니다.

절차

  1. HardwareEvent CR(사용자 정의 리소스)을 생성합니다.

    1. 다음 YAML을 hw-event.yaml 파일에 저장합니다. 

      apiVersion: "event.redhat-cne.org/v1alpha1"
kind: "HardwareEvent"
metadata:
  name: "hardware-event"
spec:
  nodeSelector:
    node-role.kubernetes.io/hw-event: ""
      1 
      
  transportHost: "amqp://amq-router-service-name.amq-namespace.svc.cluster.local"
      2 
      
  logLevel: "debug"
      3 
      
  msgParserTimeout: "10"
      4
      Copy to Clipboard Toggle word wrap
      1
      필수 항목입니다. nodeSelector 필드를 사용하여 지정된 레이블이 있는 노드를 대상으로 지정합니다(예: node-role.kubernetes.io/hw-event: "" ).
      2
      필수 항목입니다. AMQP 프로토콜을 사용하여 전송 계층에서 이벤트를 전달하는 AMQP 호스트입니다.
      3
      선택사항입니다. 기본값은 debug 입니다. hw-event-proxy 로그에서 로그 수준을 설정합니다. 다음과 같은 로그 수준을 사용할 수 있습니다. fatal,error,warning,info,debug,trace.
      4
      선택사항입니다. Message Parser의 시간 초과 값을 밀리초로 설정합니다. 메시지 구문 분석 요청이 시간 초과 내에 응답하지 않으면 원래 하드웨어 이벤트 메시지가 클라우드 네이티브 이벤트 프레임워크에 전달됩니다. 기본값은 10입니다.

    2. HardwareEvent CR을 생성합니다. 

      $ oc create -f hardware-event.yaml
      Copy to Clipboard Toggle word wrap

  2. 하드웨어 이벤트 프록시가 베어 메탈 호스트의 Redfish 메시지 레지스트리에 액세스할 수 있는 BMC 사용자 이름 및 암호 Secret CR을 생성합니다.

    1. hw-event-bmc-secret.yaml 파일에 다음 YAML을 저장합니다. 

      apiVersion: v1
kind: Secret
metadata:
  name: redfish-basic-auth
type: Opaque
stringData:
      1 
      
  username: <bmc_username>
  password: <bmc_password>
  # BMC host DNS or IP address
  hostaddr: <bmc_host_ip_address>
      Copy to Clipboard Toggle word wrap
      1
      stringData 아래에 다양한 항목의 일반 텍스트 값을 입력합니다.

    2. Secret CR을 생성합니다. 

      $ oc create -f hw-event-bmc-secret.yaml
      Copy to Clipboard Toggle word wrap

13.5. 베어 메탈 이벤트 REST API 참조에 애플리케이션 구독
링크 복사

베어 메탈 이벤트 REST API를 사용하여 애플리케이션을 상위 노드에서 생성된 베어 메탈 이벤트에 등록합니다.

리소스 주소 /cluster/node/<node_name>/redfish/event 를 사용하여 애플리케이션을 Redfish 이벤트에 구독합니다. 여기서 < node_name >은 애플리케이션을 실행하는 클러스터 노드입니다.

별도의 애플리케이션 Pod에 cloud-event-consumer 애플리케이션 컨테이너 및 cloud-event-proxy 사이드카 컨테이너를 배포합니다. cloud-event-consumer 애플리케이션은 애플리케이션 Pod의 cloud-event-proxy 컨테이너를 서브스크립션합니다.

다음 API 끝점을 사용하여 애플리케이션 Pod의 http://localhost:8089/api/ocloudNotifications/v1/ 에서 cloud-event-consumer 컨테이너에서 게시한 Redfish 이벤트에 cloud-event- consumer 애플리케이션을 서브스크립션합니다.

  • /api/ocloudNotifications/v1/subscriptions

    • POST: 새 서브스크립션을 생성합니다.
    • GET: 서브스크립션 목록 검색합니다.

  • /api/ocloudNotifications/v1/subscriptions/<subscription_id>

    • PUT: 지정된 서브스크립션 ID에 대한 새 상태 ping 요청을 생성합니다.

  • /api/ocloudNotifications/v1/health

    • GET: ocloudNotifications API의 상태를 반환합니다.
참고

9089 는 애플리케이션 Pod에 배포된 cloud-event-consumer 컨테이너의 기본 포트입니다. 필요에 따라 애플리케이션에 대해 다른 포트를 구성할 수 있습니다.

api/ocloudNotifications/v1/subscriptions
HTTP 방법

GET api/ocloudNotifications/v1/subscriptions

설명

서브스크립션 목록을 반환합니다. 서브스크립션이 존재하는 경우 200 OK 상태 코드가 서브스크립션 목록과 함께 반환됩니다.

API 응답 예

[
 {
  "id": "ca11ab76-86f9-428c-8d3a-666c24e34d32",
  "endpointUri": "http://localhost:9089/api/ocloudNotifications/v1/dummy",
  "uriLocation": "http://localhost:8089/api/ocloudNotifications/v1/subscriptions/ca11ab76-86f9-428c-8d3a-666c24e34d32",
  "resource": "/cluster/node/openshift-worker-0.openshift.example.com/redfish/event"
 }
]
Copy to Clipboard Toggle word wrap

HTTP 방법

POST api/ocloudNotifications/v1/subscriptions

설명

새 서브스크립션을 생성합니다. 서브스크립션이 성공적으로 생성되었거나 이미 존재하는 경우 201 Created 상태 코드가 반환됩니다.

Expand
표 13.1. 쿼리 매개변수
매개변수유형

subscription

data

페이로드 예

{
  "uriLocation": "http://localhost:8089/api/ocloudNotifications/v1/subscriptions",
  "resource": "/cluster/node/openshift-worker-0.openshift.example.com/redfish/event"
}
Copy to Clipboard Toggle word wrap

api/ocloudNotifications/v1/subscriptions/<subscription_id>
HTTP 방법

GET api/ocloudNotifications/v1/subscriptions/<subscription_id>

설명

ID <subscription _id>가 있는 서브스크립션 세부 정보를 반환합니다.

Expand
표 13.2. 쿼리 매개변수
매개변수유형

<subscription_id>

string

API 응답 예

{
  "id":"ca11ab76-86f9-428c-8d3a-666c24e34d32",
  "endpointUri":"http://localhost:9089/api/ocloudNotifications/v1/dummy",
  "uriLocation":"http://localhost:8089/api/ocloudNotifications/v1/subscriptions/ca11ab76-86f9-428c-8d3a-666c24e34d32",
  "resource":"/cluster/node/openshift-worker-0.openshift.example.com/redfish/event"
}
Copy to Clipboard Toggle word wrap

api/ocloudNotifications/v1/health/
HTTP 방법

GET api/ocloudNotifications/v1/health/

설명

ocloudNotifications REST API의 상태를 반환합니다.

API 응답 예

OK
Copy to Clipboard Toggle word wrap

14.1. 대규모 페이지의 기능
링크 복사

메모리는 페이지라는 블록으로 관리됩니다. 대부분의 시스템에서 한 페이지는 4Ki입니다. 1Mi 메모리는 256페이지와 같고 1Gi 메모리는 256,000페이지에 해당합니다. CPU에는 하드웨어에서 이러한 페이지 목록을 관리하는 내장 메모리 관리 장치가 있습니다. TLB(Translation Lookaside Buffer)는 가상-물리적 페이지 매핑에 대한 소규모 하드웨어 캐시입니다. TLB에 하드웨어 명령어로 전달된 가상 주소가 있으면 매핑을 신속하게 확인할 수 있습니다. 가상 주소가 없으면 TLB 누락이 발생하고 시스템에서 소프트웨어 기반 주소 변환 속도가 느려져 성능 문제가 발생합니다. TLB 크기는 고정되어 있으므로 TLB 누락 가능성을 줄이는 유일한 방법은 페이지 크기를 늘리는 것입니다.

대규모 페이지는 4Ki보다 큰 메모리 페이지입니다. x86_64 아키텍처에서 일반적인 대규모 페이지 크기는 2Mi와 1Gi입니다. 다른 아키텍처에서는 크기가 달라집니다. 대규모 페이지를 사용하려면 애플리케이션이 인식할 수 있도록 코드를 작성해야 합니다. THP(투명한 대규모 페이지)에서는 애플리케이션 지식 없이 대규모 페이지 관리를 자동화하려고 하지만 한계가 있습니다. 특히 페이지 크기 2Mi로 제한됩니다. THP에서는 THP 조각 모음 작업으로 인해 메모리 사용률이 높아지거나 조각화가 발생하여 노드에서 성능이 저하될 수 있으며 이로 인해 메모리 페이지가 잠길 수 있습니다. 이러한 이유로 일부 애플리케이션은 THP 대신 사전 할당된 대규모 페이지를 사용하도록 설계(또는 권장)할 수 있습니다.

OpenShift Container Platform에서는 Pod의 애플리케이션이 사전 할당된 대규모 페이지를 할당하고 사용할 수 있습니다.

14.2. 앱에서 대규모 페이지를 사용하는 방법
링크 복사

노드에서 대규모 페이지 용량을 보고하려면 노드가 대규모 페이지를 사전 할당해야 합니다. 노드는 단일 크기의 대규모 페이지만 사전 할당할 수 있습니다.

대규모 페이지는 hugepages-<size> 리소스 이름으로 컨테이너 수준 리소스 요구사항에 따라 사용할 수 있습니다. 여기서 크기는 특정 노드에서 지원되는 정수 값이 사용된 가장 간단한 바이너리 표현입니다. 예를 들어 노드에서 2,048KiB 페이지 크기를 지원하는 경우 예약 가능한 리소스 hugepages-2Mi를 공개합니다. CPU 또는 메모리와 달리 대규모 페이지는 초과 커밋을 지원하지 않습니다. 

apiVersion: v1
kind: Pod
metadata:
  generateName: hugepages-volume-
spec:
  containers:
  - securityContext:
      privileged: true
    image: rhel7:latest
    command:
    - sleep
    - inf
    name: example
    volumeMounts:
    - mountPath: /dev/hugepages
      name: hugepage
    resources:
      limits:
        hugepages-2Mi: 100Mi
1 

        memory: "1Gi"
        cpu: "1"
  volumes:
  - name: hugepage
    emptyDir:
      medium: HugePages
Copy to Clipboard Toggle word wrap
1
hugepages의 메모리 양은 할당할 정확한 양으로 지정하십시오. 이 값을 hugepages의 메모리 양과 페이지 크기를 곱한 값으로 지정하지 마십시오. 예를 들어 대규모 페이지 크기가 2MB이고 애플리케이션에 100MB의 대규모 페이지 지원 RAM을 사용하려면 50개의 대규모 페이지를 할당합니다. OpenShift Container Platform에서 해당 계산을 처리합니다. 위의 예에서와 같이 100MB를 직접 지정할 수 있습니다.

특정 크기의 대규모 페이지 할당

일부 플랫폼에서는 여러 대규모 페이지 크기를 지원합니다. 특정 크기의 대규모 페이지를 할당하려면 대규모 페이지 부팅 명령 매개변수 앞에 대규모 페이지 크기 선택 매개변수 hugepagesz=<size>를 지정합니다. <size> 값은 바이트 단위로 지정해야 하며 스케일링 접미사 [kKmMgG]를 선택적으로 사용할 수 있습니다. 기본 대규모 페이지 크기는 default_hugepagesz=<size> 부팅 매개변수로 정의할 수 있습니다.

대규모 페이지 요구사항

  • 대규모 페이지 요청은 제한과 같아야 합니다. 제한은 지정되었으나 요청은 지정되지 않은 경우 제한이 기본값입니다.
  • 대규모 페이지는 Pod 범위에서 격리됩니다. 컨테이너 격리는 향후 반복에서 계획됩니다.
  • 대규모 페이지에서 지원하는 EmptyDir 볼륨은 Pod 요청보다 더 많은 대규모 페이지 메모리를 사용하면 안 됩니다.
  • SHM_HUGETLB로 shmget()를 통해 대규모 페이지를 사용하는 애플리케이션은 proc/sys/vm/hugetlb_shm_group과 일치하는 보조 그룹을 사용하여 실행되어야 합니다.

14.3. Downward API를 사용하여 Huge Page 리소스 사용
링크 복사

Downward API를 사용하여 컨테이너에서 사용하는 Huge Page 리소스에 대한 정보를 삽입할 수 있습니다.

리소스 할당을 환경 변수, 볼륨 플러그인 또는 둘 다로 삽입할 수 있습니다. 컨테이너에서 개발하고 실행하는 애플리케이션은 지정된 볼륨에서의 환경 변수 또는 파일을 읽고 사용할 수 있는 리소스를 확인할 수 있습니다.

절차

  1. 다음 예와 유사한 hugepages-volume-pod.yaml 파일을 생성합니다. 

    apiVersion: v1
kind: Pod
metadata:
  generateName: hugepages-volume-
  labels:
    app: hugepages-example
spec:
  containers:
  - securityContext:
      capabilities:
        add: [ "IPC_LOCK" ]
    image: rhel7:latest
    command:
    - sleep
    - inf
    name: example
    volumeMounts:
    - mountPath: /dev/hugepages
      name: hugepage
    - mountPath: /etc/podinfo
      name: podinfo
    resources:
      limits:
        hugepages-1Gi: 2Gi
        memory: "1Gi"
        cpu: "1"
      requests:
        hugepages-1Gi: 2Gi
    env:
    - name: REQUESTS_HUGEPAGES_1GI <.>
      valueFrom:
        resourceFieldRef:
          containerName: example
          resource: requests.hugepages-1Gi
  volumes:
  - name: hugepage
    emptyDir:
      medium: HugePages
  - name: podinfo
    downwardAPI:
      items:
        - path: "hugepages_1G_request" <.>
          resourceFieldRef:
            containerName: example
            resource: requests.hugepages-1Gi
            divisor: 1Gi
    Copy to Clipboard Toggle word wrap

    <.> requests.hugepages-1Gi에서 리소스 사용을 읽고 값을 REQUESTS_HUGEPAGES_1GI 환경 변수로 표시하도록 지정합니다. <.>는 requests.hugepages-1Gi에서 리소스 사용을 읽고 값을 파일 /etc/podinfo/hugepages_1G_request로 표시하도록 지정합니다.

  2. volume-pod.yaml 파일에서 Pod를 생성합니다. 

    $ oc create -f hugepages-volume-pod.yaml
    Copy to Clipboard Toggle word wrap

검증

  1. REQUESTS_HUGEPAGES_1GI 환경 변수 값을 확인합니다. 

    $ oc exec -it $(oc get pods -l app=hugepages-example -o jsonpath='{.items[0].metadata.name}') \
     -- env | grep REQUESTS_HUGEPAGES_1GI
    Copy to Clipboard Toggle word wrap

    출력 예

    REQUESTS_HUGEPAGES_1GI=2147483648
    Copy to Clipboard Toggle word wrap

  2. /etc/podinfo/hugepages_1G_request 파일의 값을 확인합니다. 

    $ oc exec -it $(oc get pods -l app=hugepages-example -o jsonpath='{.items[0].metadata.name}') \
     -- cat /etc/podinfo/hugepages_1G_request
    Copy to Clipboard Toggle word wrap

    출력 예

    2
    Copy to Clipboard Toggle word wrap

14.4. 대규모 페이지 구성
링크 복사

노드는 OpenShift Container Platform 클러스터에서 사용되는 대규모 페이지를 사전 할당해야 합니다. 대규모 페이지 예약은 부팅 시 예약하는 방법과 런타임 시 예약하는 방법 두 가지가 있습니다. 부팅 시 예약은 메모리가 아직 많이 조각화되어 있지 않으므로 성공할 가능성이 높습니다. Node Tuning Operator는 현재 특정 노드에서 대규모 페이지에 대한 부팅 시 할당을 지원합니다.

14.4.1. 부팅 시
링크 복사

프로세스

노드 재부팅을 최소화하려면 다음 단계를 순서대로 수행해야 합니다.

  1. 동일한 대규모 페이지 설정이 필요한 모든 노드에 하나의 레이블을 지정합니다. 

    $ oc label node <node_using_hugepages> node-role.kubernetes.io/worker-hp=
    Copy to Clipboard Toggle word wrap

  2. 다음 콘텐츠로 파일을 생성하고 이름을 hugepages-tuned-boottime.yaml로 지정합니다. 

    apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: hugepages
    1 
    
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
    2 
    
  - data: |
      [main]
      summary=Boot time configuration for hugepages
      include=openshift-node
      [bootloader]
      cmdline_openshift_node_hugepages=hugepagesz=2M hugepages=50
    3 
    
    name: openshift-node-hugepages

  recommend:
  - machineConfigLabels:
    4 
    
      machineconfiguration.openshift.io/role: "worker-hp"
    priority: 30
    profile: openshift-node-hugepages
    Copy to Clipboard Toggle word wrap
    1
    Tuned 리소스의 name을 hugepages로 설정합니다.
    2
    대규모 페이지를 할당할 profile 섹션을 설정합니다.
    3
    일부 플랫폼에서는 다양한 크기의 대규모 페이지를 지원하므로 매개변수 순서가 중요합니다.
    4
    머신 구성 풀 기반 일치를 활성화합니다.

  3. Tuned hugepages 오브젝트를 생성합니다. 

    $ oc create -f hugepages-tuned-boottime.yaml
    Copy to Clipboard Toggle word wrap

  4. 다음 콘텐츠로 파일을 생성하고 이름을 hugepages-mcp.yaml로 지정합니다. 

    apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfigPool
metadata:
  name: worker-hp
  labels:
    worker-hp: ""
spec:
  machineConfigSelector:
    matchExpressions:
      - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,worker-hp]}
  nodeSelector:
    matchLabels:
      node-role.kubernetes.io/worker-hp: ""
    Copy to Clipboard Toggle word wrap

  5. 머신 구성 풀을 생성합니다. 

    $ oc create -f hugepages-mcp.yaml
    Copy to Clipboard Toggle word wrap

조각화되지 않은 메모리가 충분한 경우 worker-hp 머신 구성 풀의 모든 노드에 50개의 2Mi 대규모 페이지가 할당되어 있어야 합니다. 

$ oc get node <node_using_hugepages> -o jsonpath="{.status.allocatable.hugepages-2Mi}"
100Mi
Copy to Clipboard Toggle word wrap
참고

TuneD 부트로더 플러그인은 RHCOS(Red Hat Enterprise Linux CoreOS) 작업자 노드만 지원합니다.

14.5. Transparent Huge Pages 비활성화
링크 복사

THP(Transparent Huge Page)는 대규모 페이지를 생성, 관리 및 사용하는 대부분의 측면을 자동화합니다. THP는 대규모 페이지를 자동으로 관리하기 때문에 모든 유형의 워크로드에 대해 항상 최적으로 처리되는 것은 아닙니다. THP는 많은 애플리케이션이 대규모 페이지를 자체적으로 처리하기 때문에 성능 회귀로 이어질 수 있습니다. 따라서 THP를 비활성화하는 것이 좋습니다. 다음 단계에서는 Node Tuning Operator(NTO)를 사용하여 THP를 비활성화하는 방법을 설명합니다.

프로세스

  1. 다음 콘텐츠를 사용하여 파일을 생성하고 이름을 thp-disable-tuned.yaml 로 지정합니다. 

    apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: thp-workers-profile
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
  - data: |
      [main]
      summary=Custom tuned profile for OpenShift to turn off THP on worker nodes
      include=openshift-node

      [vm]
      transparent_hugepages=never
    name: openshift-thp-never-worker

  recommend:
  - match:
    - label: node-role.kubernetes.io/worker
    priority: 25
    profile: openshift-thp-never-worker
    Copy to Clipboard Toggle word wrap

  2. Tuned 오브젝트를 생성합니다. 

    $ oc create -f thp-disable-tuned.yaml
    Copy to Clipboard Toggle word wrap

  3. 활성 프로필 목록을 확인합니다. 

    $ oc get profile -n openshift-cluster-node-tuning-operator
    Copy to Clipboard Toggle word wrap

검증

  • 노드 중 하나에 로그인하고 일반적인 THP 검사를 수행하여 노드가 프로필을 성공적으로 적용했는지 확인합니다. 

    $ cat /sys/kernel/mm/transparent_hugepage/enabled
    Copy to Clipboard Toggle word wrap

    출력 예

    always madvise [never]
    Copy to Clipboard Toggle word wrap

15장. 짧은 대기 시간 튜닝
링크 복사

15.1. 짧은 대기 시간 이해
링크 복사

Telco/5G 영역에서 Edge 컴퓨팅이 등장하여 대기 시간 및 정체 문제를 줄이고 애플리케이션 성능을 개선하는 데 핵심적인 역할을 하고 있습니다.

간단히 말해, 대기 시간이 데이터(패킷)가 발신자에서 수신자로 이동하고 수신자의 처리 후 발신자로 반환되는 속도를 결정합니다. 5G의 네트워크 성능 요구 사항을 충족하기 위해 대기 시간이 가장 짧은 지연으로 네트워크 아키텍처를 유지보수하는 것이 핵심입니다. 평균 대기 시간이 50ms인 4G 기술과 비교하여 5G는 1ms 이하의 대기 시간 번호에 도달하는 것을 목표로 합니다. 이렇게 대기 시간이 감소하면 무선 처리량이 10배 증가합니다.

Telco 공간에 배포된 많은 애플리케이션에서는 제로 패킷 손실이 가능한 짧은 대기 시간을 요구하고 있습니다. 제로 패킷 손실 튜닝은 네트워크 성능을 저하시키는 고유한 문제를 완화하는 데 도움이 됩니다. 자세한 내용은 RHOSP(Red Hat OpenStack Platform)에서 제로 패킷 손실 튜닝을 참조하십시오.

Edge 컴퓨팅 이니셔티브는 대기 시간을 줄이는 데에도 큰 역할을 합니다. 클라우드 에지에 있고 사용자에게 더 가깝다고 생각해 보십시오. 이렇게 되면 멀리 있는 데이터 센터와 사용자 간 거리를 크게 줄여 애플리케이션 응답 시간과 성능 대기 시간이 단축됩니다.

관리자는 많은 엣지 사이트와 로컬 서비스를 중앙 집중식으로 관리하여 가능한 한 가장 낮은 관리 비용으로 모든 배포를 실행할 수 있어야 합니다. 또한, 실시간 짧은 대기 시간과 높은 성능을 실현할 수 있도록 클러스터의 특정 노드를 쉽게 배포하고 구성할 수 있어야 합니다. 대기 시간이 짧은 노드는 CNF(클라우드 네이티브 네트워크 기능) 및 DPDK(데이터 플레인 개발 키트)와 같은 애플리케이션에 유용합니다.

OpenShift Container Platform에서는 현재 실시간 실행과 짧은 대기 시간(약 20마이크로초 미만의 반응 시간)을 지원하기 위해 OpenShift Container Platform 클러스터의 소프트웨어를 튜닝하는 메커니즘을 제공합니다. 이 메커니즘에는 커널 및 OpenShift Container Platform 설정 값 튜닝, 커널 설치, 머신 재구성이 포함되어 있습니다. 하지만 이 방법을 사용하려면 4가지 Operator를 설정해야 하며 수동으로 수행할 경우 복잡하고 실수하기 쉬운 많은 구성을 수행해야 합니다.

OpenShift Container Platform은 Node Tuning Operator를 사용하여 자동 튜닝을 구현하여 OpenShift Container Platform 애플리케이션에 대해 짧은 대기 시간 성능을 실현합니다. 클러스터 관리자는 이 성능 프로필 구성을 사용하여 보다 안정적인 방식으로 이러한 변경을 더욱 쉽게 수행할 수 있습니다. 관리자는 커널을 kernel-rt로 업데이트할지 여부를 지정하고, Pod 인프라 컨테이너를 포함하여 클러스터 및 운영 체제 하우스키핑 작업을 위해 CPU를 예약하고, 애플리케이션 컨테이너의 CPU를 분리하여 워크로드를 실행할 수 있습니다.

OpenShift Container Platform에서는 다양한 산업 환경의 요구를 충족하기 위해 PerformanceProfile 을 조정할 수 있는 Node Tuning Operator의 워크로드 팁도 지원합니다. 워크로드 힌트는 높은 PowerConsumption (전원 소비 증가 시 낮은 대기 시간) 및 realTime (최적 최적의 대기 시간으로 지정된 우선 순위)에 사용할 수 있습니다. 이러한 힌트에 대한 true/false 설정의 조합을 사용하여 애플리케이션별 워크로드 프로필 및 요구 사항을 처리할 수 있습니다.

워크로드 힌트는 업계 섹터 설정에 대한 성능 세부 조정 작업을 단순화합니다. "하나의 크기가 모든" 접근 방식에 적합한 대신 워크로드 힌트는 우선순위 배치와 같은 사용 패턴에 적합할 수 있습니다.

  • 짧은 대기 시간
  • 실시간 기능
  • 효율적인 전력 사용

이상적인 세계에서 모든 것이 우선 순위가 될 것입니다 : 실제 삶에서, 일부는 다른 사람의 비용으로 발생합니다. Node Tuning Operator는 이제 워크로드의 기대치를 인식하고 워크로드의 요구를 더 잘 충족할 수 있게 되었습니다. 이제 클러스터 관리자가 워크로드가 속하는 사용 사례를 지정할 수 있습니다. Node Tuning Operator는 PerformanceProfile 을 사용하여 워크로드의 성능 설정을 미세 조정합니다.

애플리케이션이 작동하는 환경은 해당 동작에 영향을 미칩니다. 대기 시간 요구 사항이 없는 일반적인 데이터 센터의 경우 일부 고성능 워크로드 Pod에 대한 CPU 파티셔닝을 활성화하려면 최소한의 기본 튜닝만 필요합니다. 대기 시간이 더 높은 데이터 센터 및 워크로드의 경우 전력 소비를 최적화하기 위해 계속 조치를 취해야 합니다. 가장 복잡한 경우는 제조기 및 소프트웨어 정의 무선과 같은 대기 시간에 민감한 장치에 가까운 클러스터입니다. 이 마지막 배포 클래스는 Far edge라고 합니다. Far edge 배포의 경우 대기 시간이 가장 낮은 것이 궁극적인 우선 순위이며 전원 관리 비용으로 달성됩니다.

OpenShift Container Platform 버전 4.10 및 이전 버전에서 Performance Addon Operator는 짧은 대기 시간 성능을 실현하기 위해 자동 튜닝을 구현하는 데 사용되었습니다. 이제 이 기능이 Node Tuning Operator의 일부입니다.

15.1.1. 짧은 대기 시간과 실시간 애플리케이션의 하이퍼 스레딩 정보
링크 복사

하이퍼 스레딩은 물리 CPU 프로세서 코어가 두 개의 논리 코어로 작동하여 두 개의 독립 스레드를 동시에 실행할 수 있는 Intel 프로세서 기술입니다. 하이퍼 스레딩을 사용하면 병렬 처리가 효과적인 특정 워크로드 유형에 대한 시스템 처리량이 향상시킬 수 있습니다. 기본 OpenShift Container Platform 설정에서는 기본적으로 하이퍼 스레딩을 활성화하도록 설정해야합니다.

통신 애플리케이션의 경우 가능한 한 대기 시간을 최소화하도록 애플리케이션 인프라를 설계하는 것이 중요합니다. 하이퍼 스레딩은 성능을 저하시킬 수 있으며 대기 시간이 짧은 컴퓨팅 집약적 워크로드의 처리량에 부정적인 영향을 미칠 수 있습니다. 하이퍼 스레딩을 비활성화하면 예측 가능한 성능이 보장되고 이러한 워크로드의 처리 시간을 줄일 수 있습니다.

참고

OpenShift Container Platform을 실행하는 하드웨어에 따라 하이퍼 스레딩 구현 및 구성이 다릅니다. 해당 하드웨어와 관련된 하이퍼 스레딩 구현에 대한 자세한 내용은 관련 호스트 하드웨어 튜닝 정보를 참조하십시오. 하이퍼 스레딩을 비활성화하면 클러스터 코어당 비용이 증가할 수 있습니다.

15.2. 실시간 및 짧은 대기 시간 워크로드 프로비저닝
링크 복사

많은 업계와 조직에서 매우 높은 성능의 컴퓨팅을 필요로 하고 있으며 특히 금융 및 통신 업계에서는 짧고 예측 가능한 대기 시간이 요구될 수 있습니다. 고유한 요구 사항이 있는 이러한 업계의 경우 OpenShift Container Platform은 OpenShift Container Platform 애플리케이션에 대해 짧은 대기 시간 성능과 일관된 응답 시간을 실현할 수 있도록 자동 튜닝을 구현하는 Node Tuning Operator를 제공합니다.

클러스터 관리자는 이 성능 프로필 구성을 사용하여 보다 안정적인 방식으로 이러한 변경을 수행할 수 있습니다. 관리자는 커널을 kernel-rt(실시간)로 업데이트할지 여부를 지정하고, Pod 인프라 컨테이너를 포함하여 클러스터 및 운영 체제 하우스키핑 작업을 위해 CPU를 예약하고, 애플리케이션 컨테이너의 CPU를 분리하여 워크로드를 실행하고, 사용하지 않는 CPU를 비활성화하여 전력 소비를 줄일 수 있습니다.

주의

보장된 CPU가 필요한 애플리케이션과 함께 실행 프로브를 사용하면 대기 시간이 급증할 수 있습니다. 적절하게 구성된 네트워크 프로브 세트와 같은 다른 프로브를 대안으로 사용하는 것이 좋습니다.

참고

이전 버전의 OpenShift Container Platform에서는 OpenShift 애플리케이션에 대해 짧은 대기 시간 성능을 실현하기 위해 자동 튜닝을 구현하는 데 Performance Addon Operator를 사용했습니다. OpenShift Container Platform 4.11 이상에서는 이러한 기능이 Node Tuning Operator의 일부입니다.

15.2.1. 실시간에 대한 알려진 제한 사항
링크 복사

참고

대부분의 배포에서 kernel-rt는 컨트롤 플레인 노드와 작업자 노드가 3개인 표준 클러스터를 사용하는 경우에만 작업자 노드에서 지원됩니다. OpenShift Container Platform 배포에는 컴팩트 및 단일 노드에 대한 예외가 있습니다. 단일 노드에 커널-rt를 설치하는 경우 단일 컨트롤 플레인 노드에서 kernel-rt가 지원됩니다.

실시간 모드를 완전히 활용하려면 상승된 권한으로 컨테이너를 실행해야 합니다. 권한 부여에 대한 자세한 내용은 컨테이너에 대한 기능 설정을 참조하십시오.

OpenShift Container Platform에서는 허용되는 기능을 제한하므로 SecurityContext를 생성해야 할 수도 있습니다.

참고

RHCOS(Red Hat Enterprise Linux CoreOS) 시스템을 사용하는 베어 메탈 설치에서는 이러한 절차가 완전하게 지원됩니다.

적합한 성능 기대치를 설정한다는 것은 실시간 커널이 만능 해결책이 아니라는 것을 나타냅니다. 설정의 목표는 예측 가능한 응답 시간을 제공하는 일관되고 대기 시간이 짧은 결정성을 갖추는 것입니다. 실시간 커널에는 연관된 추가 커널 오버헤드가 있습니다. 이러한 오버헤드는 주로 별도로 예약된 스레드에서 하드웨어 중단을 처리하는 데서 발생합니다. 일부 워크로드에서 오버헤드가 증가하면 전반적으로 처리량 성능이 저하됩니다. 정확한 저하 수치는 워크로드에 따라 달라지며, 범위는 0%에서 30% 사이입니다. 하지만 이러한 저하는 결정성에 대한 대가입니다.

15.2.2. 실시간 기능이 있는 작업자 프로비저닝
링크 복사

  1. 선택사항: OpenShift Container Platform 클러스터에 노드를 추가합니다. 시스템 튜닝을 위한 BIOS 매개변수 설정을 참조하십시오.
  2. oc 명령을 사용하여 실시간 기능이 필요한 작업자 노드에 worker-rt 레이블을 추가합니다.

  3. 실시간 노드에 사용할 새 머신 구성 풀을 생성합니다. 

    apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfigPool
metadata:
  name: worker-rt
  labels:
    machineconfiguration.openshift.io/role: worker-rt
spec:
  machineConfigSelector:
    matchExpressions:
      - {
           key: machineconfiguration.openshift.io/role,
           operator: In,
           values: [worker, worker-rt],
        }
  paused: false
  nodeSelector:
    matchLabels:
      node-role.kubernetes.io/worker-rt: ""
    Copy to Clipboard Toggle word wrap

    worker-rt 레이블이 있는 노드 그룹에 대해 머신 구성 풀 worker-rt 가 생성됩니다.

  4. 노드 역할 레이블을 사용하여 적절한 머신 구성 풀에 노드를 추가합니다.

    참고

    실시간 워크로드로 구성된 노드를 결정해야 합니다. 클러스터의 모든 노드 또는 노드의 하위 집합을 구성할 수 있습니다. 모든 노드를 예상하는 Node Tuning Operator는 전용 머신 구성 풀의 일부입니다. 모든 노드를 사용하는 경우 Node Tuning Operator에서 작업자 노드 역할 레이블을 가리켜야 합니다. 서브 세트를 사용하는 경우 해당 노드를 새 머신 구성 풀로 그룹화해야 합니다.

  5. 적절한 하우스키핑 코어 세트와 realTimeKernel: enabled: true를 사용하여 PerformanceProfile을 생성합니다.

  6. PerformanceProfile 에서 machineConfigPoolSelector 를 설정해야 합니다. 

      apiVersion: performance.openshift.io/v2
  kind: PerformanceProfile
  metadata:
   name: example-performanceprofile
  spec:
  ...
    realTimeKernel:
      enabled: true
    nodeSelector:
       node-role.kubernetes.io/worker-rt: ""
    machineConfigPoolSelector:
       machineconfiguration.openshift.io/role: worker-rt
    Copy to Clipboard Toggle word wrap

  7. 레이블과 일치하는 머신 구성 풀이 있는지 검증합니다. 

    $ oc describe mcp/worker-rt
    Copy to Clipboard Toggle word wrap

    출력 예

    Name:         worker-rt
Namespace:
Labels:       machineconfiguration.openshift.io/role=worker-rt
    Copy to Clipboard Toggle word wrap

  8. OpenShift Container Platform에서 노드 구성을 시작합니다. 이 작업에서는 여러 번 재부팅이 수행될 수 있습니다. 노드가 설정될 때까지 기다리십시오. 사용하는 하드웨어에 따라 시간이 오래 걸릴 수 있으며 노드당 20분으로 예상됩니다.
  9. 모든 요소가 예상대로 작동하는지 검증하십시오.

15.2.3. 실시간 커널 설치 검증
링크 복사

다음 명령을 사용하여 실시간 커널이 설치되었는지 검증합니다. 

$ oc get node -o wide
Copy to Clipboard Toggle word wrap

4.18.0-305.30.1.rt7.102.el8_4.x86_64 cri-o://1.24.0-99.rhaos4.10.gitc31de.el8 문자열이 포함된 worker-rt 역할의 작업자를 참조하십시오. 

NAME                               	STATUS   ROLES           	AGE 	VERSION                  	INTERNAL-IP
EXTERNAL-IP   OS-IMAGE                                       	KERNEL-VERSION
CONTAINER-RUNTIME
rt-worker-0.example.com	          Ready	 worker,worker-rt   5d17h   v1.24.0
128.66.135.107   <none>    	        Red Hat Enterprise Linux CoreOS 46.82.202008252340-0 (Ootpa)
4.18.0-305.30.1.rt7.102.el8_4.x86_64   cri-o://1.24.0-99.rhaos4.10.gitc3131de.el8
[...]
Copy to Clipboard Toggle word wrap

15.2.4. 실시간으로 작동하는 워크로드 생성
링크 복사

실시간 기능을 사용할 워크로드를 준비하려면 다음 절차를 사용하십시오.

절차

  1. QoS 클래스가 Guaranteed인 Pod를 생성합니다.
  2. 선택사항: DPDK에 대해 CPU 부하 분산을 비활성화합니다.
  3. 적절한 노드 선택기를 할당합니다.

애플리케이션을 작성하는 경우 애플리케이션 튜닝 및 배포에 설명된 일반 권장 사항을 따르십시오.

15.2.5. QoS 클래스가 Guaranteed인 Pod 생성
링크 복사

QoS 클래스가 Guaranteed로 지정된 Pod를 생성하는 경우 다음 사항에 유의하십시오.

  • Pod의 모든 컨테이너에는 메모리 제한과 메모리 요청이 있어야 하며 동일해야 합니다.
  • Pod의 모든 컨테이너에는 CPU 제한과 CPU 요청이 있어야 하며 동일해야 합니다.

다음 예에서는 컨테이너가 하나인 Pod의 구성 파일을 보여줍니다. 이 컨테이너에는 메모리 제한과 메모리 요청이 있으며 둘 다 200MiB입니다. 이 컨테이너에는 CPU 제한과 CPU 요청이 있으며 둘 다 CPU 1개입니다. 

apiVersion: v1
kind: Pod
metadata:
  name: qos-demo
  namespace: qos-example
spec:
  containers:
  - name: qos-demo-ctr
    image: <image-pull-spec>
    resources:
      limits:
        memory: "200Mi"
        cpu: "1"
      requests:
        memory: "200Mi"
        cpu: "1"
Copy to Clipboard Toggle word wrap

  1. Pod를 생성합니다. 

    $ oc  apply -f qos-pod.yaml --namespace=qos-example
    Copy to Clipboard Toggle word wrap

  2. Pod에 대한 자세한 정보를 봅니다. 

    $ oc get pod qos-demo --namespace=qos-example --output=yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    spec:
  containers:
    ...
status:
  qosClass: Guaranteed
    Copy to Clipboard Toggle word wrap

    참고

    컨테이너가 자체 메모리 제한은 지정하지만 메모리 요청은 지정하지 않으면 OpenShift Container Platform에서 제한과 일치하는 메모리 요청을 자동으로 할당합니다. 마찬가지로, 컨테이너가 자체 CPU 제한은 지정하지만 CPU 요청은 지정하지 않으면 OpenShift Container Platform에서 제한과 일치하는 CPU 요청을 자동으로 할당합니다.

15.2.6. 선택사항: DPDK에 대해 CPU 부하 분산 비활성화
링크 복사

CPU 부하 분산을 비활성화하거나 활성화하는 기능은 CRI-O 수준에서 구현됩니다. CRI-O 아래의 코드는 다음 요구사항이 충족되는 경우에만 CPU 부하 분산을 비활성화하거나 활성화합니다.

  • Pod는 performance-<profile-name> 런타임 클래스를 사용해야 합니다. 다음과 같이 성능 프로필의 상태를 보고 적절한 이름을 가져올 수 있습니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
...
status:
  ...
  runtimeClass: performance-manual
    Copy to Clipboard Toggle word wrap
  • Pod에는 cpu-load-balancing.crio.io: true 주석이 있어야 합니다.

Node Tuning Operator는 관련 노드 아래에 고성능 런타임 처리기 구성 스니펫을 생성하고 클러스터에 고성능 런타임 클래스를 생성해야 합니다. CPU 부하 분산 구성 기능을 활성화하는 것을 제외하고는 기본 런타임 처리기와 콘텐츠가 동일합니다.

Pod에 대해 CPU 부하 분산을 비활성화하려면 Pod 사양에 다음 필드가 포함되어야 합니다. 

apiVersion: v1
kind: Pod
metadata:
  ...
  annotations:
    ...
    cpu-load-balancing.crio.io: "disable"
    ...
  ...
spec:
  ...
  runtimeClassName: performance-<profile_name>
  ...
Copy to Clipboard Toggle word wrap
참고

CPU 관리자 static 정책이 활성화되어 있는 경우 전체 CPU를 사용하는 guaranteed QoS가 있는 Pod에 대해서만 CPU 부하 분산을 비활성화하십시오. 그렇지 않은 경우 CPU 부하 분산을 비활성화하면 클러스터에 있는 다른 컨테이너의 성능에 영향을 미칠 수 있습니다.

15.2.7. 적절한 노드 선택기 할당
링크 복사

노드에 Pod를 할당하는 기본 방법은 다음과 같이 성능 프로필에서 사용한 것과 동일한 노드 선택기를 사용하는 것입니다. 

apiVersion: v1
kind: Pod
metadata:
  name: example
spec:
  # ...
  nodeSelector:
    node-role.kubernetes.io/worker-rt: ""
Copy to Clipboard Toggle word wrap

자세한 내용은 노드 선택기를 사용하여 특정 노드에 Pod 배치를 참조하십시오.

15.2.8. 실시간 기능이 있는 작업자에 대해 워크로드 예약
링크 복사

Node Tuning Operator에서 짧은 대기 시간을 위해 구성된 머신 구성 풀에 연결된 노드와 일치하는 라벨 선택기를 사용합니다. 자세한 내용은 노드에 Pod 할당을 참조하십시오.

15.2.9. CPU를 오프라인 상태에서 사용하여 전력 소비 감소
링크 복사

일반적으로 Telemunication 워크로드를 예상할 수 있습니다. 모든 CPU 리소스가 필요하지 않은 경우 Node Tuning Operator를 사용하면 성능 프로필을 수동으로 업데이트하여 전력 소비를 줄일 수 있도록 Node Tuning Operator를 오프라인에서 사용할 수 있습니다.

사용되지 않는 CPU를 오프라인으로 전환하려면 다음 작업을 수행해야 합니다.

  1. 성능 프로필에 오프라인 CPU를 설정하고 YAML 파일의 내용을 저장합니다.

    오프라인 CPU가 있는 성능 프로파일의 예

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: performance
spec:
  additionalKernelArgs:
  - nmi_watchdog=0
  - audit=0
  - mce=off
  - processor.max_cstate=1
  - intel_idle.max_cstate=0
  - idle=poll
  cpu:
    isolated: "2-23,26-47"
    reserved: "0,1,24,25"
    offlined: “48-59”
    1 
    
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
  numa:
    topologyPolicy: single-numa-node
  realTimeKernel:
    enabled: true
    Copy to Clipboard Toggle word wrap

    1
    선택사항입니다. 오프라인 필드에서 CPU를 나열하여 지정된 CPU를 오프라인으로 가져올 수 있습니다.

  2. 다음 명령을 실행하여 업데이트된 프로필을 적용합니다. 

    $ oc apply -f my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap

15.2.10. 보장된 pod 분리 CPU의 장치 중단 처리 관리
링크 복사

Node Tuning Operator는 Pod 인프라 컨테이너를 포함하여 클러스터 및 운영 체제 하우스키핑 작업을 위해 예약된 CPU와 워크로드를 실행하는 애플리케이션 컨테이너의 분리된 CPU로 호스트 CPU를 관리할 수 있습니다. 이를 통해 대기 시간이 짧은 워크로드의 CPU를 분리된 상태로 설정할 수 있습니다.

장치 중단은 보장된 pod가 실행 중인 CPU를 제외하고 CPU의 과부하를 방지하기 위해 모든 분리된 CPU와 예약된 CPU 간에 균형을 유지합니다. pod에 관련 주석이 설정되어 있으면 보장된 Pod CPU가 장치 인터럽트를 처리하지 못합니다.

새로운 성능 프로파일 필드 globallyDisableIrqLoadBalancing은 장치 중단을 처리할지 여부를 관리하는 데 사용할 수 있습니다. 특정 워크로드의 경우 예약된 CPU가 장치 인터럽트를 처리하기에 충분하지 않으며 이러한 이유로 장치 중단은 분리된 CPU에서 전역적으로 비활성화되지 않습니다. 기본적으로 Node Tuning Operator는 분리된 CPU에서 장치 인터럽트를 비활성화하지 않습니다.

워크로드에 대한 대기 시간을 단축하기 위해 일부(전체) pod에는 장치 인터럽트를 처리하지 않기 위한 실행 중인 CPU가 필요합니다. pod 주석 irq-load-balancing.crio.io는 장치 인터럽트의 처리 여부를 정의하는 데 사용됩니다. 설정되어 있는 경우 CRI-O는 pod가 실행되는 경우에만 장치 인터럽트를 비활성화합니다.

15.2.10.1. CPU CFS 할당량 비활성화
링크 복사

보장된 개별 Pod의 CPU 제한을 줄이려면 cpu-quota.crio.io: "disable" 주석이 있는 Pod 사양을 생성합니다. 이 주석은 Pod 런타임 시 CPU 완전히 유휴 스케줄러(CFS) 할당량을 비활성화합니다. 다음 Pod 사양에는 이 주석이 포함되어 있습니다. 

apiVersion: v1
kind: Pod
metadata:
  annotations:
      cpu-quota.crio.io: "disable"
spec:
    runtimeClassName: performance-<profile_name>
...
Copy to Clipboard Toggle word wrap
참고

CPU 관리자 정적 정책이 활성화된 경우 전체 CPU를 사용하는 QoS가 있는 Pod의 경우 CPU CFS 할당량을 비활성화합니다. 그렇지 않으면 CPU CFS 할당량을 비활성화하면 클러스터의 다른 컨테이너의 성능에 영향을 미칠 수 있습니다.

15.2.10.2. Node Tuning Operator에서 글로벌 장치 인터럽트 처리 비활성화
링크 복사

분리된 CPU 세트에 대한 글로벌 장치 인터럽트를 비활성화하도록 Node Tuning Operator를 구성하려면 성능 프로필의 globallyDisableIrqLoadBalancing 필드를 true 로 설정합니다. true인 경우 충돌하는 Pod 주석이 무시됩니다. false인 경우 IRQ 로드는 모든 CPU에서 균형을 유지합니다.

성능 프로파일 스니펫에서는 이 설정을 보여줍니다. 

apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  globallyDisableIrqLoadBalancing: true
...
Copy to Clipboard Toggle word wrap
15.2.10.3. 개별 pod에 대한 인터럽트 처리 비활성화
링크 복사

개별 pod의 인터럽트 처리를 비활성화하려면 성능 프로필에서 globallyDisableIrqLoadBalancing이 false 로 설정되어 있는지 확인합니다. 그런 다음 Pod 사양에서 irq-load-balancing.crio.io Pod 주석을 비활성화하도록 설정합니다. 다음 Pod 사양에는 이 주석이 포함되어 있습니다. 

apiVersion: performance.openshift.io/v2
kind: Pod
metadata:
  annotations:
      irq-load-balancing.crio.io: "disable"
spec:
    runtimeClassName: performance-<profile_name>
...
Copy to Clipboard Toggle word wrap

기존 프로필에서 Node Tuning Operator 성능 프로필 CRD(사용자 정의 리소스 정의)를 v1 또는 v1alpha1에서 v2로 업그레이드하는 경우 기존 프로필에서 globallyDisableIrqLoadBalancing 이 true 로 설정됩니다.

참고

globallyDisableIrqLoadBalancing toggles whether IRQ 로드 밸런싱이 Isolated CPU 세트에 대해 비활성화됩니다. 옵션을 true 로 설정하면 Isolated CPU 세트에 대한 IRQ 부하 분산을 비활성화합니다. 옵션을 false 로 설정하면 IRQ가 모든 CPU에서 균형을 유지할 수 있습니다.

15.2.11.1. 지원되는 API 버전
링크 복사

Node Tuning Operator는 성능 프로파일 apiVersion 필드에 v2,v1 및 v1alpha1 을 지원합니다. v1 및 v1alpha1 API는 동일합니다. v2 API에는 기본값인 false 값을 사용하여 선택적 부울 필드 loballyDisableIrqLoadBalancing이 포함됩니다.

15.2.11.1.1. Node Tuning Operator API를 v1alpha1에서 v1로 업그레이드
링크 복사

Node Tuning Operator API 버전을 v1alpha1에서 v1로 업그레이드하는 경우 "None" 변환 전략을 사용하여 v1alpha1 성능 프로파일이 즉시 변환되고 API 버전 v1과 Node Tuning Operator에 제공됩니다.

15.2.11.1.2. Node Tuning Operator API를 v1alpha1 또는 v1에서 v2로 업그레이드
링크 복사

이전 Node Tuning Operator API 버전에서 업그레이드할 때 기존 v1 및 v1alpha1 성능 프로파일은 true 값이 있는 globallyDisableIrqLoadBalancing 필드를 삽입하는 변환 Webhook를 사용하여 변환됩니다.

성능 프로필을 사용하면 특정 머신 구성 풀에 속한 노드의 대기 시간 튜닝 측면을 제어할 수 있습니다. 설정을 지정하면 PerformanceProfile 오브젝트가 실제 노드 수준 튜닝을 수행하는 여러 오브젝트로 컴파일됩니다.

  • MachineConfig 파일은 노드를 조작합니다.
  • KubeletConfig 파일은 토폴로지 관리자, CPU 관리자 및 OpenShift Container Platform 노드를 구성합니다.
  • Tuned 프로필은 Node Tuning Operator를 구성합니다.

성능 프로필을 사용하여 커널을 kernel-rt로 업데이트할지 여부를 지정하고, 대규모 페이지를 할당하고, CPU를 분할하여 하우스키핑 작업 수행 또는 워크로드 실행에 사용할 CPU를 분할할 수 있습니다.

참고

PerformanceProfile 오브젝트를 수동으로 생성하거나 Performance Profile Creator(PPC)를 사용하여 성능 프로필을 생성할 수 있습니다. PPC에 대한 자세한 내용은 아래 추가 리소스를 참조하십시오.

성능 프로파일의 예

apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
 name: performance
spec:
 cpu:
  isolated: "4-15"
1 

  reserved: "0-3"
2 

 hugepages:
  defaultHugepagesSize: "1G"
  pages:
  - size: "1G"
    count: 16
    node: 0
 realTimeKernel:
  enabled: true
3 

 numa:
4 

  topologyPolicy: "best-effort"
 nodeSelector:
  node-role.kubernetes.io/worker-cnf: ""
5
Copy to Clipboard Toggle word wrap

1
이 필드를 사용하여 워크로드의 애플리케이션 컨테이너와 함께 사용할 특정 CPU를 분리합니다. 하이퍼 스레딩이 활성화된 경우 오류 없이 Pod를 실행할 수 있도록 분리된 CPU 수를 설정합니다.
2
이 필드를 사용하여 하우스키핑을 위해 인프라 컨테이너와 함께 사용할 특정 CPU를 예약합니다.
3
이 필드를 사용하여 노드에 실시간 커널을 설치합니다. 유효한 값은 true 또는 false입니다. true 값을 설정하면 실시간 커널이 설치됩니다.
4
이 필드를 사용하여 토폴로지 관리자 정책을 구성합니다. 유효한 값은 none(기본값), best-effort, restricted 및 single-numa-node입니다. 자세한 내용은 토폴로지 관리자 정책을 참조하십시오.
5
이 필드를 사용하여 특정 노드에 성능 프로파일을 적용할 노드 선택기를 지정합니다.

15.3.1. 대규모 페이지 구성
링크 복사

노드는 OpenShift Container Platform 클러스터에서 사용되는 대규모 페이지를 사전 할당해야 합니다. Node Tuning Operator를 사용하여 특정 노드에 대규모 페이지를 할당합니다.

OpenShift Container Platform에서는 대규모 페이지를 생성하고 할당하는 방법을 제공합니다. Node Tuning Operator는 성능 프로필을 사용하여 이 작업을 더 쉽게 수행할 수 있는 방법을 제공합니다.

예를 들어 성능 프로필의 hugepages pages 섹션에서 size, count 및 node(선택사항)로 된 여러 블록을 지정할 수 있습니다. 

hugepages:
   defaultHugepagesSize: "1G"
   pages:
   - size:  "1G"
     count:  4
     node:  0
1
Copy to Clipboard Toggle word wrap
1
node는 대규모 페이지가 할당된 NUMA 노드입니다. node를 생략하면 페이지가 모든 NUMA 노드에 균등하게 분산됩니다.
참고

관련 머신 구성 풀 상태에 업데이트가 완료된 것으로 나타날 때까지 기다립니다.

대규모 페이지를 할당하기 위해 수행해야 하는 구성 단계는 이것이 전부입니다.

검증

  • 구성을 검증하려면 노드의 /proc/meminfo 파일을 참조하십시오. 

    $ oc debug node/ip-10-0-141-105.ec2.internal
    Copy to Clipboard Toggle word wrap 
    # grep -i huge /proc/meminfo
    Copy to Clipboard Toggle word wrap

    출력 예

    AnonHugePages:    ###### ##
ShmemHugePages:        0 kB
HugePages_Total:       2
HugePages_Free:        2
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       #### ##
Hugetlb:            #### ##
    Copy to Clipboard Toggle word wrap

  • oc describe를 사용하여 새 크기를 보고합니다. 

    $ oc describe node worker-0.ocp4poc.example.com | grep -i huge
    Copy to Clipboard Toggle word wrap

    출력 예

                                       hugepages-1g=true
 hugepages-###:  ###
 hugepages-###:  ###
    Copy to Clipboard Toggle word wrap

15.3.2. 여러 대규모 페이지 크기 할당
링크 복사

동일한 컨테이너에서 다양한 크기의 대규모 페이지를 요청할 수 있습니다. 이 경우 다양한 대규모 페이지 크기 요구사항이 있는 컨테이너로 구성된 더 복잡한 Pod를 정의할 수 있습니다.

예를 들어 1G 및 2M 크기를 정의할 수 있으며 Node Tuning Operator는 다음과 같이 노드에서 두 크기를 모두 구성합니다. 

spec:
  hugepages:
    defaultHugepagesSize: 1G
    pages:
    - count: 1024
      node: 0
      size: 2M
    - count: 4
      node: 1
      size: 1G
Copy to Clipboard Toggle word wrap

15.3.3. IRQ 동적 로드 밸런싱을 위한 노드 구성
링크 복사

IRQ 동적 로드 밸런싱을 처리하도록 클러스터 노드를 구성하려면 다음을 수행합니다.

  1. cluster-admin 역할의 사용자로 OpenShift Container Platform 클러스터에 로그인합니다.
  2. performance.openshift.io/v2를 사용하도록 성능 프로파일의 apiVersion을 설정합니다.
  3. globallyDisableIrqLoadBalancing 필드를 삭제제거하거나 false로 설정합니다.

  4. 적절한 분리 및 예약된 CPU를 설정합니다. 다음 스니펫에서는 두 개의 CPU를 예약하는 프로파일을 보여줍니다. isolated CPU 세트에서 실행되는 Pod에 대해 IRQ 로드 밸런싱이 활성화됩니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: dynamic-irq-profile
spec:
  cpu:
    isolated: 2-5
    reserved: 0-1
...
    Copy to Clipboard Toggle word wrap
    참고

    예약 및 분리된 CPU를 구성하면 Pod의 인프라 컨테이너는 예약된 CPU를 사용하고 애플리케이션 컨테이너는 분리된 CPU를 사용합니다.

  5. 전용 CPU를 사용하는 pod를 생성하고 irq-load-balancing.crio.io 및 cpu-quota.crio.io 주석을 disable로 설정합니다. 예를 들어 다음과 같습니다. 

    apiVersion: v1
kind: Pod
metadata:
  name: dynamic-irq-pod
  annotations:
     irq-load-balancing.crio.io: "disable"
     cpu-quota.crio.io: "disable"
spec:
  containers:
  - name: dynamic-irq-pod
    image: "registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11"
    command: ["sleep", "10h"]
    resources:
      requests:
        cpu: 2
        memory: "200M"
      limits:
        cpu: 2
        memory: "200M"
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
  runtimeClassName: performance-dynamic-irq-profile
...
    Copy to Clipboard Toggle word wrap
  6. performance-<profile_name> 형식으로 pod runtimeClassName을 입력합니다. 여기서<profile_name>은 PerformanceProfile YAML의 name입니다 (예: performance- dynamic-irq-profile).
  7. 노드 선택기를 cnf-worker 을 대상으로 설정합니다.

  8. Pod가 올바르게 실행되고 있는지 확인합니다. 상태가 running이어야 하며 올바른 cnf-worker 노드를 설정해야 합니다. 

    $ oc get pod -o wide
    Copy to Clipboard Toggle word wrap

    예상 출력

    NAME              READY   STATUS    RESTARTS   AGE     IP             NODE          NOMINATED NODE   READINESS GATES
dynamic-irq-pod   1/1     Running   0          5h33m   <ip-address>   <node-name>   <none>           <none>
    Copy to Clipboard Toggle word wrap

  9. IRQ 동적 로드 밸런싱을 위해 구성된 Pod가 실행되는 CPU를 가져옵니다. 

    $ oc exec -it dynamic-irq-pod -- /bin/bash -c "grep Cpus_allowed_list /proc/self/status | awk '{print $2}'"
    Copy to Clipboard Toggle word wrap

    예상 출력

    Cpus_allowed_list:  2-3
    Copy to Clipboard Toggle word wrap

  10. 노드 구성이 올바르게 적용되었는지 확인합니다. 구성을 확인하려면 노드에 SSH를 실행합니다. 

    $ oc debug node/<node-name>
    Copy to Clipboard Toggle word wrap

    예상 출력

    Starting pod/<node-name>-debug ...
To use host binaries, run `chroot /host`

Pod IP: <ip-address>
If you don't see a command prompt, try pressing enter.

sh-4.4#
    Copy to Clipboard Toggle word wrap

  11. 노드 파일 시스템을 사용할 수 있는지 확인합니다. 

    sh-4.4# chroot /host
    Copy to Clipboard Toggle word wrap

    예상 출력

    sh-4.4#
    Copy to Clipboard Toggle word wrap

  12. 기본 시스템 CPU 선호도 마스크에 dynamic-irq-pod CPU (예: CPU 2 및 3)가 포함되지 않도록 합니다. 

    $ cat /proc/irq/default_smp_affinity
    Copy to Clipboard Toggle word wrap

    출력 예

    33
    Copy to Clipboard Toggle word wrap

  13. IRQ가 dynamic-irq-pod CPU에서 실행되도록 구성되어 있지 않은지 확인합니다. 

    find /proc/irq/ -name smp_affinity_list -exec sh -c 'i="$1"; mask=$(cat $i); file=$(echo $i); echo $file: $mask' _ {} \;
    Copy to Clipboard Toggle word wrap

    출력 예

    /proc/irq/0/smp_affinity_list: 0-5
/proc/irq/1/smp_affinity_list: 5
/proc/irq/2/smp_affinity_list: 0-5
/proc/irq/3/smp_affinity_list: 0-5
/proc/irq/4/smp_affinity_list: 0
/proc/irq/5/smp_affinity_list: 0-5
/proc/irq/6/smp_affinity_list: 0-5
/proc/irq/7/smp_affinity_list: 0-5
/proc/irq/8/smp_affinity_list: 4
/proc/irq/9/smp_affinity_list: 4
/proc/irq/10/smp_affinity_list: 0-5
/proc/irq/11/smp_affinity_list: 0
/proc/irq/12/smp_affinity_list: 1
/proc/irq/13/smp_affinity_list: 0-5
/proc/irq/14/smp_affinity_list: 1
/proc/irq/15/smp_affinity_list: 0
/proc/irq/24/smp_affinity_list: 1
/proc/irq/25/smp_affinity_list: 1
/proc/irq/26/smp_affinity_list: 1
/proc/irq/27/smp_affinity_list: 5
/proc/irq/28/smp_affinity_list: 1
/proc/irq/29/smp_affinity_list: 0
/proc/irq/30/smp_affinity_list: 0-5
    Copy to Clipboard Toggle word wrap

일부 IRQ 컨트롤러는 IRQ 재조정을 지원하지 않으며 항상 모든 온라인 CPU를 IRQ 마스크로 공개합니다. 이러한 IRQ 컨트롤러는 CPU 0에서 효과적으로 실행됩니다. 호스트 구성에 대한 보다 자세한 내용은 호스트로 SSH를 실행하고 <irq-num>을 쿼리할 CPU 번호를 입력하여 다음을 실행합니다. 

$ cat /proc/irq/<irq-num>/effective_affinity
Copy to Clipboard Toggle word wrap

15.3.4. 클러스터의 하이퍼 스레딩 구성
링크 복사

OpenShift Container Platform 클러스터의 하이퍼 스레딩을 구성하려면 성능 프로파일의 CPU 스레드를 예약 또는 분리된 CPU 풀에 구성된 동일한 코어로 설정합니다.

참고

성능 프로파일을 구성하고 호스트의 하이퍼 스레딩 구성을 변경하는 경우 PerformanceProfile YAML의 CPU isolated 및 reserved 필드를 새 구성과 일치하도록 업데이트해야 합니다.

주의

이전에 활성화된 호스트 하이퍼 스레딩 구성을 비활성화하면 PerformanceProfile YAML에 나열된 CPU 코어 ID가 올바르지 않을 수 있습니다. 이렇게 잘못된 구성으로 인해 나열된 CPU를 더 이상 찾을 수 없으므로 노드를 사용할 수 없게 될 가능성이 있습니다.

사전 요구 사항

  • cluster-admin 역할을 가진 사용자로 클러스터에 액세스합니다.
  • OpenShift CLI(oc)를 설치합니다.

프로세스

  1. 구성할 호스트의 모든 CPU에서 실행중인 스레드를 확인합니다.

    클러스터에 로그인하고 다음 명령을 실행하여 호스트 CPU에서 실행중인 스레드를 볼 수 있습니다. 

    $ lscpu --all --extended
    Copy to Clipboard Toggle word wrap

    출력 예

    CPU NODE SOCKET CORE L1d:L1i:L2:L3 ONLINE MAXMHZ    MINMHZ
0   0    0      0    0:0:0:0       yes    4800.0000 400.0000
1   0    0      1    1:1:1:0       yes    4800.0000 400.0000
2   0    0      2    2:2:2:0       yes    4800.0000 400.0000
3   0    0      3    3:3:3:0       yes    4800.0000 400.0000
4   0    0      0    0:0:0:0       yes    4800.0000 400.0000
5   0    0      1    1:1:1:0       yes    4800.0000 400.0000
6   0    0      2    2:2:2:0       yes    4800.0000 400.0000
7   0    0      3    3:3:3:0       yes    4800.0000 400.0000
    Copy to Clipboard Toggle word wrap

    이 예에서는 4개의 물리적 CPU 코어에서 실행 중인 논리 CPU 코어가 8개 있습니다. CPU0 및 CPU4는 물리적 Core0에서 실행되고 CPU1 및 CPU5는 물리적 Core 1에서 실행되고 있습니다.

    또는 특정 물리적 CPU 코어(다음 예에서는cpu0)에 설정된 스레드를 보려면 명령 프롬프트를 열고 다음을 실행합니다. 

    $ cat /sys/devices/system/cpu/cpu0/topology/thread_siblings_list
    Copy to Clipboard Toggle word wrap

    출력 예

    0-4
    Copy to Clipboard Toggle word wrap

  2. PerformanceProfile YAML에서 분리 및 예약된 CPU를 적용합니다. 예를 들어 논리 코어 CPU0 및 CPU4를 분리된 로, 논리 코어 CPU1을 CPU3으로, CPU5를 CPU7으로 설정할 수 있습니다. 예약 및 분리된 CPU를 구성하면 Pod의 인프라 컨테이너는 예약된 CPU를 사용하고 애플리케이션 컨테이너는 분리된 CPU를 사용합니다. 

    ...
  cpu:
    isolated: 0,4
    reserved: 1-3,5-7
...
    Copy to Clipboard Toggle word wrap
    참고

    예약 및 격리된 CPU 풀이 겹치지 않아야 하며 작업자 노드에서 사용 가능한 모든 코어에 걸쳐 있어야 합니다.

중요

하이퍼 스레딩은 대부분의 Intel 프로세서에서 기본적으로 활성화되어 있습니다. 하이퍼 스레딩을 활성화하면 특정 코어에서 처리되는 모든 스레드를 동일한 코어에서 분리하거나 처리해야 합니다.

15.3.4.1. 지연 시간이 짧은 애플리케이션의 하이퍼 스레딩 비활성화
링크 복사

지연 시간이 짧은 프로세스를 위해 클러스터를 구성할 때 클러스터를 배포하기 전에 하이퍼 스레딩을 비활성화할지 여부를 고려하십시오. 하이퍼 스레딩을 비활성화하려면 다음을 수행합니다.

  1. 하드웨어 및 토폴로지에 적합한 성능 프로필을 생성합니다.

  2. nosmt를 추가 커널 인수로 설정합니다. 다음 성능 프로파일 예에서는 이 설정에 대해 설명합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: example-performanceprofile
spec:
  additionalKernelArgs:
    - nmi_watchdog=0
    - audit=0
    - mce=off
    - processor.max_cstate=1
    - idle=poll
    - intel_idle.max_cstate=0
    - nosmt
  cpu:
    isolated: 2-3
    reserved: 0-1
  hugepages:
    defaultHugepagesSize: 1G
    pages:
      - count: 2
        node: 0
        size: 1G
  nodeSelector:
    node-role.kubernetes.io/performance: ''
  realTimeKernel:
    enabled: true
    Copy to Clipboard Toggle word wrap
    참고

    예약 및 분리된 CPU를 구성하면 Pod의 인프라 컨테이너는 예약된 CPU를 사용하고 애플리케이션 컨테이너는 분리된 CPU를 사용합니다.

15.3.5. 워크로드 팁 이해
링크 복사

다음 표에서는 전력 소비와 실시간 설정이 대기 시간에 미치는 영향에 대해 설명합니다.

참고

다음 워크로드 힌트를 수동으로 구성할 수 있습니다. Performance Profile Creator를 사용하여 워크로드 힌트를 사용할 수도 있습니다. 성능 프로필에 대한 자세한 내용은 "성능 프로필 생성" 섹션을 참조하십시오. 워크로드 힌트가 수동으로 구성되고 realTime 워크로드 힌트가 명시적으로 설정되지 않은 경우 기본값은 true 입니다.

Expand
Performance Profile Creator 설정힌트환경설명

기본값 

workloadHints:
highPowerConsumption: false
realTime: false
Copy to Clipboard Toggle word wrap

대기 시간 요구 사항이 없는 높은 처리량 클러스터

CPU 파티셔닝을 통해서만 달성된 성능.

low-latency 

workloadHints:
highPowerConsumption: false
realTime: true
Copy to Clipboard Toggle word wrap

지역 데이터센터

전력 절감과 대기 시간이 짧은 경우 모두, 전원 관리, 대기 시간 및 처리량이 저하됩니다.

Ultra-low-latency 

workloadHints:
highPowerConsumption: true
realTime: true
Copy to Clipboard Toggle word wrap

긴 엣지 클러스터, 대기 시간 중요한 워크로드

전력 소비 증가의 비용으로 절대 최소 대기 시간과 최대 결정성에 최적화되어 있습니다.

Pod별 전원 관리 

workloadHints:
realTime: true
highPowerConsumption: false
perPodPowerManagement: true
Copy to Clipboard Toggle word wrap

심각 및 중요하지 않은 워크로드

Pod당 전원 관리를 허용합니다.

15.3.6. 워크로드 힌트 수동 구성
링크 복사

절차

  1. "Works workload hints"의 표에 설명된 대로 환경의 하드웨어 및 토폴로지에 적합한 PerformanceProfile 을 생성합니다. 예상 워크로드와 일치하도록 프로필을 조정합니다. 이 예에서는 가능한 가장 짧은 대기 시간을 튜닝합니다.

  2. highPowerConsumption 및 realTime 워크로드 힌트를 추가합니다. 둘 다 true 로 설정되어 있습니다. 

        apiVersion: performance.openshift.io/v2
    kind: PerformanceProfile
    metadata:
      name: workload-hints
    spec:
      ...
      workloadHints:
        highPowerConsumption: true
    1 
    
        realTime: true
    2
    Copy to Clipboard Toggle word wrap
    1
    highPowerConsumption 이 true 인 경우 노드가 전력 소비 증가 시 매우 짧은 대기 시간으로 조정됩니다.
    2
    시스템 대기 시간에 영향을 줄 수 있는 일부 디버깅 및 모니터링 기능을 비활성화합니다.
참고

성능 프로파일에서 realTime 워크로드 힌트 플래그가 true 로 설정된 경우 고정 CPU가 있는 보장된 모든 Pod에 cpu-quota.crio.io: disable 주석을 추가합니다. 이 주석은 Pod 내에서 프로세스 성능이 저하되지 않도록 하는 데 필요합니다. realTime 워크로드 힌트가 명시적으로 설정되지 않은 경우 기본값은 true 입니다.

15.3.7. 인프라 및 애플리케이션 컨테이너의 CPU 제한
링크 복사

일반 하우스키핑 및 워크로드 작업은 대기 시간에 민감한 프로세스에 영향을 미칠 수 있는 방식으로 CPU를 사용합니다. 기본적으로 컨테이너 런타임은 모든 온라인 CPU를 사용하여 모든 컨테이너를 함께 실행하여 컨텍스트 스위치와 대기 시간이 급증할 수 있습니다. CPU를 분할하면 noisy 프로세스가 서로 분리되어 대기 시간에 민감한 프로세스를 방해할 수 없습니다. 다음 표에서는 Node Tuning Operator를 사용하여 노드를 조정한 후 CPU에서 프로세스를 실행하는 방법을 설명합니다.

Expand
표 15.1. 프로세스의 CPU 할당
프로세스 유형세부 정보

Burstable 및 BestEffort Pod

대기 시간이 짧은 워크로드가 실행 중인 위치를 제외하고 모든 CPU에서 실행

인프라 Pod

대기 시간이 짧은 워크로드가 실행 중인 위치를 제외하고 모든 CPU에서 실행

인터럽트

예약된 CPU로 리디렉션(OpenShift Container Platform 4.7 이상에서 선택 사항)

커널 프로세스

예약된 CPU에 고정

대기 시간에 민감한 워크로드 Pod

분리된 풀에서 특정 전용 CPU 세트에 고정

OS 프로세스/systemd 서비스

예약된 CPU에 고정

모든 QoS 프로세스 유형, Burstable,BestEffort 또는 Guaranteed 의 Pod에 대해 노드에 있는 코어의 할당 가능 용량은 격리된 풀의 용량과 동일합니다. 예약된 풀의 용량은 클러스터 및 운영 체제 하우스키핑 작업에서 사용할 노드의 총 코어 용량에서 제거됩니다.

예시 1

노드에는 100개의 코어 용량이 있습니다. 클러스터 관리자는 성능 프로필을 사용하여 분리된 풀에 50개의 코어를 할당하고 예약된 풀에 50개의 코어를 할당합니다. 클러스터 관리자는 BestEffort 또는 Burstable Pod에 대해 QoS가 보장된 Pod 및 25개의 코어를 25개에 할당합니다. 이는 격리된 풀의 용량과 일치합니다.

예시 2

노드에는 100개의 코어 용량이 있습니다. 클러스터 관리자는 성능 프로필을 사용하여 분리된 풀에 50개의 코어를 할당하고 예약된 풀에 50개의 코어를 할당합니다. 클러스터 관리자는 QoS가 보장된 Pod에 50개의 코어를 할당하고 BestEffort 또는 Burstable Pod의 코어 1개를 할당합니다. 이는 하나의 코어로 격리된 풀의 용량을 초과합니다. CPU 용량이 부족하여 Pod 예약에 실패합니다.

사용할 정확한 파티션 패턴은 하드웨어, 워크로드 특성 및 예상되는 시스템 로드와 같은 여러 요인에 따라 달라집니다. 일부 샘플 사용 사례는 다음과 같습니다.

  • 대기 시간에 민감한 워크로드에서 NIC(네트워크 인터페이스 컨트롤러)와 같은 특정 하드웨어를 사용하는 경우 분리된 풀의 CPU가 이 하드웨어에 최대한 가깝게 있는지 확인합니다. 최소한 동일한 NUMA(Non-Uniform Memory Access) 노드에 워크로드를 배치해야 합니다.
  • 예약된 풀은 모든 인터럽트를 처리하는 데 사용됩니다. 시스템 네트워킹에 따른 경우 충분한 크기의 예약 풀을 할당하여 들어오는 모든 패킷 인터럽트를 처리합니다. 4.11 이상 버전에서 워크로드는 선택적으로 중요로 레이블을 지정할 수 있습니다.

예약 및 분리된 파티션에 사용할 특정 CPU에 대한 결정에는 자세한 분석과 측정이 필요합니다. 장치 및 메모리의 NUMA 선호도와 같은 요인은 역할을 합니다. 선택 사항은 워크로드 아키텍처 및 특정 사용 사례에 따라 달라집니다.

중요

예약 및 격리된 CPU 풀이 겹치지 않아야 하며 작업자 노드에서 사용 가능한 모든 코어에 걸쳐 있어야 합니다.

하우스키핑 작업 및 워크로드가 서로 간섭하지 않도록 성능 프로파일의 spec 섹션에 두 개의 CPU 그룹을 지정합니다.

  • isolated - 애플리케이션 컨테이너 워크로드의 CPU를 지정합니다. 이러한 CPU는 대기 시간이 가장 짧습니다. 이 그룹의 프로세스에는 중단이 발생하지 않으므로 예를 들어 프로세스가 훨씬 더 높은 DPDK 제로 패킷 손실 대역폭에 도달할 수 있습니다.
  • reserved - 클러스터 및 운영 체제 하우스키핑 작업의 CPU를 지정합니다. 예약 그룹의 스레드는 종종 사용 중입니다. 예약된 그룹에서 대기 시간에 민감한 애플리케이션을 실행하지 마십시오. 대기 시간에 민감한 애플리케이션은 격리된 그룹에서 실행됩니다.

절차

  1. 환경 하드웨어 및 토폴로지에 적합한 성능 프로필을 생성합니다.

  2. 인프라 및 애플리케이션 컨테이너에 대해 reserved 및 isolated하려는 CPU와 함께 예약 및 격리된 매개변수를 추가합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: infra-cpus
spec:
  cpu:
    reserved: "0-4,9"
    1 
    
    isolated: "5-8"
    2 
    
  nodeSelector:
    3 
    
    node-role.kubernetes.io/worker: ""
    Copy to Clipboard Toggle word wrap
    1
    클러스터 및 운영 체제 하우스키핑 작업을 수행하기 위해 인프라 컨테이너의 CPU를 지정합니다.
    2
    애플리케이션 컨테이너가 워크로드를 실행하는 CPU를 지정합니다.
    3
    선택 사항: 노드 선택기를 지정하여 특정 노드에 성능 프로파일을 적용합니다.

15.4. Node Tuning Operator를 사용하여 NIC 큐 감소
링크 복사

Node Tuning Operator를 사용하면 성능 프로필을 구성하여 각 네트워크 장치에 대한 NIC(네트워크 인터페이스 컨트롤러) 대기열 수를 조정할 수 있습니다. 장치 네트워크 대기열을 사용하면 서로 다른 물리적 대기열 간에 패킷을 배포할 수 있으며 각 대기열은 패킷 처리를 위해 별도의 스레드를 가져옵니다.

실시간 또는 짧은 대기 시간 시스템에서 분리된 CPU에 고정된 불필요한 인터럽트 요청 라인(IRQ)을 예약 또는 하우스키핑 CPU로 이동해야 합니다.

시스템이 필요한 애플리케이션 배포에서 OpenShift Container Platform 네트워킹 또는 DPDK(Data Plane Development Kit) 워크로드와의 혼합 배포에서 우수한 처리량을 달성하려면 여러 대기열이 필요하며 NIC 큐 수는 조정되거나 변경되지 않아야 합니다. 예를 들어 대기 시간을 단축하려면 DPDK 기반 워크로드의 NIC 대기열 수를 예약 또는 하우스키핑 CPU 수만큼 줄여야 합니다.

각 CPU에 대해 기본적으로 너무 많은 대기열이 생성되며 낮은 대기 시간을 위해 튜닝할 때 하우스키핑 CPU에 대한 인터럽트 테이블에 맞지 않습니다. 큐 수를 줄이면 적절한 튜닝이 가능합니다. 큐 수가 적을수록 IRQ 테이블에 맞는 인터럽트 수가 적다는 것을 의미합니다.

참고

이전 버전의 OpenShift Container Platform에서 Performance Addon Operator는 애플리케이션에 대한 짧은 대기 시간 성능 튜닝을 제공합니다. OpenShift Container Platform 4.11 이상에서는 이 기능은 Node Tuning Operator의 일부입니다.

15.4.1. 성능 프로파일을 사용하여 NIC 큐 조정
링크 복사

성능 프로파일을 사용하면 각 네트워크 장치의 대기열 수를 조정할 수 있습니다.

지원되는 네트워크 장치는 다음과 같습니다.

  • 비가상 네트워크 장치
  • 멀티 큐(채널)를 지원하는 네트워크 장치

지원되지 않는 네트워크 장치는 다음과 같습니다.

  • Pure Software 네트워크 인터페이스
  • 블록 장치
  • Intel DPDK 가상 기능

사전 요구 사항

  • cluster-admin 역할을 가진 사용자로 클러스터에 액세스합니다.
  • OpenShift CLI(oc)를 설치합니다.

절차

  1. cluster-admin 권한이 있는 사용자로 Node Tuning Operator를 실행하는 OpenShift Container Platform 클러스터에 로그인합니다.
  2. 하드웨어 및 토폴로지에 적합한 성능 프로파일을 만들고 적용합니다. 프로파일 생성에 대한 지침은 "성능 프로파일 생성" 섹션을 참조하십시오.

  3. 생성된 성능 프로파일을 편집합니다. 

    $ oc edit -f <your_profile_name>.yaml
    Copy to Clipboard Toggle word wrap

  4. spec 필드를 net 오브젝트로 채웁니다. 오브젝트 목록에는 다음 두 개의 필드가 포함될 수 있습니다.

    • userLevelNetworking은 부울 플래그로 지정된 필수 필드입니다. userLevelNetworking이 true인 경우 지원되는 모든 장치에 대해 대기열 수가 예약된 CPU 수로 설정됩니다. 기본값은 false입니다.

    • devices는 예약된 CPU 수로 큐를 설정할 장치 목록을 지정하는 선택적 필드입니다. 장치 목록이 비어 있으면 구성이 모든 네트워크 장치에 적용됩니다. 구성은 다음과 같습니다.

      • interfacename: 이 필드는 인터페이스 이름을 지정하고, 양수 또는 음수일 수 있는 쉘 스타일 와일드카드를 지원합니다.

        • 와일드카드 구문의 예는 다음과 같습니다. <string> .*
        • 음수 규칙 앞에는 느낌표가 붙습니다. 제외된 목록이 아닌 모든 장치에 넷 큐 변경 사항을 적용하려면 !<device>를 사용합니다(예: !eno1).
      • vendorID: 접두사가 0x인 16비트 16진수로 표시되는 네트워크 장치 공급업체 ID입니다.

      • deviceID: 0x 접두사가 있는 16비트 16진수로 표시되는 네트워크 장치 ID(모델)입니다.

        참고

        deviceID가 지정되어 있는 경우 vendorID도 정의해야 합니다. 장치 항목 interfaceName, vendorID, vendorID 및 deviceID의 쌍에 지정된 모든 장치 식별자와 일치하는 장치는 네트워크 장치로 간주됩니다. 그러면 이 네트워크 장치의 네트워크 대기열 수가 예약된 CPU 수로 설정됩니다.

        두 개 이상의 장치가 지정되면 네트워크 대기열 수가 해당 장치 중 하나와 일치하는 모든 네트워크 장치로 설정됩니다.

  5. 다음 예제 성능 프로필을 사용하여 대기열 수를 모든 장치에 예약된 CPU 수로 설정합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  cpu:
    isolated: 3-51,54-103
    reserved: 0-2,52-54
  net:
    userLevelNetworking: true
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
    Copy to Clipboard Toggle word wrap

  6. 다음 예제 성능 프로필을 사용하여 정의된 장치 식별자와 일치하는 모든 장치에 대해 대기열 수를 예약된 CPU 수로 설정합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  cpu:
    isolated: 3-51,54-103
    reserved: 0-2,52-54
  net:
    userLevelNetworking: true
    devices:
    - interfaceName: “eth0”
    - interfaceName: “eth1”
    - vendorID: “0x1af4”
    - deviceID: “0x1000”
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
    Copy to Clipboard Toggle word wrap

  7. 다음 예제 성능 프로필을 사용하여 인터페이스 이름 eth로 시작하는 모든 장치에 대해 대기열 수를 예약된 CPU 수로 설정합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  cpu:
    isolated: 3-51,54-103
    reserved: 0-2,52-54
  net:
    userLevelNetworking: true
    devices:
    - interfaceName: “eth*”
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
    Copy to Clipboard Toggle word wrap

  8. 이 예제 성능 프로필을 사용하여 이름이 eno1 이외의 인터페이스가 있는 모든 장치에 대해 대기열 수를 예약된 CPU 수로 설정합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  cpu:
    isolated: 3-51,54-103
    reserved: 0-2,52-54
  net:
    userLevelNetworking: true
    devices:
    - interfaceName: “!eno1”
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
    Copy to Clipboard Toggle word wrap

  9. 인터페이스 이름 eth0, 0x1af4의 vendorID 및 0x1000의 deviceID는 모든 장치에 대해 대기열 수를 예약된 CPU 수로 설정합니다. 성능 프로파일 예는 다음과 같습니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: manual
spec:
  cpu:
    isolated: 3-51,54-103
    reserved: 0-2,52-54
  net:
    userLevelNetworking: true
    devices:
    - interfaceName: “eth0”
    - vendorID: “0x1af4”
    - deviceID: “0x1000”
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
    Copy to Clipboard Toggle word wrap

  10. 업데이트된 성능 프로필을 적용합니다. 

    $ oc apply -f <your_profile_name>.yaml
    Copy to Clipboard Toggle word wrap

15.4.2. 대기열 상태 확인
링크 복사

이 섹션에서는 다양한 성능 프로필과 변경 사항이 적용되었는지 확인하는 방법에 대한 여러 예시가 있습니다.

예시 1

이 예에서 네트워크 대기열 수는 지원되는 모든 장치에 대해 예약된 CPU 수(2)로 설정됩니다.

성능 프로필의 관련 섹션은 다음과 같습니다. 

apiVersion: performance.openshift.io/v2
metadata:
  name: performance
spec:
  kind: PerformanceProfile
  spec:
    cpu:
      reserved: 0-1  #total = 2
      isolated: 2-8
    net:
      userLevelNetworking: true
# ...
Copy to Clipboard Toggle word wrap

  • 다음 명령을 사용하여 장치와 연결된 대기열의 상태를 표시합니다.

    참고

    성능 프로필이 적용된 노드에서 이 명령을 실행합니다. 

    $ ethtool -l <device>
    Copy to Clipboard Toggle word wrap

  • 프로필을 적용하기 전에 대기열 상태를 확인합니다. 

    $ ethtool -l ens4
    Copy to Clipboard Toggle word wrap

    출력 예

    Channel parameters for ens4:
Pre-set maximums:
RX:         0
TX:         0
Other:      0
Combined:   4
Current hardware settings:
RX:         0
TX:         0
Other:      0
Combined:   4
    Copy to Clipboard Toggle word wrap

  • 프로필이 적용된 후 대기열 상태를 확인합니다. 

    $ ethtool -l ens4
    Copy to Clipboard Toggle word wrap

    출력 예

    Channel parameters for ens4:
Pre-set maximums:
RX:         0
TX:         0
Other:      0
Combined:   4
Current hardware settings:
RX:         0
TX:         0
Other:      0
Combined:   2
    1
    Copy to Clipboard Toggle word wrap

1
결합된 채널은 지원되는 모든 장치에 대해 예약된 CPU의 총 수가 2임을 보여줍니다. 이는 성능 프로필에 구성된 항목과 일치합니다.

예시 2

이 예에서 네트워크 대기열 수는 특정 vendorID가 있는 지원되는 모든 네트워크 장치에 대해 예약된 CPU 수(2)로 설정됩니다.

성능 프로필의 관련 섹션은 다음과 같습니다. 

apiVersion: performance.openshift.io/v2
metadata:
  name: performance
spec:
  kind: PerformanceProfile
  spec:
    cpu:
      reserved: 0-1  #total = 2
      isolated: 2-8
    net:
      userLevelNetworking: true
      devices:
      - vendorID = 0x1af4
# ...
Copy to Clipboard Toggle word wrap

  • 다음 명령을 사용하여 장치와 연결된 대기열의 상태를 표시합니다.

    참고

    성능 프로필이 적용된 노드에서 이 명령을 실행합니다. 

    $ ethtool -l <device>
    Copy to Clipboard Toggle word wrap

  • 프로필이 적용된 후 대기열 상태를 확인합니다. 

    $ ethtool -l ens4
    Copy to Clipboard Toggle word wrap

    출력 예

    Channel parameters for ens4:
Pre-set maximums:
RX:         0
TX:         0
Other:      0
Combined:   4
Current hardware settings:
RX:         0
TX:         0
Other:      0
Combined:   2
    1
    Copy to Clipboard Toggle word wrap

1
vendorID=0x1af4를 사용하는 지원되는 모든 장치에 대해 예약된 CPU의 총 수는 2입니다. 예를 들어 vendorID=0x1af4가 있는 다른 네트워크 장치 ens2가 별도로 존재하는 경우 총 네트워크 대기열 수는 2입니다. 이는 성능 프로필에 구성된 항목과 일치합니다.

예시 3

이 예에서 네트워크 대기열 수는 정의된 장치 식별자와 일치하는 지원되는 모든 네트워크 장치에 대해 예약된 CPU 수(2)로 설정됩니다.

udevadm info는 장치에 대한 자세한 보고서를 제공합니다. 이 예에서 장치는 다음과 같습니다. 

# udevadm info -p /sys/class/net/ens4
...
E: ID_MODEL_ID=0x1000
E: ID_VENDOR_ID=0x1af4
E: INTERFACE=ens4
...
Copy to Clipboard Toggle word wrap 
# udevadm info -p /sys/class/net/eth0
...
E: ID_MODEL_ID=0x1002
E: ID_VENDOR_ID=0x1001
E: INTERFACE=eth0
...
Copy to Clipboard Toggle word wrap

  • interfaceName이 eth0인 장치 및 다음 성능 프로필이 있는 vendorID=0x1af4가 있는 모든 장치에 대해 네트워크 대기열을 2로 설정합니다. 

    apiVersion: performance.openshift.io/v2
metadata:
  name: performance
spec:
  kind: PerformanceProfile
    spec:
      cpu:
        reserved: 0-1  #total = 2
        isolated: 2-8
      net:
        userLevelNetworking: true
        devices:
        - interfaceName = eth0
        - vendorID = 0x1af4
...
    Copy to Clipboard Toggle word wrap

  • 프로필이 적용된 후 대기열 상태를 확인합니다. 

    $ ethtool -l ens4
    Copy to Clipboard Toggle word wrap

    출력 예

    Channel parameters for ens4:
Pre-set maximums:
RX:         0
TX:         0
Other:      0
Combined:   4
Current hardware settings:
RX:         0
TX:         0
Other:      0
Combined:   2
    1
    Copy to Clipboard Toggle word wrap

    1
    vendorID=0x1af4를 사용하는 지원되는 모든 장치에 대해 예약된 CPU의 총 개수가 2로 설정됩니다. 예를 들어 vendorID=0x1af4가 있는 다른 네트워크 장치 ens2가 있는 경우 총 네트워크 대기열도 2로 설정됩니다. 마찬가지로 interfaceName이 eth0인 장치에는 총 네트워크 대기열이 2로 설정됩니다.

15.4.3. NIC 대기열 조정과 관련된 로깅
링크 복사

할당된 장치를 자세히 설명하는 로그 메시지는 각 Tuned 데몬 로그에 기록됩니다. /var/log/tuned/tuned.log 파일에 다음 메시지가 기록될 수 있습니다.

  • 성공적으로 할당된 장치를 자세히 설명하는 INFO 메시지가 기록됩니다. 

    INFO tuned.plugins.base: instance net_test (net): assigning devices ens1, ens2, ens3
    Copy to Clipboard Toggle word wrap

  • 장치를 할당할 수 없는 경우 WARNING 메시지가 기록됩니다. 

    WARNING  tuned.plugins.base: instance net_test: no matching devices available
    Copy to Clipboard Toggle word wrap

15.5. 짧은 대기 시간 CNF 튜닝 상태 디버깅
링크 복사

PerformanceProfile CR(사용자 정의 리소스)에는 튜닝 상태를 보고하고 대기 시간 성능 저하 문제를 디버깅하기 위한 상태 필드가 있습니다. 이러한 필드는 상태를 보고하여 Operator 조정 기능의 상태에 대해 설명합니다.

일반적으로 성능 프로필에 연결된 머신 구성 풀의 상태가 성능 저하 상태이면 PerformanceProfile이 성능 저하 상태가 되는 문제가 발생할 수 있습니다. 이 경우 머신 구성 풀에서 실패 메시지를 발행합니다.

Node Tuning Operator에는 performanceProfile.spec.status.Conditions 상태 필드가 있습니다. 

Status:
  Conditions:
    Last Heartbeat Time:   2020-06-02T10:01:24Z
    Last Transition Time:  2020-06-02T10:01:24Z
    Status:                True
    Type:                  Available
    Last Heartbeat Time:   2020-06-02T10:01:24Z
    Last Transition Time:  2020-06-02T10:01:24Z
    Status:                True
    Type:                  Upgradeable
    Last Heartbeat Time:   2020-06-02T10:01:24Z
    Last Transition Time:  2020-06-02T10:01:24Z
    Status:                False
    Type:                  Progressing
    Last Heartbeat Time:   2020-06-02T10:01:24Z
    Last Transition Time:  2020-06-02T10:01:24Z
    Status:                False
    Type:                  Degraded
Copy to Clipboard Toggle word wrap

Status 필드에는 성능 프로필의 상태를 나타내는 Type 값을 지정하는 Conditions가 포함되어 있습니다.

Available
모든 머신 구성 및 Tuned 프로필이 성공적으로 생성되었으며 구성 요소에서 처리해야 하는 클러스터에 사용할 수 있습니다(NTO, MCO, Kubelet).
Upgradeable
Operator에서 유지보수하는 리소스가 업그레이드하기에 안전한 상태인지를 나타냅니다.
Progressing
성능 프로필의 배포 프로세스가 시작되었음을 나타냅니다.
Degraded

다음과 같은 경우 오류를 표시합니다.

  • 성능 프로필 검증에 실패했습니다.
  • 모든 관련 구성 요소 생성이 성공적으로 완료되지 않았습니다.

이러한 각 유형에는 다음 필드가 포함되어 있습니다.

상태
특정 유형의 상태(true 또는 false)입니다.
Timestamp
트랜잭션 타임스탬프입니다.
Reason string
머신에서 읽을 수 있는 이유입니다.
Message string
상태 및 오류 세부 정보(있는 경우)를 설명하는 사람이 읽을 수 있는 이유입니다.

15.5.1. 머신 구성 풀
링크 복사

성능 프로필 및 생성된 제품은 연관 MCP(머신 구성 풀)에 따라 노드에 적용됩니다. MCP에는 커널 인수, kube 구성, 대규모 페이지 할당, rt-kernel 배포를 포괄하는 성능 프로필로 생성된 머신 구성의 적용 진행 상황에 대한 중요한 정보가 들어 있습니다. Performance Profile 컨트롤러는 MCP의 변경 사항을 모니터링하고 성능 프로필 상태를 적절하게 업데이트합니다.

MCP가 성능 프로필 상태로 값을 반환하는 유일한 상태는 MCP가 Degraded인 경우이며, 이 경우에는 performaceProfile.status.condition.Degraded = true가 됩니다.

예

다음은 생성된 연관 머신 구성 풀(worker-cnf)이 있는 성능 프로필의 예입니다.

  1. 연관 머신 구성 풀이 성능 저하 상태입니다. 

    # oc get mcp
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master       rendered-master-2ee57a93fa6c9181b546ca46e1571d2d       True      False      False      3              3                   3                     0                      2d21h
worker       rendered-worker-d6b2bdc07d9f5a59a6b68950acf25e5f       True      False      False      2              2                   2                     0                      2d21h
worker-cnf   rendered-worker-cnf-6c838641b8a08fff08dbd8b02fb63f7c   False     True       True       2              1                   1                     1                      2d20h
    Copy to Clipboard Toggle word wrap

  2. MCP의 describe 섹션은 이유를 보여줍니다. 

    # oc describe mcp worker-cnf
    Copy to Clipboard Toggle word wrap

    출력 예

      Message:               Node node-worker-cnf is reporting: "prepping update:
  machineconfig.machineconfiguration.openshift.io \"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not
  found"
    Reason:                1 nodes are reporting degraded status on sync
    Copy to Clipboard Toggle word wrap

  3. degraded = true로 표시된 성능 프로필 status 필드 아래에도 성능 저하 상태가 표시되어야 합니다. 

    # oc describe performanceprofiles performance
    Copy to Clipboard Toggle word wrap

    출력 예

    Message: Machine config pool worker-cnf Degraded Reason: 1 nodes are reporting degraded status on sync.
Machine config pool worker-cnf Degraded Message: Node yquinn-q8s5v-w-b-z5lqn.c.openshift-gce-devel.internal is
reporting: "prepping update: machineconfig.machineconfiguration.openshift.io
\"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not found".    Reason:  MCPDegraded
   Status:  True
   Type:    Degraded
    Copy to Clipboard Toggle word wrap

지원 사례를 여는 경우 클러스터에 대한 디버깅 정보를 Red Hat 지원에 제공하면 도움이 됩니다.

must-gather 툴을 사용하면 노드 튜닝과 NUMA 토폴로지, 짧은 대기 시간 설정으로 인한 문제를 디버깅하는 데 필요한 다른 정보를 비롯하여 OpenShift Container Platform 클러스터에 대한 진단 정보를 수집할 수 있습니다.

즉각 지원을 받을 수 있도록 OpenShift Container Platform 및 짧은 대기 시간 튜닝 둘 다에 대한 진단 정보를 제공하십시오.

15.6.1. must-gather 툴 정보
링크 복사

oc adm must-gather CLI 명령은 다음과 같이 문제를 디버깅하는 데 필요할 가능성이 높은 클러스터 정보를 수집합니다.

  • 리소스 정의
  • 감사 로그
  • 서비스 로그

--image 인수를 포함하여 명령을 실행하는 경우 이미지를 하나 이상 지정할 수 있습니다. 이미지를 지정하면 툴에서 해당 기능 또는 제품과 관련된 데이터를 수집합니다. oc adm must-gather를 실행하면 클러스터에 새 Pod가 생성됩니다. 해당 Pod에 대한 데이터가 수집되어 must-gather.local로 시작하는 새 디렉터리에 저장됩니다. 이 디렉터리는 현재 작업 디렉터리에 생성됩니다.

15.6.2. 짧은 대기 시간 튜닝 데이터 수집 정보
링크 복사

oc adm must-gather CLI 명령을 사용하여 다음과 같은 짧은 대기 시간 튜닝과 연관된 기능 및 오브젝트를 포함한 클러스터 정보를 수집합니다.

  • Node Tuning Operator 네임스페이스 및 하위 오브젝트.
  • MachineConfigPool 및 연관 MachineConfig 오브젝트.
  • Node Tuning Operator 및 연관 Tuned 오브젝트.
  • Linux Kernel 명령줄 옵션.
  • CPU 및 NUMA 토폴로지.
  • 기본 PCI 장치 정보 및 NUMA 위치.

must-gather 로 디버깅 정보를 수집하려면 Performance Addon Operator must-gather 이미지를 지정해야 합니다. 

--image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.11.
Copy to Clipboard Toggle word wrap
참고

이전 버전의 OpenShift Container Platform에서 Performance Addon Operator는 애플리케이션에 대한 짧은 대기 시간 성능 튜닝을 제공합니다. OpenShift Container Platform 4.11 이상에서는 이 기능은 Node Tuning Operator의 일부입니다. 그러나 must-gather 명령을 실행할 때 performance-addon-operator-must-gather 이미지를 계속 사용해야 합니다.

15.6.3. 특정 기능에 대한 데이터 수집
링크 복사

oc adm must-gather CLI 명령을 --image 또는 --image-stream 인수와 함께 사용하여 특정 기능에 대한 디버깅 정보를 수집할 수 있습니다. must-gather 툴은 여러 이미지를 지원하므로 단일 명령을 실행하여 둘 이상의 기능에 대한 데이터를 수집할 수 있습니다.

참고

특정 기능 데이터 외에도 기본 must-gather 데이터를 수집하려면 --image-stream=openshift/must-gather 인수를 추가하십시오.

참고

이전 버전의 OpenShift Container Platform에서 Performance Addon Operator는 애플리케이션에 대한 짧은 대기 시간 성능 튜닝을 제공합니다. OpenShift Container Platform 4.11에서 이러한 함수는 Node Tuning Operator의 일부입니다. 그러나 must-gather 명령을 실행할 때 performance-addon-operator-must-gather 이미지를 계속 사용해야 합니다.

사전 요구 사항

  • cluster-admin 역할을 가진 사용자로 클러스터에 액세스합니다.
  • OpenShift Container Platform CLI(oc)가 설치되어 있어야 합니다.

절차

  1. must-gather 데이터를 저장하려는 디렉터리로 이동합니다.

  2. --image 또는 --image-stream 인수를 하나 이상 사용하여 oc adm must-gather 명령을 실행합니다. 예를 들어 다음 명령은 기본 클러스터 데이터와 Node Tuning Operator 관련 정보를 모두 수집합니다. 

    $ oc adm must-gather \
 --image-stream=openshift/must-gather \
    1 
    

 --image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.11
    2
    Copy to Clipboard Toggle word wrap
    1
    기본 OpenShift Container Platform must-gather 이미지입니다.
    2
    짧은 대기 시간 튜닝 진단을 위한 must-gather 이미지입니다.

  3. 작업 디렉터리에 생성된 must-gather 디렉터리의 압축 파일을 생성합니다. 예를 들어 Linux 운영 체제를 사용하는 컴퓨터에서 다음 명령을 실행합니다. 

     $ tar cvaf must-gather.tar.gz must-gather.local.5421342344627712289/
    1
    Copy to Clipboard Toggle word wrap
    1
    must-gather-local.5421342344627712289/를 실제 디렉터리 이름으로 바꿉니다.
  4. Red Hat Customer Portal에서 해당 지원 사례에 압축 파일을 첨부합니다.

16장. 플랫폼 검증을 위해 대기 시간 테스트 수행
링크 복사

CNF(클라우드 네이티브 네트워크 기능) 테스트 이미지를 사용하여 CNF 워크로드 실행에 필요한 모든 구성 요소가 설치된 CNF 지원 OpenShift Container Platform 클러스터에서 대기 시간 테스트를 실행할 수 있습니다. 대기 시간 테스트를 실행하여 워크로드에 대한 노드 튜닝을 검증합니다.

cnf-tests 컨테이너 이미지는 registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 에서 사용할 수 있습니다.

중요

cnf-tests 이미지에는 현재 Red Hat에서 지원하지 않는 여러 테스트도 포함되어 있습니다. Red Hat에서 대기 시간 테스트만 지원합니다.

16.1. 대기 시간 테스트 실행을 위한 사전 요구 사항
링크 복사

대기 시간 테스트를 실행하려면 클러스터가 다음 요구 사항을 충족해야 합니다.

  1. Node Tuning Operator를 사용하여 성능 프로필을 구성했습니다.
  2. 클러스터에 필요한 모든 CNF 구성을 적용했습니다.
  3. 클러스터에 기존 MachineConfigPool CR이 적용되어 있습니다. 기본 작업자 풀은 worker-cnf 입니다.

16.2. 대기 시간 테스트의 검색 모드 정보
링크 복사

검색 모드를 사용하여 구성을 변경하지 않고 클러스터의 기능을 검증합니다. 기존 환경 구성이 테스트에 사용됩니다. 테스트에서는 필요한 구성 항목을 찾고 해당 항목을 사용하여 테스트를 실행할 수 있습니다. 특정 테스트를 실행하는 데 필요한 리소스를 찾을 수 없는 경우에는 테스트를 건너뛰고 사용자에게 적절한 메시지를 제공합니다. 테스트가 완료되면 사전 구성된 구성 항목을 정리하지 않으며 테스트 환경을 다른 테스트 실행에 즉시 사용할 수 있습니다.

중요

대기 시간 테스트를 실행하는 경우 항상 -e DISCOVERY_MODE=true 로 테스트를 실행하고 -ginkgo.focus 를 적절한 대기 시간 테스트로 설정합니다. 검색 모드에서 대기 시간 테스트를 실행하지 않으면 테스트 실행에 의해 기존 라이브 클러스터 성능 프로필 구성이 수정됩니다.

테스트 중 사용되는 노드 제한

NODES_SELECTOR 환경 변수(예: -e NODES_SELECTOR=node-role.kubernetes.io/worker-cnf )를 지정하여 테스트가 실행되는 노드를 제한할 수 있습니다. 테스트에서 생성된 리소스는 라벨이 일치하는 노드로 제한됩니다.

참고

기본 작업자 풀을 재정의하려면 -e ROLE_WORKER_CNF=<custom_worker_pool > 변수를 적절한 레이블을 지정하는 명령에 전달합니다.

16.3. 대기 시간 측정
링크 복사

cnf-tests 이미지는 세 가지 툴을 사용하여 시스템의 대기 시간을 측정합니다.

  • hwlatdetect
  • Cyclictest
  • oslat

각 툴에는 특정 용도가 있습니다. 도구를 순서대로 사용하여 안정적인 테스트 결과를 얻을 수 있습니다.

hwlatdetect
베어 메탈 하드웨어에서 수행할 수 있는 기준을 측정합니다. 다음 대기 시간 테스트를 진행하기 전에 hwlatdetect 에서 보고한 대기 시간이 운영 체제 튜닝을 통해 하드웨어 대기 시간 급증을 수정할 수 없기 때문에 필요한 임계값을 충족하는지 확인합니다.
cyclictest
hwlatdetect 가 검증을 통과한 후 실시간 커널 스케줄러 대기 시간을 확인합니다. cyclictest 툴은 반복된 타이머를 예약하고 원하는 트리거 시간과 실제 트리거 시간 간의 차이를 측정합니다. 차이점은 인터럽트 또는 프로세스 우선 순위로 인한 튜닝의 기본 문제를 발견할 수 있습니다. 도구는 실시간 커널에서 실행되어야 합니다.
oslat
CPU 집약적 DPDK 애플리케이션과 유사하게 작동하며 CPU 사용량이 많은 데이터 처리를 시뮬레이션하는 사용 중인 루프에 대한 모든 중단 및 중단을 측정합니다.

테스트에서는 다음과 같은 환경 변수를 도입합니다.

Expand
표 16.1. 대기 시간 테스트 환경 변수
환경 변수설명

LATENCY_TEST_DELAY

테스트 실행을 시작한 후 시간(초)을 지정합니다. 변수를 사용하여 CPU 관리자 조정 루프가 기본 CPU 풀을 업데이트하도록 허용할 수 있습니다. 기본값은 0입니다.

LATENCY_TEST_CPUS

대기 시간 테스트를 실행하는 Pod에서 사용하는 CPU 수를 지정합니다. 변수를 설정하지 않으면 기본 구성에 모든 분리된 CPU가 포함됩니다.

LATENCY_TEST_RUNTIME

대기 시간 테스트를 실행해야 하는 시간(초)을 지정합니다. 기본값은 300초입니다.

HWLATDETECT_MAXIMUM_LATENCY

워크로드 및 운영 체제에 대해 허용되는 최대 하드웨어 대기 시간(마이크로초)을 지정합니다. HWLATDETECT_MAXIMUM_LATENCY 또는 MAXIMUM_LATENCY 값을 설정하지 않은 경우 툴에서 기본 예상 임계값(20TiB)과 도구 자체의 실제 최대 대기 시간을 비교합니다. 그러면 테스트가 실패하거나 적절하게 성공합니다.

CYCLICTEST_MAXIMUM_LATENCY

cyclictest 실행 중에 모든 스레드가 예상하는 최대 대기 시간을 지정합니다. CYCLICTEST_MAXIMUM_LATENCY 또는 MAXIMUM_LATENCY 값을 설정하지 않으면 예상되는 값과 실제 최대 대기 시간 비교가 생략됩니다.

OSLAT_MAXIMUM_LATENCY

oslat 테스트 결과에 대해 microseconds의 최대 허용 대기 시간을 지정합니다. OSLAT_MAXIMUM_LATENCY 또는 MAXIMUM_LATENCY 값을 설정하지 않으면 이 툴에서 예상과 실제 최대 대기 시간의 비교를 건너뜁니다.

MAXIMUM_LATENCY

microseconds에서 허용되는 최대 대기 시간을 지정하는 통합 변수입니다. 사용 가능한 모든 대기 시간 툴에 적용됩니다.

LATENCY_TEST_RUN

테스트 실행 여부를 나타내는 부울 매개변수입니다. LATENCY_TEST_RUN 은 기본적으로 false 로 설정됩니다. 대기 시간 테스트를 실행하려면 이 값을 true 로 설정합니다.

참고

대기 시간 툴과 관련된 변수가 통합 변수보다 우선합니다. 예를 들어 OSLAT_MAXIMUM_LATENCY 가 30 마이크로초로 설정되고 MAXIMUM_LATENCY 가 10 마이크로초로 설정된 경우 oslat 테스트가 최대 허용 가능한 대기 시간 30마이크로 실행됩니다.

16.4. 대기 시간 테스트 실행
링크 복사

클러스터 대기 시간 테스트를 실행하여 CNF(클라우드 네이티브 네트워크 기능) 워크로드에 대한 노드 튜닝을 검증합니다.

중요

항상 DISCOVERY_MODE=true 세트를 사용하여 대기 시간 테스트를 실행합니다. 그렇지 않은 경우 테스트 모음에서 실행 중인 클러스터 구성을 변경합니다.

참고

podman 명령을 루트가 아닌 사용자 또는 권한이 없는 사용자로 실행하는 경우 권한 거부 오류로 인해 마운트 경로가 실패할 수 있습니다. podman 명령이 작동하도록 하려면 :Z 를 볼륨 생성에 추가합니다(예: -v $(pwd)/:/kubeconfig:Z ). 이렇게 하면 podman 에서 적절한 SELinux 레이블을 다시 지정할 수 있습니다.

절차

  1. kubeconfig 파일이 포함된 디렉터리에서 쉘 프롬프트를 엽니다.

    테스트 이미지에 현재 디렉터리에 kubeconfig 파일 및 볼륨을 통해 마운트된 관련 $KUBECONFIG 환경 변수를 제공합니다. 이를 통해 실행 중인 컨테이너에서 컨테이너 내부에서 kubeconfig 파일을 사용할 수 있습니다.

  2. 다음 명령을 입력하여 대기 시간 테스트를 실행합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUN=true -e DISCOVERY_MODE=true -e FEATURES=performance registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap
  3. 선택 사항: Append -ginkgo.dryRun 을 사용하여 시험 실행 모드에서 대기 시간 테스트를 실행합니다. 이 명령은 테스트 실행을 확인하는 데 유용합니다.
  4. 선택 사항: Append -ginkgo.v 를 사용하여 향상된 동사를 사용하여 테스트를 실행합니다.

  5. 선택 사항: 특정 성능 프로필에 대해 대기 시간 테스트를 실행하려면 다음 명령을 실행하여 적절한 값을 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUN=true -e FEATURES=performance -e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
-e PERF_TEST_PROFILE=<performance_profile> registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.focus="[performance]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <performance_profile>
    는 대기 시간 테스트를 실행할 성능 프로필의 이름입니다.
    중요

    유효한 대기 시간 테스트 결과의 경우 최소 12 시간 동안 테스트를 실행합니다.

16.4.1. hwlatdetect 실행
링크 복사

hwlatdetect 툴은 RHEL(Red Hat Enterprise Linux) 8.x의 일반 서브스크립션과 함께 rt-kernel 패키지에서 사용할 수 있습니다.

중요

항상 DISCOVERY_MODE=true 세트를 사용하여 대기 시간 테스트를 실행합니다. 그렇지 않은 경우 테스트 모음에서 실행 중인 클러스터 구성을 변경합니다.

참고

podman 명령을 루트가 아닌 사용자 또는 권한이 없는 사용자로 실행하는 경우 권한 거부 오류로 인해 마운트 경로가 실패할 수 있습니다. podman 명령이 작동하도록 하려면 :Z 를 볼륨 생성에 추가합니다(예: -v $(pwd)/:/kubeconfig:Z ). 이렇게 하면 podman 에서 적절한 SELinux 레이블을 다시 지정할 수 있습니다.

사전 요구 사항

  • 클러스터에 실시간 커널이 설치되어 있습니다.
  • 고객 포털 인증 정보를 사용하여 registry.redhat.io 에 로그인했습니다.

절차

  • hwlatdetect 테스트를 실행하려면 다음 명령을 실행하여 변수 값을 적절하게 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUN=true -e DISCOVERY_MODE=true -e FEATURES=performance -e ROLE_WORKER_CNF=worker-cnf \
-e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.v -ginkgo.focus="hwlatdetect"
    Copy to Clipboard Toggle word wrap

    hwlatdetect 테스트는 10분(600초) 동안 실행됩니다. 최대 관찰 대기 시간이 MAXIMUM_LATENCY (20 ECDHEs)보다 작으면 테스트가 성공적으로 실행됩니다.

    결과가 대기 시간 임계값을 초과하면 테스트가 실패합니다.

    중요

    유효한 결과를 얻으려면 최소 12 시간 동안 테스트를 실행해야 합니다.

    실패 출력 예

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=hwlatdetect
I0908 15:25:20.023712      27 request.go:601] Waited for 1.046586367s due to client-side throttling, not priority and fairness, request: GET:https://api.hlxcl6.lab.eng.tlv2.redhat.com:6443/apis/imageregistry.operator.openshift.io/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662650718
Will run 1 of 194 specs

[...]

• Failure [283.574 seconds]
[performance] Latency Test
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:62
  with the hwlatdetect image
  /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:228
    should succeed [It]
    /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:236

    Log file created at: 2022/09/08 15:25:27
    Running on machine: hwlatdetect-b6n4n
    Binary: Built with gc go1.17.12 for linux/amd64
    Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
    I0908 15:25:27.160620       1 node.go:39] Environment information: /proc/cmdline: BOOT_IMAGE=(hd1,gpt3)/ostree/rhcos-c6491e1eedf6c1f12ef7b95e14ee720bf48359750ac900b7863c625769ef5fb9/vmlinuz-4.18.0-372.19.1.el8_6.x86_64 random.trust_cpu=on console=tty0 console=ttyS0,115200n8 ignition.platform.id=metal ostree=/ostree/boot.1/rhcos/c6491e1eedf6c1f12ef7b95e14ee720bf48359750ac900b7863c625769ef5fb9/0 ip=dhcp root=UUID=5f80c283-f6e6-4a27-9b47-a287157483b2 rw rootflags=prjquota boot=UUID=773bf59a-bafd-48fc-9a87-f62252d739d3 skew_tick=1 nohz=on rcu_nocbs=0-3 tuned.non_isolcpus=0000ffff,ffffffff,fffffff0 systemd.cpu_affinity=4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79 intel_iommu=on iommu=pt isolcpus=managed_irq,0-3 nohz_full=0-3 tsc=nowatchdog nosoftlockup nmi_watchdog=0 mce=off skew_tick=1 rcutree.kthread_prio=11 + +
    I0908 15:25:27.160830       1 node.go:46] Environment information: kernel version 4.18.0-372.19.1.el8_6.x86_64
    I0908 15:25:27.160857       1 main.go:50] running the hwlatdetect command with arguments [/usr/bin/hwlatdetect --threshold 1 --hardlimit 1 --duration 100 --window 10000000us --width 950000us]
    F0908 15:27:10.603523       1 main.go:53] failed to run hwlatdetect command; out: hwlatdetect:  test duration 100 seconds
       detector: tracer
       parameters:
            Latency threshold: 1us
    1 
    
            Sample window:     10000000us
            Sample width:      950000us
         Non-sampling period:  9050000us
            Output File:       None

    Starting test
    test finished
    Max Latency: 326us
    2 
    
    Samples recorded: 5
    Samples exceeding threshold: 5
    ts: 1662650739.017274507, inner:6, outer:6
    ts: 1662650749.257272414, inner:14, outer:326
    ts: 1662650779.977272835, inner:314, outer:12
    ts: 1662650800.457272384, inner:3, outer:9
    ts: 1662650810.697273520, inner:3, outer:2

[...]

JUnit report was created: /junit.xml/cnftests-junit.xml


Summarizing 1 Failure:

[Fail] [performance] Latency Test with the hwlatdetect image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:476

Ran 1 of 194 Specs in 365.797 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 193 Skipped
--- FAIL: TestTest (366.08s)
FAIL
    Copy to Clipboard Toggle word wrap

    1
    MAXIMUM_LATENCY 또는 HWLATDETECT_MAXIMUM_LATENCY 환경 변수를 사용하여 대기 시간 임계값을 구성할 수 있습니다.
    2
    테스트 중 측정되는 최대 대기 시간 값입니다.
hwlatdetect 테스트 결과의 예

다음 유형의 결과를 캡처할 수 있습니다.

  • 테스트 전체에서 수행된 변경 사항에 대한 영향을 만들기 위해 각 실행 후 수집된 대략적인 결과.
  • 최상의 결과 및 구성 설정을 사용하여 대략적인 테스트 집합을 결합합니다.

좋은 결과의 예

hwlatdetect: test duration 3600 seconds
detector: tracer
parameters:
Latency threshold: 10us
Sample window: 1000000us
Sample width: 950000us
Non-sampling period: 50000us
Output File: None

Starting test
test finished
Max Latency: Below threshold
Samples recorded: 0
Copy to Clipboard Toggle word wrap

hwlatdetect 툴은 샘플이 지정된 임계값을 초과하는 경우에만 출력을 제공합니다.

잘못된 결과의 예

hwlatdetect: test duration 3600 seconds
detector: tracer
parameters:Latency threshold: 10usSample window: 1000000us
Sample width: 950000usNon-sampling period: 50000usOutput File: None

Starting tests:1610542421.275784439, inner:78, outer:81
ts: 1610542444.330561619, inner:27, outer:28
ts: 1610542445.332549975, inner:39, outer:38
ts: 1610542541.568546097, inner:47, outer:32
ts: 1610542590.681548531, inner:13, outer:17
ts: 1610543033.818801482, inner:29, outer:30
ts: 1610543080.938801990, inner:90, outer:76
ts: 1610543129.065549639, inner:28, outer:39
ts: 1610543474.859552115, inner:28, outer:35
ts: 1610543523.973856571, inner:52, outer:49
ts: 1610543572.089799738, inner:27, outer:30
ts: 1610543573.091550771, inner:34, outer:28
ts: 1610543574.093555202, inner:116, outer:63
Copy to Clipboard Toggle word wrap

hwlatdetect 출력에서는 여러 샘플이 임계값을 초과함을 보여줍니다. 그러나 동일한 출력은 다음 요인에 따라 다른 결과를 나타낼 수 있습니다.

  • 테스트 기간
  • CPU 코어 수
  • 호스트 펌웨어 설정
주의

다음 대기 시간 테스트를 진행하기 전에 hwlatdetect 에서 보고하는 대기 시간이 필요한 임계값을 충족하는지 확인합니다. 하드웨어에서 도입된 대기 시간을 수정하려면 시스템 벤더 지원에 문의해야 할 수 있습니다.

모든 대기 시간 급증이 하드웨어와 관련이 있는 것은 아닙니다. 호스트 펌웨어를 튜닝하여 워크로드 요구 사항을 충족해야 합니다. 자세한 내용은 시스템 튜닝의 펌웨어 매개변수 설정을 참조하십시오.

16.4.2. cyclictest 실행
링크 복사

cyclictest 툴은 지정된 CPU에서 실시간 커널 스케줄러 대기 시간을 측정합니다.

중요

항상 DISCOVERY_MODE=true 세트를 사용하여 대기 시간 테스트를 실행합니다. 그렇지 않은 경우 테스트 모음에서 실행 중인 클러스터 구성을 변경합니다.

참고

podman 명령을 루트가 아닌 사용자 또는 권한이 없는 사용자로 실행하는 경우 권한 거부 오류로 인해 마운트 경로가 실패할 수 있습니다. podman 명령이 작동하도록 하려면 :Z 를 볼륨 생성에 추가합니다(예: -v $(pwd)/:/kubeconfig:Z ). 이렇게 하면 podman 에서 적절한 SELinux 레이블을 다시 지정할 수 있습니다.

사전 요구 사항

  • 고객 포털 인증 정보를 사용하여 registry.redhat.io 에 로그인했습니다.
  • 클러스터에 실시간 커널이 설치되어 있습니다.
  • Node Tuning Operator를 사용하여 클러스터 성능 프로필을 적용했습니다.

절차

  • cyclictest 를 수행하려면 다음 명령을 실행하여 변수 값을 적절하게 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUN=true -e DISCOVERY_MODE=true -e FEATURES=performance -e ROLE_WORKER_CNF=worker-cnf \
-e LATENCY_TEST_CPUS=10 -e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.v -ginkgo.focus="cyclictest"
    Copy to Clipboard Toggle word wrap

    이 명령은 10분(600초) 동안 cyclictest 툴을 실행합니다. 최대 관찰 대기 시간이 MAXIMUM_LATENCY 보다 작으면 테스트가 성공적으로 실행됩니다(이 예제에서는 20 ECDHE). 20 ECDHE 이상의 대기 시간 급증은 일반적으로 telco RAN 워크로드에는 허용되지 않습니다.

    결과가 대기 시간 임계값을 초과하면 테스트가 실패합니다.

    중요

    유효한 결과를 얻으려면 최소 12 시간 동안 테스트를 실행해야 합니다.

    실패 출력 예

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=cyclictest
I0908 13:01:59.193776      27 request.go:601] Waited for 1.046228824s due to client-side throttling, not priority and fairness, request: GET:https://api.compute-1.example.com:6443/apis/packages.operators.coreos.com/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662642118
Will run 1 of 194 specs

[...]

Summarizing 1 Failure:

[Fail] [performance] Latency Test with the cyclictest image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:220

Ran 1 of 194 Specs in 161.151 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 193 Skipped
--- FAIL: TestTest (161.48s)
FAIL
    Copy to Clipboard Toggle word wrap

cyclictest 결과 예

동일한 출력은 다른 워크로드에 대해 다른 결과를 나타낼 수 있습니다. 예를 들어 최대 18ECDHE의 급증은 4G DU 워크로드에는 허용되지만 5G DU 워크로드에서는 사용할 수 없습니다.

좋은 결과의 예

running cmd: cyclictest -q -D 10m -p 1 -t 16 -a 2,4,6,8,10,12,14,16,54,56,58,60,62,64,66,68 -h 30 -i 1000 -m
# Histogram
000000 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000001 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000002 579506   535967  418614  573648  532870  529897  489306  558076  582350  585188  583793  223781  532480  569130  472250  576043
More histogram entries ...
# Total: 000600000 000600000 000600000 000599999 000599999 000599999 000599998 000599998 000599998 000599997 000599997 000599996 000599996 000599995 000599995 000599995
# Min Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Avg Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Max Latencies: 00005 00005 00004 00005 00004 00004 00005 00005 00006 00005 00004 00005 00004 00004 00005 00004
# Histogram Overflows: 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000
# Histogram Overflow at cycle number:
# Thread 0:
# Thread 1:
# Thread 2:
# Thread 3:
# Thread 4:
# Thread 5:
# Thread 6:
# Thread 7:
# Thread 8:
# Thread 9:
# Thread 10:
# Thread 11:
# Thread 12:
# Thread 13:
# Thread 14:
# Thread 15:
Copy to Clipboard Toggle word wrap

잘못된 결과의 예

running cmd: cyclictest -q -D 10m -p 1 -t 16 -a 2,4,6,8,10,12,14,16,54,56,58,60,62,64,66,68 -h 30 -i 1000 -m
# Histogram
000000 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000001 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000002 564632   579686  354911  563036  492543  521983  515884  378266  592621  463547  482764  591976  590409  588145  589556  353518
More histogram entries ...
# Total: 000599999 000599999 000599999 000599997 000599997 000599998 000599998 000599997 000599997 000599996 000599995 000599996 000599995 000599995 000599995 000599993
# Min Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Avg Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Max Latencies: 00493 00387 00271 00619 00541 00513 00009 00389 00252 00215 00539 00498 00363 00204 00068 00520
# Histogram Overflows: 00001 00001 00001 00002 00002 00001 00000 00001 00001 00001 00002 00001 00001 00001 00001 00002
# Histogram Overflow at cycle number:
# Thread 0: 155922
# Thread 1: 110064
# Thread 2: 110064
# Thread 3: 110063 155921
# Thread 4: 110063 155921
# Thread 5: 155920
# Thread 6:
# Thread 7: 110062
# Thread 8: 110062
# Thread 9: 155919
# Thread 10: 110061 155919
# Thread 11: 155918
# Thread 12: 155918
# Thread 13: 110060
# Thread 14: 110060
# Thread 15: 110059 155917
Copy to Clipboard Toggle word wrap

16.4.3. oslat 실행
링크 복사

oslat 테스트는 CPU 집약적 DPDK 애플리케이션을 시뮬레이션하고 모든 중단 및 중단을 측정하여 클러스터가 CPU의 과도한 데이터 처리를 처리하는 방법을 테스트합니다.

중요

항상 DISCOVERY_MODE=true 세트를 사용하여 대기 시간 테스트를 실행합니다. 그렇지 않은 경우 테스트 모음에서 실행 중인 클러스터 구성을 변경합니다.

참고

podman 명령을 루트가 아닌 사용자 또는 권한이 없는 사용자로 실행하는 경우 권한 거부 오류로 인해 마운트 경로가 실패할 수 있습니다. podman 명령이 작동하도록 하려면 :Z 를 볼륨 생성에 추가합니다(예: -v $(pwd)/:/kubeconfig:Z ). 이렇게 하면 podman 에서 적절한 SELinux 레이블을 다시 지정할 수 있습니다.

사전 요구 사항

  • 고객 포털 인증 정보를 사용하여 registry.redhat.io 에 로그인했습니다.
  • Node Tuning Operator를 사용하여 클러스터 성능 프로필을 적용했습니다.

절차

  • oslat 테스트를 수행하려면 다음 명령을 실행하여 변수 값을 적절하게 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUN=true -e DISCOVERY_MODE=true -e FEATURES=performance -e ROLE_WORKER_CNF=worker-cnf \
-e LATENCY_TEST_CPUS=7 -e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.v -ginkgo.focus="oslat"
    Copy to Clipboard Toggle word wrap

    LATENCY_TEST_CPUS 는 oslat 명령으로 테스트할 CPU 목록을 지정합니다.

    이 명령은 10분(600초) 동안 oslat 툴을 실행합니다. 최대 관찰 대기 시간이 MAXIMUM_LATENCY (20 ECDHEs)보다 작으면 테스트가 성공적으로 실행됩니다.

    결과가 대기 시간 임계값을 초과하면 테스트가 실패합니다.

    중요

    유효한 결과를 얻으려면 최소 12 시간 동안 테스트를 실행해야 합니다.

    실패 출력 예

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=oslat
I0908 12:51:55.999393      27 request.go:601] Waited for 1.044848101s due to client-side throttling, not priority and fairness, request: GET:https://compute-1.example.com:6443/apis/machineconfiguration.openshift.io/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662641514
Will run 1 of 194 specs

[...]

• Failure [77.833 seconds]
[performance] Latency Test
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:62
  with the oslat image
  /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:128
    should succeed [It]
    /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:153

    The current latency 304 is bigger than the expected one 1 :
    1 
    

[...]

Summarizing 1 Failure:

[Fail] [performance] Latency Test with the oslat image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:177

Ran 1 of 194 Specs in 161.091 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 193 Skipped
--- FAIL: TestTest (161.42s)
FAIL
    Copy to Clipboard Toggle word wrap

    1
    이 예에서 측정된 대기 시간은 최대 허용된 값 외부에 있습니다.

16.5. 대기 시간 테스트 실패 보고서 생성
링크 복사

다음 절차에 따라 JUnit 대기 시간 테스트 출력 및 테스트 실패 보고서를 생성합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

절차

  • --report 매개변수를 보고서가 덤프되는 경로와 함께 전달하여 문제 해결을 위한 클러스터 상태 및 리소스에 대한 정보가 포함된 테스트 실패 보고서를 생성합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -v $(pwd)/reportdest:<report_folder_path> \
-e KUBECONFIG=/kubeconfig/kubeconfig  -e DISCOVERY_MODE=true -e FEATURES=performance \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh --report <report_folder_path> \
-ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <report_folder_path>
    보고서가 생성된 폴더의 경로입니다.

16.6. JUnit 대기 시간 테스트 보고서 생성
링크 복사

다음 절차에 따라 JUnit 대기 시간 테스트 출력 및 테스트 실패 보고서를 생성합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

절차

  • 보고서가 덤프되는 경로와 함께 --junit 매개변수를 전달하여 JUnit 호환 XML 보고서를 생성합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -v $(pwd)/junitdest:<junit_folder_path> \
-e KUBECONFIG=/kubeconfig/kubeconfig -e DISCOVERY_MODE=true -e FEATURES=performance \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh --junit <junit_folder_path> \
-ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <junit_folder_path>
    junit 보고서가 생성되는 폴더의 경로입니다.

16.7. 단일 노드 OpenShift 클러스터에서 대기 시간 테스트 실행
링크 복사

단일 노드 OpenShift 클러스터에서 대기 시간 테스트를 실행할 수 있습니다.

중요

항상 DISCOVERY_MODE=true 세트를 사용하여 대기 시간 테스트를 실행합니다. 그렇지 않은 경우 테스트 모음에서 실행 중인 클러스터 구성을 변경합니다.

참고

podman 명령을 루트가 아닌 사용자 또는 권한이 없는 사용자로 실행하는 경우 권한 거부 오류로 인해 마운트 경로가 실패할 수 있습니다. podman 명령이 작동하도록 하려면 :Z 를 볼륨 생성에 추가합니다(예: -v $(pwd)/:/kubeconfig:Z ). 이렇게 하면 podman 에서 적절한 SELinux 레이블을 다시 지정할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

절차

  • 단일 노드 OpenShift 클러스터에서 대기 시간 테스트를 실행하려면 다음 명령을 실행합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e DISCOVERY_MODE=true -e FEATURES=performance -e ROLE_WORKER_CNF=master \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/test-run.sh -ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap
    참고

    master가 노드가 속하는 유일한 시스템 풀이므로 ROLE_WORKER_CNF=master 가 필요합니다. 대기 시간 테스트에 필요한 MachineConfigPool 을 설정하는 방법에 대한 자세한 내용은 "지시간 테스트 실행을 위한 전제 조건"을 참조하십시오.

    테스트 모음을 실행한 후에는 모든 무위 리소스가 정리됩니다.

16.8. 연결이 끊긴 클러스터에서 대기 시간 테스트 실행
링크 복사

CNF 테스트 이미지는 연결이 끊긴 클러스터에서 외부 레지스트리에 연결할 수 없는 테스트를 실행할 수 있습니다. 여기에는 두 단계가 필요합니다.

  1. cnf-tests 이미지를 사용자 연결 해제된 레지스트리에 미러링합니다.
  2. 사용자 연결 해제된 레지스트리의 이미지를 사용하도록 테스트에 지시합니다.
클러스터에서 액세스할 수 있는 사용자 정의 레지스트리로 이미지 미러링

이미지에 미러 실행 파일이 제공되어 oc 에서 테스트 이미지를 로컬 레지스트리에 미러링하는 데 필요한 입력을 제공합니다.

  1. 클러스터에 액세스할 수 있는 임시 머신에서 다음 명령을 실행합니다. registry.redhat.io: 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
/usr/bin/mirror -registry <disconnected_registry> | oc image mirror -f -
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <disconnected_registry>
    구성한 연결이 끊긴 미러 레지스트리(예: my.local.registry:5000/ )입니다.

  2. cnf-tests 이미지를 연결이 끊긴 레지스트리에 미러링한 경우 테스트를 실행할 때 이미지를 가져오는 데 사용되는 원래 레지스트리를 재정의해야 합니다. 예를 들면 다음과 같습니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e DISCOVERY_MODE=true -e FEATURES=performance -e IMAGE_REGISTRY="<disconnected_registry>" \
-e CNF_TESTS_IMAGE="cnf-tests-rhel8:v4.11" \
/usr/bin/test-run.sh -ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap
사용자 정의 레지스트리의 이미지를 사용하도록 테스트 구성

CNF_TESTS_IMAGE 및 IMAGE_REGISTRY 변수를 사용하여 사용자 정의 테스트 이미지 및 이미지 레지스트리를 사용하여 대기 시간 테스트를 실행할 수 있습니다.

  • 사용자 정의 테스트 이미지 및 이미지 레지스트리를 사용하도록 대기 시간 테스트를 구성하려면 다음 명령을 실행합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e IMAGE_REGISTRY="<custom_image_registry>" \
-e CNF_TESTS_IMAGE="<custom_cnf-tests_image>" \
-e FEATURES=performance \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 /usr/bin/test-run.sh
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <custom_image_registry>
    사용자 정의 이미지 레지스트리(예: custom.registry:5000/ )입니다.
    <custom_cnf-tests_image>
    사용자 지정 cnf-tests 이미지입니다(예: custom-cnf-tests-image:latest ).
클러스터 OpenShift 이미지 레지스트리로 이미지 미러링

OpenShift Container Platform은 클러스터에서 표준 워크로드로 실행되는 내장 컨테이너 이미지 레지스트리를 제공합니다.

절차

  1. 경로를 통해 레지스트리를 공개하여 레지스트리에 대한 외부 액세스 권한을 얻습니다. 

    $ oc patch configs.imageregistry.operator.openshift.io/cluster --patch '{"spec":{"defaultRoute":true}}' --type=merge
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 레지스트리 끝점을 가져옵니다. 

    $ REGISTRY=$(oc get route default-route -n openshift-image-registry --template='{{ .spec.host }}')
    Copy to Clipboard Toggle word wrap

  3. 이미지를 공개하는 데 사용할 네임스페이스를 생성합니다. 

    $ oc create ns cnftests
    Copy to Clipboard Toggle word wrap

  4. 테스트에 사용되는 모든 네임스페이스에서 이미지 스트림을 사용할 수 있도록 설정합니다. 테스트 네임스페이스가 cnf-tests 이미지 스트림에서 이미지를 가져올 수 있도록 하는 데 필요합니다. 다음 명령을 실행합니다. 

    $ oc policy add-role-to-user system:image-puller system:serviceaccount:cnf-features-testing:default --namespace=cnftests
    Copy to Clipboard Toggle word wrap 
    $ oc policy add-role-to-user system:image-puller system:serviceaccount:performance-addon-operators-testing:default --namespace=cnftests
    Copy to Clipboard Toggle word wrap

  5. 다음 명령을 실행하여 Docker 보안 이름 및 인증 토큰을 검색합니다. 

    $ SECRET=$(oc -n cnftests get secret | grep builder-docker | awk {'print $1'}
    Copy to Clipboard Toggle word wrap 
    $ TOKEN=$(oc -n cnftests get secret $SECRET -o jsonpath="{.data['\.dockercfg']}" | base64 --decode | jq '.["image-registry.openshift-image-registry.svc:5000"].auth')
    Copy to Clipboard Toggle word wrap

  6. dockerauth.json 파일을 생성합니다. 예를 들면 다음과 같습니다. 

    $ echo "{\"auths\": { \"$REGISTRY\": { \"auth\": $TOKEN } }}" > dockerauth.json
    Copy to Clipboard Toggle word wrap

  7. 이미지 미러링을 수행합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
registry.redhat.io/openshift4/cnf-tests-rhel8:4.11 \
/usr/bin/mirror -registry $REGISTRY/cnftests |  oc image mirror --insecure=true \
-a=$(pwd)/dockerauth.json -f -
    Copy to Clipboard Toggle word wrap

  8. 테스트를 실행합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e DISCOVERY_MODE=true -e FEATURES=performance -e IMAGE_REGISTRY=image-registry.openshift-image-registry.svc:5000/cnftests \
cnf-tests-local:latest /usr/bin/test-run.sh -ginkgo.focus="\[performance\]\ Latency\ Test"
    Copy to Clipboard Toggle word wrap
다른 테스트 이미지 세트 미러링

선택적으로 대기 시간 테스트를 위해 미러링된 기본 업스트림 이미지를 변경할 수 있습니다.

절차

  1. mirror 명령은 기본적으로 업스트림 이미지를 미러링합니다. 다음 형식의 파일을 이미지에 전달하여 재정의할 수 있습니다. 

    [
    {
        "registry": "public.registry.io:5000",
        "image": "imageforcnftests:4.11"
    }
]
    Copy to Clipboard Toggle word wrap

  2. 파일을 mirror 명령에 전달합니다. 예를 들어 images.json 으로 로컬로 저장합니다. 다음 명령을 사용하면 로컬 경로가 컨테이너 내 /kubeconfig에 마운트되어 mirror 명령에 전달될 수 있습니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 /usr/bin/mirror \
--registry "my.local.registry:5000/" --images "/kubeconfig/images.json" \
|  oc image mirror -f -
    Copy to Clipboard Toggle word wrap

16.9. cnf-tests 컨테이너로 오류 문제 해결
링크 복사

대기 시간 테스트를 실행하려면 cnf-tests 컨테이너 내에서 클러스터에 액세스할 수 있어야 합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

절차

  • 다음 명령을 실행하여 cnf-tests 컨테이너 내부에서 클러스터에 액세스할 수 있는지 확인합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
registry.redhat.io/openshift4/cnf-tests-rhel8:v4.11 \
oc get nodes
    Copy to Clipboard Toggle word wrap

    이 명령이 작동하지 않으면 DNS, MTU 크기 또는 방화벽 액세스와 관련된 오류가 발생할 수 있습니다.

클러스터 관리자가 플랫폼 확인을 위해 대기 시간 테스트를 수행한 경우 대기 시간이 긴 경우 안정성을 보장하기 위해 클러스터의 작동을 조정해야 할 수 있습니다. 클러스터 관리자는 파일에 기록된 하나의 매개 변수만 변경해야 합니다. 이 매개변수는 감독자 프로세스가 상태를 읽고 클러스터의 상태를 해석하는 방법에 영향을 미치는 매개변수 4개를 제어합니다. 하나의 매개변수만 변경하면 지원 가능한 방식으로 클러스터 튜닝이 제공됩니다.

Kubelet 프로세스는 클러스터 상태를 모니터링하기 위한 시작점을 제공합니다. Kubelet 은 OpenShift Container Platform 클러스터의 모든 노드에 대한 상태 값을 설정합니다. Kubernetes Controller Manager(kube 컨트롤러)는 기본적으로 10초마다 상태 값을 읽습니다. kube 컨트롤러에서 노드 상태 값을 읽을 수 없는 경우 구성된 기간이 지난 후 해당 노드와의 연결이 끊어집니다. 기본 동작은 다음과 같습니다.

  1. 컨트롤 플레인의 노드 컨트롤러는 노드 상태를 Unhealthy 로 업데이트하고 노드 Ready 조건 'Unknown'을 표시합니다.
  2. 스케줄러는 이에 대한 응답으로 해당 노드에 대한 Pod 예약을 중지합니다.
  3. Node Lifecycle Controller는 NoExecute 효과가 있는 node.kubernetes.io/unreachable 테인트를 노드에 추가하고 기본적으로 5분 후에 제거하도록 노드에 Pod를 예약합니다.

이 동작은 특히 네트워크 엣지에 노드가 있는 경우 네트워크가 대기 시간 문제가 발생하는 경우 문제가 발생할 수 있습니다. 경우에 따라 네트워크 대기 시간으로 인해 Kubernetes 컨트롤러 관리자에서 정상적인 노드에서 업데이트를 수신하지 못할 수 있습니다. Kubelet 은 노드가 정상이지만 노드에서 Pod를 제거합니다.

이 문제를 방지하려면 작업자 대기 시간 프로필을 사용하여 Kubelet 및 Kubernetes 컨트롤러 관리자가 작업을 수행하기 전에 상태 업데이트를 기다리는 빈도를 조정할 수 있습니다. 이러한 조정은 컨트롤 플레인과 작업자 노드 간의 네트워크 대기 시간이 최적이 아닌 경우 클러스터가 올바르게 실행되도록 하는 데 도움이 됩니다.

이러한 작업자 대기 시간 프로필에는 대기 시간을 높이기 위해 클러스터의 응답을 제어하기 위해 신중하게 조정된 값으로 미리 정의된 세 가지 매개변수 세트가 포함되어 있습니다. 실험적으로 최상의 값을 수동으로 찾을 필요가 없습니다.

클러스터를 설치할 때 또는 언제든지 클러스터 네트워크에서 대기 시간을 늘릴 때 작업자 대기 시간 프로필을 구성할 수 있습니다.

17.1. 작업자 대기 시간 프로필 이해
링크 복사

작업자 대기 시간 프로필은 신중하게 조정된 매개변수의 네 가지 범주입니다. 이러한 값을 구현하는 4개의 매개변수는 node-status-update-frequency,node-monitor-grace-period,default-not-ready-toleration-seconds 및 default-unreachable-toleration-seconds 입니다. 이러한 매개변수는 수동 방법을 사용하여 최상의 값을 결정할 필요 없이 대기 시간 문제에 대한 클러스터의 대응을 제어할 수 있는 값을 사용할 수 있습니다.

중요

이러한 매개변수를 수동으로 설정하는 것은 지원되지 않습니다. 잘못된 매개변수 설정은 클러스터 안정성에 부정적인 영향을 미칩니다.

모든 작업자 대기 시간 프로필은 다음 매개변수를 구성합니다.

node-status-update-frequency
kubelet이 API 서버에 노드 상태를 게시하는 빈도를 지정합니다.
node-monitor-grace-period
노드를 비정상적으로 표시하고 node.kubernetes.io/not-ready 또는 node.kubernetes.io/unreachable 테인트를 노드에 추가하기 전에 Kubernetes 컨트롤러 관리자가 kubelet에서 업데이트를 기다리는 시간(초)을 지정합니다.
default-not-ready-toleration-seconds
해당 노드에서 Pod를 제거하기 전에 Kube API Server Operator가 기다리는 비정상적인 노드를 표시한 후 시간(초)을 지정합니다.
default-unreachable-toleration-seconds
해당 노드에서 Pod를 제거하기 전에 Kube API Server Operator가 대기할 수 없는 노드를 표시한 후 시간(초)을 지정합니다.

다음 Operator는 작업자 대기 시간 프로필에 대한 변경 사항을 모니터링하고 그에 따라 응답합니다.

  • MCO(Machine Config Operator)는 작업자 노드에서 node-status-update-frequency 매개변수를 업데이트합니다.
  • Kubernetes 컨트롤러 관리자는 컨트롤 플레인 노드에서 node-monitor-grace-period 매개변수를 업데이트합니다.
  • Kubernetes API Server Operator는 컨트롤 플레인 노드에서 default-not-ready-toleration-seconds 및 default-unreachable-toleration-seconds 매개변수를 업데이트합니다.

기본 구성은 대부분의 경우 작동하지만 OpenShift Container Platform에서는 네트워크에서 평소보다 대기 시간이 더 높은 상황에 대해 두 개의 다른 작업자 대기 시간 프로필을 제공합니다. 세 개의 작업자 대기 시간 프로필은 다음 섹션에 설명되어 있습니다.

기본 작업자 대기 시간 프로필

Default 프로필을 사용하면 각 Kubelet 이 10초마다 상태를 업데이트합니다(node-status-update-frequency). Kube Controller Manager 는 5초마다 Kubelet 의 상태를 확인합니다(node-monitor-grace-period).

Kubernetes 컨트롤러 관리자는 Kubelet 비정상을 고려하기 전에 Kubelet 에서 상태 업데이트를 40초 동안 기다립니다. Kubernetes 컨트롤러 관리자에서 사용할 수 없는 상태가 없는 경우 노드를 node.kubernetes.io/not-ready 또는 node.kubernetes.io/unreachable 테인트로 표시하고 해당 노드에서 Pod를 제거합니다.

해당 노드의 Pod에 NoExecute 테인트가 있는 경우 tolerationSeconds 에 따라 Pod가 실행됩니다. Pod에 테인트가 없는 경우 300초( Kube API서버의default-not-ready-toleration-seconds 및 default-unreachable-toleration-seconds 설정)가 제거됩니다.

Expand
Profile구성 요소매개변수값

기본값

kubelet

node-status-update-frequency

10s

kubelet 컨트롤러 관리자

node-monitor-grace-period

40s

Kubernetes API Server Operator

default-not-ready-toleration-seconds

300s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

300s

중간 작업자 대기 시간 프로파일

네트워크 대기 시간이 평소보다 약간 높은 경우 MediumUpdateAverageReaction 프로필을 사용하십시오.

MediumUpdateAverageReaction 프로필은 kubelet 업데이트 빈도를 20초로 줄이고 Kubernetes 컨트롤러 관리자가 해당 업데이트를 2분으로 기다리는 기간을 변경합니다. 해당 노드의 Pod 제거 기간이 60초로 단축됩니다. Pod에 tolerationSeconds 매개변수가 있는 경우 제거는 해당 매개변수로 지정된 기간 동안 기다립니다.

Kubernetes 컨트롤러 관리자는 노드의 비정상적인 것으로 간주하기 위해 2분 정도 기다립니다. 또 다른 순간에 제거 프로세스가 시작됩니다.

Expand
Profile구성 요소매개변수값

MediumUpdateAverageReaction

kubelet

node-status-update-frequency

20s

kubelet 컨트롤러 관리자

node-monitor-grace-period

2m

Kubernetes API Server Operator

default-not-ready-toleration-seconds

60s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

60s

낮은 작업자 대기 시간 프로파일

네트워크 대기 시간이 매우 높은 경우 LowUpdateSlowReaction 프로필을 사용합니다.

LowUpdateSlowReaction 프로필은 kubelet 업데이트 빈도를 1분으로 줄이고 Kubernetes 컨트롤러 관리자가 해당 업데이트를 5분으로 기다리는 기간을 변경합니다. 해당 노드의 Pod 제거 기간이 60초로 단축됩니다. Pod에 tolerationSeconds 매개변수가 있는 경우 제거는 해당 매개변수로 지정된 기간 동안 기다립니다.

Kubernetes 컨트롤러 관리자는 노드의 비정상적인 것으로 간주하기 위해 5분 정도 기다립니다. 또 다른 순간에 제거 프로세스가 시작됩니다.

Expand
Profile구성 요소매개변수값

LowUpdateSlowReaction

kubelet

node-status-update-frequency

1m

kubelet 컨트롤러 관리자

node-monitor-grace-period

5m

Kubernetes API Server Operator

default-not-ready-toleration-seconds

60s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

60s

17.2. 클러스터 생성 시 작업자 대기 시간 프로필 구현
링크 복사

중요

설치 프로그램의 구성을 편집하려면 먼저 openshift-install create manifests 명령을 사용하여 기본 노드 매니페스트 및 기타 매니페스트 YAML 파일을 생성해야 합니다. 이 파일 구조는 workerLatencyProfile을 추가하기 전에 존재해야 합니다. 설치 중인 플랫폼에는 다양한 요구 사항이 있을 수 있습니다. 특정 플랫폼에 대한 설명서의 설치 섹션을 참조하십시오.

workerLatencyProfile 은 다음 순서로 매니페스트에 추가해야 합니다.

  1. 설치에 적합한 폴더 이름을 사용하여 클러스터를 빌드하는 데 필요한 매니페스트를 생성합니다.
  2. YAML 파일을 생성하여 config.node 를 정의합니다. 파일은 manifests 디렉터리에 있어야 합니다.
  3. 매니페스트에 workerLatencyProfile 을 처음 정의할 때 클러스터 생성 시 기본,mediumUpdateAverageReaction 또는 LowUpdateSlowReaction.

검증

  • 다음은 매니페스트 파일의 spec.workerLatencyProfile Default 값을 보여주는 매니페스트 생성 예제입니다. 

    $ openshift-install create manifests --dir=<cluster-install-dir>
    Copy to Clipboard Toggle word wrap

  • 매니페스트를 편집하고 값을 추가합니다. 이 예제에서는 vi 를 사용하여 "Default" workerLatencyProfile 값이 추가된 매니페스트 파일 예제를 표시합니다. 

    $ vi <cluster-install-dir>/manifests/config-node-default-profile.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: config.openshift.io/v1
kind: Node
metadata:
name: cluster
spec:
workerLatencyProfile: "Default"
    Copy to Clipboard Toggle word wrap

17.3. 작업자 대기 시간 프로필 사용 및 변경
링크 복사

네트워크 대기 시간을 처리하기 위해 작업자 대기 시간 프로필을 변경하려면 node.config 오브젝트를 편집하여 프로필 이름을 추가합니다. 대기 시간이 증가하거나 감소하면 언제든지 프로필을 변경할 수 있습니다.

한 번에 하나의 작업자 대기 시간 프로필을 이동해야 합니다. 예를 들어 기본 프로필에서 LowUpdateSlowReaction 작업자 대기 시간 프로필로 직접 이동할 수 없습니다. 기본 작업자 대기 시간 프로필에서 먼저 MediumUpdateAverageReaction 프로필로 이동한 다음 LowUpdateSlowReaction 으로 이동해야 합니다. 마찬가지로 Default 프로필로 돌아갈 때 먼저 low 프로필에서 medium 프로필로 이동한 다음 Default 로 이동해야 합니다.

참고

OpenShift Container Platform 클러스터를 설치할 때 작업자 대기 시간 프로필을 구성할 수도 있습니다.

절차

기본 작업자 대기 시간 프로필에서 이동하려면 다음을 수행합니다.

  1. 중간 작업자 대기 시간 프로파일로 이동합니다.

    1. node.config 오브젝트를 편집합니다. 

      $ oc edit nodes.config/cluster
      Copy to Clipboard Toggle word wrap

    2. spec.workerLatencyProfile 추가: MediumUpdateAverageReaction:

      node.config 오브젝트의 예

      apiVersion: config.openshift.io/v1
kind: Node
metadata:
  annotations:
    include.release.openshift.io/ibm-cloud-managed: "true"
    include.release.openshift.io/self-managed-high-availability: "true"
    include.release.openshift.io/single-node-developer: "true"
    release.openshift.io/create-only: "true"
  creationTimestamp: "2022-07-08T16:02:51Z"
  generation: 1
  name: cluster
  ownerReferences:
  - apiVersion: config.openshift.io/v1
    kind: ClusterVersion
    name: version
    uid: 36282574-bf9f-409e-a6cd-3032939293eb
  resourceVersion: "1865"
  uid: 0c0f7a4c-4307-4187-b591-6155695ac85b
spec:
  workerLatencyProfile: MediumUpdateAverageReaction
      1 
      

# ...
      Copy to Clipboard Toggle word wrap

      1
      중간 작업자 대기 시간 정책을 지정합니다.

      변경 사항이 적용되므로 각 작업자 노드에서 예약이 비활성화됩니다.

  2. 선택 사항: 작업자 대기 시간이 짧은 프로필로 이동합니다.

    1. node.config 오브젝트를 편집합니다. 

      $ oc edit nodes.config/cluster
      Copy to Clipboard Toggle word wrap

    2. spec.workerLatencyProfile 값을 LowUpdateSlowReaction 으로 변경합니다.

      node.config 오브젝트의 예

      apiVersion: config.openshift.io/v1
kind: Node
metadata:
  annotations:
    include.release.openshift.io/ibm-cloud-managed: "true"
    include.release.openshift.io/self-managed-high-availability: "true"
    include.release.openshift.io/single-node-developer: "true"
    release.openshift.io/create-only: "true"
  creationTimestamp: "2022-07-08T16:02:51Z"
  generation: 1
  name: cluster
  ownerReferences:
  - apiVersion: config.openshift.io/v1
    kind: ClusterVersion
    name: version
    uid: 36282574-bf9f-409e-a6cd-3032939293eb
  resourceVersion: "1865"
  uid: 0c0f7a4c-4307-4187-b591-6155695ac85b
spec:
  workerLatencyProfile: LowUpdateSlowReaction
      1 
      

# ...
      Copy to Clipboard Toggle word wrap

      1
      낮은 작업자 대기 시간 정책 사용을 지정합니다.

변경 사항이 적용되므로 각 작업자 노드에서 예약이 비활성화됩니다.

검증

  • 모든 노드가 Ready 상태로 돌아 오면 다음 명령을 사용하여 Kubernetes 컨트롤러 관리자를 확인하여 적용되었는지 확인할 수 있습니다. 

    $ oc get KubeControllerManager -o yaml | grep -i workerlatency -A 5 -B 5
    Copy to Clipboard Toggle word wrap

    출력 예

    # ...
    - lastTransitionTime: "2022-07-11T19:47:10Z"
      reason: ProfileUpdated
      status: "False"
      type: WorkerLatencyProfileProgressing
    - lastTransitionTime: "2022-07-11T19:47:10Z"
    1 
    
      message: all static pod revision(s) have updated latency profile
      reason: ProfileUpdated
      status: "True"
      type: WorkerLatencyProfileComplete
    - lastTransitionTime: "2022-07-11T19:20:11Z"
      reason: AsExpected
      status: "False"
      type: WorkerLatencyProfileDegraded
    - lastTransitionTime: "2022-07-11T19:20:36Z"
      status: "False"
# ...
    Copy to Clipboard Toggle word wrap

    1
    프로필이 적용되고 활성 상태가 되도록 지정합니다.

미디어 프로필을 기본값으로 변경하거나 기본값을 medium로 변경하려면 node.config 오브젝트를 편집하고 spec.workerLatencyProfile 매개변수를 적절한 값으로 설정합니다.

17.4. workerLatencyProfile의 결과 값을 표시하는 단계의 예
링크 복사

다음 명령을 사용하여 workerLatencyProfile 의 값을 표시할 수 있습니다.

검증

  1. Kube API Server에서 default-not-ready-toleration-seconds 및 default-unreachable-toleration-seconds 필드 출력을 확인합니다. 

    $ oc get KubeAPIServer -o yaml | grep -A 1 default-
    Copy to Clipboard Toggle word wrap

    출력 예

    default-not-ready-toleration-seconds:
- "300"
default-unreachable-toleration-seconds:
- "300"
    Copy to Clipboard Toggle word wrap

  2. Kube Controller Manager에서 node-monitor-grace-period 필드의 값을 확인합니다. 

    $ oc get KubeControllerManager -o yaml | grep -A 1 node-monitor
    Copy to Clipboard Toggle word wrap

    출력 예

    node-monitor-grace-period:
- 40s
    Copy to Clipboard Toggle word wrap

  3. Kubelet에서 nodeStatusUpdateFrequency 값을 확인합니다. 디버그 쉘 내에서 /host 디렉터리를 root 디렉터리로 설정합니다. root 디렉토리를 /host로 변경하면 호스트의 실행 경로에 포함된 바이너리를 실행할 수 있습니다. 

    $ oc debug node/<worker-node-name>
$ chroot /host
# cat /etc/kubernetes/kubelet.conf|grep nodeStatusUpdateFrequency
    Copy to Clipboard Toggle word wrap

    출력 예

      “nodeStatusUpdateFrequency”: “10s”
    Copy to Clipboard Toggle word wrap

이러한 출력은 Worker Latency Profile의 타이밍 변수 집합의 유효성을 검사합니다.

18장. 클러스터 업데이트를 위한 토폴로지 Aware Lifecycle Manager
링크 복사

TALM(토폴로지 라이프사이클 관리자)을 사용하여 여러 단일 노드 OpenShift 클러스터의 소프트웨어 라이프사이클을 관리할 수 있습니다. TALM은 RHACM(Red Hat Advanced Cluster Management) 정책을 사용하여 대상 클러스터에서 변경 사항을 수행합니다.

중요

토폴로지 수명 주기 관리자는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

18.1. 토폴로지 Aware Lifecycle Manager 구성 정보
링크 복사

TALM(토폴로지 라이프사이클 관리자)은 하나 이상의 OpenShift Container Platform 클러스터에 대한 RHACM(Red Hat Advanced Cluster Management) 정책 배포를 관리합니다. 대규모 클러스터 네트워크에서 TALM을 사용하면 제한된 배치에서 클러스터에 대한 정책을 단계적으로 롤아웃할 수 있습니다. 따라서 업데이트할 때 가능한 서비스 중단을 최소화하는 데 도움이 됩니다. TALM을 사용하면 다음 작업을 제어할 수 있습니다.

  • 업데이트의 시간
  • RHACM 관리 클러스터 수
  • 정책을 적용할 관리 클러스터의 하위 집합입니다.
  • 클러스터의 업데이트 순서
  • 클러스터로 수정 정책 세트
  • 클러스터로 수정 정책 순서

TALM은 y-streams 및 z-streams에서 OpenShift Container Platform y-stream 및 z-stream 업데이트의 오케스트레이션과 day-two 작업을 지원합니다.

18.2. 토폴로지 Aware Lifecycle Manager에서 사용되는 관리형 정책 정보
링크 복사

TALM(토폴로지 라이프사이클 관리자)은 클러스터 업데이트에 RHACM 정책을 사용합니다.

TALM을 사용하면 수정 필드가 알리 도록 설정된 모든 정책 CR의 롤아웃을 관리할 수 있습니다. 지원되는 사용 사례는 다음과 같습니다.

  • 정책 CR 수동 사용자 생성
  • PolicyGenTemplate CRD(사용자 정의 리소스 정의)에서 자동으로 생성된 정책

수동 승인을 사용하여 Operator 서브스크립션을 업데이트하는 정책의 경우 TALM은 업데이트된 Operator 설치를 승인하는 추가 기능을 제공합니다.

관리 정책에 대한 자세한 내용은 RHACM 설명서의 정책 개요 를 참조하십시오.

PolicyGenTemplate CRD에 대한 자세한 내용은 "PolicyGenTemplate Resource를 사용하여 관리 클러스터 구성"의 "PolicyGenTemplate CRD 정보" 섹션을 참조하십시오.

18.3. 웹 콘솔을 사용하여 토폴로지 Aware Lifecycle Manager 설치
링크 복사

OpenShift Container Platform 웹 콘솔을 사용하여 Topology Aware Lifecycle Manager를 설치할 수 있습니다.

사전 요구 사항

  • 최신 버전의 RHACM Operator를 설치합니다.
  • 연결이 끊긴 재gitry가 있는 허브 클러스터를 설정합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub로 이동합니다.
  2. 사용 가능한 Operator 목록에서 Topology Aware Lifecycle Manager 를 검색한 다음 설치를 클릭합니다.
  3. 기본 설치 모드 ["All namespaces on the cluster (default)"] 및 Installed Namespace ("openshift-operators")를 선택하여 Operator가 올바르게 설치되었는지 확인합니다.
  4. 설치를 클릭합니다.

검증

설치에 성공했는지 확인하려면 다음을 수행하십시오.

  1. Operator → 설치된 Operator 페이지로 이동합니다.
  2. Operator가 All Namespaces 네임스페이스에 설치되어 있고 해당 상태는 Succeeded 인지 확인합니다.

Operator가 성공적으로 설치되지 않은 경우 다음을 수행하십시오.

  1. Operator → 설치된 Operator 페이지로 이동하여 Status 열에 오류 또는 실패가 있는지 점검합니다.
  2. Workloads → Pod 페이지로 이동하여 문제를 보고하는 cluster-group-upgrades-controller-manager Pod의 컨테이너에서 로그를 확인합니다.

18.4. CLI를 사용하여 Topology Aware Lifecycle Manager 설치
링크 복사

oc(OpenShift CLI)를 사용하여 TALM(토폴로지 라이프사이클 관리자)을 설치할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • 최신 버전의 RHACM Operator를 설치합니다.
  • 연결이 끊긴 레지스트리가 있는 hub 클러스터를 설정합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. 서브스크립션 CR을 생성합니다.

    1. Subscription CR을 정의하고 YAML 파일을 저장합니다(예: talm-subscription.yaml ). 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: openshift-topology-aware-lifecycle-manager-subscription
  namespace: openshift-operators
spec:
  channel: "stable"
  name: topology-aware-lifecycle-manager
  source: redhat-operators
  sourceNamespace: openshift-marketplace
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 Subscription CR을 생성합니다. 

      $ oc create -f talm-subscription.yaml
      Copy to Clipboard Toggle word wrap

검증

  1. CSV 리소스를 검사하여 설치에 성공했는지 확인합니다. 

    $ oc get csv -n openshift-operators
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                                   DISPLAY                            VERSION               REPLACES                           PHASE
topology-aware-lifecycle-manager.4.11.x   Topology Aware Lifecycle Manager   4.11.x                                      Succeeded
    Copy to Clipboard Toggle word wrap

  2. TALM이 실행 중인지 확인합니다. 

    $ oc get deploy -n openshift-operators
    Copy to Clipboard Toggle word wrap

    출력 예

    NAMESPACE                                          NAME                                             READY   UP-TO-DATE   AVAILABLE   AGE
openshift-operators                                cluster-group-upgrades-controller-manager        1/1     1            1           14s
    Copy to Clipboard Toggle word wrap

18.5. ClusterGroupUpgrade CR 정보
링크 복사

TALM(토폴로지 라이프사이클 관리자)은 클러스터 그룹의 ClusterGroupUpgrade CR에서 수정 계획을 빌드합니다. ClusterGroupUpgrade CR에서 다음 사양을 정의할 수 있습니다.

  • 그룹의 클러스터
  • ClusterGroupUpgrade CR 차단
  • 적용 가능한 관리 정책 목록
  • 동시 업데이트 수
  • 적용 가능한 카나리아 업데이트
  • 업데이트 전과 후에 수행할 작업
  • 업데이트 타이밍

TALM은 지정된 클러스터에 대한 정책을 수정하여 작동하므로 ClusterGroupUpgrade CR은 다음과 같은 상태를 가질 수 있습니다.

  • UpgradeNotStarted
  • UpgradeCannotStart
  • UpgradeNotComplete
  • UpgradeTimedOut
  • UpgradeCompleted
  • PrecachingRequired
참고

TALM이 클러스터 업데이트를 완료한 후에는 동일한 ClusterGroupUpgrade CR의 제어 하에서 클러스터가 다시 업데이트되지 않습니다. 다음 경우 새 ClusterGroupUpgrade CR을 생성해야 합니다.

  • 클러스터를 다시 업데이트해야 하는 경우
  • 클러스터가 업데이트 후 알림 정책과 호환되는 비준 수로 변경되는 경우

18.5.1. UpgradeNotStarted 상태
링크 복사

ClusterGroupUpgrade CR의 초기 상태는 UpgradeNotStarted 입니다.

TALM은 다음 필드에 따라 수정 계획을 빌드합니다.

  • clusterSelector 필드는 업데이트할 클러스터의 레이블을 지정합니다.
  • cluster 필드는 업데이트할 클러스터 목록을 지정합니다.
  • canaries 필드는 카나리아 업데이트의 클러스터를 지정합니다.
  • maxConcurrency 필드는 배치에서 업데이트할 클러스터 수를 지정합니다.

클러스터 와 clusterSelector 필드를 함께 사용하여 결합된 클러스터 목록을 생성할 수 있습니다.

수정 계획은 카나리아 필드에 나열된 클러스터에서 시작됩니다. 각 카나리아 클러스터는 단일 클러스터 배치를 형성합니다.

참고

카나리아 클러스터를 업데이트하는 동안 오류가 발생하면 업데이트 프로세스가 중단됩니다.

수정 계획이 성공적으로 생성되고 enable 필드가 true 로 설정된 후 ClusterGroupUpgrade CR이 UpgradeNotCompleted 상태로 전환됩니다. 이 시점에서 TALM은 지정된 관리 정책으로 비호환 클러스터를 업데이트하기 시작합니다.

참고

ClusterGroupUpgrade CR이 UpgradeNotStarted 또는 UpgradeCannotStart 상태에 있는 경우에만 spec 필드를 변경할 수 있습니다.

UpgradeNotStarted 상태의 샘플 ClusterGroupUpgrade CR

apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-upgrade-complete
  namespace: default
spec:
  clusters:
1 

  - spoke1
  enable: false
  managedPolicies:
2 

  - policy1-common-cluster-version-policy
  - policy2-common-nto-sub-policy
  remediationStrategy:
3 

    canaries:
4 

      - spoke1
    maxConcurrency: 1
5 

    timeout: 240
status:
6 

  conditions:
  - message: The ClusterGroupUpgrade CR is not enabled
    reason: UpgradeNotStarted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-nto-sub-policy
    namespace: default
  placementBindings:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  placementRules:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  remediationPlan:
  - - spoke1
Copy to Clipboard Toggle word wrap

1
업데이트할 클러스터 목록을 정의합니다.
2
수정할 사용자 정의 정책 집합을 나열합니다.
3
클러스터 업데이트의 세부 사항을 정의합니다.
4
카나리아 업데이트의 클러스터를 정의합니다.
5
일괄 처리의 최대 동시 업데이트 수를 정의합니다. 수정 배치 배치 수는 카나리아 클러스터 수와 최대Concurrency 값으로 나눈 클러스터를 제외한 클러스터 수입니다. 모든 관리 정책을 이미 준수하는 클러스터는 수정 계획에서 제외됩니다.
6
업데이트 상태에 대한 정보를 표시합니다.

18.5.2. UpgradeCannotStart 상태
링크 복사

UpgradeCannotStart 상태에서는 다음과 같은 이유로 인해 업데이트를 시작할 수 없습니다.

  • CR 차단 시스템이 시스템에서 누락됨
  • CR 차단이 아직 완료되지 않았습니다.

18.5.3. UpgradeNotCompleted 상태
링크 복사

UpgradeNotCompleted 상태에서 TALM은 UpgradeNotStarted 상태에 정의된 수정 계획 뒤에 정책을 적용합니다.

후속 배치에 대한 정책은 현재 배치의 모든 클러스터가 모든 관리 정책을 준수하는 직후 시작됩니다. 배치 시간이 초과되면 TALM은 다음 배치로 이동합니다. 배치의 시간 초과 값은 spec.timeout 필드이며 수정 계획의 배치 수로 나뉩니다.

참고

관리 정책은 ClusterGroupUpgrade CR의 managedPolicies 필드에 나열된 순서대로 적용됩니다. 하나의 관리형 정책이 한 번에 지정된 클러스터에 적용됩니다. 지정된 클러스터가 현재 정책을 준수하는 후 다음 비호환 클러스터에 다음 관리 정책이 적용됩니다.

UpgradeNotCompleted 상태의 샘플 ClusterGroupUpgrade CR

apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-upgrade-complete
  namespace: default
spec:
  clusters:
  - spoke1
  enable: true
1 

  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-nto-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
2 

  conditions:
  - message: The ClusterGroupUpgrade CR has upgrade policies that are still non compliant
    reason: UpgradeNotCompleted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-nto-sub-policy
    namespace: default
  placementBindings:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  placementRules:
  - cgu-upgrade-complete-policy1-common-cluster-version-policy
  - cgu-upgrade-complete-policy2-common-nto-sub-policy
  remediationPlan:
  - - spoke1
  status:
    currentBatch: 1
    remediationPlanForBatch:
3 

      spoke1: 0
Copy to Clipboard Toggle word wrap

1
spec.enable 필드의 값이 true 이면 업데이트가 시작됩니다.
2
상태 필드는 업데이트가 시작되면 적절하게 변경됩니다.
3
배치의 클러스터와 현재 각 클러스터에 적용되는 정책의 인덱스를 나열합니다. 정책의 인덱스는 0 으로 시작하고 인덱스는 status.managedPoliciesForUpgrade 목록의 순서를 따릅니다.

18.5.4. UpgradeTimedOut 상태
링크 복사

UpgradeTimedOut 상태에서 TALM은 ClusterGroupUpgrade CR에 대한 모든 정책이 호환되는 경우 매 시간마다 확인합니다. ClusterGroupUpgrade CR이 삭제되거나 업데이트가 완료될 때까지 검사가 계속됩니다. 주기적인 검사를 통해 네트워크, CPU 또는 기타 문제로 인해 시간이 오래 걸리는 경우 업데이트가 완료될 수 있습니다.

TALM은 다음 두 가지 경우에 UpgradeTimedOut 상태로 전환합니다.

  • 현재 배치에 카나리아 업데이트가 포함되고 배치의 클러스터가 배치 제한 시간 내에 있는 모든 관리 정책을 준수하지 않는 경우
  • 클러스터에서 remediationStrategy 필드에 지정된 시간 초과 값 내의 관리 정책을 준수하지 않는 경우

정책이 호환되는 경우 TALM은 UpgradeCompleted 상태로 전환됩니다.

18.5.5. UpgradeCompleted 상태
링크 복사

UpgradeCompleted 상태에서 클러스터 업데이트가 완료됩니다.

UpgradeCompleted 상태의 샘플 ClusterGroupUpgrade CR

apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-upgrade-complete
  namespace: default
spec:
  actions:
    afterCompletion:
      deleteObjects: true
1 

  clusters:
  - spoke1
  enable: true
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-nto-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
2 

  conditions:
  - message: The ClusterGroupUpgrade CR has all clusters compliant with all the managed policies
    reason: UpgradeCompleted
    status: "True"
    type: Ready
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-nto-sub-policy
    namespace: default
  remediationPlan:
  - - spoke1
  status:
    remediationPlanForBatch:
      spoke1: -2
3
Copy to Clipboard Toggle word wrap

1
spec.action.afterCompletion.deleteObjects 필드의 값은 기본적으로 true 입니다. 업데이트가 완료되면 TALM은 업데이트 중에 생성된 기본 RHACM 오브젝트를 삭제합니다. 이 옵션은 업데이트가 성공한 후 RHACM 허브가 규정 준수 여부를 지속적으로 확인하지 못하도록 하는 것입니다.
2
상태 필드에 업데이트가 성공적으로 완료되었음이 표시됩니다.
3
모든 정책이 클러스터에 적용됨을 표시합니다.
<discreet><title>PrecachingRequired 상태</title>

PrecachingRequired 상태에서 업데이트를 시작하기 전에 클러스터에 사전 캐시 이미지가 있어야 합니다. 사전 캐싱에 대한 자세한 내용은 "컨테이너 이미지 사전 캐시 기능 사용" 섹션을 참조하십시오.

</discreet>

18.5.6. ClusterGroupUpgrade CR 차단
링크 복사

여러 ClusterGroupUpgrade CR을 생성하고 애플리케이션 순서를 제어할 수 있습니다.

예를 들어 ClusterGroupUpgrade CR A의 시작을 차단하는 ClusterGroupUpgrade CR C를 생성하는 경우 ClusterGroupUpgrade CR C가 UpgradeComplete 가 될 때까지 ClusterGroupUpgrade CR A를 시작할 수 없습니다.

하나의 ClusterGroupUpgrade CR에는 여러 차단 CR이 있을 수 있습니다. 이 경우 현재 CR에 대한 업그레이드를 시작하기 전에 모든 차단 CR을 완료해야 합니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • hub 클러스터에서 RHACM 정책을 생성합니다.

절차

  1. ClusterGroupUpgrade CR의 내용을 cgu-a.yaml,cgu-b.yaml, cgu-c.yaml 파일에 저장합니다. 

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-a
  namespace: default
spec:
  blockingCRs:
    1 
    
  - name: cgu-c
    namespace: default
  clusters:
  - spoke1
  - spoke2
  - spoke3
  enable: false
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  remediationStrategy:
    canaries:
    - spoke1
    maxConcurrency: 2
    timeout: 240
status:
  conditions:
  - message: The ClusterGroupUpgrade CR is not enabled
    reason: UpgradeNotStarted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-pao-sub-policy
    namespace: default
  - name: policy3-common-ptp-sub-policy
    namespace: default
  placementBindings:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  placementRules:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  remediationPlan:
  - - spoke1
  - - spoke2
    Copy to Clipboard Toggle word wrap
    1
    차단 CR을 정의합니다. cgu-a 업데이트는 cgu-c 가 완료될 때까지 시작할 수 없습니다. 
    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-b
  namespace: default
spec:
  blockingCRs:
    1 
    
  - name: cgu-a
    namespace: default
  clusters:
  - spoke4
  - spoke5
  enable: false
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  - policy4-common-sriov-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
  conditions:
  - message: The ClusterGroupUpgrade CR is not enabled
    reason: UpgradeNotStarted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-pao-sub-policy
    namespace: default
  - name: policy3-common-ptp-sub-policy
    namespace: default
  - name: policy4-common-sriov-sub-policy
    namespace: default
  placementBindings:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  placementRules:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  remediationPlan:
  - - spoke4
  - - spoke5
  status: {}
    Copy to Clipboard Toggle word wrap
    1
    cgu-b 업데이트는 cgu-a 가 완료될 때까지 시작할 수 없습니다. 
    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-c
  namespace: default
spec:
    1 
    
  clusters:
  - spoke6
  enable: false
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  - policy4-common-sriov-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
  conditions:
  - message: The ClusterGroupUpgrade CR is not enabled
    reason: UpgradeNotStarted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  managedPoliciesCompliantBeforeUpgrade:
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy4-common-sriov-sub-policy
    namespace: default
  placementBindings:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  placementRules:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  remediationPlan:
  - - spoke6
  status: {}
    Copy to Clipboard Toggle word wrap
    1
    cgu-c 업데이트에는 차단 CR이 없습니다. TALM은 enable 필드가 true 로 설정된 경우 cgu-c 업데이트를 시작합니다.

  2. 각 관련 CR에 대해 다음 명령을 실행하여 ClusterGroupUpgrade CR을 생성합니다. 

    $ oc apply -f <name>.yaml
    Copy to Clipboard Toggle word wrap

  3. 각 관련 CR에 대해 다음 명령을 실행하여 업데이트 프로세스를 시작합니다. 

    $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/<name> \
--type merge -p '{"spec":{"enable":true}}'
    Copy to Clipboard Toggle word wrap

    다음 예제에서는 enable 필드가 true 로 설정된 ClusterGroupUpgrade CR을 보여줍니다.

    CR을 차단하는 cgu-a 의 예

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-a
  namespace: default
spec:
  blockingCRs:
  - name: cgu-c
    namespace: default
  clusters:
  - spoke1
  - spoke2
  - spoke3
  enable: true
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  remediationStrategy:
    canaries:
    - spoke1
    maxConcurrency: 2
    timeout: 240
status:
  conditions:
  - message: 'The ClusterGroupUpgrade CR is blocked by other CRs that have not yet
      completed: [cgu-c]'
    1 
    
    reason: UpgradeCannotStart
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-pao-sub-policy
    namespace: default
  - name: policy3-common-ptp-sub-policy
    namespace: default
  placementBindings:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  placementRules:
  - cgu-a-policy1-common-cluster-version-policy
  - cgu-a-policy2-common-pao-sub-policy
  - cgu-a-policy3-common-ptp-sub-policy
  remediationPlan:
  - - spoke1
  - - spoke2
  status: {}
    Copy to Clipboard Toggle word wrap

    1
    차단 CR 목록을 표시합니다.

    CR을 차단하는 cgu-b 의 예

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-b
  namespace: default
spec:
  blockingCRs:
  - name: cgu-a
    namespace: default
  clusters:
  - spoke4
  - spoke5
  enable: true
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  - policy4-common-sriov-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
  conditions:
  - message: 'The ClusterGroupUpgrade CR is blocked by other CRs that have not yet
      completed: [cgu-a]'
    1 
    
    reason: UpgradeCannotStart
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy2-common-pao-sub-policy
    namespace: default
  - name: policy3-common-ptp-sub-policy
    namespace: default
  - name: policy4-common-sriov-sub-policy
    namespace: default
  placementBindings:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  placementRules:
  - cgu-b-policy1-common-cluster-version-policy
  - cgu-b-policy2-common-pao-sub-policy
  - cgu-b-policy3-common-ptp-sub-policy
  - cgu-b-policy4-common-sriov-sub-policy
  remediationPlan:
  - - spoke4
  - - spoke5
  status: {}
    Copy to Clipboard Toggle word wrap

    1
    차단 CR 목록을 표시합니다.

    CR을 차단하는 cgu-c 의 예

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-c
  namespace: default
spec:
  clusters:
  - spoke6
  enable: true
  managedPolicies:
  - policy1-common-cluster-version-policy
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  - policy4-common-sriov-sub-policy
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
status:
  conditions:
  - message: The ClusterGroupUpgrade CR has upgrade policies that are still non compliant
    1 
    
    reason: UpgradeNotCompleted
    status: "False"
    type: Ready
  copiedPolicies:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  managedPoliciesCompliantBeforeUpgrade:
  - policy2-common-pao-sub-policy
  - policy3-common-ptp-sub-policy
  managedPoliciesForUpgrade:
  - name: policy1-common-cluster-version-policy
    namespace: default
  - name: policy4-common-sriov-sub-policy
    namespace: default
  placementBindings:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  placementRules:
  - cgu-c-policy1-common-cluster-version-policy
  - cgu-c-policy4-common-sriov-sub-policy
  remediationPlan:
  - - spoke6
  status:
    currentBatch: 1
    remediationPlanForBatch:
      spoke6: 0
    Copy to Clipboard Toggle word wrap

    1
    cgu-c 업데이트에는 차단 CR이 없습니다.

18.6. 관리 클러스터에서 정책 업데이트
링크 복사

TALM(토폴로지 라이프사이클 관리자)은 ClusterGroupUpgrade CR에 지정된 클러스터에 대한 정보 정책 세트를 수정합니다. TALM은 관리형 RHACM 정책의 사본을 적용하여 정책을 수정합니다. 복사된 각 정책에는 해당하는 RHACM 배치 규칙과 RHACM 배치 규칙이 있습니다.

하나씩 TALM은 현재 배치에서 각 클러스터를 적용 가능한 관리 정책과 일치하는 배치 규칙에 추가합니다. 클러스터가 이미 정책을 준수하는 경우 TALM은 규정 준수 클러스터에서 해당 정책 적용을 건너뜁니다. 그런 다음 TALM을 이동하여 비호환 클러스터에 다음 정책을 적용합니다. TALM이 배치에서 업데이트를 완료하면 복사된 정책과 관련된 배치 규칙에서 모든 클러스터가 제거됩니다. 그런 다음 다음 배치의 업데이트가 시작됩니다.

맞춤 클러스터가 RHACM에 규정 준수 상태를 보고하지 않으면 허브 클러스터의 관리 정책이 TALM에 필요한 상태 정보가 누락될 수 있습니다. TALM은 다음과 같은 방법으로 이러한 사례를 처리합니다.

  • 정책의 status.compliant 필드가 없는 경우 TALM은 정책을 무시하고 로그 항목을 추가합니다. 그런 다음 TALM은 정책의 status.status 필드를 계속 확인합니다.
  • 정책의 status.status 가 누락되면 TALM에서 오류가 발생합니다.
  • 정책의 status.status 필드에 클러스터의 규정 준수 상태가 누락된 경우 TALM은 클러스터가 해당 정책과 일치하지 않는 것으로 간주합니다.

RHACM 정책에 대한 자세한 내용은 정책 개요 를 참조하십시오.

18.6.1. 관리 클러스터에 업데이트 정책 적용
링크 복사

정책을 적용하여 관리 클러스터를 업데이트할 수 있습니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • hub 클러스터에서 RHACM 정책을 생성합니다.

절차

  1. ClusterGroupUpgrade CR의 내용을 cgu-1.yaml 파일에 저장합니다. 

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-1
  namespace: default
spec:
  managedPolicies:
    1 
    
    - policy1-common-cluster-version-policy
    - policy2-common-nto-sub-policy
    - policy3-common-ptp-sub-policy
    - policy4-common-sriov-sub-policy
  enable: false
  clusters:
    2 
    
  - spoke1
  - spoke2
  - spoke5
  - spoke6
  remediationStrategy:
    maxConcurrency: 2
    3 
    
    timeout: 240
    4
    Copy to Clipboard Toggle word wrap
    1
    적용할 정책의 이름입니다.
    2
    업데이트할 클러스터 목록입니다.
    3
    maxConcurrency 필드는 동시에 업데이트된 클러스터 수를 나타냅니다.
    4
    업데이트 제한 시간(분)입니다.

  2. 다음 명령을 실행하여 ClusterGroupUpgrade CR을 생성합니다. 

    $ oc create -f cgu-1.yaml
    Copy to Clipboard Toggle word wrap

    1. 다음 명령을 실행하여 hub 클러스터에 ClusterGroupUpgrade CR이 생성되었는지 확인합니다. 

      $ oc get cgu --all-namespaces
      Copy to Clipboard Toggle word wrap

      출력 예

      NAMESPACE   NAME      AGE
default     cgu-1     8m55s
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 업데이트 상태를 확인합니다. 

      $ oc get cgu -n default cgu-1 -ojsonpath='{.status}' | jq
      Copy to Clipboard Toggle word wrap

      출력 예

      {
  "computedMaxConcurrency": 2,
  "conditions": [
    {
      "lastTransitionTime": "2022-02-25T15:34:07Z",
      "message": "The ClusterGroupUpgrade CR is not enabled",
      1 
      
      "reason": "UpgradeNotStarted",
      "status": "False",
      "type": "Ready"
    }
  ],
  "copiedPolicies": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "managedPoliciesContent": {
    "policy1-common-cluster-version-policy": "null",
    "policy2-common-nto-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"node-tuning-operator\",\"namespace\":\"openshift-cluster-node-tuning-operator\"}]",
    "policy3-common-ptp-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"ptp-operator-subscription\",\"namespace\":\"openshift-ptp\"}]",
    "policy4-common-sriov-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"sriov-network-operator-subscription\",\"namespace\":\"openshift-sriov-network-operator\"}]"
  },
  "managedPoliciesForUpgrade": [
    {
      "name": "policy1-common-cluster-version-policy",
      "namespace": "default"
    },
    {
      "name": "policy2-common-nto-sub-policy",
      "namespace": "default"
    },
    {
      "name": "policy3-common-ptp-sub-policy",
      "namespace": "default"
    },
    {
      "name": "policy4-common-sriov-sub-policy",
      "namespace": "default"
    }
  ],
  "managedPoliciesNs": {
    "policy1-common-cluster-version-policy": "default",
    "policy2-common-nto-sub-policy": "default",
    "policy3-common-ptp-sub-policy": "default",
    "policy4-common-sriov-sub-policy": "default"
  },
  "placementBindings": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "placementRules": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "precaching": {
    "spec": {}
  },
  "remediationPlan": [
    [
      "spoke1",
      "spoke2"
    ],
    [
      "spoke5",
      "spoke6"
    ]
  ],
  "status": {}
}
      Copy to Clipboard Toggle word wrap

      1
      ClusterGroupUpgrade CR의 spec.enable 필드가 false 로 설정됩니다.

    3. 다음 명령을 실행하여 정책의 상태를 확인합니다. 

      $ oc get policies -A
      Copy to Clipboard Toggle word wrap

      출력 예

      NAMESPACE   NAME                                                 REMEDIATION ACTION   COMPLIANCE STATE   AGE
default     cgu-policy1-common-cluster-version-policy            enforce                                 17m
      1 
      
default     cgu-policy2-common-nto-sub-policy                    enforce                                 17m
default     cgu-policy3-common-ptp-sub-policy                    enforce                                 17m
default     cgu-policy4-common-sriov-sub-policy                  enforce                                 17m
default     policy1-common-cluster-version-policy                inform               NonCompliant       15h
default     policy2-common-nto-sub-policy                        inform               NonCompliant       15h
default     policy3-common-ptp-sub-policy                        inform               NonCompliant       18m
default     policy4-common-sriov-sub-policy                      inform               NonCompliant       18m
      Copy to Clipboard Toggle word wrap

      1
      클러스터에 현재 적용된 정책의 spec.remediationAction 필드가 적용되도록 설정되어 있습니다. ClusterGroupUpgrade CR의 정보 모드의 관리 정책은 업데이트 중에 계속 알림 모드로 유지됩니다.

  3. 다음 명령을 실행하여 spec.enable 필드의 값을 true 로 변경합니다. 

    $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-1 \
--patch '{"spec":{"enable":true}}' --type=merge
    Copy to Clipboard Toggle word wrap

검증

  1. 다음 명령을 실행하여 업데이트 상태를 다시 확인합니다. 

    $ oc get cgu -n default cgu-1 -ojsonpath='{.status}' | jq
    Copy to Clipboard Toggle word wrap

    출력 예

    {
  "computedMaxConcurrency": 2,
  "conditions": [
    1 
    
    {
      "lastTransitionTime": "2022-02-25T15:34:07Z",
      "message": "The ClusterGroupUpgrade CR has upgrade policies that are still non compliant",
      "reason": "UpgradeNotCompleted",
      "status": "False",
      "type": "Ready"
    }
  ],
  "copiedPolicies": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "managedPoliciesContent": {
    "policy1-common-cluster-version-policy": "null",
    "policy2-common-nto-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"node-tuning-operator\",\"namespace\":\"openshift-cluster-node-tuning-operator\"}]",
    "policy3-common-ptp-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"ptp-operator-subscription\",\"namespace\":\"openshift-ptp\"}]",
    "policy4-common-sriov-sub-policy": "[{\"kind\":\"Subscription\",\"name\":\"sriov-network-operator-subscription\",\"namespace\":\"openshift-sriov-network-operator\"}]"
  },
  "managedPoliciesForUpgrade": [
    {
      "name": "policy1-common-cluster-version-policy",
      "namespace": "default"
    },
    {
      "name": "policy2-common-nto-sub-policy",
      "namespace": "default"
    },
    {
      "name": "policy3-common-ptp-sub-policy",
      "namespace": "default"
    },
    {
      "name": "policy4-common-sriov-sub-policy",
      "namespace": "default"
    }
  ],
  "managedPoliciesNs": {
    "policy1-common-cluster-version-policy": "default",
    "policy2-common-nto-sub-policy": "default",
    "policy3-common-ptp-sub-policy": "default",
    "policy4-common-sriov-sub-policy": "default"
  },
  "placementBindings": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "placementRules": [
    "cgu-policy1-common-cluster-version-policy",
    "cgu-policy2-common-nto-sub-policy",
    "cgu-policy3-common-ptp-sub-policy",
    "cgu-policy4-common-sriov-sub-policy"
  ],
  "precaching": {
    "spec": {}
  },
  "remediationPlan": [
    [
      "spoke1",
      "spoke2"
    ],
    [
      "spoke5",
      "spoke6"
    ]
  ],
  "status": {
    "currentBatch": 1,
    "currentBatchStartedAt": "2022-02-25T15:54:16Z",
    "remediationPlanForBatch": {
      "spoke1": 0,
      "spoke2": 1
    },
    "startedAt": "2022-02-25T15:54:16Z"
  }
}
    Copy to Clipboard Toggle word wrap

    1
    현재 배치의 업데이트 진행 상황을 반영합니다. 이 명령을 다시 실행하여 진행 상황에 대한 업데이트된 정보를 받습니다.

  2. 정책에 Operator 서브스크립션이 포함된 경우 단일 노드 클러스터에서 설치 진행 상황을 직접 확인할 수 있습니다.

    1. 다음 명령을 실행하여 설치 진행 상황을 확인할 단일 노드 클러스터의 KUBECONFIG 파일을 내보냅니다. 

      $ export KUBECONFIG=<cluster_kubeconfig_absolute_path>
      Copy to Clipboard Toggle word wrap

    2. 단일 노드 클러스터에 있는 모든 서브스크립션을 확인하고 다음 명령을 실행하여 ClusterGroupUpgrade CR을 통해 설치하려는 정책에서 해당 서브스크립션을 찾습니다. 

      $ oc get subs -A | grep -i <subscription_name>
      Copy to Clipboard Toggle word wrap

      cluster-logging 정책의 출력 예

      NAMESPACE                              NAME                         PACKAGE                      SOURCE             CHANNEL
openshift-logging                      cluster-logging              cluster-logging              redhat-operators   stable
      Copy to Clipboard Toggle word wrap

  3. 관리 정책 중 하나에 ClusterVersion CR이 포함된 경우 spoke 클러스터에 대해 다음 명령을 실행하여 현재 배치의 플랫폼 업데이트 상태를 확인합니다. 

    $ oc get clusterversion
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME      VERSION   AVAILABLE   PROGRESSING   SINCE   STATUS
version   4.9.5     True        True          43s     Working towards 4.9.7: 71 of 735 done (9% complete)
    Copy to Clipboard Toggle word wrap

  4. 다음 명령을 실행하여 Operator 서브스크립션을 확인합니다. 

    $ oc get subs -n <operator-namespace> <operator-subscription> -ojsonpath="{.status}"
    Copy to Clipboard Toggle word wrap

  5. 다음 명령을 실행하여 원하는 서브스크립션과 연결된 단일 노드 클러스터에 있는 설치 계획을 확인합니다. 

    $ oc get installplan -n <subscription_namespace>
    Copy to Clipboard Toggle word wrap

    cluster-logging Operator의 출력 예

    NAMESPACE                              NAME            CSV                                 APPROVAL   APPROVED
openshift-logging                      install-6khtw   cluster-logging.5.3.3-4             Manual     true
    1
    Copy to Clipboard Toggle word wrap

    1
    설치 계획의 Approval 필드가 Manual 로 설정되고 TALM에서 설치 계획을 승인한 후 승인 필드가 false 에서 true 로 변경됩니다.
    참고

    TALM이 서브스크립션이 포함된 정책을 수정하면 해당 서브스크립션에 연결된 모든 설치 계획을 자동으로 승인합니다. Operator를 최신 알려진 버전으로 가져오기 위해 여러 설치 계획이 필요한 경우 TALM에서 여러 설치 계획을 승인하고 하나 이상의 중간 버전을 통해 업그레이드하여 최종 버전으로 가져올 수 있습니다.

  6. 다음 명령을 실행하여 ClusterGroupUpgrade 를 설치하는 정책의 클러스터 서비스 버전에 도달했는지 확인합니다. 

    $ oc get csv -n <operator_namespace>
    Copy to Clipboard Toggle word wrap

    OpenShift Logging Operator의 출력 예

    NAME                    DISPLAY                     VERSION   REPLACES   PHASE
cluster-logging.5.4.2   Red Hat OpenShift Logging   5.4.2                Succeeded
    Copy to Clipboard Toggle word wrap

18.7. 업그레이드하기 전에 클러스터 리소스의 백업 생성
링크 복사

단일 노드 OpenShift의 경우 TALM(토폴로지 라이프사이클 관리자)는 업그레이드하기 전에 배포 백업을 생성할 수 있습니다. 업그레이드에 실패하면 애플리케이션을 재프로비저닝하지 않고도 이전 버전을 복구하고 클러스터를 작동 상태로 복원할 수 있습니다.

ClusterGroupUpgrade CR에서 backup 필드가 true 로 설정된 경우 컨테이너 이미지 백업이 시작됩니다.

백업 프로세스는 다음 상태에 있을 수 있습니다.

BackupStatePreparingToStart
첫 번째 조정 통과가 진행 중입니다. TALM은 실패한 업그레이드 시도에서 생성된 모든 설명된 백업 네임스페이스 및 허브 뷰 리소스를 삭제합니다.
BackupStateStarting
백업 사전 요구 사항 및 백업 작업이 생성됩니다.
BackupStateActive
백업이 진행 중입니다.
BackupStateSucceeded
백업이 성공했습니다.
BackupStateTimeout
아티팩트 백업이 부분적으로 수행되었습니다.
BackupStateError
백업이 0이 아닌 종료 코드로 종료되었습니다.
참고

백업에 실패하고 BackupStateTimeout 또는 BackupStateError 상태를 입력하면 클러스터 업그레이드가 진행되지 않습니다.

18.7.1. 백업을 사용하여 ClusterGroupUpgrade CR 생성
링크 복사

단일 노드 OpenShift의 경우 업그레이드 전에 배포 백업을 생성할 수 있습니다. 업그레이드에 실패하면 Topology Aware Lifecycle Manager (TALM)에서 생성한 upgrade-recovery.sh 스크립트를 사용하여 시스템을 사전 업그레이드 상태로 되돌릴 수 있습니다. 백업은 다음 항목으로 구성됩니다.

클러스터 백업
etcd 및 정적 포드 매니페스트의 스냅샷입니다.
콘텐츠 백업
폴더 백업(예: /etc,/usr/local,/var/lib/kubelet )
변경된 파일 백업
변경된 machine-config 에서 관리하는 모든 파일
배포
고정된 ostree 배포.
이미지 (선택 사항)
사용 중인 모든 컨테이너 이미지입니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • RHACM(Red Hat Advanced Cluster Management)을 설치합니다.
참고

복구 파티션을 만드는 것이 좋습니다. 다음은 50GB의 복구 파티션에 대한 SiteConfig CR(사용자 정의 리소스)의 예입니다. 

nodes:
    - hostName: "snonode.sno-worker-0.e2e.bos.redhat.com"
    role: "master"
    rootDeviceHints:
        hctl: "0:2:0:0"
        deviceName: /dev/sda
........
........
    #Disk /dev/sda: 893.3 GiB, 959119884288 bytes, 1873281024 sectors
    diskPartition:
        - device: /dev/sda
        partitions:
        - mount_point: /var/recovery
            size: 51200
            start: 800000
Copy to Clipboard Toggle word wrap

절차

  1. clustergroupupgrades-group-du.yaml 파일에서 backup 필드가 true 로 설정된 ClusterGroupUpgrade CR의 콘텐츠를 저장합니다. 

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: du-upgrade-4918
  namespace: ztp-group-du-sno
spec:
  preCaching: true
  backup: true
  clusters:
  - cnfdb1
  - cnfdb2
  enable: false
  managedPolicies:
  - du-upgrade-platform-upgrade
  remediationStrategy:
    maxConcurrency: 2
    timeout: 240
    Copy to Clipboard Toggle word wrap

  2. 업데이트를 시작하려면 다음 명령을 실행하여 ClusterGroupUpgrade CR을 적용합니다. 

    $ oc apply -f clustergroupupgrades-group-du.yaml
    Copy to Clipboard Toggle word wrap

검증

  • 다음 명령을 실행하여 hub 클러스터에서 업그레이드 상태를 확인합니다. 

    $ oc get cgu -n ztp-group-du-sno du-upgrade-4918 -o jsonpath='{.status}'
    Copy to Clipboard Toggle word wrap

    출력 예

    {
    "backup": {
        "clusters": [
            "cnfdb2",
            "cnfdb1"
    ],
    "status": {
        "cnfdb1": "Succeeded",
        "cnfdb2": "Succeeded"
    }
},
"computedMaxConcurrency": 1,
"conditions": [
    {
        "lastTransitionTime": "2022-04-05T10:37:19Z",
        "message": "Backup is completed",
        "reason": "BackupCompleted",
        "status": "True",
        "type": "BackupDone"
    }
],
"precaching": {
    "spec": {}
},
"status": {}
    Copy to Clipboard Toggle word wrap

18.7.2. 업그레이드 실패 후 클러스터 복구
링크 복사

클러스터 업그레이드가 실패하면 클러스터에 수동으로 로그인하고 백업을 사용하여 클러스터를 사전 업그레이드 상태로 되돌릴 수 있습니다. 두 단계가 있습니다.

rollback
시도한 업그레이드에 플랫폼 OS 배포로 변경 사항이 포함된 경우 복구 스크립트를 실행하기 전에 이전 버전으로 롤백해야 합니다.
중요

롤백은 TALM 및 단일 노드 OpenShift에서의 업그레이드에만 적용됩니다. 이 프로세스는 다른 업그레이드 유형의 롤백에는 적용되지 않습니다.

복구
복구 시 컨테이너가 종료되고 백업 파티션의 파일을 사용하여 컨테이너를 다시 시작하고 클러스터를 복원합니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • RHACM(Red Hat Advanced Cluster Management)을 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • 백업용으로 구성된 업그레이드를 실행합니다.

절차

  1. 다음 명령을 실행하여 이전에 생성한 ClusterGroupUpgrade 사용자 정의 리소스(CR)를 삭제합니다. 

    $ oc delete cgu/du-upgrade-4918 -n ztp-group-du-sno
    Copy to Clipboard Toggle word wrap
  2. 복구하려는 클러스터에 로그인합니다.

  3. 다음 명령을 실행하여 플랫폼 OS 배포의 상태를 확인합니다. 

    $ oc ostree admin status
    Copy to Clipboard Toggle word wrap

    출력 예

    [root@lab-test-spoke2-node-0 core]# ostree admin status
* rhcos c038a8f08458bbed83a77ece033ad3c55597e3f64edad66ea12fda18cbdceaf9.0
    Version: 49.84.202202230006-0
    Pinned: yes
    1 
    
    origin refspec: c038a8f08458bbed83a77ece033ad3c55597e3f64edad66ea12fda18cbdceaf9
    Copy to Clipboard Toggle word wrap

    1
    현재 배포가 고정되어 있습니다. 플랫폼 OS 배포 롤백은 필요하지 않습니다. 
    [root@lab-test-spoke2-node-0 core]# ostree admin status
* rhcos f750ff26f2d5550930ccbe17af61af47daafc8018cd9944f2a3a6269af26b0fa.0
    Version: 410.84.202204050541-0
    origin refspec: f750ff26f2d5550930ccbe17af61af47daafc8018cd9944f2a3a6269af26b0fa
rhcos ad8f159f9dc4ea7e773fd9604c9a16be0fe9b266ae800ac8470f63abc39b52ca.0 (rollback)
    1 
    
    Version: 410.84.202203290245-0
    Pinned: yes
    2 
    
    origin refspec: ad8f159f9dc4ea7e773fd9604c9a16be0fe9b266ae800ac8470f63abc39b52ca
    Copy to Clipboard Toggle word wrap
    1
    이 플랫폼 OS 배포는 롤백으로 표시됩니다.
    2
    이전 배포는 고정되어 있으며 롤백할 수 있습니다.

  4. 플랫폼 OS 배포의 롤백을 트리거하려면 다음 명령을 실행합니다. 

    $ rpm-ostree rollback -r
    Copy to Clipboard Toggle word wrap

  5. 복구의 첫 번째 단계는 컨테이너를 종료하고 백업 파티션에서 대상 디렉터리로 파일을 복원합니다. 복구를 시작하려면 다음 명령을 실행합니다. 

    $ /var/recovery/upgrade-recovery.sh
    Copy to Clipboard Toggle word wrap

  6. 메시지가 표시되면 다음 명령을 실행하여 클러스터를 재부팅합니다. 

    $ systemctl reboot
    Copy to Clipboard Toggle word wrap

  7. 재부팅 후 다음 명령을 실행하여 복구를 다시 시작합니다. 

    $ /var/recovery/upgrade-recovery.sh  --resume
    Copy to Clipboard Toggle word wrap
참고

복구 유틸리티가 실패하면 --restart 옵션을 사용하여 다시 시도할 수 있습니다. 

$ /var/recovery/upgrade-recovery.sh --restart
Copy to Clipboard Toggle word wrap

검증

  • 복구 상태를 확인하려면 다음 명령을 실행합니다. 

    $ oc get clusterversion,nodes,clusteroperator
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                         VERSION   AVAILABLE   PROGRESSING   SINCE   STATUS
clusterversion.config.openshift.io/version   4.9.23    True        False         86d     Cluster version is 4.9.23
    1 
    


NAME                          STATUS   ROLES           AGE   VERSION
node/lab-test-spoke1-node-0   Ready    master,worker   86d   v1.22.3+b93fd35
    2 
    

NAME                                                                           VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
clusteroperator.config.openshift.io/authentication                             4.9.23    True        False         False      2d7h
    3 
    
clusteroperator.config.openshift.io/baremetal                                  4.9.23    True        False         False      86d


..............
    Copy to Clipboard Toggle word wrap

    1
    클러스터 버전이 사용 가능하며 올바른 버전이 있습니다.
    2
    노드 상태는 Ready 입니다.
    3
    ClusterOperator 오브젝트의 가용성은 True 입니다.

18.8. 컨테이너 이미지 사전 캐시 기능 사용
링크 복사

클러스터는 컨테이너 이미지 레지스트리에 액세스하기 위해 대역폭이 제한되어 업데이트 완료 전에 타임아웃이 발생할 수 있습니다.

참고

업데이트 시간은 TALM에 의해 설정되지 않습니다. 수동 애플리케이션 또는 외부 자동화로 업데이트를 시작할 때 ClusterGroupUpgrade CR을 적용할 수 있습니다.

ClusterGroupUpgrade CR에서 preCaching 필드가 true 로 설정된 경우 컨테이너 이미지 사전 캐싱이 시작됩니다. 성공적인 사전 캐싱 프로세스 후 정책을 수정할 수 있습니다. enable 필드가 true 로 설정된 경우 수정 작업이 시작됩니다.

사전 캐싱 프로세스는 다음 상태에 있을 수 있습니다.

PrecacheNotStarted

이는 모든 클러스터가 ClusterGroupUpgrade CR의 첫 번째 조정 통과 시에 자동으로 할당된 초기 상태입니다.

TALM은 이전의 불완전한 업데이트에서 남아 있는 맞춤 클러스터의 사전 캐싱 네임스페이스 및 허브 뷰 리소스를 삭제합니다. 그런 다음 TALM은 spoke pre-caching namespace에 대한 새로운 ManagedClusterView 리소스를 생성하여 PrecachePreparing 상태에서 해당 삭제를 확인합니다.

PrecachePreparing
이전의 불완전한 업데이트에서 나머지 리소스를 정리하는 작업이 진행 중입니다.
PrecacheStarting
사전 캐싱 작업 사전 요구 사항 및 작업이 생성됩니다.
PrecacheActive
작업은 "Active" 상태입니다.
PrecacheSucceeded
사전 캐시 작업이 성공했습니다.
PrecacheTimeout
아티팩트 사전 캐싱이 부분적으로 완료되었습니다.
PrecacheUnrecoverableError
작업은 0이 아닌 종료 코드로 끝납니다.

18.8.1. 사전 캐싱을 사용하여 ClusterGroupUpgrade CR 생성
링크 복사

사전 캐시 기능을 사용하면 업데이트가 시작되기 전에 필요한 컨테이너 이미지를 맞춤식 클러스터에 표시할 수 있습니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. clustergroupupgrades-group-du.yaml 파일에서 preCaching 필드가 true 로 설정된 상태에서 ClusterGroupUpgrade CR의 콘텐츠를 저장합니다. 

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: du-upgrade-4918
  namespace: ztp-group-du-sno
spec:
  preCaching: true
    1 
    
  clusters:
  - cnfdb1
  - cnfdb2
  enable: false
  managedPolicies:
  - du-upgrade-platform-upgrade
  remediationStrategy:
    maxConcurrency: 2
    timeout: 240
    Copy to Clipboard Toggle word wrap
    1
    preCaching 필드가 true 로 설정되어 업데이트를 시작하기 전에 TALM이 컨테이너 이미지를 가져올 수 있습니다.

  2. 업데이트를 시작하려면 다음 명령을 실행하여 ClusterGroupUpgrade CR을 적용합니다. 

    $ oc apply -f clustergroupupgrades-group-du.yaml
    Copy to Clipboard Toggle word wrap

검증

  1. 다음 명령을 실행하여 hub 클러스터에 ClusterGroupUpgrade CR이 있는지 확인합니다. 

    $ oc get cgu -A
    Copy to Clipboard Toggle word wrap

    출력 예

    NAMESPACE          NAME              AGE
ztp-group-du-sno   du-upgrade-4918   10s
    1
    Copy to Clipboard Toggle word wrap

    1
    CR이 생성됩니다.

  2. 다음 명령을 실행하여 사전 캐싱 작업의 상태를 확인합니다. 

    $ oc get cgu -n ztp-group-du-sno du-upgrade-4918 -o jsonpath='{.status}'
    Copy to Clipboard Toggle word wrap

    출력 예

    {
  "conditions": [
    {
      "lastTransitionTime": "2022-01-27T19:07:24Z",
      "message": "Precaching is not completed (required)",
    1 
    
      "reason": "PrecachingRequired",
      "status": "False",
      "type": "Ready"
    },
    {
      "lastTransitionTime": "2022-01-27T19:07:24Z",
      "message": "Precaching is required and not done",
      "reason": "PrecachingNotDone",
      "status": "False",
      "type": "PrecachingDone"
    },
    {
      "lastTransitionTime": "2022-01-27T19:07:34Z",
      "message": "Pre-caching spec is valid and consistent",
      "reason": "PrecacheSpecIsWellFormed",
      "status": "True",
      "type": "PrecacheSpecValid"
    }
  ],
  "precaching": {
    "clusters": [
      "cnfdb1"
    2 
    
    ],
    "spec": {
      "platformImage": "image.example.io"},
    "status": {
      "cnfdb1": "Active"}
    }
}
    Copy to Clipboard Toggle word wrap

    1
    업데이트가 진행 중임을 표시합니다.
    2
    확인된 클러스터 목록을 표시합니다.

  3. 스포크 클러스터에서 다음 명령을 실행하여 사전 캐싱 작업의 상태를 확인합니다. 

    $ oc get jobs,pods -n openshift-talm-pre-cache
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                  COMPLETIONS   DURATION   AGE
job.batch/pre-cache   0/1           3m10s      3m10s

NAME                     READY   STATUS    RESTARTS   AGE
pod/pre-cache--1-9bmlr   1/1     Running   0          3m10s
    Copy to Clipboard Toggle word wrap

  4. 다음 명령을 실행하여 ClusterGroupUpgrade CR의 상태를 확인합니다. 

    $ oc get cgu -n ztp-group-du-sno du-upgrade-4918 -o jsonpath='{.status}'
    Copy to Clipboard Toggle word wrap

    출력 예

    "conditions": [
    {
      "lastTransitionTime": "2022-01-27T19:30:41Z",
      "message": "The ClusterGroupUpgrade CR has all clusters compliant with all the managed policies",
      "reason": "UpgradeCompleted",
      "status": "True",
      "type": "Ready"
    },
    {
      "lastTransitionTime": "2022-01-27T19:28:57Z",
      "message": "Precaching is completed",
      "reason": "PrecachingCompleted",
      "status": "True",
      "type": "PrecachingDone"
    1 
    
    }
    Copy to Clipboard Toggle word wrap

    1
    사전 캐시 작업이 수행됩니다.

18.9. 토폴로지 Aware Lifecycle Manager 문제 해결
링크 복사

TALM(토폴로지 라이프사이클 관리자)은 RHACM 정책을 해결하는 OpenShift Container Platform Operator입니다. 문제가 발생하면 oc adm must-gather 명령을 사용하여 세부 정보 및 로그를 수집하고 문제를 디버깅하는 단계를 수행합니다.

관련 항목에 대한 자세한 내용은 다음 문서를 참조하십시오.

18.9.1. 일반 문제 해결
링크 복사

다음 질문을 검토하여 문제의 원인을 확인할 수 있습니다.

ClusterGroupUpgrade 구성이 작동하는지 확인하려면 다음을 수행합니다.

  1. spec.enable 필드를 false 로 설정하여 ClusterGroupUpgrade CR을 생성합니다.
  2. 상태가 업데이트될 때까지 기다린 후 문제 해결 질문을 진행합니다.
  3. 모든 항목이 예상대로 표시되면 ClusterGroupUpgrade CR에서 spec.enable 필드를 true 로 설정합니다.
주의

ClusterUpgradeGroup CR에서 spec.enable 필드를 true 로 설정한 후 업데이트 절차가 시작되고 CR의 spec 필드를 더 이상 편집할 수 없습니다.

18.9.2. ClusterUpgradeGroup CR을 수정할 수 없습니다.
링크 복사

문제
업데이트를 활성화한 후에는 ClusterUpgradeGroup CR을 편집할 수 없습니다.
해결

다음 단계를 수행하여 절차를 다시 시작하십시오.

  1. 다음 명령을 실행하여 이전 ClusterGroupUpgrade CR을 제거합니다. 

    $ oc delete cgu -n <ClusterGroupUpgradeCR_namespace> <ClusterGroupUpgradeCR_name>
    Copy to Clipboard Toggle word wrap

  2. 관리 클러스터 및 정책의 기존 문제를 확인하고 수정합니다.

    1. 모든 클러스터가 관리 클러스터이고 사용 가능한지 확인합니다.
    2. 모든 정책이 존재하고 spec.remediationAction 필드가 inform 로 설정되어 있는지 확인합니다.

  3. 올바른 구성으로 새 ClusterGroupUpgrade CR을 생성합니다. 

    $ oc apply -f <ClusterGroupUpgradeCR_YAML>
    Copy to Clipboard Toggle word wrap

18.9.3. 관리형 정책
링크 복사

시스템에서 관리 정책 확인
문제
시스템에 올바른 관리 정책이 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.spec.managedPolicies}'
Copy to Clipboard Toggle word wrap

출력 예

["group-du-sno-validator-du-validator-policy", "policy2-common-nto-sub-policy", "policy3-common-ptp-sub-policy"]
Copy to Clipboard Toggle word wrap

수정 모드 확인
문제
관리 정책의 사양 을 알리기 위해 remediationAction 필드가 설정되어 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get policies --all-namespaces
Copy to Clipboard Toggle word wrap

출력 예

NAMESPACE   NAME                                                 REMEDIATION ACTION   COMPLIANCE STATE   AGE
default     policy1-common-cluster-version-policy                inform               NonCompliant       5d21h
default     policy2-common-nto-sub-policy                        inform               Compliant          5d21h
default     policy3-common-ptp-sub-policy                        inform               NonCompliant       5d21h
default     policy4-common-sriov-sub-policy                      inform               NonCompliant       5d21h
Copy to Clipboard Toggle word wrap

정책 규정 준수 상태 확인
문제
정책의 규정 준수 상태를 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get policies --all-namespaces
Copy to Clipboard Toggle word wrap

출력 예

NAMESPACE   NAME                                                 REMEDIATION ACTION   COMPLIANCE STATE   AGE
default     policy1-common-cluster-version-policy                inform               NonCompliant       5d21h
default     policy2-common-nto-sub-policy                        inform               Compliant          5d21h
default     policy3-common-ptp-sub-policy                        inform               NonCompliant       5d21h
default     policy4-common-sriov-sub-policy                      inform               NonCompliant       5d21h
Copy to Clipboard Toggle word wrap

18.9.4. 클러스터
링크 복사

관리 클러스터가 있는지 확인
문제
ClusterGroupUpgrade CR의 클러스터가 관리 클러스터인지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get managedclusters
Copy to Clipboard Toggle word wrap

출력 예

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS                    JOINED   AVAILABLE   AGE
local-cluster   true           https://api.hub.example.com:6443        True     Unknown     13d
spoke1          true           https://api.spoke1.example.com:6443     True     True        13d
spoke3          true           https://api.spoke3.example.com:6443     True     True        27h
Copy to Clipboard Toggle word wrap

  1. 또는 TALM 관리자 로그를 확인합니다.

    1. 다음 명령을 실행하여 TALM 관리자의 이름을 가져옵니다. 

      $ oc get pod -n openshift-operators
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                                                         READY   STATUS    RESTARTS   AGE
cluster-group-upgrades-controller-manager-75bcc7484d-8k8xp   2/2     Running   0          45m
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 TALM 관리자 로그를 확인합니다. 

      $ oc logs -n openshift-operators \
cluster-group-upgrades-controller-manager-75bcc7484d-8k8xp -c manager
      Copy to Clipboard Toggle word wrap

      출력 예

      ERROR	controller-runtime.manager.controller.clustergroupupgrade	Reconciler error	{"reconciler group": "ran.openshift.io", "reconciler kind": "ClusterGroupUpgrade", "name": "lab-upgrade", "namespace": "default", "error": "Cluster spoke5555 is not a ManagedCluster"}
      1 
      
sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).processNextWorkItem
      Copy to Clipboard Toggle word wrap

      1
      오류 메시지는 클러스터가 관리 클러스터가 아님을 나타냅니다.
관리 클러스터를 사용할 수 있는지 확인
문제
ClusterGroupUpgrade CR에 지정된 관리 클러스터를 사용할 수 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get managedclusters
Copy to Clipboard Toggle word wrap

출력 예

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS                    JOINED   AVAILABLE   AGE
local-cluster   true           https://api.hub.testlab.com:6443        True     Unknown     13d
spoke1          true           https://api.spoke1.testlab.com:6443     True     True        13d
1 

spoke3          true           https://api.spoke3.testlab.com:6443     True     True        27h
2
Copy to Clipboard Toggle word wrap

1 2
AVAILABLE 필드의 값은 관리 클러스터에 대해 True 입니다.
clusterSelector 확인
문제
관리 클러스터 중 하나 이상에서 clusterSelector 필드가 ClusterGroupUpgrade CR에 지정되어 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get managedcluster --selector=upgrade=true
1
Copy to Clipboard Toggle word wrap
1
업데이트하려는 클러스터의 레이블은 upgrade:true 입니다.

출력 예

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS                     JOINED    AVAILABLE   AGE
spoke1          true           https://api.spoke1.testlab.com:6443      True     True        13d
spoke3          true           https://api.spoke3.testlab.com:6443      True     True        27h
Copy to Clipboard Toggle word wrap

카나리아 클러스터가 있는지 확인
문제

클러스터 목록에 카나리아 클러스터가 있는지 확인하려고 합니다.

ClusterGroupUpgrade CR의 예

spec:
    clusters:
    - spoke1
    - spoke3
    clusterSelector:
    - upgrade2=true
    remediationStrategy:
        canaries:
        - spoke3
        maxConcurrency: 2
        timeout: 240
Copy to Clipboard Toggle word wrap

해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.spec.clusters}'
Copy to Clipboard Toggle word wrap

출력 예

["spoke1", "spoke3"]
Copy to Clipboard Toggle word wrap

  1. 다음 명령을 실행하여 clusterSelector 레이블과 일치하는 클러스터 목록에 카나리아 클러스터가 있는지 확인합니다. 

    $ oc get managedcluster --selector=upgrade=true
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED    AVAILABLE   AGE
spoke1          true           https://api.spoke1.testlab.com:6443   True     True        13d
spoke3          true           https://api.spoke3.testlab.com:6443   True     True        27h
    Copy to Clipboard Toggle word wrap

참고

클러스터는 spec.clusters 에 있을 수 있으며 spec.clusterSelecter 레이블과 일치시킬 수도 있습니다.

스포크 클러스터에서 사전 캐싱 상태 확인

  1. 스포크 클러스터에서 다음 명령을 실행하여 사전 캐싱의 상태를 확인합니다. 

    $ oc get jobs,pods -n openshift-talo-pre-cache
    Copy to Clipboard Toggle word wrap

18.9.5. 수정 전략
링크 복사

ClusterGroupUpgrade CR에 remediationStrategy가 있는지 확인
문제
ClusterGroupUpgrade CR에 remediationStrategy 가 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.spec.remediationStrategy}'
Copy to Clipboard Toggle word wrap

출력 예

{"maxConcurrency":2, "timeout":240}
Copy to Clipboard Toggle word wrap

ClusterGroupUpgrade CR에 maxConcurrency가 지정되었는지 확인
문제
maxConcurrency 가 ClusterGroupUpgrade CR에 지정되어 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.spec.remediationStrategy.maxConcurrency}'
Copy to Clipboard Toggle word wrap

출력 예

2
Copy to Clipboard Toggle word wrap

18.9.6. 토폴로지 수명 주기 관리자
링크 복사

ClusterGroupUpgrade CR에서 조건 메시지 및 상태 확인
문제
ClusterGroupUpgrade CR에서 status.conditions 필드 값을 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.status.conditions}'
Copy to Clipboard Toggle word wrap

출력 예

{"lastTransitionTime":"2022-02-17T22:25:28Z", "message":"The ClusterGroupUpgrade CR has managed policies that are missing:[policyThatDoesntExist]", "reason":"UpgradeCannotStart", "status":"False", "type":"Ready"}
Copy to Clipboard Toggle word wrap

복사된 정책 확인
문제
status.managedPoliciesForUpgrade 의 모든 정책에 해당 정책이 status.copiedPolicies 에 있는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -oyaml
Copy to Clipboard Toggle word wrap

출력 예

status:
  …
  copiedPolicies:
  - lab-upgrade-policy3-common-ptp-sub-policy
  managedPoliciesForUpgrade:
  - name: policy3-common-ptp-sub-policy
    namespace: default
Copy to Clipboard Toggle word wrap

status.remediationPlan이 계산되었는지 확인
문제
status.remediationPlan 이 계산되었는지 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc get cgu lab-upgrade -ojsonpath='{.status.remediationPlan}'
Copy to Clipboard Toggle word wrap

출력 예

[["spoke2", "spoke3"]]
Copy to Clipboard Toggle word wrap

TALM 관리자 컨테이너의 오류
문제
TALM의 관리자 컨테이너의 로그를 확인하려고 합니다.
해결

다음 명령을 실행합니다. 

$ oc logs -n openshift-operators \
cluster-group-upgrades-controller-manager-75bcc7484d-8k8xp -c manager
Copy to Clipboard Toggle word wrap

출력 예

ERROR	controller-runtime.manager.controller.clustergroupupgrade	Reconciler error	{"reconciler group": "ran.openshift.io", "reconciler kind": "ClusterGroupUpgrade", "name": "lab-upgrade", "namespace": "default", "error": "Cluster spoke5555 is not a ManagedCluster"}
1 

sigs.k8s.io/controller-runtime/pkg/internal/controller.(*Controller).processNextWorkItem
Copy to Clipboard Toggle word wrap

1
오류를 표시합니다.

19장. 성능 프로파일 작성
링크 복사

Performance Profile Creator(PPC)와 이를 사용하여 성능 프로필을 만드는 방법을 설명합니다.

19.1. 성능 프로파일 작성툴 정보
링크 복사

PPC(Performance Profile Creator)는 성능 프로필을 생성하는 데 사용되는 Node Tuning Operator와 함께 제공되는 명령줄 툴입니다. 이 툴은 클러스터의 must-gather 데이터와 여러 사용자가 제공하는 프로필 인수를 사용합니다. PPC는 하드웨어 및 토폴로지에 적합한 성능 프로필을 생성합니다.

툴은 다음 방법 중 하나로 실행됩니다.

  • podman 호출
  • 래퍼 스크립트 호출

19.1.1. must-gather 명령을 사용하여 클러스터에 대한 데이터 수집
링크 복사

PPC(Performance Profile creator) 툴에는 must-gather 데이터가 필요합니다. 클러스터 관리자는 must-gather 명령을 실행하여 클러스터에 대한 정보를 캡처합니다.

참고

이전 버전의 OpenShift Container Platform에서 Performance Addon Operator는 애플리케이션에 대한 짧은 대기 시간 성능 튜닝을 제공합니다. OpenShift Container Platform 4.11 이상에서는 이 기능은 Node Tuning Operator의 일부입니다. 그러나 must-gather 명령을 실행할 때 performance-addon-operator-must-gather 이미지를 계속 사용해야 합니다.

사전 요구 사항

  • cluster-admin 역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
  • Performance Addon Operator에 액세스할 수 있는 경우 이미지를 수집해야 합니다.
  • OpenShift CLI(oc)가 설치되어 있습니다.

절차

  1. 선택 사항: 레이블과 일치하는 머신 구성 풀이 있는지 확인합니다. 

    $ oc describe mcp/worker-rt
    Copy to Clipboard Toggle word wrap

    출력 예

    Name:         worker-rt
Namespace:
Labels:       machineconfiguration.openshift.io/role=worker-rt
    Copy to Clipboard Toggle word wrap

  2. 일치하는 라벨이 없는 경우 MCP 이름과 일치하는 MCP(Machine config pool)의 라벨을 추가합니다. 

    $ oc label mcp <mcp_name> <mcp_name>=""
    Copy to Clipboard Toggle word wrap
  3. must-gather 데이터를 저장하려는 디렉터리로 이동합니다.

  4. 클러스터에서 must-gather를 실행합니다. 

    $ oc adm must-gather --image=<PAO_must_gather_image> --dest-dir=<dir>
    Copy to Clipboard Toggle word wrap
    참고

    must-gather 명령은 performance-addon-operator-must-gather 이미지를 사용하여 실행해야 합니다. 출력을 선택적으로 압축할 수 있습니다. Performance Profile Creator 래퍼 스크립트를 실행하는 경우 압축 출력이 필요합니다.

    예제

    $ oc adm must-gather --image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.11 --dest-dir=<path_to_must-gather>/must-gather
    Copy to Clipboard Toggle word wrap

  5. must-gather 디렉터리에서 압축 파일을 만듭니다. 

    $ tar cvaf must-gather.tar.gz must-gather/
    Copy to Clipboard Toggle word wrap

19.1.2. podman을 사용하여 Performance Profile Creator 실행
링크 복사

클러스터 관리자는 podman 및 Performance Profile Creator를 실행하여 성능 프로필을 만들 수 있습니다.

사전 요구 사항

  • cluster-admin 역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
  • 클러스터가 베어 메탈 하드웨어에 설치되어 있어야 합니다.
  • podman 및 OpenShift CLI(oc)가 설치된 노드가 있습니다.
  • Node Tuning Operator 이미지에 액세스합니다.

절차

  1. 머신 구성 풀을 확인합니다. 

    $ oc get mcp
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master       rendered-master-acd1358917e9f98cbdb599aea622d78b       True      False      False      3              3                   3                     0                      22h
worker-cnf   rendered-worker-cnf-1d871ac76e1951d32b2fe92369879826   False     True       False      2              1                   1                     0                      22h
    Copy to Clipboard Toggle word wrap

  2. Podman을 사용하여 registry.redhat.io 에 인증합니다. 

    $ podman login registry.redhat.io
    Copy to Clipboard Toggle word wrap 
    Username: <username>
Password: <password>
    Copy to Clipboard Toggle word wrap

  3. 선택 사항: PPC 툴에 대한 도움말을 표시합니다. 

    $ podman run --rm --entrypoint performance-profile-creator registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11 -h
    Copy to Clipboard Toggle word wrap

    출력 예

    A tool that automates creation of Performance Profiles

Usage:
  performance-profile-creator [flags]

Flags:
      --disable-ht                        Disable Hyperthreading
  -h, --help                              help for performance-profile-creator
      --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
      --mcp-name string                   MCP name corresponding to the target machines (required)
      --must-gather-dir-path string       Must gather directory path (default "must-gather")
      --offlined-cpu-count int            Number of offlined CPUs
      --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
      --profile-name string               Name of the performance profile to be created (default "performance")
      --reserved-cpu-count int            Number of reserved CPUs (required)
      --rt-kernel                         Enable Real Time Kernel (required)
      --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
      --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
      --user-level-networking             Run with User level Networking(DPDK) enabled
    Copy to Clipboard Toggle word wrap

  4. 검색 모드에서 Performance Profile Creator 툴을 실행합니다.

    참고

    검색 모드는 must-gather의 출력을 사용하여 클러스터를 검사합니다. 생성된 출력에는 다음에 대한 정보가 포함됩니다.

    • 할당된 CPU ID로 NUMA 셀 파티셔닝
    • 하이퍼스레딩 활성화 여부

    이 정보를 사용하여 Performance Profile Creator 툴에 제공된 일부 인수에 대해 적절한 값을 설정할 수 있습니다. 

    $ podman run --entrypoint performance-profile-creator -v <path_to_must-gather>/must-gather:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11 --info log --must-gather-dir-path /must-gather
    Copy to Clipboard Toggle word wrap
    참고

    이 명령은 Performance Profile Creator 툴을 podman의 새 진입점으로 사용합니다. 호스트의 must-gather 데이터를 컨테이너 이미지에 매핑하고 필요한 사용자 제공 프로필 인수를 호출하여 my-performance-profile.yaml 파일을 생성합니다.

    -v 옵션은 다음 중 하나로 설정할 수 있습니다.

    • must-gather 출력 디렉터리
    • must-gather 압축 해제된 tarball이 포함된 기존 디렉터리

    info 옵션에는 출력 형식을 지정하는 값이 필요합니다. 가능한 값은 log 및 JSON입니다. JSON 형식은 디버깅을 위해 예약되어 있습니다.

  5. podman을 실행합니다. 

    $ podman run --entrypoint performance-profile-creator -v /must-gather:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11 --mcp-name=worker-cnf --reserved-cpu-count=4 --rt-kernel=true --split-reserved-cpus-across-numa=false --must-gather-dir-path /must-gather --power-consumption-mode=ultra-low-latency --offlined-cpu-count=6 > my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap
    참고

    Performance Profile Creator 인수는 Performance Profile Creator 인수 테이블에 표시됩니다. 다음 인수가 필요합니다.

    • reserved-cpu-count
    • mcp-name
    • rt-kernel

    이 예제의 mcp-name 인수는 oc get mcp 명령의 출력에 따라 worker-cnf로 설정됩니다. 단일 노드 OpenShift는 --mcp-name=master 를 사용합니다.

  6. 생성된 YAML 파일을 검토합니다. 

    $ cat my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: performance
spec:
  cpu:
    isolated: 2-39,48-79
    offlined: 42-47
    reserved: 0-1,40-41
  machineConfigPoolSelector:
    machineconfiguration.openshift.io/role: worker-cnf
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
  numa:
    topologyPolicy: restricted
  realTimeKernel:
    enabled: true
  workloadHints:
    highPowerConsumption: true
    realTime: true
    Copy to Clipboard Toggle word wrap

  7. 생성된 프로필을 적용합니다. 

    $ oc apply -f my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap
19.1.2.1. podman을 실행하여 성능 프로파일을 만드는 방법
링크 복사

다음 예제에서는 podman을 실행하여 NUMA 노드 간에 분할될 예약된 20개의 CPU가 있는 성능 프로필을 생성하는 방법을 보여줍니다.

노드 하드웨어 구성:

  • 80 CPU
  • 하이퍼 스레딩 활성화
  • 두 개의 NUMA 노드
  • 짝수 번호의 CPU는 NUMA 노드 0에서 실행되고 홀수 번호의 CPU는 NUMA 노드 1에서 실행

podman을 실행하여 성능 프로필을 생성합니다. 

$ podman run --entrypoint performance-profile-creator -v /must-gather:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11 --mcp-name=worker-cnf --reserved-cpu-count=20 --rt-kernel=true --split-reserved-cpus-across-numa=true --must-gather-dir-path /must-gather > my-performance-profile.yaml
Copy to Clipboard Toggle word wrap

생성된 프로필은 다음 YAML에 설명되어 있습니다. 

  apiVersion: performance.openshift.io/v2
  kind: PerformanceProfile
  metadata:
    name: performance
  spec:
    cpu:
      isolated: 10-39,50-79
      reserved: 0-9,40-49
    nodeSelector:
      node-role.kubernetes.io/worker-cnf: ""
    numa:
      topologyPolicy: restricted
    realTimeKernel:
      enabled: true
Copy to Clipboard Toggle word wrap
참고

이 경우 NUMA 노드 0에 CPU 10개가 예약되고 NUMA 노드 1에 CPU 10개가 예약됩니다.

19.1.3. Performance Profile Creator 래퍼 스크립트 실행
링크 복사

성능 프로필 래퍼 스크립트는 PPC(Performance Profile Creator) 툴의 실행을 간소화합니다. podman 실행과 관련된 복잡성을 숨기고 매핑 디렉터리를 지정하면 성능 프로필을 만들 수 있습니다.

사전 요구 사항

  • Node Tuning Operator 이미지에 액세스합니다.
  • must-gather tarball에 액세스합니다.

절차

  1. 예를 들어 다음과 같이 run-perf-profile-creator.sh라는 이름의 파일을 로컬 시스템에 생성합니다 

    $ vi run-perf-profile-creator.sh
    Copy to Clipboard Toggle word wrap

  2. 다음 코드를 파일에 붙여넣습니다. 

    #!/bin/bash

readonly CONTAINER_RUNTIME=${CONTAINER_RUNTIME:-podman}
readonly CURRENT_SCRIPT=$(basename "$0")
readonly CMD="${CONTAINER_RUNTIME} run --entrypoint performance-profile-creator"
readonly IMG_EXISTS_CMD="${CONTAINER_RUNTIME} image exists"
readonly IMG_PULL_CMD="${CONTAINER_RUNTIME} image pull"
readonly MUST_GATHER_VOL="/must-gather"

NTO_IMG="registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11"
MG_TARBALL=""
DATA_DIR=""

usage() {
  print "Wrapper usage:"
  print "  ${CURRENT_SCRIPT} [-h] [-p image][-t path] -- [performance-profile-creator flags]"
  print ""
  print "Options:"
  print "   -h                 help for ${CURRENT_SCRIPT}"
  print "   -p                 Node Tuning Operator image"
  print "   -t                 path to a must-gather tarball"

  ${IMG_EXISTS_CMD} "${NTO_IMG}" && ${CMD} "${NTO_IMG}" -h
}

function cleanup {
  [ -d "${DATA_DIR}" ] && rm -rf "${DATA_DIR}"
}
trap cleanup EXIT

exit_error() {
  print "error: $*"
  usage
  exit 1
}

print() {
  echo  "$*" >&2
}

check_requirements() {
  ${IMG_EXISTS_CMD} "${NTO_IMG}" || ${IMG_PULL_CMD} "${NTO_IMG}" || \
      exit_error "Node Tuning Operator image not found"

  [ -n "${MG_TARBALL}" ] || exit_error "Must-gather tarball file path is mandatory"
  [ -f "${MG_TARBALL}" ] || exit_error "Must-gather tarball file not found"

  DATA_DIR=$(mktemp -d -t "${CURRENT_SCRIPT}XXXX") || exit_error "Cannot create the data directory"
  tar -zxf "${MG_TARBALL}" --directory "${DATA_DIR}" || exit_error "Cannot decompress the must-gather tarball"
  chmod a+rx "${DATA_DIR}"

  return 0
}

main() {
  while getopts ':hp:t:' OPT; do
    case "${OPT}" in
      h)
        usage
        exit 0
        ;;
      p)
        NTO_IMG="${OPTARG}"
        ;;
      t)
        MG_TARBALL="${OPTARG}"
        ;;
      ?)
        exit_error "invalid argument: ${OPTARG}"
        ;;
    esac
  done
  shift $((OPTIND - 1))

  check_requirements || exit 1

  ${CMD} -v "${DATA_DIR}:${MUST_GATHER_VOL}:z" "${NTO_IMG}" "$@" --must-gather-dir-path "${MUST_GATHER_VOL}"
  echo "" 1>&2
}

main "$@"
    Copy to Clipboard Toggle word wrap

  3. 이 스크립트에 모든 사용자에 대한 실행 권한을 추가합니다. 

    $ chmod a+x run-perf-profile-creator.sh
    Copy to Clipboard Toggle word wrap

  4. 선택 사항: run-perf-profile-creator.sh 명령 사용을 표시합니다. 

    $ ./run-perf-profile-creator.sh -h
    Copy to Clipboard Toggle word wrap

    예상 출력

    Wrapper usage:
  run-perf-profile-creator.sh [-h] [-p image][-t path] -- [performance-profile-creator flags]

Options:
   -h                 help for run-perf-profile-creator.sh
   -p                 Node Tuning Operator image
    1 
    
   -t                 path to a must-gather tarball
    2 
    
A tool that automates creation of Performance Profiles

Usage:
  performance-profile-creator [flags]

Flags:
      --disable-ht                        Disable Hyperthreading
  -h, --help                              help for performance-profile-creator
      --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
      --mcp-name string                   MCP name corresponding to the target machines (required)
      --must-gather-dir-path string       Must gather directory path (default "must-gather")
      --offlined-cpu-count int            Number of offlined CPUs
      --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
      --profile-name string               Name of the performance profile to be created (default "performance")
      --reserved-cpu-count int            Number of reserved CPUs (required)
      --rt-kernel                         Enable Real Time Kernel (required)
      --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
      --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
      --user-level-networking             Run with User level Networking(DPDK) enabled
    Copy to Clipboard Toggle word wrap

    참고

    두 가지 유형의 인수가 있습니다.

    • 래퍼 인수 즉 -h,-p 및 -t
    • PPC 인수
    1
    선택 사항: Node Tuning Operator 이미지를 지정합니다. 설정되지 않은 경우 기본 업스트림 이미지가 사용됩니다. registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.11.
    2
    -t는 필수 래퍼 스크립트 인수이며 must-gather tarball의 경로를 지정합니다.

  5. 검색 모드에서 performance profile creator 툴을 실행합니다.

    참고

    검색 모드는 must-gather의 출력을 사용하여 클러스터를 검사합니다. 생성된 출력에는 다음에 대한 정보가 포함됩니다.

    • 할당된 CPU ID로 NUMA 셀 파티션을 분할
    • 하이퍼스레딩 활성화 여부

    이 정보를 사용하여 Performance Profile Creator 툴에 제공된 일부 인수에 대해 적절한 값을 설정할 수 있습니다. 

    $ ./run-perf-profile-creator.sh -t /must-gather/must-gather.tar.gz -- --info=log
    Copy to Clipboard Toggle word wrap
    참고

    info 옵션에는 출력 형식을 지정하는 값이 필요합니다. 가능한 값은 log 및 JSON입니다. JSON 형식은 디버깅을 위해 예약되어 있습니다.

  6. 머신 구성 풀을 확인합니다. 

    $ oc get mcp
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master       rendered-master-acd1358917e9f98cbdb599aea622d78b       True      False      False      3              3                   3                     0                      22h
worker-cnf   rendered-worker-cnf-1d871ac76e1951d32b2fe92369879826   False     True       False      2              1                   1                     0                      22h
    Copy to Clipboard Toggle word wrap

  7. 성능 프로파일을 생성합니다. 

    $ ./run-perf-profile-creator.sh -t /must-gather/must-gather.tar.gz -- --mcp-name=worker-cnf --reserved-cpu-count=2 --rt-kernel=true > my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap
    참고

    Performance Profile Creator 인수는 Performance Profile Creator 인수 테이블에 표시됩니다. 다음 인수가 필요합니다.

    • reserved-cpu-count
    • mcp-name
    • rt-kernel

    이 예제의 mcp-name 인수는 oc get mcp 명령의 출력에 따라 worker-cnf로 설정됩니다. 단일 노드 OpenShift는 --mcp-name=master 를 사용합니다.

  8. 생성된 YAML 파일을 검토합니다. 

    $ cat my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: performance
spec:
  cpu:
    isolated: 1-39,41-79
    reserved: 0,40
  nodeSelector:
    node-role.kubernetes.io/worker-cnf: ""
  numa:
    topologyPolicy: restricted
  realTimeKernel:
    enabled: false
    Copy to Clipboard Toggle word wrap

  9. 생성된 프로필을 적용합니다.

    참고

    프로필을 적용하기 전에 Node Tuning Operator를 설치합니다. 

    $ oc apply -f my-performance-profile.yaml
    Copy to Clipboard Toggle word wrap

19.1.4. Performance Profile Creator 인수
링크 복사

Expand
표 19.1. Performance Profile Creator 인수
인수설명

disable-ht

하이퍼스레딩을 비활성화합니다.

가능한 값: true 또는 false.

기본값: false

주의

이 인수가 true로 설정된 경우 BIOS에서 하이퍼 스레딩을 비활성화해서는 안 됩니다. 하이퍼 스레딩 비활성화는 커널 명령줄 인수를 사용하여 수행됩니다.

info

이는 클러스터 정보를 캡처하며 검색 모드에서만 사용됩니다. 검색 모드에서는 must-gather-dir-path 인수도 필요합니다. 다른 인수가 설정되면 무시됩니다.

가능한 값은 다음과 같습니다.

  • log

  • JSON

    참고

    이러한 옵션은 디버깅을 위해 예약되는 JSON 형식을 사용하여 출력 형식을 정의합니다.

기본값: log.

mcp-name

대상 머신에 해당하는 MCP 이름 (예:worker-cnf)입니다. 이 매개 변수는 필수입니다.

must-gather-dir-path

디렉터리 경로를 수집해야 합니다. 이 매개 변수는 필수입니다.

사용자가 래퍼 스크립트 must-gather로 툴을 실행하는 경우 스크립트 자체에서 제공되고 사용자는 이를 지정해서는 안 됩니다.

offlined-cpu-count

오프라인 CPU 수입니다.

참고

이 값은 0보다 큰 자연수여야 합니다. 논리 프로세서가 충분하지 않으면 오류 메시지가 기록됩니다. 메시지는 다음과 같습니다. 

Error: failed to compute the reserved and isolated CPUs: please ensure that reserved-cpu-count plus offlined-cpu-count should be in the range [0,1]
Copy to Clipboard Toggle word wrap 
Error: failed to compute the reserved and isolated CPUs: please specify the offlined CPU count in the range [0,1]
Copy to Clipboard Toggle word wrap

power-consumption-mode

전력 소비 모드입니다.

가능한 값은 다음과 같습니다.

  • default: 활성화된 전원 관리 및 기본 짧은 대기 시간을 사용한 CPU 파티셔닝.
  • 대기 시간이 짧은: 대기 시간 수를 개선하기 위한 향상된 조치입니다.
  • Ultra-low-latency: 전원 관리 부담으로 최적의 대기 시간이 주어진 우선 순위입니다.

기본값: default.

profile-name

생성할 성능 프로파일의 이름입니다. 기본값: performance.

reserved-cpu-count

예약된 CPU 수입니다. 이 매개 변수는 필수입니다.

참고

이것은 자연수여야 합니다. 0 값은 허용되지 않습니다.

rt-kernel

실시간 커널을 활성화합니다. 이 매개 변수는 필수입니다.

가능한 값: true 또는 false.

split-reserved-cpus-across-numa

NUMA 노드에서 예약된 CPU를 분할합니다.

가능한 값: true 또는 false.

기본값: false

topology-manager-policy

생성할 성능 프로필의 Kubelet Topology Manager 정책입니다.

가능한 값은 다음과 같습니다.

  • single-numa-node
  • best-effort
  • restricted

기본값: restricted.

user-level-networking

DPDK(사용자 수준 네트워킹)가 활성화된 상태에서 실행합니다.

가능한 값: true 또는 false.

기본값: false

19.2. 성능 프로필 참조
링크 복사

RHOSP(Red Hat OpenStack Platform)에서 OVS-DPDK(Data Plane Development Kit)를 사용하여 Open vSwitch를 사용하는 클러스터에서 머신 성능을 최대화하려면 성능 프로필을 사용할 수 있습니다.

다음 성능 프로필 템플릿을 사용하여 배포 프로필을 생성할 수 있습니다.

OVS-DPDK를 사용하는 클러스터의 성능 프로파일 템플릿

apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: cnf-performanceprofile
spec:
  additionalKernelArgs:
    - nmi_watchdog=0
    - audit=0
    - mce=off
    - processor.max_cstate=1
    - idle=poll
    - intel_idle.max_cstate=0
    - default_hugepagesz=1GB
    - hugepagesz=1G
    - intel_iommu=on
  cpu:
    isolated: <CPU_ISOLATED>
    reserved: <CPU_RESERVED>
  hugepages:
    defaultHugepagesSize: 1G
    pages:
      - count: <HUGEPAGES_COUNT>
        node: 0
        size: 1G
  nodeSelector:
    node-role.kubernetes.io/worker: ''
  realTimeKernel:
    enabled: false
    globallyDisableIrqLoadBalancing: true
Copy to Clipboard Toggle word wrap

CPU_ISOLATED,CPU_RESERVED 및 HUGEPAGES_COUNT 키에 적합한 값을 삽입합니다.

성능 프로필을 생성하고 사용하는 방법을 알아보려면 OpenShift Container Platform 설명서의 "확장성 및 성능" 섹션의 "성능 프로필 생성" 페이지를 참조하십시오.

20장. 단일 노드 OpenShift에서 워크로드 파티셔닝
링크 복사

단일 노드 OpenShift 배포와 같은 리소스가 제한적인 환경에서는 워크로드 파티셔닝을 사용하여 예약된 CPU 세트에서 OpenShift Container Platform 서비스, 클러스터 관리 워크로드 및 인프라 Pod를 분리합니다.

단일 노드 OpenShift에서 클러스터 관리에 필요한 최소 예약된 CPU 수는 4개의 CPU HT(Hyper-Threads)입니다. 워크로드 파티셔닝을 사용하면 클러스터 관리 Pod 세트와 클러스터 관리 워크로드 파티션에 포함하기 위한 일반적인 애드온 Operator 세트에 주석을 답니다. 이러한 Pod는 일반적으로 최소 크기 CPU 구성 내에서 작동합니다. 최소 클러스터 관리 Pod 세트 이외의 추가 Operator 또는 워크로드에 추가 CPU를 워크로드 파티션에 추가해야 합니다.

워크로드 파티셔닝은 표준 Kubernetes 스케줄링 기능을 사용하여 사용자 워크로드를 플랫폼 워크로드에서 격리합니다.

다음은 워크로드 파티셔닝에 필요한 구성의 개요입니다.

  • /etc/crio/crio.conf.d/01-workload-partitioning 을 사용하는 워크로드 파티셔닝은 OpenShift Container Platform 인프라 Pod를 정의된 cpuset 구성에 고정합니다.

  • 성능 프로필은 systemd 및 kubelet과 같은 클러스터 서비스를 spec.cpu.reserved 필드에 정의된 CPU에 고정합니다.

    참고

    Node Tuning Operator를 사용하면 노드의 전체 워크로드 파티션 구성을 위해 시스템 수준 앱도 고정하도록 성능 프로필을 구성할 수 있습니다.

  • 성능 프로필 spec.cpu.reserved 필드에 지정하는 CPU와 워크로드 파티셔닝 cpuset 필드가 일치해야 합니다.

워크로드 파티셔닝에는 정의된 각 CPU 풀 또는 워크로드 유형에 대해 확장된 < workload-type>. workload.openshift.io/cores 리소스가 도입되었습니다. kubelet은 해당 리소스 내의 풀에 할당된 Pod의 리소스 및 CPU 요청을 알립니다. 워크로드 분할이 활성화되면 < workload-type>.workload.openshift.io/cores 리소스를 사용하면 기본 CPU 풀이 아닌 호스트의 CPU 용량에 액세스할 수 있습니다.

Node Observability Operator는 작업자 노드의 CRI-O 및 Kubelet 프로파일링 데이터를 수집하고 저장합니다. 프로파일링 데이터를 쿼리하여 CRI-O 및 Kubelet 성능 추세를 분석하고 성능 관련 문제를 디버깅할 수 있습니다.

중요

Node Observability Operator는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

21.1. Node Observability Operator의 워크플로
링크 복사

다음 워크플로에서는 Node Observability Operator를 사용하여 프로파일링 데이터를 쿼리하는 방법을 간략하게 설명합니다.

  1. OpenShift Container Platform 클러스터에 Node Observability Operator를 설치합니다.
  2. NodeObservability 사용자 정의 리소스를 생성하여 선택한 작업자 노드에서 CRI-O 프로파일링을 활성화합니다.
  3. 프로파일링 쿼리를 실행하여 프로파일링 데이터를 생성합니다.

21.2. 노드 Observability Operator 설치
링크 복사

노드 Observability Operator는 기본적으로 OpenShift Container Platform에 설치되지 않습니다. OpenShift Container Platform CLI 또는 웹 콘솔을 사용하여 Node Observability Operator를 설치할 수 있습니다.

21.2.1. CLI를 사용하여 노드 Observability Operator 설치
링크 복사

OpenShift CLI(oc)를 사용하여 Node Observability Operator를 설치할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 클러스터에 액세스할 수 있습니다.

절차

  1. 다음 명령을 실행하여 Node Observability Operator를 사용할 수 있는지 확인합니다. 

    $ oc get packagemanifests -n openshift-marketplace node-observability-operator
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                            CATALOG                AGE
node-observability-operator     Red Hat Operators      9h
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 node-observability-operator 네임스페이스를 생성합니다. 

    $ oc new-project node-observability-operator
    Copy to Clipboard Toggle word wrap

  3. OperatorGroup 오브젝트 YAML 파일을 생성합니다. 

    cat <<EOF | oc apply -f -
apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: node-observability-operator
  namespace: node-observability-operator
spec:
  targetNamespaces: []
EOF
    Copy to Clipboard Toggle word wrap

  4. Subscription 오브젝트 YAML 파일을 생성하여 Operator에 네임스페이스를 등록합니다. 

    cat <<EOF | oc apply -f -
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: node-observability-operator
  namespace: node-observability-operator
spec:
  channel: alpha
  name: node-observability-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
EOF
    Copy to Clipboard Toggle word wrap

검증

  1. 다음 명령을 실행하여 설치 계획 이름을 확인합니다. 

    $ oc -n node-observability-operator get sub node-observability-operator -o yaml | yq '.status.installplan.name'
    Copy to Clipboard Toggle word wrap

    출력 예

    install-dt54w
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 설치 계획 상태를 확인합니다. 

    $ oc -n node-observability-operator get ip <install_plan_name> -o yaml | yq '.status.phase'
    Copy to Clipboard Toggle word wrap

    <install_plan_name >은 이전 명령의 출력에서 얻은 설치 계획 이름입니다.

    출력 예

    COMPLETE
    Copy to Clipboard Toggle word wrap

  3. Node Observability Operator가 실행 중인지 확인합니다. 

    $ oc get deploy -n node-observability-operator
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                            READY   UP-TO-DATE  AVAILABLE   AGE
node-observability-operator-controller-manager  1/1     1           1           40h
    Copy to Clipboard Toggle word wrap

21.2.2. 웹 콘솔을 사용하여 노드 Observability Operator 설치
링크 복사

OpenShift Container Platform 웹 콘솔에서 노드 Observability Operator를 설치할 수 있습니다.

사전 요구 사항

  • cluster-admin 권한이 있는 클러스터에 액세스할 수 있습니다.
  • OpenShift Container Platform 웹 콘솔에 액세스할 수 있습니다.

절차

  1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
  2. Administrator의 탐색 패널에서 Operator → OperatorHub 를 확장합니다.
  3. All items 필드에 Node Observability Operator 를 입력하고 Node Observability Operator 타일을 선택합니다.
  4. 설치를 클릭합니다.

  5. Operator 설치 페이지에서 다음 설정을 구성합니다.

    1. 업데이트 채널 영역에서 alpha 를 클릭합니다.
    2. 설치 모드 영역에서 클러스터의 특정 네임스페이스를 클릭합니다.
    3. 설치된 네임스페이스 목록에서 목록에서 node-observability-operator 를 선택합니다.
    4. 승인 업데이트 영역에서 자동 을 선택합니다.
    5. 설치를 클릭합니다.

검증

  1. 관리자의 탐색 패널에서 Operator → 설치된 Operator 를 확장합니다.
  2. Node Observability Operator가 Operator 목록에 나열되어 있는지 확인합니다.

21.3. 노드 Observability 사용자 정의 리소스 생성
링크 복사

프로파일링 쿼리를 실행하기 전에 NodeObservability CR(사용자 정의 리소스)을 생성하고 실행해야 합니다. NodeObservability CR을 실행하면 필요한 머신 구성 및 머신 구성 풀 CR을 생성하여 작업자 노드에서 CRI-O 프로파일링을 활성화합니다.

중요

NodeObservability CR을 생성하면 모든 작업자 노드가 재부팅됩니다. 완료하는 데 10분 이상 걸릴 수 있습니다.

참고

kubelet 프로필은 기본적으로 활성화되어 있습니다.

노드의 CRI-O unix 소켓은 에이전트 Pod에 마운트되므로 에이전트가 CRI-O와 통신하여 pprof 요청을 실행할 수 있습니다. 마찬가지로 kubelet-serving-ca 인증서 체인은 에이전트 Pod에 마운트되어 에이전트와 노드의 kubelet 끝점 간 보안 통신을 허용합니다.

사전 요구 사항

  • 노드 Observability Operator가 설치되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 클러스터에 액세스할 수 있습니다.

절차

  1. 다음 명령을 실행하여 OpenShift Container Platform CLI에 로그인합니다. 

    $ oc login -u kubeadmin https://<HOSTNAME>:6443
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 node-observability-operator 네임스페이스로 다시 전환합니다. 

    $ oc project node-observability-operator
    Copy to Clipboard Toggle word wrap

  3. 다음 텍스트가 포함된 nodeobservability.yaml 이라는 CR 파일을 생성합니다. 

        apiVersion: nodeobservability.olm.openshift.io/v1alpha1
    kind: NodeObservability
    metadata:
      name: cluster
    1 
    
    spec:
      labels:
        node-role.kubernetes.io/worker: ""
      type: crio-kubelet
    Copy to Clipboard Toggle word wrap
    1
    클러스터 당 하나의 NodeObservability CR만 있어야 하므로 이름을 cluster로 지정해야 합니다.

  4. NodeObservability CR을 실행합니다. 

    oc apply -f nodeobservability.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    nodeobservability.olm.openshift.io/cluster created
    Copy to Clipboard Toggle word wrap

  5. 다음 명령을 실행하여 NodeObservability CR의 상태를 검토합니다. 

    $ oc get nob/cluster -o yaml | yq '.status.conditions'
    Copy to Clipboard Toggle word wrap

    출력 예

    conditions:
  conditions:
  - lastTransitionTime: "2022-07-05T07:33:54Z"
    message: 'DaemonSet node-observability-ds ready: true NodeObservabilityMachineConfig
      ready: true'
    reason: Ready
    status: "True"
    type: Ready
    Copy to Clipboard Toggle word wrap

    이유가 Ready 이고 상태가 True 인 경우 NodeObservability CR 실행이 완료됩니다.

21.4. 프로파일링 쿼리 실행
링크 복사

프로파일링 쿼리를 실행하려면 NodeObservabilityRun 리소스를 생성해야 합니다. 프로파일링 쿼리는 30초 동안 CRI-O 및 Kubelet 프로파일링 데이터를 가져오는 차단 작업입니다. 프로파일링 쿼리가 완료되면 컨테이너 파일 시스템 /run/node-observability 디렉터리 내에서 프로파일링 데이터를 검색해야 합니다.

중요

언제든지 하나의 프로파일링 쿼리만 요청할 수 있습니다.

사전 요구 사항

  • 노드 Observability Operator가 설치되어 있습니다.
  • NodeObservability CR(사용자 정의 리소스)을 생성했습니다.
  • cluster-admin 권한이 있는 클러스터에 액세스할 수 있습니다.

절차

  1. 다음 텍스트가 포함된 nodeobservabilityrun.yaml 이라는 NodeObservabilityRun 리소스 파일을 생성합니다. 

    apiVersion: nodeobservability.olm.openshift.io/v1alpha1
kind: NodeObservabilityRun
metadata:
  name: nodeobservabilityrun
spec:
  nodeObservabilityRef:
    name: cluster
    Copy to Clipboard Toggle word wrap

  2. NodeObservabilityRun 리소스를 실행하여 프로파일링 쿼리를 트리거합니다. 

    $ oc apply -f nodeobservabilityrun.yaml
    Copy to Clipboard Toggle word wrap

  3. 다음 명령을 실행하여 NodeObservabilityRun 의 상태를 검토합니다. 

    $ oc get nodeobservabilityrun nodeobservabilityrun -o yaml  | yq '.status.conditions'
    Copy to Clipboard Toggle word wrap

    출력 예

    conditions:
- lastTransitionTime: "2022-07-07T14:57:34Z"
  message: Ready to start profiling
  reason: Ready
  status: "True"
  type: Ready
- lastTransitionTime: "2022-07-07T14:58:10Z"
  message: Profiling query done
  reason: Finished
  status: "True"
  type: Finished
    Copy to Clipboard Toggle word wrap

    상태가 True 이고 type이 Finished 이면 프로파일링 쿼리가 완료됩니다.

  4. 다음 bash 스크립트를 실행하여 컨테이너의 /run/node-observability 경로에서 프로파일링 데이터를 검색합니다. 

    for a in $(oc get nodeobservabilityrun nodeobservabilityrun -o yaml | yq .status.agents[].name); do
  echo "agent ${a}"
  mkdir -p "/tmp/${a}"
  for p in $(oc exec "${a}" -c node-observability-agent -- bash -c "ls /run/node-observability/*.pprof"); do
    f="$(basename ${p})"
    echo "copying ${f} to /tmp/${a}/${f}"
    oc exec "${a}" -c node-observability-agent -- cat "${p}" > "/tmp/${a}/${f}"
  done
done
    Copy to Clipboard Toggle word wrap

22장. 네트워크 엣지의 클러스터
링크 복사

22.1. 네트워크 엣지의 문제
링크 복사

엣지 컴퓨팅은 지리적으로 교체된 위치에서 많은 사이트를 관리할 때 복잡한 문제를 초래합니다. zero touch provisioning (ZTP) 및 GitOps를 사용하여 네트워크의 맨 에지에서 사이트를 프로비저닝하고 관리합니다.

22.1.1. 네트워크 엣지의 문제 해결
링크 복사

현재 서비스 제공업체는 네트워크 엣지에 인프라를 배포하려고 합니다. 여기에는 중요한 문제가 있습니다.

  • 여러 엣지 사이트의 배포를 병렬로 처리하려면 어떻게 해야 합니까?
  • 연결이 끊긴 환경에서 사이트를 배포해야 하는 경우 어떻게 됩니까?
  • 대규모 클러스터의 라이프사이클을 어떻게 관리합니까?

zero touch provisioning (ZTP) 및 GitOps 는 베어 메탈 장치에 대한 선언적 사이트 정의 및 구성으로 규모에 따라 원격 에지 사이트를 프로비저닝할 수 있으므로 이러한 문제를 해결합니다. 템플릿 또는 오버레이 구성은 CNF 워크로드에 필요한 OpenShift Container Platform 기능을 설치합니다. 설치 및 업그레이드의 전체 라이프사이클은 ZTP 파이프라인을 통해 처리됩니다.

ZTP는 인프라 배포에 GitOps를 사용합니다. GitOps에서는 Git 리포지토리에 저장된 선언적 YAML 파일 및 기타 정의된 패턴을 사용합니다. RHACM(Red Hat Advanced Cluster Management)은 Git 리포지토리를 사용하여 인프라 배포를 구동합니다.

GitOps는 추적 기능, RBAC(역할 기반 액세스 제어) 및 각 사이트의 원하는 상태에 대해 단일 정보 소스를 제공합니다. 확장성 문제는 웹 후크를 통해 Git 수행 및 이벤트 기반 작업에 의해 해결됩니다.

ZTP 파이프라인이 에지 노드에 제공하는 선언적 사이트 정의 및 구성 CR(사용자 정의 리소스)을 생성하여 ZTP 워크플로를 시작합니다.

다음 다이어그램은 멀리 있는 에지 프레임워크에서 ZTP가 작동하는 방식을 보여줍니다.

네트워크에서의 ZTP
View larger image
네트워크에서의 ZTP

22.1.2. ZTP를 사용하여 네트워크 에지에서 클러스터 프로비저닝
링크 복사

RHACM(Red Hat Advanced Cluster Management)은 단일 허브 클러스터가 많은 스포크 클러스터를 관리하는 허브 및 스포크 아키텍처의 클러스터를 관리합니다. RHACM 프로비저닝을 실행하는 Hub 클러스터와 RHACM을 설치할 때 배포된 지원 서비스를 사용하여 관리 클러스터를 배포합니다.

지원 서비스는 단일 노드 클러스터, 3 노드 클러스터 또는 베어 메탈에서 실행되는 표준 클러스터에서 OpenShift Container Platform 프로비저닝을 처리합니다.

OpenShift Container Platform에서 베어 메탈 호스트를 프로비저닝하고 유지하기 위해 ZTP를 사용하는 고급 개요는 다음과 같습니다.

  • RHACM을 실행하는 허브 클러스터는 OpenShift Container Platform 릴리스 이미지를 미러링하는 OpenShift 이미지 레지스트리를 관리합니다. RHACM은 OpenShift 이미지 레지스트리를 사용하여 관리 클러스터를 프로비저닝합니다.
  • Git 리포지토리에 버전이 지정된 YAML 형식 인벤토리 파일에서 베어 메탈 호스트를 관리합니다.
  • 호스트를 관리형 클러스터로 프로비저닝할 준비가 되어 있고 RHACM 및 지원 서비스를 사용하여 사이트에 베어 메탈 호스트를 설치할 수 있습니다.

클러스터 설치 및 배포는 초기 설치 단계 및 후속 구성 단계를 포함하는 2단계 프로세스입니다. 다음 다이어그램은 이 워크플로를 보여줍니다.

GitOps 및 ZTP를 사용하여 관리형 클러스터 설치 및 배포
View larger image
GitOps 및 ZTP를 사용하여 관리형 클러스터 설치 및 배포

22.1.3. siteConfig 리소스 및 RHACM을 사용하여 관리형 클러스터 설치
링크 복사

GitOps ZTP는 Git 리포지토리에서 siteConfig CR(사용자 정의 리소스)을 사용하여 OpenShift Container Platform 클러스터를 설치하는 프로세스를 관리합니다. site Config CR에는 설치에 필요한 클러스터별 매개변수가 포함되어 있습니다. 사용자 정의 추가 매니페스트를 포함하여 설치 중에 선택한 구성 CR을 적용하는 옵션이 있습니다.

ZTP GitOps 플러그인 은 siteConfig CR을 처리하여 hub 클러스터에서 CR 컬렉션을 생성합니다. 이로 인해 RHACM(Red Hat Advanced Cluster Management)의 지원 서비스가 트리거되어 베어 메탈 호스트에 OpenShift Container Platform을 설치합니다. hub 클러스터의 이러한 CR에서 설치 상태 및 오류 메시지를 확인할 수 있습니다.

ZTP를 사용하여 수동으로 또는 배치로 단일 클러스터를 프로비저닝할 수 있습니다.

단일 클러스터 프로비저닝
클러스터에 대한 단일 SiteConfig CR 및 관련 설치 및 구성 CR을 생성하고 이를 hub 클러스터에 적용하여 클러스터 프로비저닝을 시작합니다. 이것은 더 큰 규모에 배포하기 전에 CR을 테스트하는 좋은 방법입니다.
여러 클러스터 프로비저닝
Git 리포지토리에서 site Config 및 관련 CR을 정의 하여 최대 400개로 관리되는 클러스터를 설치합니다. ArgoCD는 site Config CR을 사용하여 사이트를 배포합니다. RHACM 정책 생성기는 매니페스트를 생성하여 hub 클러스터에 적용합니다. 이렇게 하면 클러스터 프로비저닝 프로세스가 시작됩니다.

zero touch provisioning (ZTP)은 Red Hat Advanced Cluster Management (RHACM)를 사용하여 구성 적용에 정책 기반 거버넌스 접근 방식을 사용하여 클러스터를 구성합니다.

정책 생성기 또는 PolicyGen 은 간결한 템플릿에서 RHACM 정책을 생성할 수 있는 GitOps Operator의 플러그인입니다. 이 툴은 여러 CR을 단일 정책으로 결합할 수 있으며, 함대에 있는 클러스터의 다양한 하위 집합에 적용되는 여러 정책을 생성할 수 있습니다.

참고

확장성 및 클러스터 전체에서 구성 관리의 복잡성을 줄이기 위해 가능한 한 공통성으로 구성 CR을 사용하십시오.

  • 가능한 경우 전체 공통 정책을 사용하여 구성 CR을 적용합니다.
  • 다음 기본 설정은 그룹 정책에서 가능한 한 많은 나머지 구성을 관리할 클러스터의 논리 그룹을 생성하는 것입니다.
  • 구성이 개별 사이트에 고유한 경우 hub 클러스터에서 RHACM 템플릿 정보를 사용하여 사이트별 데이터를 공통 또는 그룹 정책에 삽입합니다. 또는 사이트에 개별 사이트 정책을 적용합니다.

다음 다이어그램에서는 클러스터 배포의 구성 단계에서 정책 생성기가 GitOps 및 RHACM과 상호 작용하는 방법을 보여줍니다.

정책 생성기
View larger image
정책 생성기

대규모 클러스터의 경우 일반적으로 클러스터 구성에 높은 수준의 일관성이 있어야 합니다.

다음 권장 정책 구조는 구성 CR을 결합하여 몇 가지 목표를 달성합니다.

  • 공통 구성을 한 번 설명하고 함대에 적용합니다.
  • 유지 관리 및 관리되는 정책의 수를 최소화합니다.
  • 클러스터 변형을 위한 공통 구성의 유연성을 지원합니다.
Expand
표 22.1. 권장 PolicyGenTemplate 정책 카테고리
정책 카테고리설명

Common

공통 카테고리에 존재하는 정책은 함의 모든 클러스터에 적용됩니다. Common PolicyGenTemplate CR을 사용하여 모든 클러스터 유형에 공통 설치 설정을 적용합니다.

그룹

그룹 카테고리에 존재하는 정책이 함의 클러스터 그룹에 적용됩니다. 그룹 PolicyGenTemplate CR을 사용하여 단일 노드, 3 노드 및 표준 클러스터 설치의 특정 측면을 관리합니다. 클러스터 그룹은 지리적 리전, 하드웨어 변형 등을 따를 수도 있습니다.

사이트

sites 카테고리에 존재하는 정책은 특정 클러스터 사이트에 적용됩니다. 모든 클러스터는 자체 특정 정책을 유지할 수 있습니다.

22.2. ZTP 용 hub 클러스터 준비
링크 복사

연결이 끊긴 환경에서 RHACM을 사용하려면 필요한 Operator 이미지가 포함된 OpenShift Container Platform 릴리스 이미지 및 OLM(Operator Lifecycle Manager) 카탈로그를 미러링하는 미러 레지스트리를 생성합니다. OLM은 Operator 및 클러스터의 종속 항목을 관리, 설치 및 업그레이드합니다. 연결이 끊긴 미러 호스트를 사용하여 베어 메탈 호스트를 프로비저닝하는 데 사용되는 RHCOS ISO 및 RootFS 디스크 이미지를 제공할 수도 있습니다.

22.2.1. telco RAN 4.11 검증 솔루션 소프트웨어 버전
링크 복사

Red Hat Telco radio Access Network (RAN) 버전 4.11 솔루션은 다음 Red Hat 소프트웨어 제품 버전을 사용하여 검증되었습니다.

Expand
표 22.2. telco RAN 4.11 검증 솔루션 소프트웨어
제품소프트웨어 버전

Hub 클러스터 OpenShift Container Platform 버전

4.11

GitOps ZTP plugin

4.9, 4.10, 또는 4.11

Red Hat Advanced Cluster Management (RHACM)

2.5 또는 2.6

Red Hat OpenShift GitOps

1.5

토폴로지 Aware Lifecycle Manager (TALM)

4.10 또는 4.11

22.2.2. 연결이 끊긴 환경에서 GitOps ZTP 설치
링크 복사

연결이 끊긴 환경의 허브 클러스터에서 RHACM (RHACM), Red Hat OpenShift GitOps 및 Topology Aware Lifecycle Manager (TALM)를 사용하여 여러 관리 클러스터의 배포를 관리합니다.

사전 요구 사항

  • OpenShift Container Platform CLI(oc)를 설치했습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

  • 클러스터에서 사용할 연결이 끊긴 미러 레지스트리를 구성했습니다.

    참고

    생성한 연결이 끊긴 미러 레지스트리에는 허브 클러스터에서 실행되는 TALM 버전과 일치하는 TALM 백업 버전 및 사전 캐시 이미지가 포함되어야 합니다. 스포크 클러스터는 연결이 끊긴 미러 레지스트리에서 이러한 이미지를 해결할 수 있어야 합니다.

절차

22.2.3. 연결이 끊긴 미러 호스트에 RHCOS ISO 및 RootFS 이미지 추가
링크 복사

RHACM(Red Hat Advanced Cluster Management)을 사용하여 연결이 끊긴 환경에서 클러스터를 설치하기 전에 먼저 사용할 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 호스팅해야 합니다. 연결이 끊긴 미러를 사용하여 RHCOS 이미지를 호스팅합니다.

사전 요구 사항

  • 네트워크에서 RHCOS 이미지 리소스를 호스팅하도록 HTTP 서버를 배포하고 구성합니다. 컴퓨터에서 HTTP 서버와 사용자가 생성한 시스템에서 HTTP 서버에 액세스할 수 있어야 합니다.
중요

RHCOS 이미지는 OpenShift Container Platform 릴리스에 따라 변경되지 않을 수 있습니다. 설치하는 버전과 같거나 그 이하의 버전 중 가장 높은 버전의 이미지를 다운로드해야 합니다. 사용 가능한 경우 OpenShift Container Platform 버전과 일치하는 이미지 버전을 사용합니다. 호스트에 RHCOS를 설치하려면 ISO 및 RootFS 이미지가 필요합니다. 이 설치 유형에서는 RHCOS QCOW2 이미지가 지원되지 않습니다.

절차

  1. 미러 호스트에 로그인합니다.

  2. mirror.openshift.com 에서 RHCOS ISO 및 RootFS 이미지를 가져옵니다. 예를 들면 다음과 같습니다.

    1. 필요한 이미지 이름 및 OpenShift Container Platform 버전을 환경 변수로 내보냅니다. 

      $ export ISO_IMAGE_NAME=<iso_image_name>
      1
      Copy to Clipboard Toggle word wrap 
      $ export ROOTFS_IMAGE_NAME=<rootfs_image_name>
      1
      Copy to Clipboard Toggle word wrap 
      $ export OCP_VERSION=<ocp_version>
      1
      Copy to Clipboard Toggle word wrap
      1
      ISO 이미지 이름(예: rhcos-4.11.1-x86_64-live.x86_64.iso)
      1
      rootfs 이미지 이름(예: rhcos-4.11.1-x86_64-live-rootfs.x86_64.img)
      1
      OpenShift Container Platform 버전(예: 4.11.1)

    2. 필요한 이미지를 다운로드합니다. 

      $ sudo wget https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.11/${OCP_VERSION}/${ISO_IMAGE_NAME} -O /var/www/html/${ISO_IMAGE_NAME}
      Copy to Clipboard Toggle word wrap 
      $ sudo wget https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.11/${OCP_VERSION}/${ROOTFS_IMAGE_NAME} -O /var/www/html/${ROOTFS_IMAGE_NAME}
      Copy to Clipboard Toggle word wrap

검증 단계

  • 이미지가 성공적으로 다운로드되었으며 연결이 끊긴 미러 호스트에 제공되는지 확인합니다. 예를 들면 다음과 같습니다. 

    $ wget http://$(hostname)/${ISO_IMAGE_NAME}
    Copy to Clipboard Toggle word wrap

    출력 예

    Saving to: rhcos-4.11.1-x86_64-live.x86_64.iso
rhcos-4.11.1-x86_64-live.x86_64.iso-  11%[====>    ]  10.01M  4.71MB/s
    Copy to Clipboard Toggle word wrap

RHACM(Red Hat Advanced Cluster Management)은 지원 서비스를 사용하여 OpenShift Container Platform 클러스터를 배포합니다. 지원 서비스는 CIM( Central Infrastructure Management)을 사용하여 MultiClusterHub Operator를 활성화하면 자동으로 배포됩니다. hub 클러스터에서 CIM을 활성화하면 미러 레지스트리 HTTP 서버에서 호스팅되는 ISO 및 RootFS 이미지에 대한 참조로 AgentServiceConfig CR(사용자 정의 리소스)을 업데이트해야 합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • hub 클러스터에서 지원 서비스를 활성화했습니다. 자세한 내용은 CIM 활성화를 참조하십시오.

절차

  1. 다음 명령을 실행하여 AgentServiceConfig CR을 업데이트합니다. 

    $ oc edit AgentServiceConfig
    Copy to Clipboard Toggle word wrap

  2. CR의 items.spec.osImages 필드에 다음 항목을 추가합니다. 

    - cpuArchitecture: x86_64
    openshiftVersion: "4.11"
    rootFSUrl: https://<host>/<path>/rhcos-live-rootfs.x86_64.img
    url: https://<mirror-registry>/<path>/rhcos-live.x86_64.iso
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <host>
    대상 미러 레지스트리 HTTP 서버의 FQDN(정규화된 도메인 이름)입니다.
    <path>
    대상 미러 레지스트리의 이미지 경로입니다.

    편집기를 저장하고 종료하여 변경 사항을 적용합니다.

22.2.5. 연결이 끊긴 미러 레지스트리를 사용하도록 hub 클러스터 구성
링크 복사

연결이 끊긴 환경에 연결이 끊긴 미러 레지스트리를 사용하도록 hub 클러스터를 구성할 수 있습니다.

사전 요구 사항

  • RHACM(Red Hat Advanced Cluster Management) 2.6을 설치한 연결이 끊긴 허브 클러스터 설치가 있어야 합니다.
  • HTTP 서버에 rootfs 및 iso 이미지를 호스팅했습니다.
주의

HTTP 서버에 대해 TLS를 활성화하는 경우 루트 인증서가 클라이언트가 신뢰하는 기관에서 서명한지 확인하고 OpenShift Container Platform 허브와 관리형 클러스터와 HTTP 서버 간의 신뢰할 수 있는 인증서 체인을 확인해야 합니다. 신뢰할 수 없는 인증서로 구성된 서버를 사용하면 이미지를 이미지 생성 서비스로 다운로드할 수 없습니다. 신뢰할 수 없는 HTTPS 서버 사용은 지원되지 않습니다.

절차

  1. 미러 레지스트리 구성이 포함된 ConfigMap 을 생성합니다. 

    apiVersion: v1
kind: ConfigMap
metadata:
  name: assisted-installer-mirror-config
  namespace: assisted-installer
  labels:
    app: assisted-service
data:
  ca-bundle.crt: <certificate>
    1 
    
  registries.conf: |
    2 
    
    unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]

    [[registry]]
      location = <mirror_registry_url>
    3 
    
      insecure = false
      mirror-by-digest-only = true
    Copy to Clipboard Toggle word wrap
    1
    미러 레지스트리를 생성할 때 사용되는 미러 레지스트리의 인증서입니다.
    2
    미러 레지스트리의 구성입니다.
    3
    미러 레지스트리의 URL입니다.

    이 업데이트는 다음과 같이 AgentServiceConfig 사용자 정의 리소스에서 mirrorRegistryRef 를 업데이트합니다.

    출력 예

    apiVersion: agent-install.openshift.io/v1beta1
kind: AgentServiceConfig
metadata:
  name: agent
spec:
  databaseStorage:
    volumeName: <db_pv_name>
    accessModes:
    - ReadWriteOnce
    resources:
      requests:
        storage: <db_storage_size>
  filesystemStorage:
    volumeName: <fs_pv_name>
    accessModes:
    - ReadWriteOnce
    resources:
      requests:
        storage: <fs_storage_size>
  mirrorRegistryRef:
    name: 'assisted-installer-mirror-config'
  osImages:
    - openshiftVersion: <ocp_version>
      rootfs: <rootfs_url>
    1 
    
      url: <iso_url>
    2
    Copy to Clipboard Toggle word wrap

    1 2
    HTTPD 서버의 URL과 일치해야 합니다.
중요

클러스터 설치 중에 유효한 NTP 서버가 필요합니다. 적절한 NTP 서버를 사용할 수 있으며, 연결이 끊긴 네트워크를 통해 설치된 클러스터에서 연결할 수 있는지 확인합니다.

22.2.6. ArgoCD로 hub 클러스터 구성
링크 복사

Zero touch provisioning (ZTP) GitOps 흐름을 기반으로 각 사이트에 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하는 ArgoCD 애플리케이션 세트를 사용하여 hub 클러스터를 구성할 수 있습니다.

사전 요구 사항

  • RHACM(Red Hat Advanced Cluster Management) 및 Red Hat OpenShift GitOps가 설치된 OpenShift Container Platform 허브 클러스터가 있어야 합니다.
  • " GitOps ZTP 사이트 구성 리포지토리 준비" 섹션에 설명된 대로 ZTP GitOps 플러그인 컨테이너에서 참조 배포를 추출했습니다. 참조 배포를 추출하면 다음 절차에서 참조되는 out/argocd/deployment 디렉터리가 생성됩니다.

절차

  1. ArgoCD 파이프라인 구성을 준비합니다.

    1. 예제 디렉터리와 유사한 디렉터리 구조를 사용하여 Git 리포지토리를 생성합니다. 자세한 내용은 " GitOps ZTP 사이트 구성 리포지토리 준비"를 참조하십시오.

    2. ArgoCD UI를 사용하여 리포지토리에 대한 액세스를 구성합니다. 설정에서 다음을 구성합니다.

      • 리포지토리 - 연결 정보를 추가합니다. URL은 .git 로 끝나야 합니다(예: https://repo.example.com/repo.git 및 인증 정보).
      • 인증서 - 필요한 경우 리포지토리의 공용 인증서를 추가합니다.

    3. Git 리포지토리를 기반으로 두 개의 ArgoCD 애플리케이션 out/argocd/deployment/clusters-app.yaml 및 out/argocd/deployment/policies-app.yaml 을 수정합니다.

      • Git 리포지토리를 가리키도록 URL을 업데이트합니다. URL은 .git 로 끝납니다(예: https://repo.example.com/repo.git).
      • targetRevision 은 모니터링할 Git 리포지토리 분기를 나타냅니다.
      • path 는 각각 site Config 및 PolicyGenTemplate CR의 경로를 지정합니다.

  2. ZTP GitOps 플러그인을 설치하려면 이전에 out/argocd/deployment/ 디렉터리에 추출된 패치 파일을 사용하여 hub 클러스터의 ArgoCD 인스턴스를 패치해야 합니다. 다음 명령을 실행합니다. 

    $ oc patch argocd openshift-gitops \
-n openshift-gitops --type=merge \
--patch-file out/argocd/deployment/argocd-openshift-gitops-patch.json
    Copy to Clipboard Toggle word wrap

  3. 다음 명령을 사용하여 허브 클러스터에 파이프라인 구성을 적용합니다. 

    $ oc apply -k out/argocd/deployment
    Copy to Clipboard Toggle word wrap

22.2.7. GitOps ZTP 사이트 구성 리포지토리 준비
링크 복사

ZTP GitOps 파이프라인을 사용하려면 먼저 사이트 구성 데이터를 호스팅할 Git 리포지토리를 준비해야 합니다.

사전 요구 사항

  • 필요한 설치 및 정책 CR(사용자 정의 리소스)을 생성하기 위해 hub 클러스터 GitOps 애플리케이션을 구성했습니다.
  • ZTP(zero touch provisioning)를 사용하여 관리형 클러스터를 배포했습니다.

절차

  1. site Config 및 PolicyGenTemplate CR에 대한 별도의 경로를 사용하여 디렉터리 구조를 생성합니다.

  2. 다음 명령을 사용하여 ztp-site-generate 컨테이너 이미지에서 argocd 디렉터리를 내보냅니다. 

    $ podman pull registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11
    Copy to Clipboard Toggle word wrap 
    $ mkdir -p ./out
    Copy to Clipboard Toggle word wrap 
    $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11 extract /home/ztp --tar | tar x -C ./out
    Copy to Clipboard Toggle word wrap

  3. out 디렉터리에 다음 하위 디렉터리가 포함되어 있는지 확인합니다.

    • 아웃/extra-manifest 에는 SiteConfig 에서 추가 매니페스트 configMap 을 생성하는 데 사용하는 소스 CR 파일이 포함되어 있습니다.
    • out/source-crs 에는 PolicyGenTemplate 이 RHACM(Red Hat Advanced Cluster Management) 정책을 생성하는 데 사용하는 소스 CR 파일이 포함되어 있습니다.
    • out/argocd/deployment 에는 이 프로세스의 다음 단계에서 사용할 수 있도록 hub 클러스터에 적용하는 패치 및 YAML 파일이 포함되어 있습니다.
    • out/argocd/example 에는 권장 구성을 나타내는 SiteConfig 및 PolicyGenTemplate 파일의 예가 포함되어 있습니다.

out/argocd/example 아래의 디렉터리 구조는 Git 리포지토리의 구조 및 콘텐츠에 대한 참조 역할을 합니다. 이 예제에는 단일 노드, 3-노드 및 표준 클러스터에 대한 SiteConfig 및 PolicyGenTemplate 참조 CR이 포함됩니다. 사용하지 않는 클러스터 유형에 대한 참조를 제거합니다. 다음 예제에서는 단일 노드 클러스터 네트워크에 대한 CR 세트를 설명합니다. 

example
├── policygentemplates
│   ├── common-ranGen.yaml
│   ├── example-sno-site.yaml
│   ├── group-du-sno-ranGen.yaml
│   ├── group-du-sno-validator-ranGen.yaml
│   ├── kustomization.yaml
│   └── ns.yaml
└── siteconfig
    ├── example-sno.yaml
    ├── KlusterletAddonConfigOverride.yaml
    └── kustomization.yaml
Copy to Clipboard Toggle word wrap

SiteConfig 및 PolicyGenTemplate CR을 별도의 디렉터리에 보관합니다. SiteConfig 및 PolicyGenTemplate 디렉터리에는 해당 디렉터리에 파일을 명시적으로 포함하는 kustomization.yaml 파일이 포함되어야 합니다.

이 디렉터리 구조와 kustomization.yaml 파일을 커밋하고 Git 리포지토리로 내보내야 합니다. Git의 초기 푸시에는 kustomization.yaml 파일이 포함되어야 합니다. SiteConfig (예-sno.yaml) 및 PolicyGenTemplate (Common-ranGen.yaml,group-du -sno*.yaml.yaml )은 사이트를 배포할 때 필요에 따라 나중에 생략하고 내보낼 수 있습니다.

KlusterletAddonConfigOverride.yaml 파일은 하나 이상의 SiteConfig CR을 커밋하고 Git로 푸시하는 경우에만 필요합니다. 사용 방법의 예는 example-sno.yaml 을 참조하십시오.

22.3. RHACM 및 siteConfig 리소스를 사용하여 관리형 클러스터 설치
링크 복사

지원 서비스 및 core-reduction 기술이 활성화된 GitOps 플러그인 정책 생성기를 사용하여 RHACM(Red Hat Advanced Cluster Management)을 사용하여 OpenShift Container Platform 클러스터를 스케일링하여 프로비저닝할 수 있습니다. zero touch priovisioning (ZTP) 파이프라인은 클러스터 설치를 수행합니다. ZTP는 연결이 끊긴 환경에서 사용할 수 있습니다.

22.3.1. GitOps ZTP 및 토폴로지 Aware Lifecycle Manager
링크 복사

GitOps zero touch provisioning (ZTP)은 Git에 저장된 매니페스트에서 설치 및 구성 CR을 생성합니다. 이러한 아티팩트는 RHACM(Red Hat Advanced Cluster Management), 지원 서비스 및 TALM( Topology Aware Lifecycle Manager)이 CR을 사용하여 관리되는 클러스터를 설치 및 구성하는 중앙 집중식 허브 클러스터에 적용됩니다. ZTP 파이프라인의 구성 단계에서는 TALM을 사용하여 구성 CR의 애플리케이션을 클러스터에 오케스트레이션합니다. GitOps ZTP와 TALM 간에는 몇 가지 주요 통합 지점이 있습니다.

정책 정보
기본적으로 GitOps ZTP는 알림 수정 작업을 사용하여 모든 정책을 생성합니다. 이러한 정책을 통해 RHACM은 정책과 관련된 클러스터의 규정 준수 상태를 보고하지만 원하는 구성은 적용하지 않습니다. ZTP 프로세스 중에 OpenShift를 설치한 후 TALM은 생성된 정보 보호 정책을 단계별로 진행하여 대상 관리 클러스터에서 이를 적용합니다. 이는 관리 클러스터에 구성을 적용합니다. 클러스터 라이프사이클의 ZTP 단계 외부에서는 영향을 받는 관리형 클러스터로 변경 사항을 즉시 롤아웃할 위험 없이 정책을 변경할 수 있습니다. TALM을 사용하여 시간 및 수정된 클러스터 세트를 제어할 수 있습니다.
ClusterGroupUpgrade CR 자동 생성

새로 배포된 클러스터의 초기 구성을 자동화하기 위해 TALM은 hub 클러스터에서 모든 ManagedCluster CR의 상태를 모니터링합니다. 새로 생성된 ManagedCluster CR을 포함하여 ztp-done 레이블이 적용되지 않은 ManagedCluster CR을 사용하면 TALM이 다음과 같은 특성을 가진 ClusterGroupUpgrade CR을 자동으로 생성합니다.

  • ztp-install 네임스페이스에서 ClusterGroupUpgrade CR이 생성되고 활성화됩니다.
  • ClusterGroupUpgrade CR은 ManagedCluster CR과 이름이 동일합니다.
  • 클러스터 선택기에는 해당 ManagedCluster CR과 연결된 클러스터만 포함됩니다.
  • 관리 정책 세트에는 RHACM이 ClusterGroupUpgrade 가 생성될 때 클러스터에 바인딩한 모든 정책이 포함됩니다.
  • 사전 캐싱이 비활성화되어 있습니다.
  • 시간 제한은 4시간(240분)으로 설정합니다.

활성화된 ClusterGroupUpgrade 의 자동 생성을 통해 클러스터의 초기 배포를 사용자 개입할 필요 없이 진행할 수 있습니다. 또한 ztp-done 라벨이 없는 ManagedCluster 에 대한 ClusterGroupUpgrade CR을 자동으로 생성하면 클러스터의 ClusterGroupUpgrade CR을 간단히 삭제하여 ZTP 설치를 시작할 수 있습니다.

웨이브

PolicyGenTemplate CR에서 생성된 각 정책에는 ztp-deploy-wave 주석이 포함됩니다. 이 주석은 해당 정책에 포함된 각 CR의 동일한 주석을 기반으로 합니다. 웨이브 주석은 자동 생성된 ClusterGroupUpgrade CR에서 정책을 주문하는 데 사용됩니다. parse 주석은 자동 생성된 ClusterGroupUpgrade CR 이외의 용도로 사용되지 않습니다.

참고

동일한 정책에 있는 모든 CR에는 ztp-deploy-wave 주석에 동일한 설정이 있어야 합니다. 각 CR에 대한 이 주석의 기본값은 PolicyGenTemplate 에서 재정의할 수 있습니다. 소스 CR의 웨이브 주석은 정책 웨이브 주석을 결정하고 설정하는 데 사용됩니다. 이 주석은 런타임에 생성된 정책에 포함된 각 빌드 CR에서 제거됩니다.

TALM은 웨이브 주석에 지정된 순서로 구성 정책을 적용합니다. TALM은 다음 정책으로 이동하기 전에 각 정책을 준수할 때까지 기다립니다. 각 CR의 웨이브 주석이 클러스터에 적용되려면 해당 CR의 사전 요구 사항을 고려해야 합니다. 예를 들어 Operator의 구성 전 또는 동시에 Operator를 설치해야 합니다. 마찬가지로 Operator 서브스크립션 이전 또는 동시에 Operator의 CatalogSource 를 웨이브에 설치해야 합니다. 각 CR의 기본 웨이브 값은 이러한 사전 요구 사항을 고려합니다.

여러 CR 및 정책이 동일한 파동 번호를 공유할 수 있습니다. 정책이 줄어들면 배포 속도가 빨라지고 CPU 사용량을 줄일 수 있습니다. 많은 CR을 비교적 몇 개의 파도로 그룹화하는 것이 가장 좋습니다.

각 소스 CR의 기본 파도 값을 확인하려면 ztp-site-generate 컨테이너 이미지에서 추출된 out/source-crs 디렉터리에 대해 다음 명령을 실행합니다. 

$ grep -r "ztp-deploy-wave" out/source-crs
Copy to Clipboard Toggle word wrap
단계 라벨

ClusterGroupUpgrade CR은 자동으로 생성되며 ZTP 프로세스의 시작 및 종료 시 라벨을 사용하여 ManagedCluster CR에 주석을 답니다.

ZTP 구성 후 설치가 시작되면 ManagedCluster 에 ztp-running 레이블이 적용됩니다. 모든 정책이 클러스터로 수정되고 완전히 호환되면 이러한 지시문으로 인해 TALM이 ztp-running 레이블을 제거하고 ztp-done 레이블을 적용합니다.

informDuValidator 정책을 사용하는 배포의 경우 클러스터가 애플리케이션 배포를 완전히 준비할 때 ztp-done 레이블이 적용됩니다. 여기에는 ZTP 적용 구성 CR의 모든 조정 및 결과 효과가 포함됩니다. ztp-done 레이블은 TALM의 자동 ClusterGroupUpgrade CR 생성에 영향을 미칩니다. 클러스터의 초기 ZTP 설치 후 이 라벨을 조작하지 마십시오.

연결된 CR
자동으로 생성된 ClusterGroupUpgrade CR에는 파생된 ManagedCluster 로 설정된 소유자 참조가 있습니다. 이 참조를 사용하면 ManagedCluster CR을 삭제하면 지원 리소스와 함께 ClusterGroupUpgrade 인스턴스가 삭제됩니다.

22.3.2. ZTP를 사용하여 관리형 클러스터 배포 개요
링크 복사

RHACM(Red Hat Advanced Cluster Management)은 zero touch provisioning(ZTP)을 사용하여 단일 노드 OpenShift Container Platform 클러스터, 3노드 클러스터 및 표준 클러스터를 배포합니다. Git 리포지토리에서 사이트 구성 데이터를 OpenShift Container Platform CR(사용자 정의 리소스)으로 관리합니다. ZTP는 선언적 GitOps 접근 방식을 사용하여 한 번 개발하여 관리 클러스터를 배포합니다.

클러스터 배포에는 다음이 포함됩니다.

  • 빈 서버에 호스트 운영 체제(RHCOS) 설치
  • OpenShift Container Platform 배포
  • 클러스터 정책 및 사이트 서브스크립션 생성
  • 서버 운영 체제에 필요한 네트워크 구성
  • 프로필 Operator 배포 및 성능 프로필, PTP 및 SR-IOV와 같은 필요한 소프트웨어 관련 구성 수행
관리되는 사이트 설치 프로세스 개요

hub 클러스터에서 관리 사이트 CR(사용자 정의 리소스)을 적용하면 다음 작업이 자동으로 수행됩니다.

  1. 검색 이미지 ISO 파일이 생성되어 대상 호스트에서 부팅됩니다.
  2. ISO 파일이 대상 호스트에서 성공적으로 부팅되면 호스트 하드웨어 정보를 RHACM에 보고합니다.
  3. 모든 호스트가 발견되면 OpenShift Container Platform이 설치됩니다.
  4. OpenShift Container Platform 설치가 완료되면 허브가 대상 클러스터에 klusterlet 서비스를 설치합니다.
  5. 요청된 애드온 서비스가 대상 클러스터에 설치되어 있습니다.

hub 클러스터에서 관리 클러스터의 에이전트 CR이 생성되면 검색 이미지 ISO 프로세스가 완료됩니다.

중요

대상 베어 메탈 호스트는 vDU 애플리케이션 워크로드에 대한 권장 단일 노드 OpenShift 클러스터 구성에 나열된 네트워킹, 펌웨어 및 하드웨어 요구 사항을 충족해야 합니다.

22.3.3. 관리형 베어 메탈 호스트 시크릿 생성
링크 복사

관리 베어 메탈 호스트에 필요한 Secret CR(사용자 정의 리소스)을 hub 클러스터에 추가합니다. 레지스트리에서 클러스터 설치 이미지를 가져오기 위해 BMC(Baseboard Management Controller) 및 지원 설치 서비스 시크릿에 액세스하려면 ZTP 파이프라인의 시크릿이 필요합니다.

참고

보안은 이름으로 site Config CR 에서 참조됩니다. 네임스페이스는 SiteConfig 네임스페이스와 일치해야 합니다.

절차

  1. OpenShift 및 모든 애드온 클러스터 Operator를 설치하는 데 필요한 BMC(Host Baseboard Management Controller) 및 풀 시크릿(pull secret)의 인증 정보가 포함된 YAML 시크릿 파일을 생성합니다.

    1. 다음 YAML을 example-sno-secret.yaml 파일로 저장합니다. 

      apiVersion: v1
kind: Secret
metadata:
  name: example-sno-bmc-secret
  namespace: example-sno
      1 
      
data:
      2 
      
  password: <base64_password>
  username: <base64_username>
type: Opaque
---
apiVersion: v1
kind: Secret
metadata:
  name: pull-secret
  namespace: example-sno
      3 
      
data:
  .dockerconfigjson: <pull_secret>
      4 
      
type: kubernetes.io/dockerconfigjson
      Copy to Clipboard Toggle word wrap
      1
      관련 site Config CR에 구성된 네임스페이스와 일치해야 합니다.
      2
      암호 및 사용자이름에 대한 base64로 인코딩된 값
      3
      관련 site Config CR에 구성된 네임스페이스와 일치해야 합니다.
      4
      base64로 인코딩된 풀 시크릿
  2. 클러스터를 설치하는 데 사용하는 kustomization.yaml 파일에 상대 경로를 example-sno-secret.yaml 에 추가합니다.

22.3.4. siteConfig 및 ZTP를 사용하여 관리형 클러스터 배포
링크 복사

다음 절차에 따라 site Config CR(사용자 정의 리소스) 및 관련 파일을 생성하고 zero touch provisioning (ZTP) 클러스터 배포를 시작합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • 필요한 설치 및 정책 CR을 생성하기 위해 hub 클러스터를 구성하셨습니다.

  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 ArgoCD 애플리케이션의 소스 리포지토리로 구성해야 합니다. 자세한 내용은 "GITOP ZTP 사이트 구성 리포지토리 준비"를 참조하십시오.

    참고

    소스 리포지토리를 생성할 때 ztp-site-generate 컨테이너에서 추출한 argocd/deployment/argocd-openshift-gitops-patch.json patch-file을 사용하여 ArgoCD 애플리케이션을 패치해야 합니다. " ArgoCD를 사용하여 hub 클러스터 구성"을 참조하십시오.

  • 관리 클러스터를 프로비저닝할 준비를 하려면 각 베어 메탈 호스트에 대해 다음이 필요합니다.

    네트워크 연결
    네트워크에는 DNS가 필요합니다. hub 클러스터에서 관리 클러스터 호스트에 연결할 수 있어야 합니다. hub 클러스터와 관리 클러스터 호스트 간에 계층 3 연결이 있는지 확인합니다.
    BMC(Baseboard Management Controller) 세부 정보
    ZTP는 BMC 사용자 이름과 암호 세부 정보를 사용하여 클러스터 설치 중에 BMC에 연결합니다. GitOps ZTP 플러그인은 사이트 Git 리포지토리의 site Config CR을 기반으로 hub 클러스터에서 ManagedCluster CR을 관리합니다. 각 호스트에 대해 개별 BMCSecret CR을 수동으로 생성합니다.

    절차

    1. hub 클러스터에서 필요한 관리 클러스터 시크릿을 생성합니다. 이러한 리소스는 클러스터 이름과 일치하는 이름이 있는 네임스페이스에 있어야 합니다. 예를 들어 out/argocd/example/siteconfig/example-sno.yaml 에서 클러스터 이름과 네임스페이스는 example-sno 입니다.

      1. 다음 명령을 실행하여 클러스터 네임스페이스를 내보냅니다. 

        $ export CLUSTERNS=example-sno
        Copy to Clipboard Toggle word wrap

      2. 네임스페이스를 생성합니다. 

        $ oc create namespace $CLUSTERNS
        Copy to Clipboard Toggle word wrap

    2. 관리형 클러스터의 pull secret 및 BMC Secret CR을 생성합니다. 풀 시크릿에는 OpenShift Container Platform 및 모든 필수 Operator 설치에 필요한 모든 인증 정보가 포함되어야 합니다. 자세한 내용은 "관리된 베어 메탈 호스트 시크릿 생성"을 참조하십시오.

      참고

      보안은 이름별로 SiteConfig CR(사용자 정의 리소스)에서 참조합니다. 네임스페이스는 SiteConfig 네임스페이스와 일치해야 합니다.

    3. Git 리포지토리의 로컬 복제본에 클러스터용 SiteConfig CR을 생성합니다.

      1. out/argocd/example/siteconfig/ 디렉터리에서 CR에 대한 적절한 예제를 선택합니다. 폴더에는 단일 노드, 3-노드 및 표준 클러스터의 예제 파일이 포함되어 있습니다.

        • example-sno.yaml
        • example-3node.yaml
        • example-standard.yaml

      2. 예제 파일의 클러스터와 호스트 세부 정보를 원하는 클러스터 유형과 일치하도록 변경합니다. 예를 들어 다음과 같습니다.

        단일 노드 OpenShift 클러스터 siteConfig CR의 예

        apiVersion: ran.openshift.io/v1
kind: SiteConfig
metadata:
  name: "<site_name>"
  namespace: "<site_name>"
spec:
  baseDomain: "example.com"
  pullSecretRef:
    name: "assisted-deployment-pull-secret"
        1 
        
  clusterImageSetNameRef: "openshift-4.11"
        2 
        
  sshPublicKey: "ssh-rsa AAAA..."
        3 
        
  clusters:
  - clusterName: "<site_name>"
    networkType: "OVNKubernetes"
    clusterLabels:
        4 
        
      common: true
      group-du-sno: ""
      sites : "<site_name>"
    clusterNetwork:
      - cidr: 1001:1::/48
        hostPrefix: 64
    machineNetwork:
      - cidr: 1111:2222:3333:4444::/64
    serviceNetwork:
      - 1001:2::/112
    additionalNTPSources:
      - 1111:2222:3333:4444::2
    #crTemplates:
    #  KlusterletAddonConfig: "KlusterletAddonConfigOverride.yaml"
        5 
        
    nodes:
      - hostName: "example-node.example.com"
        6 
        
        role: "master"
        bmcAddress: idrac-virtualmedia://<out_of_band_ip>/<system_id>/
        7 
        
        bmcCredentialsName:
          name: "bmh-secret"
        8 
        
        bootMACAddress: "AA:BB:CC:DD:EE:11"
        bootMode: "UEFI"
        9 
        
        rootDeviceHints:
          wwn: "0x11111000000asd123"
        cpuset: "0-1,52-53"
        10 
        
        nodeNetwork:
        11 
        
          interfaces:
            - name: eno1
              macAddress: "AA:BB:CC:DD:EE:11"
          config:
            interfaces:
              - name: eno1
                type: ethernet
                state: up
                ipv4:
                  enabled: false
                ipv6:
        12 
        
                  enabled: true
                  address:
                  - ip: 1111:2222:3333:4444::aaaa:1
                    prefix-length: 64
            dns-resolver:
              config:
                search:
                - example.com
                server:
                - 1111:2222:3333:4444::2
            routes:
              config:
              - destination: ::/0
                next-hop-interface: eno1
                next-hop-address: 1111:2222:3333:4444::1
                table-id: 254
        Copy to Clipboard Toggle word wrap

        1
        site Config CR과 동일한 네임스페이스를 사용하여 assisted-deployment-pull-secret CR 을 생성합니다.
        2
        clusterImageSetNameRef 는 hub 클러스터에서 사용 가능한 이미지 세트를 정의합니다. hub 클러스터에서 지원되는 버전 목록을 보려면 oc get clusterimagesets 를 실행합니다.
        3
        클러스터에 액세스하는 데 사용되는 SSH 공개 키를 구성합니다.
        4
        클러스터 레이블은 사용자가 정의한 PolicyGenTemplate CR의 bindingRules 필드에 대응해야 합니다. 예를 들어 policygentemplates/common-ranGen.yaml 은 common: true set, policygentemplates/group-du-sno-ranGen.yaml 이 group-du-sno: "" 가 설정된 모든 클러스터에 적용됩니다.
        5
        선택사항입니다. KlusterletAddonConfig 아래에 있는 CR 사양을 사용하여 클러스터에 대해 생성된 기본 KlusterletAddonConfig 를 덮어씁니다.
        6
        단일 노드 배포의 경우 단일 호스트를 정의합니다. 3-노드 배포의 경우 3개의 호스트를 정의합니다. 표준 배포의 경우 master와 role 으로 정의된 두 개 이상의 호스트인 worker 를 사용하여 3개의 호스트를 정의합니다.
        7
        호스트에 액세스하는 데 사용하는 BMC 주소입니다. 모든 클러스터 유형에 적용됩니다.
        8
        호스트 BMC 자격 증명을 사용하여 별도로 생성하는 bmh-secret CR의 이름입니다. bmh-secret CR을 생성할 때 호스트를 프로비저닝하는 site Config CR 과 동일한 네임스페이스를 사용합니다.
        9
        호스트의 부팅 모드를 구성합니다. 기본값은 UEFI 입니다. UEFISecureBoot 를 사용하여 호스트에서 보안 부팅을 활성화합니다.
        10
        cpuset 는 워크로드 파티셔닝을 위해 클러스터 PerformanceProfile CR spec.cpu.reserved 필드에 설정된 값과 일치해야 합니다.
        11
        노드의 네트워크 설정을 지정합니다.
        12
        호스트의 IPv6 주소를 구성합니다. 고정 IP 주소가 있는 단일 노드 OpenShift 클러스터의 경우 노드별 API 및 Ingress IP가 동일해야 합니다.
        참고

        BMC 주소 지정에 대한 자세한 내용은 "ECDHE 리소스" 섹션을 참조하십시오.

      3. out/argocd/extra-manifest 에서 기본 extra-manifest MachineConfig CR 세트를 검사할 수 있습니다. 이는 설치 시 클러스터에 자동으로 적용됩니다.
      4. 선택 사항: 프로비저닝된 클러스터에서 추가 설치 시간 매니페스트를 프로비저닝하려면 Git 리포지토리에 디렉터리(예: sno-extra-manifest/ )를 생성하고 사용자 정의 매니페스트 CR을 이 디렉터리에 추가합니다. SiteConfig.yaml 이 extraManifestPath 필드에서 이 디렉터리를 참조하는 경우 이 참조되는 디렉터리의 모든 CR이 기본 매니페스트 세트에 추가됩니다.
    4. out/argocd/example/siteconfig/ kustomization.yaml 에 표시된 예와 유사하게 generators 섹션의 kustomization.yaml 파일에 SiteConfig CR을 추가합니다.

    5. Git 리포지토리 에서 siteConfig CR 및 관련 kustomization.yaml 변경 사항을 커밋하고 변경 사항을 내보냅니다.

      ArgoCD 파이프라인은 변경 사항을 감지하고 관리형 클러스터 배포를 시작합니다.

22.3.5. 관리형 클러스터 설치 진행 상황 모니터링
링크 복사

ArgoCD 파이프라인은 siteConfig CR을 사용하여 클러스터 구성 CR을 생성하고 hub 클러스터와 동기화합니다. ArgoCD 대시보드에서 동기화 진행 상황을 모니터링할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

동기화가 완료되면 설치는 일반적으로 다음과 같이 진행됩니다.

  1. Assisted Service Operator는 클러스터에 OpenShift Container Platform을 설치합니다. RHACM 대시보드 또는 명령줄에서 다음 명령을 실행하여 클러스터 설치 진행 상황을 모니터링할 수 있습니다.

    1. 클러스터 이름을 내보냅니다. 

      $ export CLUSTER=<clusterName>
      Copy to Clipboard Toggle word wrap

    2. 관리 클러스터의 AgentClusterInstall CR을 쿼리합니다. 

      $ oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.conditions[?(@.type=="Completed")]}' | jq
      Copy to Clipboard Toggle word wrap

    3. 클러스터의 설치 이벤트를 가져옵니다. 

      $ curl -sk $(oc get agentclusterinstall -n $CLUSTER $CLUSTER -o jsonpath='{.status.debugInfo.eventsURL}')  | jq '.[-2,-1]'
      Copy to Clipboard Toggle word wrap

22.3.6. 설치 CR을 검증하여 GitOps ZTP 문제 해결
링크 복사

ArgoCD 파이프라인은 site Config 및 PolicyGenTemplate 사용자 정의 리소스(CR)를 사용하여 클러스터 구성 CR 및 RHACM(Red Hat Advanced Cluster Management) 정책을 생성합니다. 다음 단계를 사용하여 이 프로세스 중에 발생할 수 있는 문제를 해결합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. 다음 명령을 사용하여 설치 CR이 생성되었는지 확인합니다. 

    $ oc get AgentClusterInstall -n <cluster_name>
    Copy to Clipboard Toggle word wrap

    반환된 오브젝트가 없는 경우 다음 단계를 사용하여 site Config 파일에서 설치 CR로의 ArgoCD 파이프라인 흐름 문제를 해결합니다.

  2. hub 클러스터에서 site Config CR을 사용하여 ManagedCluster CR이 생성되었는지 확인합니다. 

    $ oc get managedcluster
    Copy to Clipboard Toggle word wrap

  3. ManagedCluster 가 누락된 경우 클러스터 애플리케이션이 Git 리포지토리에서 hub 클러스터와 파일을 동기화하지 못하는지 확인합니다. 

    $ oc describe -n openshift-gitops application clusters
    Copy to Clipboard Toggle word wrap

    1. Status.Conditions 필드가 있는지 확인하여 관리형 클러스터의 오류 로그를 확인합니다. 예를 들어, site Config CR에서 extraManifestPath: 에 유효하지 않은 값을 설정하면 다음 오류가 발생합니다. 

      Status:
  Conditions:
    Last Transition Time:  2021-11-26T17:21:39Z
    Message:               rpc error: code = Unknown desc = `kustomize build /tmp/https___git.com/ran-sites/siteconfigs/ --enable-alpha-plugins` failed exit status 1: 2021/11/26 17:21:40 Error could not create extra-manifest ranSite1.extra-manifest3 stat extra-manifest3: no such file or directory 2021/11/26 17:21:40 Error: could not build the entire SiteConfig defined by /tmp/kust-plugin-config-913473579: stat extra-manifest3: no such file or directory Error: failure in plugin configured via /tmp/kust-plugin-config-913473579; exit status 1: exit status 1
    Type:  ComparisonError
      Copy to Clipboard Toggle word wrap

    2. Status.Sync 필드를 확인합니다. 로그 오류가 있는 경우 Status.Sync 필드에 Unknown 오류가 표시될 수 있습니다. 

      Status:
  Sync:
    Compared To:
      Destination:
        Namespace:  clusters-sub
        Server:     https://kubernetes.default.svc
      Source:
        Path:             sites-config
        Repo URL:         https://git.com/ran-sites/siteconfigs/.git
        Target Revision:  master
    Status:               Unknown
      Copy to Clipboard Toggle word wrap

22.3.7. Supermicro 서버에서 {ztp} 가상 미디어 부팅 문제 해결
링크 복사

Supermicro X11 서버는 https 프로토콜을 사용하여 이미지를 제공하는 경우 가상 미디어 설치를 지원하지 않습니다. 결과적으로 이 환경의 단일 노드 OpenShift 배포가 대상 노드에서 부팅되지 않습니다. 이 문제를 방지하려면 hub 클러스터에 로그인하고 프로비저닝 리소스에서 TLS(Transport Layer Security)를 비활성화합니다. 이렇게 하면 이미지 주소가 https 스키마를 사용하더라도 TLS로 이미지가 제공되지 않습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. 다음 명령을 실행하여 프로비저닝 리소스에서 TLS를 비활성화합니다. 

    $ oc patch provisioning provisioning-configuration --type merge -p '{"spec":{"disableVirtualMediaTLS": true}}'
    Copy to Clipboard Toggle word wrap
  2. 단일 노드 OpenShift 클러스터를 배포하려면 단계를 계속합니다.

22.3.8. ZTP 파이프라인에서 관리형 클러스터 사이트 제거
링크 복사

ZTP 파이프라인에서 관리되는 사이트 및 관련 설치 및 구성 정책 CR을 제거할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. kustomization.yaml 파일에서 관련 site Config 및 PolicyGenTemplate 파일을 제거하여 사이트 및 관련 CR을 제거합니다.

    ZTP 파이프라인을 다시 실행하면 생성된 CR이 제거됩니다.

  2. 선택 사항: 사이트를 영구적으로 제거하려면 Git 리포지토리에서 site Config 및 사이트별 PolicyGenTemplate 파일도 제거해야 합니다.
  3. 선택 사항: 사이트를 임시로 제거하려면 예를 들어 사이트를 재배포할 때 사이트별 PolicyGenTemplate CR을 Git 리포지토리에 남겨 둘 수 있습니다.
참고

Git 리포지토리에서 site Config 파일을 제거한 후 해당 클러스터가 분리 프로세스에 있는 경우 hub 클러스터에서 RHACM(Red Hat Advanced Cluster Management)을 확인하고 분리된 클러스터를 정리하는 방법에 대한 정보를 확인합니다.

22.3.9. ZTP 파이프라인에서 더 이상 사용되지 않는 콘텐츠 제거
링크 복사

PolicyGenTemplate 구성을 변경하면 정책과 같이 더 이상 사용되지 않는 정책이 생성되는 경우 다음 절차를 사용하여 더 이상 사용되지 않는 정책을 제거합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. Git 리포지토리에서 영향을 받는 PolicyGenTemplate 파일을 제거하고 원격 리포지토리로 커밋하고 내보냅니다.
  2. 애플리케이션 및 영향을 받는 정책이 hub 클러스터에서 제거될 때까지 변경 사항이 동기화될 때까지 기다립니다.

  3. 업데이트된 PolicyGenTemplate 파일을 Git 리포지토리에 다시 추가한 다음 원격 리포지토리를 커밋하고 내보냅니다.

    참고

    Git 리포지토리에서 zero touch provisioning(ZTP) 정책을 제거하면 hub 클러스터에서도 해당 정책을 제거하면 관리 클러스터 구성에 영향을 미치지 않습니다. 해당 정책에서 관리하는 정책 및 CR은 관리형 클러스터에서 유지됩니다.

  4. 선택 사항: 더 이상 사용되지 않는 정책을 생성하는 PolicyGenTemplate CR을 변경한 후 허브 클러스터에서 이러한 정책을 수동으로 제거할 수 있습니다. Governance 탭을 사용하거나 다음 명령을 실행하여 RHACM 콘솔에서 정책을 삭제할 수 있습니다. 

    $ oc delete policy -n <namespace> <policy_name>
    Copy to Clipboard Toggle word wrap

22.3.10. ZTP 파이프라인 제거
링크 복사

ArgoCD 파이프라인 및 생성된 모든 ZTP 아티팩트를 제거할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. hub 클러스터의 RHACM(Red Hat Advanced Cluster Management)에서 모든 클러스터를 분리합니다.

  2. 다음 명령을 사용하여 배포 디렉터리에서 kustomization.yaml 파일을 삭제합니다. 

    $ oc delete -k out/argocd/deployment
    Copy to Clipboard Toggle word wrap
  3. 변경 사항을 커밋하고 사이트 리포지토리로 내보냅니다.

22.4. 정책 및 PolicyGenTemplate 리소스를 사용하여 관리형 클러스터 구성
링크 복사

적용된 정책 CR(사용자 정의 리소스)은 프로비저닝하는 관리형 클러스터를 구성합니다. RHACM(Red Hat Advanced Cluster Management)에서 PolicyGenTemplate CR을 사용하여 적용된 정책 CR을 생성하는 방법을 사용자 지정할 수 있습니다.

22.4.1. PolicyGenTemplate CRD 정보
링크 복사

PolicyGenTemplate CRD(사용자 정의 리소스 정의)는 PolicyGen 정책 생성기에 클러스터 구성에 포함할 CR(사용자 정의 리소스), CR을 생성된 정책에 결합하는 방법, 오버레이 콘텐츠를 사용하여 업데이트해야 하는 항목을 지시합니다.

다음 예제에서는 ztp-site-generate 참조 컨테이너에서 추출된 PolicyGenTemplate CR(common-du-ranGen.yaml)을 보여줍니다. common-du-ranGen.yaml 파일은 RHACM(Red Hat Advanced Cluster Management) 정책을 정의합니다. 정책은 CR에서 policyName 의 각 고유한 값에 대해 구성 CR 컬렉션을 관리합니다. common-du-ranGen.yaml 은 단일 배치 바인딩과 바인딩 규칙을 생성하여 bindingRules 섹션에 나열된 레이블을 기반으로 정책을 클러스터에 바인딩합니다.

PolicyGenTemplate CR - common-du-ranGen.yaml

---
apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "common"
  namespace: "ztp-common"
spec:
  bindingRules:
    common: "true"
1 

  sourceFiles:
2 

    - fileName: SriovSubscription.yaml
      policyName: "subscriptions-policy"
    - fileName: SriovSubscriptionNS.yaml
      policyName: "subscriptions-policy"
    - fileName: SriovSubscriptionOperGroup.yaml
      policyName: "subscriptions-policy"
    - fileName: SriovOperatorStatus.yaml
      policyName: "subscriptions-policy"
    - fileName: PtpSubscription.yaml
      policyName: "subscriptions-policy"
    - fileName: PtpSubscriptionNS.yaml
      policyName: "subscriptions-policy"
    - fileName: PtpSubscriptionOperGroup.yaml
      policyName: "subscriptions-policy"
    - fileName: PtpOperatorStatus.yaml
      policyName: "subscriptions-policy"
    - fileName: ClusterLogNS.yaml
      policyName: "subscriptions-policy"
    - fileName: ClusterLogOperGroup.yaml
      policyName: "subscriptions-policy"
    - fileName: ClusterLogSubscription.yaml
      policyName: "subscriptions-policy"
    - fileName: ClusterLogOperatorStatus.yaml
      policyName: "subscriptions-policy"
    - fileName: StorageNS.yaml
      policyName: "subscriptions-policy"
    - fileName: StorageOperGroup.yaml
      policyName: "subscriptions-policy"
    - fileName: StorageSubscription.yaml
      policyName: "subscriptions-policy"
    - fileName: StorageOperatorStatus.yaml
      policyName: "subscriptions-policy"
    - fileName: ReduceMonitoringFootprint.yaml
      policyName: "config-policy"
    - fileName: OperatorHub.yaml
3 

      policyName: "config-policy"
    - fileName: DefaultCatsrc.yaml
4 

      policyName: "config-policy"
5 

      metadata:
        name: redhat-operators
      spec:
        displayName: disconnected-redhat-operators
        image: registry.example.com:5000/disconnected-redhat-operators/disconnected-redhat-operator-index:v4.9
    - fileName: DisconnectedICSP.yaml
      policyName: "config-policy"
      spec:
        repositoryDigestMirrors:
        - mirrors:
          - registry.example.com:5000
          source: registry.redhat.io
Copy to Clipboard Toggle word wrap

1
Common: "true" 는 이 레이블이 있는 모든 클러스터에 정책을 적용합니다.
2
sourceFiles 에 나열된 파일은 설치된 클러스터에 대한 Operator 정책을 생성합니다.
3
OperatorHub.yaml 은 연결이 끊긴 레지스트리에 대한 OperatorHub를 구성합니다.
4
DefaultCatsrc.yaml 은 연결이 끊긴 레지스트리의 카탈로그 소스를 구성합니다.
5
PolicyName: "config-policy" 는 Operator 서브스크립션을 구성합니다. OperatorHub CR은 기본값을 비활성화하고 이 CR은 redhat-operators 를 연결이 끊긴 레지스트리를 가리키는 CatalogSource CR로 대체합니다.

PolicyGenTemplate CR은 포함된 여러 CR로 구성할 수 있습니다. hub 클러스터에 다음 예제 CR을 적용하여 단일 CR을 포함하는 정책을 생성합니다. 

apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "group-du-sno"
  namespace: "ztp-group"
spec:
  bindingRules:
    group-du-sno: ""
  mcp: "master"
  sourceFiles:
    - fileName: PtpConfigSlave.yaml
      policyName: "config-policy"
      metadata:
        name: "du-ptp-slave"
      spec:
        profile:
        - name: "slave"
          interface: "ens5f0"
          ptp4lOpts: "-2 -s --summary_interval -4"
          phc2sysOpts: "-a -r -n 24"
Copy to Clipboard Toggle word wrap

소스 파일 PtpConfigSlave.yaml 을 예로 사용하여 파일은 PtpConfig CR을 정의합니다. PtpConfigSlave 예제에 대해 생성된 정책의 이름은 group-du-sno-config-policy 입니다. 생성된 group-du-sno-config-policy 에 정의된 PtpConfig CR의 이름은 du-ptp-slave 입니다. PtpConfigSlave.yaml 에 정의된 사양 은 소스 파일에 정의된 다른 사양 항목과 함께 du-ptp-slave 아래에 배치됩니다.

다음 예제에서는 group-du-sno-config-policy CR을 보여줍니다. 

apiVersion: policy.open-cluster-management.io/v1
kind: Policy
metadata:
  name: group-du-ptp-config-policy
  namespace: groups-sub
  annotations:
    policy.open-cluster-management.io/categories: CM Configuration Management
    policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
    policy.open-cluster-management.io/standards: NIST SP 800-53
spec:
    remediationAction: inform
    disabled: false
    policy-templates:
        - objectDefinition:
            apiVersion: policy.open-cluster-management.io/v1
            kind: ConfigurationPolicy
            metadata:
                name: group-du-ptp-config-policy-config
            spec:
                remediationAction: inform
                severity: low
                namespaceselector:
                    exclude:
                        - kube-*
                    include:
                        - '*'
                object-templates:
                    - complianceType: musthave
                      objectDefinition:
                        apiVersion: ptp.openshift.io/v1
                        kind: PtpConfig
                        metadata:
                            name: du-ptp-slave
                            namespace: openshift-ptp
                        spec:
                            recommend:
                                - match:
                                - nodeLabel: node-role.kubernetes.io/worker-du
                                  priority: 4
                                  profile: slave
                            profile:
                                - interface: ens5f0
                                  name: slave
                                  phc2sysOpts: -a -r -n 24
                                  ptp4lConf: |
                                    [global]
                                    #
                                    # Default Data Set
                                    #
                                    twoStepFlag 1
                                    slaveOnly 0
                                    priority1 128
                                    priority2 128
                                    domainNumber 24
                                    .....
Copy to Clipboard Toggle word wrap

22.4.2. PolicyGenTemplate CR을 사용자 정의할 때 권장 사항
링크 복사

사이트 구성 PolicyGenTemplate 사용자 정의 리소스(CR)를 사용자 정의할 때 다음 모범 사례를 고려하십시오.

  • 필요한 경우 몇 가지 정책을 사용하십시오. 정책을 더 적게 사용하려면 리소스를 줄일 수 있습니다. 각 추가 정책은 hub 클러스터 및 배포된 관리형 클러스터에 대한 오버헤드를 생성합니다. CR은 PolicyGenTemplate CR의 policyName 필드를 기반으로 정책과 결합됩니다. policyName 의 값이 동일한 동일한 PolicyGenTemplate 의 CR은 단일 정책으로 관리됩니다.
  • 연결이 끊긴 환경에서는 모든 Operator가 포함된 단일 인덱스로 레지스트리를 구성하여 모든 Operator에 대해 단일 카탈로그 소스를 사용합니다. 관리 클러스터의 추가 CatalogSource CR마다 CPU 사용량이 증가합니다.
  • MachineConfig CR은 설치 중에 적용되도록 SiteConfig CR에 추가Manifest 로 포함되어야 합니다. 이렇게 하면 클러스터가 애플리케이션을 배포할 준비가 될 때까지 전체 시간이 단축될 수 있습니다.
  • PolicyGenTemplates 는 원하는 버전을 명시적으로 식별하기 위해 channel 필드를 재정의해야 합니다. 이렇게 하면 업그레이드 중 소스 CR의 변경 사항이 생성된 서브스크립션을 업데이트하지 않습니다.
참고

hub 클러스터에서 많은 수의 통화 클러스터를 관리할 때 리소스 사용량을 줄이기 위한 정책 수를 최소화합니다.

여러 구성 CR을 단일 또는 제한된 정책 수로 그룹화하는 것은 hub 클러스터의 전체 정책 수를 줄이는 한 가지 방법입니다. 사이트 구성 관리 정책의 공통, 그룹 및 사이트 계층을 사용하는 경우 사이트별 구성을 단일 정책으로 결합하는 것이 특히 중요합니다.

22.4.3. RAN 배포를 위한 PolicyGenTemplate CR
링크 복사

PGT( PolicyGenTemplate ) 사용자 정의 리소스(CR)를 사용하여 GitOps zero touch provisioning(ZTP) 파이프라인을 사용하여 클러스터에 적용된 구성을 사용자 지정합니다. PGT CR을 사용하면 클러스터에서 구성 CR 세트를 관리하기 위해 하나 이상의 정책을 생성할 수 있습니다. PGT는 관리형 CR 세트를 식별하고, 이를 정책으로 번들하고, 해당 CR을 기반으로 정책을 빌드하며, 라벨 바인딩 규칙을 사용하여 정책을 클러스터와 연결합니다.

GitOps ZTP 컨테이너에서 얻은 참조 구성은 클러스터가 RAN(Radio Access Network) 분산 장치(DU) 애플리케이션의 일반적인 성능 및 리소스 사용률 제약 조건을 지원할 수 있도록 중요한 기능 및 노드 튜닝 설정 세트를 제공하도록 설계되었습니다. 기본 구성의 변경 또는 누락은 기능 가용성, 성능 및 리소스 사용률에 영향을 줄 수 있습니다. 참조 PolicyGenTemplate CR을 기반으로 사용하여 특정 사이트 요구 사항에 맞게 구성 파일의 계층을 생성합니다.

RAN DU 클러스터 구성에 대해 정의된 기준의 PolicyGenTemplate CR은 GitOps ZTP ztp-site-generate 컨테이너에서 추출할 수 있습니다. 자세한 내용은 " GitOps ZTP 사이트 구성 리포지토리 준비"를 참조하십시오.

PolicyGenTemplate CR은 ./out/argocd/example/policygentemplates 폴더에 있습니다. 참조 아키텍처에는 공통, 그룹 및 사이트별 구성 CR이 있습니다. 각 PolicyGenTemplate CR은 ./out/source-crs 폴더에 있는 다른 CR을 나타냅니다.

RAN 클러스터 구성과 관련된 PolicyGenTemplate CR은 아래에 설명되어 있습니다. PolicyGenTemplate CR은 단일 노드, 3 노드 컴팩트 및 표준 클러스터 구성의 차이점을 설명하기 위해 그룹 PolicyGenTemplate CR에 대해 제공됩니다. 마찬가지로 단일 노드 클러스터 및 다중 노드(컴파일 또는 표준) 클러스터에 사이트별 구성 변형이 제공됩니다. 배포와 관련된 그룹 및 사이트별 구성 변형을 사용합니다.

Expand
표 22.3. RAN 배포를 위한 PolicyGenTemplate CR
PolicyGenTemplate CR설명

example-multinode-site.yaml

다중 노드 클러스터에 적용할 CR 세트가 포함되어 있습니다. 이러한 CR은 RAN 설치에 일반적인 SR-IOV 기능을 구성합니다.

example-sno-site.yaml

단일 노드 OpenShift 클러스터에 적용되는 CR 세트가 포함되어 있습니다. 이러한 CR은 RAN 설치에 일반적인 SR-IOV 기능을 구성합니다.

common-ranGen.yaml

모든 클러스터에 적용되는 공통 RAN CR 세트를 포함합니다. 이러한 CR은 RAN과 기본 클러스터 튜닝에 대한 일반적인 클러스터 기능을 제공하는 운영자 세트를 구독합니다.

group-du-3node-ranGen.yaml

3-노드 클러스터에 대한 RAN 정책만 포함합니다.

group-du-sno-ranGen.yaml

단일 노드 클러스터에 대한 RAN 정책만 포함합니다.

group-du-standard-ranGen.yaml

표준 3개의 컨트롤 플레인 클러스터에 대한 RAN 정책을 포함합니다.

group-du-3node-validator-ranGen.yaml

3-노드 클러스터에 필요한 다양한 정책을 생성하는 데 사용되는 PolicyGenTemplate CR

group-du-standard-validator-ranGen.yaml

PolicyGenTemplate CR은 표준 클러스터에 필요한 다양한 정책을 생성하는 데 사용됩니다.

group-du-sno-validator-ranGen.yaml

PolicyGenTemplate CR은 단일 노드 OpenShift 클러스터에 필요한 다양한 정책을 생성하는 데 사용됩니다.

22.4.4. PolicyGenTemplate CR을 사용하여 관리형 클러스터 사용자 정의
링크 복사

다음 절차에 따라 zero touch provisioning(ZTP) 파이프라인을 사용하여 프로비저닝하는 관리형 클러스터에 적용되는 정책을 사용자 지정합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • 필요한 설치 및 정책 CR을 생성하기 위해 hub 클러스터를 구성하셨습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.

절차

  1. 사이트별 구성 CR에 대한 PolicyGenTemplate CR을 생성합니다.

    1. out/argocd/example/policygentemplates 폴더(예: example-sno-site.yaml 또는 example-multinode-site.yaml )에서 CR에 대한 적절한 예를 선택합니다.

    2. 예제 파일의 바인딩Rules 필드를 site Config CR에 포함된 사이트별 레이블과 일치하도록 변경합니다. 예제 site Config 파일에서 사이트 별 레이블은 sites: example-sno 입니다.

      참고

      PolicyGenTemplate bindingRules 필드에 정의된 레이블이 관련 관리 클러스터 site Config CR에 정의된 라벨과 일치하는지 확인합니다.

    3. 예제 파일의 내용을 원하는 구성과 일치하도록 변경합니다.

  2. 선택 사항: 전체 클러스터에 적용되는 공통 구성 CR에 대해 PolicyGenTemplate CR을 생성합니다.

    1. out/argocd/example/policygentemplates 폴더에 있는 CR에 대한 적절한 예를 선택합니다(예: common-ranGen.yaml ).
    2. 예제 파일의 내용을 원하는 구성과 일치하도록 변경합니다.

  3. 선택 사항: 플롯의 특정 클러스터 그룹에 적용되는 모든 그룹 구성 CR에 대해 PolicyGenTemplate CR을 생성합니다.

    오버라이드 사양 파일의 내용이 원하는 최종 상태와 일치하는지 확인합니다. out/source-crs 디렉터리에는 PolicyGenTemplate 템플릿에서 포함 및 덮어쓸 수 있는 source-crs의 전체 목록이 포함되어 있습니다.

    참고

    클러스터의 특정 요구 사항에 따라 클러스터 유형당 단일 그룹 정책이 필요할 수 있습니다. 특히 예제 그룹 정책에는 동일한 하드웨어 구성으로 구성된 클러스터 세트에서만 공유할 수 있는 단일 PerformancePolicy.yaml 파일이 있습니다.

    1. out/argocd/example/policygentemplates 폴더(예: group-du-sno-ranGen.yaml )에서 CR에 대한 적절한 예를 선택합니다.
    2. 예제 파일의 내용을 원하는 구성과 일치하도록 변경합니다.
  4. 선택사항입니다. 검증기를 생성하여 배포된 클러스터의 ZTP 설치 및 구성이 완료될 때 알리도록 정책 PolicyGenTemplate CR에 알릴 수 있습니다. 자세한 내용은 "Create a validator inform policy"를 참조하십시오.

  5. out/argocd/example/policygentemplates/ns.yaml 파일과 유사한 YAML 파일에 모든 정책 네임스페이스를 정의합니다.

    중요

    PolicyGenTemplate CR을 사용하여 동일한 파일에 Namespace CR을 포함하지 마십시오.

  6. out/argocd/example/policygentemplates/ kustomization.yaml 에 표시된 예제와 유사한 generators 섹션의 kustomization.yaml 파일에 PolicyGenTemplate CR 및 Namespace CR을 추가합니다.

  7. Git 리포지토리에 PolicyGenTemplate CR, 네임 스페이스 CR 및 관련 kustomization.yaml 파일을 커밋하고 변경 사항을 내보냅니다.

    ArgoCD 파이프라인은 변경 사항을 감지하고 관리형 클러스터 배포를 시작합니다. SiteConfig CR과 PolicyGenTemplate CR로 동시에 변경 사항을 푸시할 수 있습니다.

22.4.5. 관리형 클러스터 정책 배포 진행 상황 모니터링
링크 복사

ArgoCD 파이프라인은 Git에서 PolicyGenTemplate CR을 사용하여 RHACM 정책을 생성한 다음 hub 클러스터에 동기화합니다. 지원 서비스가 관리형 클러스터에 OpenShift Container Platform을 설치한 후 관리형 클러스터 정책 동기화의 진행 상황을 모니터링할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. Topology Aware Lifecycle Manager (TALM)는 클러스터에 바인딩된 구성 정책을 적용합니다.

    클러스터 설치가 완료되고 클러스터가 Ready 가 되면 이 클러스터에 해당하는 ClusterGroupUpgrade CR과 함께 ran.openshift.io/ztp-deploy-wave 주석 이 정의된 순서가 지정된 정책 목록이 TALM에 의해 자동으로 생성됩니다. 클러스터의 정책은 ClusterGroupUpgrade CR에 나열된 순서대로 적용됩니다.

    다음 명령을 사용하여 구성 정책 조정의 상위 수준 진행 상황을 모니터링할 수 있습니다. 

    $ export CLUSTER=<clusterName>
    Copy to Clipboard Toggle word wrap 
    $ oc get clustergroupupgrades -n ztp-install $CLUSTER -o jsonpath='{.status.conditions[-1:]}' | jq
    Copy to Clipboard Toggle word wrap

    출력 예

    {
  "lastTransitionTime": "2022-11-09T07:28:09Z",
  "message": "The ClusterGroupUpgrade CR has upgrade policies that are still non compliant",
  "reason": "UpgradeNotCompleted",
  "status": "False",
  "type": "Ready"
}
    Copy to Clipboard Toggle word wrap

  2. RHACM 대시보드 또는 명령줄을 사용하여 자세한 클러스터 정책 준수 상태를 모니터링할 수 있습니다.

    1. oc 를 사용하여 정책 준수를 확인하려면 다음 명령을 실행합니다. 

      $ oc get policies -n $CLUSTER
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                                                     REMEDIATION ACTION   COMPLIANCE STATE   AGE
ztp-common.common-config-policy                          inform               Compliant          3h42m
ztp-common.common-subscriptions-policy                   inform               NonCompliant       3h42m
ztp-group.group-du-sno-config-policy                     inform               NonCompliant       3h42m
ztp-group.group-du-sno-validator-du-policy               inform               NonCompliant       3h42m
ztp-install.example1-common-config-policy-pjz9s          enforce              Compliant          167m
ztp-install.example1-common-subscriptions-policy-zzd9k   enforce              NonCompliant       164m
ztp-site.example1-config-policy                          inform               NonCompliant       3h42m
ztp-site.example1-perf-policy                            inform               NonCompliant       3h42m
      Copy to Clipboard Toggle word wrap

    2. RHACM 웹 콘솔에서 정책 상태를 확인하려면 다음 작업을 수행합니다.

      1. 관리 → 정책 찾기를 클릭합니다.
      2. 클러스터 정책을 클릭하여 상태를 확인합니다.

모든 클러스터 정책이 호환되면 클러스터의 ZTP 설치 및 구성이 완료됩니다. ztp-done 레이블이 클러스터에 추가되었습니다.

참조 구성에서 준수되는 최종 정책은 *-du-validator-policy 정책에 정의된 정책입니다. 이 정책은 클러스터를 준수하는 경우 모든 클러스터 구성, Operator 설치 및 Operator 구성이 완료되었는지 확인합니다.

22.4.6. 구성 정책 CR 생성 검증
링크 복사

CR(Policy 사용자 정의 리소스)은 생성된 PolicyGenTemplate 과 동일한 네임스페이스에 생성됩니다. 다음 명령을 사용하여 표시된 대로 동일한 문제 해결 흐름은 ztp-common,ztp-group 또는 ztp-site 기반 여부에 관계없이 PolicyGenTemplate 에서 생성된 모든 정책 CR에 적용됩니다. 

$ export NS=<namespace>
Copy to Clipboard Toggle word wrap 
$ oc get policy -n $NS
Copy to Clipboard Toggle word wrap

정책 줄 바꿈 CR 세트가 표시되어야 합니다.

정책이 동기화에 실패한 경우 다음 문제 해결 단계를 사용하십시오.

절차

  1. 정책에 대한 자세한 정보를 표시하려면 다음 명령을 실행합니다. 

    $ oc describe -n openshift-gitops application policies
    Copy to Clipboard Toggle word wrap

  2. Status: Conditions: to show the error logs를 확인합니다. 예를 들어 유효하지 않은 sourceFile NetNamespacefileName 을 설정하면 아래 표시된 오류가 생성됩니다. 

    Status:
  Conditions:
    Last Transition Time:  2021-11-26T17:21:39Z
    Message:               rpc error: code = Unknown desc = `kustomize build /tmp/https___git.com/ran-sites/policies/ --enable-alpha-plugins` failed exit status 1: 2021/11/26 17:21:40 Error could not find test.yaml under source-crs/: no such file or directory Error: failure in plugin configured via /tmp/kust-plugin-config-52463179; exit status 1: exit status 1
    Type:  ComparisonError
    Copy to Clipboard Toggle word wrap

  3. 상태 확인: 동기화:. Status: Conditions: 에 로그 오류가 있는 경우 Status: Sync: shows Unknown 또는 Error:가 표시됩니다. 

    Status:
  Sync:
    Compared To:
      Destination:
        Namespace:  policies-sub
        Server:     https://kubernetes.default.svc
      Source:
        Path:             policies
        Repo URL:         https://git.com/ran-sites/policies/.git
        Target Revision:  master
    Status:               Error
    Copy to Clipboard Toggle word wrap

  4. RHACM(Red Hat Advanced Cluster Management)이 ManagedCluster 오브젝트에 적용되는 정책을 인식할 때 정책 CR 오브젝트가 클러스터 네임스페이스에 적용됩니다. 정책이 클러스터 네임스페이스에 복사되었는지 확인합니다. 

    $ oc get policy -n $CLUSTER
    Copy to Clipboard Toggle word wrap

    출력 예:

    NAME                                         REMEDIATION ACTION   COMPLIANCE STATE   AGE
ztp-common.common-config-policy              inform               Compliant          13d
ztp-common.common-subscriptions-policy       inform               Compliant          13d
ztp-group.group-du-sno-config-policy         inform               Compliant          13d
Ztp-group.group-du-sno-validator-du-policy   inform               Compliant          13d
ztp-site.example-sno-config-policy           inform               Compliant          13d
    Copy to Clipboard Toggle word wrap

    RHACM은 적용되는 모든 정책을 클러스터 네임스페이스에 복사합니다. 복사한 정책 이름에는 < policyGenTemplate.Namespace>.<policyGenTemplate.Name>-<policyName > 형식이 있습니다.

  5. 클러스터 네임스페이스에 복사되지 않은 정책에 대한 배치 규칙을 확인합니다. 해당 정책에 대한 PlacementRule 의 matchSelector 는 ManagedCluster 오브젝트의 라벨과 일치해야 합니다. 

    $ oc get placementrule -n $NS
    Copy to Clipboard Toggle word wrap

  6. 다음 명령을 사용하여 누락된 정책, 일반, 그룹 또는 사이트에 적합한 PlacementRule 이름을 기록해 둡니다. 

    $ oc get placementrule -n $NS <placementRuleName> -o yaml
    Copy to Clipboard Toggle word wrap
    • status-decisions에는 클러스터 이름이 포함되어야 합니다.
    • 사양에서 matchSelector 의 키-값 쌍은 관리 클러스터의 라벨과 일치해야 합니다.

  7. 다음 명령을 사용하여 ManagedCluster 오브젝트에서 라벨을 확인합니다. 

    $ oc get ManagedCluster $CLUSTER -o jsonpath='{.metadata.labels}' | jq
    Copy to Clipboard Toggle word wrap

  8. 다음 명령을 사용하여 어떤 정책이 호환되는지 확인하십시오. 

    $ oc get policy -n $CLUSTER
    Copy to Clipboard Toggle word wrap

    Namespace,OperatorGroup, Subscription 정책이 준수하지만 Operator 구성 정책이 일치하지 않으면 Operator가 관리 클러스터에 설치되지 않은 것입니다. 이로 인해 CRD가 아직 spoke에 적용되지 않기 때문에 Operator 구성 정책이 적용되지 않습니다.

22.4.7. 정책 조정 다시 시작
링크 복사

예를 들어 ClusterGroupUpgrade CR(사용자 정의 리소스)이 시간 초과된 경우 예기치 않은 규정 준수 문제가 발생하면 정책 조정을 다시 시작할 수 있습니다.

절차

  1. 관리형 클러스터가 Ready 가 되면 Topology Aware Lifecycle Manager의 ztp-install 네임스페이스에 ClusterGroupUpgrade CR이 생성됩니다. 

    $ export CLUSTER=<clusterName>
    Copy to Clipboard Toggle word wrap 
    $ oc get clustergroupupgrades -n ztp-install $CLUSTER
    Copy to Clipboard Toggle word wrap

  2. 예기치 않은 문제가 발생하고 정책이 구성된 시간 내에 불만이 발생하지 않는 경우 (기본값은 4시간) ClusterGroupUpgrade CR의 상태에 UpgradeTimedOut 이 표시됩니다. 

    $ oc get clustergroupupgrades -n ztp-install $CLUSTER -o jsonpath='{.status.conditions[?(@.type=="Ready")]}'
    Copy to Clipboard Toggle word wrap

  3. UpgradeTimedOut 상태의 ClusterGroupUpgrade CR은 매시간 정책 조정을 자동으로 재시작합니다. 정책을 변경한 경우 기존 ClusterGroupUpgrade CR을 삭제하여 즉시 재시도를 시작할 수 있습니다. 이렇게 하면 정책을 즉시 조정하기 시작하는 새 ClusterGroupUpgrade CR의 자동 생성이 트리거됩니다. 

    $ oc delete clustergroupupgrades -n ztp-install $CLUSTER
    Copy to Clipboard Toggle word wrap

ClusterGroupUpgrade CR이 UpgradeCompleted 상태로 완료되고 관리 클러스터에 ztp-done 레이블이 적용된 경우 PolicyGenTemplate 을 사용하여 추가 구성을 변경할 수 있습니다. 기존 ClusterGroupUpgrade CR을 삭제하면 TALM이 새 CR을 생성하지 않습니다.

이 시점에서 ZTP는 클러스터와의 상호 작용을 완료했으며 추가 상호 작용을 업데이트로 처리하고 정책 수정을 위해 생성된 새로운 ClusterGroupUpgrade CR을 처리해야 합니다.

22.4.8. 정책을 사용하여 적용된 관리 클러스터 CR 변경
링크 복사

정책을 통해 관리 클러스터에 배포된 CR(사용자 정의 리소스)에서 콘텐츠를 제거할 수 있습니다.

기본적으로 Policy GenTemplate CR에서 생성된 모든 Policy CR에는 complianceType 필드가 musthave 로 설정되어 있습니다. 관리 클러스터의 CR에 지정된 콘텐츠가 모두 있으므로 제거된 콘텐츠가 없는 musthave 정책은 계속 호환됩니다. 이 구성을 사용하면 CR에서 콘텐츠를 제거할 때 TALM은 정책에서 콘텐츠를 제거하지만 콘텐츠는 관리 클러스터의 CR에서 제거되지 않습니다.

mustonlyhave 에 complianceType 필드를 사용하면 정책에서 클러스터의 CR이 정책에 지정된 내용과 정확히 일치하도록 합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • RHACM을 실행하는 허브 클러스터에서 관리 클러스터를 배포했습니다.
  • hub 클러스터에 Topology Aware Lifecycle Manager를 설치했습니다.

절차

  1. 영향을 받는 CR에서 더 이상 필요하지 않은 콘텐츠를 제거합니다. 이 예에서는 disableDrain: false 행이 SriovOperatorConfig CR에서 제거되었습니다.

    CR 예

    apiVersion: sriovnetwork.openshift.io/v1
kind: SriovOperatorConfig
metadata:
  name: default
  namespace: openshift-sriov-network-operator
spec:
  configDaemonNodeSelector:
    "node-role.kubernetes.io/$mcp": ""
  disableDrain: true
  enableInjector: true
  enableOperatorWebhook: true
    Copy to Clipboard Toggle word wrap

  2. 영향을 받는 정책의 complianceType 을 group-du-sno-ranGen.yaml 파일에서 mustonlyhave 로 변경합니다.

    YAML의 예

    # ...
- fileName: SriovOperatorConfig.yaml
  policyName: "config-policy"
  complianceType: mustonlyhave
# ...
    Copy to Clipboard Toggle word wrap

  3. ClusterGroupUpdates CR을 생성하고 CR 변경 사항을 받아야 하는 클러스터를 지정합니다.

    ClusterGroupUpdates CR의 예

    apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-remove
  namespace: default
spec:
  managedPolicies:
    - ztp-group.group-du-sno-config-policy
  enable: false
  clusters:
  - spoke1
  - spoke2
  remediationStrategy:
    maxConcurrency: 2
    timeout: 240
  batchTimeoutAction:
    Copy to Clipboard Toggle word wrap

  4. 다음 명령을 실행하여 ClusterGroupUpgrade CR을 생성합니다. 

    $ oc create -f cgu-remove.yaml
    Copy to Clipboard Toggle word wrap

  5. 적절한 유지 관리 기간 동안 변경 사항을 적용할 준비가 되면 다음 명령을 실행하여 spec.enable 필드의 값을 true 로 변경합니다. 

    $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-remove \
--patch '{"spec":{"enable":true}}' --type=merge
    Copy to Clipboard Toggle word wrap

검증

  1. 다음 명령을 실행하여 정책의 상태를 확인합니다. 

    $ oc get <kind> <changed_cr_name>
    Copy to Clipboard Toggle word wrap

    출력 예

    NAMESPACE   NAME                                                   REMEDIATION ACTION   COMPLIANCE STATE   AGE
default     cgu-ztp-group.group-du-sno-config-policy               enforce                                 17m
default     ztp-group.group-du-sno-config-policy                   inform               NonCompliant       15h
    Copy to Clipboard Toggle word wrap

    정책의 COMPLIANCE STATE 가 Compliant 인 경우 CR이 업데이트되고 원하지 않는 콘텐츠가 제거됨을 의미합니다.

  2. 관리 클러스터에서 다음 명령을 실행하여 정책이 대상 클러스터에서 제거되었는지 확인합니다. 

    $ oc get <kind> <changed_cr_name>
    Copy to Clipboard Toggle word wrap

    결과가 없는 경우 관리 클러스터에서 CR이 제거됩니다.

22.4.9. ZTP 설치에 대한 수행 표시
링크 복사

제로 대화 프로비저닝(ZTP)은 클러스터의 ZTP 설치 상태를 확인하는 프로세스를 단순화합니다. ZTP 상태는 클러스터 설치, 클러스터 구성 및 ZTP의 세 단계로 이동합니다.

클러스터 설치 단계
클러스터 설치 단계는 ManagedCluster CR의 ManagedCluster join 및 ManagedClusterAvailable 조건에 의해 표시됩니다. ManagedCluster CR에 이러한 조건이 없거나 조건이 False 로 설정된 경우 클러스터는 여전히 설치 단계에 있습니다. 설치에 대한 자세한 내용은 AgentClusterInstall 및 ClusterDeployment CR에서 확인할 수 있습니다. 자세한 내용은 " GitOps ZTP 문제 해결"을 참조하십시오.
클러스터 구성 단계
클러스터 구성 단계는 ztp-running 라벨에 의해 표시됩니다. 클러스터 구성 단계는 클러스터에 ManagedCluster CR을 적용했습니다.
ZTP 수행

클러스터 설치 및 구성이 ZTP 완료 단계에서 완료됩니다. 이는 ztp-running 레이블을 제거하고 ManagedCluster CR에 ztp-done 라벨을 추가하여 표시됩니다. ztp-done 레이블은 구성이 적용되었으며 기준 DU 구성이 클러스터 튜닝을 완료했음을 보여줍니다.

ZTP done 상태로 전환하는 것은 RHACM(Red Hat Advanced Cluster Management) 유효성 검사기의 준수 상태에 대한 조건입니다. 이 정책은 완료된 설치에 대한 기존 기준을 캡처하고 관리 클러스터의 ZTP 프로비저닝이 완료된 경우에만 규정 준수 상태로 이동하는지 검증합니다.

유효성 검사기 알림 정책은 클러스터의 구성이 완전히 적용되고 Operator가 초기화를 완료했는지 확인합니다. 정책은 다음을 검증합니다.

  • 대상 MachineConfigPool 에는 예상 항목이 포함되어 있으며 업데이트를 완료했습니다. 모든 노드를 사용할 수 있으며 성능이 저하되지 않습니다.
  • SR-IOV Operator는 하나 이상의 SriovNetworkNodeState 에 syncStatus: Succeeded 에 표시된 초기화를 완료했습니다.
  • PTP Operator 데몬 세트가 있습니다.

22.5. ZTP로 단일 노드 OpenShift 클러스터 수동 설치
링크 복사

RHACM(Red Hat Advanced Cluster Management) 및 지원 서비스를 사용하여 관리형 단일 노드 OpenShift 클러스터를 배포할 수 있습니다.

참고

여러 개의 관리형 클러스터를 생성하는 경우 ZTP와 함께 far edge 사이트 배포에 설명된 site Config 방법을 사용합니다.

중요

대상 베어 메탈 호스트는 vDU 애플리케이션 워크로드에 대한 권장 클러스터 구성에 나열된 네트워킹, 펌웨어 및 하드웨어 요구 사항을 충족해야 합니다.

22.5.1. 수동으로 ZTP 설치 및 구성 CR 생성
링크 복사

ztp-site-generate 컨테이너의 생성기 진입점을 사용하여 site Config 및 PolicyGenTemplate CR을 기반으로 클러스터의 사이트 설치 및 구성 CR(사용자 정의 리소스)을 생성합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.

절차

  1. 다음 명령을 실행하여 출력 폴더를 생성합니다. 

    $ mkdir -p ./out
    Copy to Clipboard Toggle word wrap

  2. ztp-site-generate 컨테이너 이미지에서 argocd 디렉터리를 내보냅니다. 

    $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11 extract /home/ztp --tar | tar x -C ./out
    Copy to Clipboard Toggle word wrap

    ./out 디렉터리에는 out/argocd/example/ 폴더에 참조 PolicyGenTemplate 및 SiteConfig CR이 있습니다.

    출력 예

    out
 └── argocd
      └── example
           ├── policygentemplates
           │     ├── common-ranGen.yaml
           │     ├── example-sno-site.yaml
           │     ├── group-du-sno-ranGen.yaml
           │     ├── group-du-sno-validator-ranGen.yaml
           │     ├── kustomization.yaml
           │     └── ns.yaml
           └── siteconfig
                  ├── example-sno.yaml
                  ├── KlusterletAddonConfigOverride.yaml
                  └── kustomization.yaml
    Copy to Clipboard Toggle word wrap

  3. 사이트 설치 CR의 출력 폴더를 생성합니다. 

    $ mkdir -p ./site-install
    Copy to Clipboard Toggle word wrap

  4. 설치하려는 클러스터 유형의 SiteConfig CR 예제를 수정합니다. example-sno.yaml 을 site-1-sno.yaml 에 복사하고 CR을 수정하여 설치하려는 사이트 및 베어 메탈 호스트의 세부 정보와 일치하도록 수정합니다.

    단일 노드 OpenShift 클러스터 siteConfig CR의 예

    apiVersion: ran.openshift.io/v1
kind: SiteConfig
metadata:
  name: "<site_name>"
  namespace: "<site_name>"
spec:
  baseDomain: "example.com"
  pullSecretRef:
    name: "assisted-deployment-pull-secret"
    1 
    
  clusterImageSetNameRef: "openshift-4.11"
    2 
    
  sshPublicKey: "ssh-rsa AAAA..."
    3 
    
  clusters:
  - clusterName: "<site_name>"
    networkType: "OVNKubernetes"
    clusterLabels:
    4 
    
      common: true
      group-du-sno: ""
      sites : "<site_name>"
    clusterNetwork:
      - cidr: 1001:1::/48
        hostPrefix: 64
    machineNetwork:
      - cidr: 1111:2222:3333:4444::/64
    serviceNetwork:
      - 1001:2::/112
    additionalNTPSources:
      - 1111:2222:3333:4444::2
    #crTemplates:
    #  KlusterletAddonConfig: "KlusterletAddonConfigOverride.yaml"
    5 
    
    nodes:
      - hostName: "example-node.example.com"
    6 
    
        role: "master"
        bmcAddress: idrac-virtualmedia://<out_of_band_ip>/<system_id>/
    7 
    
        bmcCredentialsName:
          name: "bmh-secret"
    8 
    
        bootMACAddress: "AA:BB:CC:DD:EE:11"
        bootMode: "UEFI"
    9 
    
        rootDeviceHints:
          wwn: "0x11111000000asd123"
        cpuset: "0-1,52-53"
    10 
    
        nodeNetwork:
    11 
    
          interfaces:
            - name: eno1
              macAddress: "AA:BB:CC:DD:EE:11"
          config:
            interfaces:
              - name: eno1
                type: ethernet
                state: up
                ipv4:
                  enabled: false
                ipv6:
    12 
    
                  enabled: true
                  address:
                  - ip: 1111:2222:3333:4444::aaaa:1
                    prefix-length: 64
            dns-resolver:
              config:
                search:
                - example.com
                server:
                - 1111:2222:3333:4444::2
            routes:
              config:
              - destination: ::/0
                next-hop-interface: eno1
                next-hop-address: 1111:2222:3333:4444::1
                table-id: 254
    Copy to Clipboard Toggle word wrap

    1
    site Config CR과 동일한 네임스페이스를 사용하여 assisted-deployment-pull-secret CR 을 생성합니다.
    2
    clusterImageSetNameRef 는 hub 클러스터에서 사용 가능한 이미지 세트를 정의합니다. hub 클러스터에서 지원되는 버전 목록을 보려면 oc get clusterimagesets 를 실행합니다.
    3
    클러스터에 액세스하는 데 사용되는 SSH 공개 키를 구성합니다.
    4
    클러스터 레이블은 사용자가 정의한 PolicyGenTemplate CR의 bindingRules 필드에 대응해야 합니다. 예를 들어 policygentemplates/common-ranGen.yaml 은 common: true set, policygentemplates/group-du-sno-ranGen.yaml 이 group-du-sno: "" 가 설정된 모든 클러스터에 적용됩니다.
    5
    선택사항입니다. KlusterletAddonConfig 아래에 있는 CR 사양을 사용하여 클러스터에 대해 생성된 기본 KlusterletAddonConfig 를 덮어씁니다.
    6
    단일 노드 배포의 경우 단일 호스트를 정의합니다. 3-노드 배포의 경우 3개의 호스트를 정의합니다. 표준 배포의 경우 master와 role 으로 정의된 두 개 이상의 호스트인 worker 를 사용하여 3개의 호스트를 정의합니다.
    7
    호스트에 액세스하는 데 사용하는 BMC 주소입니다. 모든 클러스터 유형에 적용됩니다.
    8
    호스트 BMC 자격 증명을 사용하여 별도로 생성하는 bmh-secret CR의 이름입니다. bmh-secret CR을 생성할 때 호스트를 프로비저닝하는 site Config CR 과 동일한 네임스페이스를 사용합니다.
    9
    호스트의 부팅 모드를 구성합니다. 기본값은 UEFI 입니다. UEFISecureBoot 를 사용하여 호스트에서 보안 부팅을 활성화합니다.
    10
    cpuset 는 워크로드 파티셔닝을 위해 클러스터 PerformanceProfile CR spec.cpu.reserved 필드에 설정된 값과 일치해야 합니다.
    11
    노드의 네트워크 설정을 지정합니다.
    12
    호스트의 IPv6 주소를 구성합니다. 고정 IP 주소가 있는 단일 노드 OpenShift 클러스터의 경우 노드별 API 및 Ingress IP가 동일해야 합니다.

  5. 다음 명령을 실행하여 수정된 site Config CR site-1-sno.yaml 을 처리하여 day-0 설치 CR을 생성합니다. 

    $ podman run -it --rm -v `pwd`/out/argocd/example/siteconfig:/resources:Z -v `pwd`/site-install:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11.1 generator install site-1-sno.yaml /output
    Copy to Clipboard Toggle word wrap

    출력 예

    site-install
└── site-1-sno
    ├── site-1_agentclusterinstall_example-sno.yaml
    ├── site-1-sno_baremetalhost_example-node1.example.com.yaml
    ├── site-1-sno_clusterdeployment_example-sno.yaml
    ├── site-1-sno_configmap_example-sno.yaml
    ├── site-1-sno_infraenv_example-sno.yaml
    ├── site-1-sno_klusterletaddonconfig_example-sno.yaml
    ├── site-1-sno_machineconfig_02-master-workload-partitioning.yaml
    ├── site-1-sno_machineconfig_predefined-extra-manifests-master.yaml
    ├── site-1-sno_machineconfig_predefined-extra-manifests-worker.yaml
    ├── site-1-sno_managedcluster_example-sno.yaml
    ├── site-1-sno_namespace_example-sno.yaml
    └── site-1-sno_nmstateconfig_example-node1.example.com.yaml
    Copy to Clipboard Toggle word wrap

  6. 선택 사항: -E 옵션을 사용하여 참조 site Config CR을 처리하여 특정 클러스터 유형의 Day-0 MachineConfig 설치 CR만 생성합니다. 예를 들어 다음 명령을 실행합니다.

    1. MachineConfig CR의 출력 폴더를 생성합니다. 

      $ mkdir -p ./site-machineconfig
      Copy to Clipboard Toggle word wrap

    2. MachineConfig 설치 CR을 생성합니다. 

      $ podman run -it --rm -v `pwd`/out/argocd/example/siteconfig:/resources:Z -v `pwd`/site-machineconfig:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11.1 generator install -E site-1-sno.yaml /output
      Copy to Clipboard Toggle word wrap

      출력 예

      site-machineconfig
└── site-1-sno
    ├── site-1-sno_machineconfig_02-master-workload-partitioning.yaml
    ├── site-1-sno_machineconfig_predefined-extra-manifests-master.yaml
    └── site-1-sno_machineconfig_predefined-extra-manifests-worker.yaml
      Copy to Clipboard Toggle word wrap

  7. 이전 단계의 참조를 사용하여 Day-2 구성 CR 을 생성하고 내보냅니다. 다음 명령을 실행합니다.

    1. 2일 차 CR의 출력 폴더를 생성합니다. 

      $ mkdir -p ./ref
      Copy to Clipboard Toggle word wrap

    2. Day-2 구성 CR을 생성하고 내보냅니다. 

      $ podman run -it --rm -v `pwd`/out/argocd/example/policygentemplates:/resources:Z -v `pwd`/ref:/output:Z,U registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11.1 generator config -N . /output
      Copy to Clipboard Toggle word wrap

      이 명령은 단일 노드 OpenShift, 3 노드 클러스터 및 ./ref 폴더에 표준 클러스터에 대한 예제 그룹 및 사이트별 PolicyGenTemplate CR을 생성합니다.

      출력 예

      ref
 └── customResource
      ├── common
      ├── example-multinode-site
      ├── example-sno
      ├── group-du-3node
      ├── group-du-3node-validator
      │    └── Multiple-validatorCRs
      ├── group-du-sno
      ├── group-du-sno-validator
      ├── group-du-standard
      └── group-du-standard-validator
           └── Multiple-validatorCRs
      Copy to Clipboard Toggle word wrap

  8. 생성된 CR을 클러스터를 설치하는 데 사용하는 CR의 기준으로 사용합니다. "단일 관리 클러스터 설치"에 설명된 대로 hub 클러스터에 설치 CR을 적용합니다. 클러스터 설치가 완료된 후 구성 CR을 클러스터에 적용할 수 있습니다.

22.5.2. 관리형 베어 메탈 호스트 시크릿 생성
링크 복사

관리 베어 메탈 호스트에 필요한 Secret CR(사용자 정의 리소스)을 hub 클러스터에 추가합니다. 레지스트리에서 클러스터 설치 이미지를 가져오기 위해 BMC(Baseboard Management Controller) 및 지원 설치 서비스 시크릿에 액세스하려면 ZTP 파이프라인의 시크릿이 필요합니다.

참고

보안은 이름으로 site Config CR 에서 참조됩니다. 네임스페이스는 SiteConfig 네임스페이스와 일치해야 합니다.

절차

  1. OpenShift 및 모든 애드온 클러스터 Operator를 설치하는 데 필요한 BMC(Host Baseboard Management Controller) 및 풀 시크릿(pull secret)의 인증 정보가 포함된 YAML 시크릿 파일을 생성합니다.

    1. 다음 YAML을 example-sno-secret.yaml 파일로 저장합니다. 

      apiVersion: v1
kind: Secret
metadata:
  name: example-sno-bmc-secret
  namespace: example-sno
      1 
      
data:
      2 
      
  password: <base64_password>
  username: <base64_username>
type: Opaque
---
apiVersion: v1
kind: Secret
metadata:
  name: pull-secret
  namespace: example-sno
      3 
      
data:
  .dockerconfigjson: <pull_secret>
      4 
      
type: kubernetes.io/dockerconfigjson
      Copy to Clipboard Toggle word wrap
      1
      관련 site Config CR에 구성된 네임스페이스와 일치해야 합니다.
      2
      암호 및 사용자이름에 대한 base64로 인코딩된 값
      3
      관련 site Config CR에 구성된 네임스페이스와 일치해야 합니다.
      4
      base64로 인코딩된 풀 시크릿
  2. 클러스터를 설치하는 데 사용하는 kustomization.yaml 파일에 상대 경로를 example-sno-secret.yaml 에 추가합니다.

22.5.3. 단일 관리형 클러스터 설치
링크 복사

지원 서비스 및 RHACM(Red Hat Advanced Cluster Management)을 사용하여 단일 관리 클러스터를 수동으로 배포할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • 베이스 보드 관리 컨트롤러 (BMC) Secret 및 이미지 pull-secret Secret (CR)을 생성했습니다. 자세한 내용은 "관리된 베어 메탈 호스트 시크릿 생성"을 참조하십시오.
  • 대상 베어 메탈 호스트는 관리 클러스터의 네트워킹 및 하드웨어 요구 사항을 충족합니다.

절차

  1. 배포할 각 특정 클러스터 버전에 대한 ClusterImageSet 을 생성합니다(예: clusterImageSet-4.11.yaml ). ClusterImageSet 의 형식은 다음과 같습니다. 

    apiVersion: hive.openshift.io/v1
kind: ClusterImageSet
metadata:
  name: openshift-4.11.0
    1 
    
spec:
   releaseImage: quay.io/openshift-release-dev/ocp-release:4.11.0-x86_64
    2
    Copy to Clipboard Toggle word wrap
    1
    배포하려는 설명적인 버전입니다.
    2
    운영 체제 이미지 버전을 배포하고 결정할 releaseImage 를 지정합니다. 검색 ISO는 releaseImage 에 의해 설정된 이미지 버전을 기반으로 하며, 정확한 버전을 사용할 수 없는 경우 최신 버전을 기반으로 합니다.

  2. clusterImageSet CR을 적용합니다. 

    $ oc apply -f clusterImageSet-4.11.yaml
    Copy to Clipboard Toggle word wrap

  3. cluster-namespace.yaml 파일에 Namespace CR을 생성합니다. 

    apiVersion: v1
kind: Namespace
metadata:
     name: <cluster_name>
    1 
    
     labels:
        name: <cluster_name>
    2
    Copy to Clipboard Toggle word wrap
    1 2
    프로비저닝할 관리 클러스터의 이름입니다.

  4. 다음 명령을 실행하여 Namespace CR을 적용합니다. 

    $ oc apply -f cluster-namespace.yaml
    Copy to Clipboard Toggle word wrap

  5. ztp-site-generate 컨테이너에서 추출하고 요구 사항을 충족하도록 사용자 정의된 생성된 day-0 CR을 적용합니다. 

    $ oc apply -R ./site-install/site-sno-1
    Copy to Clipboard Toggle word wrap

22.5.4. 관리형 클러스터 설치 상태 모니터링
링크 복사

클러스터 상태를 확인하여 클러스터 프로비저닝이 성공했는지 확인합니다.

사전 요구 사항

  • 모든 사용자 지정 리소스가 구성 및 프로비저닝되고 Agent 사용자 지정 리소스는 관리 클러스터의 허브에 생성됩니다.

절차

  1. 관리형 클러스터의 상태를 확인합니다. 

    $ oc get managedcluster
    Copy to Clipboard Toggle word wrap

    true 는 관리형 클러스터가 준비되었음을 나타냅니다.

  2. 에이전트 상태를 확인합니다. 

    $ oc get agent -n <cluster_name>
    Copy to Clipboard Toggle word wrap

  3. describe 명령을 사용하여 에이전트 상태에 대한 자세한 설명을 제공합니다. BackendError,InputError,ValidationsFailing,InstallationFailed, AgentIConnected가 포함된 상태를 알 수 있습니다. 이러한 상태는 Agent 및 AgentClusterInstall 사용자 정의 리소스와 관련이 있습니다. 

    $ oc describe agent -n <cluster_name>
    Copy to Clipboard Toggle word wrap

  4. 클러스터 프로비저닝 상태를 확인합니다. 

    $ oc get agentclusterinstall -n <cluster_name>
    Copy to Clipboard Toggle word wrap

  5. describe 명령을 사용하여 클러스터 프로비저닝 상태에 대한 자세한 설명을 제공합니다. 

    $ oc describe agentclusterinstall -n <cluster_name>
    Copy to Clipboard Toggle word wrap

  6. 관리형 클러스터의 애드온 서비스 상태를 확인합니다. 

    $ oc get managedclusteraddon -n <cluster_name>
    Copy to Clipboard Toggle word wrap

  7. 관리 클러스터의 kubeconfig 파일의 인증 정보를 검색합니다. 

    $ oc get secret -n <cluster_name> <cluster_name>-admin-kubeconfig -o jsonpath={.data.kubeconfig} | base64 -d > <directory>/<cluster_name>-kubeconfig
    Copy to Clipboard Toggle word wrap

22.5.5. 관리형 클러스터 문제 해결
링크 복사

관리 클러스터에서 발생할 수 있는 설치 문제를 진단하려면 다음 절차를 사용하십시오.

절차

  1. 관리형 클러스터의 상태를 확인합니다. 

    $ oc get managedcluster
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
SNO-cluster     true                                   True     True      2d19h
    Copy to Clipboard Toggle word wrap

    AVAILABLE 열의 상태가 True 이면 관리 클러스터가 허브에 의해 관리되고 있습니다.

    AVAILABLE 열의 상태를 알 수 없는 경우 관리 클러스터는 허브에서 관리되지 않습니다. 자세한 정보를 얻으려면 다음 단계를 계속 확인하십시오.

  2. AgentClusterInstall 상태를 확인합니다. 

    $ oc get clusterdeployment -n <cluster_name>
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME        PLATFORM            REGION   CLUSTERTYPE   INSTALLED    INFRAID    VERSION  POWERSTATE AGE
Sno0026    agent-baremetal                               false                          Initialized
2d14h
    Copy to Clipboard Toggle word wrap

    INSTALLED 열의 상태가 false 이면 설치에 실패했습니다.

  3. 설치에 실패한 경우 다음 명령을 입력하여 AgentClusterInstall 리소스의 상태를 확인합니다. 

    $ oc describe agentclusterinstall -n <cluster_name> <cluster_name>
    Copy to Clipboard Toggle word wrap

  4. 오류를 해결하고 클러스터를 재설정합니다.

    1. 클러스터의 관리 클러스터 리소스를 제거합니다. 

      $ oc delete managedcluster <cluster_name>
      Copy to Clipboard Toggle word wrap

    2. 클러스터의 네임스페이스를 제거합니다. 

      $ oc delete namespace <cluster_name>
      Copy to Clipboard Toggle word wrap

      이렇게 하면 이 클러스터에 대해 생성된 모든 네임스페이스 범위의 사용자 정의 리소스가 삭제됩니다. 계속하기 전에 ManagedCluster CR 삭제가 완료될 때까지 기다려야 합니다.

    3. 관리형 클러스터에 대한 사용자 정의 리소스를 다시 생성합니다.

22.5.6. RHACM 생성 클러스터 설치 CR 참조
링크 복사

RHACM(Red Hat Advanced Cluster Management)은 각 사이트에 대해 site Config CR을 사용하여 생성하는 특정 설치 사용자 정의 리소스(CR) 세트가 있는 단일 노드 클러스터, 3-노드 클러스터, 표준 클러스터 배포를 지원합니다.

참고

모든 관리형 클러스터에는 고유한 네임스페이스가 있으며 ManagedCluster 및 ClusterImageSet 을 제외한 모든 설치 CR이 해당 네임스페이스에 있습니다. ManagedCluster 및 ClusterImageSet 은 네임스페이스 범위가 아닌 cluster-scoped입니다. 네임스페이스 및 CR 이름은 클러스터 이름과 일치합니다.

다음 표에는 구성하는 site Config CR을 사용하여 클러스터를 설치할 때 RHACM 지원 서비스에서 자동으로 적용하는 설치 CR이 나열되어 있습니다.

Expand
표 22.4. RHACM에서 생성한 클러스터 설치 CR
CR설명사용법

BareMetalHost

대상 베어 메탈 호스트의 BMC(Baseboard Management Controller)에 대한 연결 정보를 포함합니다.

Redfish 프로토콜을 사용하여 대상 서버에서 검색 이미지를 로드하고 부팅하기 위해 BMC에 액세스할 수 있습니다.

InfraEnv

대상 베어 메탈 호스트에 OpenShift Container Platform을 설치하는 데 필요한 정보를 포함합니다.

ClusterDeployment 와 함께 관리 클러스터에 대한 검색 ISO를 생성하는 데 사용됩니다.

AgentClusterInstall

네트워킹 및 컨트롤 플레인 노드 수와 같은 관리 클러스터 구성의 세부 정보를 지정합니다. 설치가 완료되면 클러스터 kubeconfig 및 인증 정보를 표시합니다.

관리형 클러스터 구성 정보를 지정하고 클러스터를 설치하는 동안 상태를 제공합니다.

ClusterDeployment

사용할 AgentClusterInstall CR을 참조합니다.

InfraEnv 와 함께 사용하여 관리되는 클러스터에 대한 검색 ISO를 생성합니다.

NMStateConfig

MAC 주소와 같은 네트워크 구성 정보를 IP 매핑, DNS 서버, 기본 경로 및 기타 네트워크 설정에 제공합니다. DHCP를 사용하는 경우에는 필요하지 않습니다.

관리형 클러스터의 Kube API 서버의 고정 IP 주소를 설정합니다.

에이전트

대상 베어 메탈 호스트에 대한 하드웨어 정보를 포함합니다.

대상 시스템의 검색 이미지가 부팅될 때 허브에서 자동으로 생성됩니다.

ManagedCluster

허브에서 클러스터를 관리하는 경우 이를 가져와서 알아야 합니다. 이 Kubernetes 오브젝트는 해당 인터페이스를 제공합니다.

허브는 이 리소스를 사용하여 관리 클러스터의 상태를 관리하고 표시합니다.

KlusterletAddonConfig

ManagedCluster 리소스에 배포할 허브에서 제공하는 서비스 목록을 포함합니다.

ManagedCluster 리소스에 배포할 애드온 서비스를 hub에 지시합니다.

네임스페이스

허브에 있는 ManagedCluster 리소스의 논리 공간입니다. 각 사이트별로 고유합니다.

리소스를 ManagedCluster 에 전파합니다.

Secret

BMC Secret 및 Image Pull Secret 의 두 개의 CR이 생성됩니다.

  • BMC Secret 은 사용자 이름과 암호를 사용하여 대상 베어 메탈 호스트에 인증합니다.
  • 이미지 가져오기 시크릿에 는 대상 베어 메탈 호스트에 설치된 OpenShift Container Platform 이미지에 대한 인증 정보가 포함되어 있습니다.

ClusterImageSet

리포지토리 및 이미지 이름과 같은 OpenShift Container Platform 이미지 정보가 포함되어 있습니다.

OpenShift Container Platform 이미지를 제공하기 위해 리소스로 전달됩니다.

다음 참조 정보를 사용하여 클러스터에서 vDU(가상 분산 단위) 애플리케이션을 배포하는 데 필요한 단일 노드 OpenShift 구성을 파악합니다. 구성에는 고성능 워크로드를 위한 클러스터 최적화, 워크로드 파티셔닝 활성화, 설치 후 필요한 재부팅 횟수 최소화가 포함됩니다.

22.6.1. OpenShift Container Platform에서 짧은 대기 시간 애플리케이션 실행
링크 복사

OpenShift Container Platform을 사용하면 다음과 같은 여러 기술 및 특수 하드웨어 장치를 사용하여 COTS(상용 장치) 하드웨어에서 실행되는 애플리케이션의 대기 시간을 단축할 수 있습니다.

RHCOS의 실시간 커널
높은 수준의 프로세스 결정으로 워크로드를 처리하도록 합니다.
CPU 격리
CPU 스케줄링 지연을 방지하고 CPU 용량을 일관되게 사용할 수 있도록 합니다.
NUMA 인식 토폴로지 관리
CPU 및 PCI 장치와 메모리 및 대규모 페이지를 조정하여 보장된 컨테이너 메모리 및 대규모 페이지를 NUMA(Non-Uniform Memory Access) 노드에 고정합니다. 모든 QoS(Quality of Service) 클래스에 대한 Pod 리소스는 동일한 NUMA 노드에 남아 있습니다. 이렇게 하면 대기 시간이 줄어들고 노드의 성능이 향상됩니다.
대규모 페이지 메모리 관리
대규모 페이지 크기를 사용하면 페이지 테이블에 액세스하는 데 필요한 시스템 리소스의 양을 줄임으로써 시스템 성능이 향상됩니다.
PTP를 사용한 정밀 타이밍 동기화
네트워크의 노드 간 동기화를 하위 마이크로초 정확도로 허용합니다.

vDU 애플리케이션 워크로드를 실행하려면 OpenShift Container Platform 서비스 및 프로덕션 워크로드를 실행하기에 충분한 리소스가 있는 베어 메탈 호스트가 필요합니다.

Expand
표 22.5. 최소 리소스 요구사항
ProfilevCPU메모리스토리지

최소

4개에서 8개의 vCPU 코어

32GB RAM

120GB

참고

SMT(동시 멀티 스레딩) 또는 Hyper-Threading이 활성화되지 않은 경우 하나의 vCPU는 하나의 물리적 코어와 동일합니다. 사용 가능한 경우 다음 공식을 사용하여 해당 비율을 계산합니다.

  • (threads per core × cores) × sockets = vCPUs
중요

가상 미디어를 사용하여 부팅할 때 서버에 BMC(Baseboard Management Controller)가 있어야 합니다.

22.6.3. 짧은 대기 시간과 고성능을 위해 호스트 펌웨어 구성
링크 복사

베어 메탈 호스트를 사용하려면 호스트를 프로비저닝하기 전에 펌웨어를 구성해야 합니다. 펌웨어 구성은 특정 하드웨어 및 설치 요구 사항에 따라 다릅니다.

절차

  1. UEFI/BIOS 부팅 모드를 UEFI 로 설정합니다.
  2. 호스트 부팅 순서 순서에서 먼저 하드 드라이브를 설정합니다.

  3. 하드웨어에 대한 특정 펌웨어 구성을 적용합니다. 다음 표에서는 Intel Xeon Skylake 또는 Intel Cascade Lake 서버에 대한 대표 펌웨어 구성을 설명합니다. 이는 IntelECDHERAN 4G 및 5G 베이스bandECDHEY 참조 설계를 기반으로 합니다.

    중요

    정확한 펌웨어 구성은 특정 하드웨어 및 네트워크 요구 사항에 따라 다릅니다. 다음 샘플 구성은 예시 목적으로만 사용됩니다.

    Expand
    표 22.6. Intel Xeon Skylake 또는 Cascade Lake 서버의 펌웨어 구성 샘플
    펌웨어 설정설정

    CPU 전원 및 성능 정책

    성능

    코어 빈도 스케일링

    비활성화됨

    성능 P-limit

    비활성화됨

    Enhanced Intel SpeedStep ® Tech

    활성화됨

    Intel Configurable TDP

    활성화됨

    구성 가능한 TDP 수준

    수준 2

    Intel® Turbo Boost Technology

    활성화됨

    energy Efficient 터

    비활성화됨

    하드웨어 P-States

    비활성화됨

    패키지 C-State

    C0/C1 상태

    C1E

    비활성화됨

    프로세서 C6

    비활성화됨

참고

호스트의 펌웨어에서 글로벌 SR-IOV 및 VT-d 설정을 활성화합니다. 이러한 설정은 베어 메탈 환경과 관련이 있습니다.

22.6.4. 관리형 클러스터 네트워크에 대한 연결 사전 요구 사항
링크 복사

zero touch provisioning(ZTP) GitOps 파이프라인을 사용하여 관리 클러스터를 설치하고 프로비저닝하려면 먼저 관리 클러스터 호스트가 다음 네트워킹 사전 요구 사항을 충족해야 합니다.

  • hub 클러스터의 ZTP GitOps 컨테이너와 대상 베어 메탈 호스트의 BMC(Baseboard Management Controller) 간에 양방향 연결이 있어야 합니다.

  • 관리 클러스터는 hub hostname 및 *.apps 호스트 이름의 API 호스트 이름을 확인하고 도달할 수 있어야 합니다. 다음은 허브의 API 호스트 이름과 *.apps 호스트 이름의 예입니다.

    • api.hub-cluster.internal.domain.com
    • console-openshift-console.apps.hub-cluster.internal.domain.com

  • hub 클러스터는 관리형 클러스터의 API 및 *.apps 호스트 이름을 확인하고 도달할 수 있어야 합니다. 다음은 관리형 클러스터의 API 호스트 이름과 *.apps 호스트 이름의 예입니다.

    • api.sno-managed-cluster-1.internal.domain.com
    • console-openshift-console.apps.sno-managed-cluster-1.internal.domain.com

22.6.5. GitOps ZTP를 사용한 단일 노드 OpenShift의 워크로드 파티셔닝
링크 복사

워크로드 파티셔닝에서는 예약된 수의 호스트 CPU에서 실행되도록 OpenShift Container Platform 서비스, 클러스터 관리 워크로드 및 인프라 Pod를 구성합니다.

GitOps ZTP를 사용하여 워크로드 파티셔닝을 구성하려면 site Config CR(사용자 정의 리소스)의 cpuset 필드와 그룹 PolicyGenTemplate CR의 reserved 필드를 사용하여 클러스터 관리 CPU 리소스를 지정합니다. GitOps ZTP 파이프라인은 이러한 값을 사용하여 단일 노드 OpenShift 클러스터를 구성하는 워크로드 파티셔닝 MachineConfig CR(CPU세트) 및 PerformanceProfile CR(reserved)의 필수 필드를 채웁니다.

참고

최대 성능의 경우 예약 된 CPU 세트와 분리된 CPU 세트가 NUMA 영역의 CPU 코어를 공유하지 않는지 확인합니다.

  • 워크로드 파티셔닝 MachineConfig CR은 OpenShift Container Platform 인프라 Pod를 정의된 cpuset 구성에 고정합니다.
  • PerformanceProfile CR은 systemd 서비스를 예약된 CPU에 고정합니다.
중요

PerformanceProfile CR에 지정된 reserved 필드의 값은 워크로드 파티셔닝 MachineConfig CR의 cpuset 필드와 일치해야 합니다.

22.6.6. 권장되는 설치 시간 클러스터 구성
링크 복사

ZTP 파이프라인은 클러스터 설치 중에 다음 CR(사용자 정의 리소스)을 적용합니다. 이러한 구성 CR은 클러스터가 vDU 애플리케이션 실행에 필요한 기능 및 성능 요구 사항을 충족하는지 확인합니다.

참고

클러스터 배포에 ZTP GitOps 플러그인 및 siteConfig CR을 사용하는 경우 기본적으로 다음 MachineConfig CR이 포함됩니다.

site Config extraManifests 필터를 사용하여 기본적으로 포함된 CR을 변경합니다. 자세한 내용은 site Config CR을 사용한 고급 관리 클러스터 구성을 참조하십시오.

22.6.6.1. 워크로드 파티셔닝
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 워크로드 분할이 필요합니다. 이렇게 하면 플랫폼 서비스를 실행할 수 있는 코어가 제한되어 애플리케이션 페이로드에 대한 CPU 코어를 최대화합니다.

참고

워크로드 파티션은 클러스터 설치 중에만 활성화할 수 있습니다. 워크로드 파티션 설치 후 비활성화할 수 없습니다. 그러나 성능 프로필에 정의된 cpu 값과 관련 MachineConfig 사용자 정의 리소스(CR)를 업데이트하여 워크로드 파티션을 재구성할 수 있습니다.

  • 워크로드 파티셔닝을 가능하게 하는 base64로 인코딩된 CR에는 관리 워크로드가 제한된 CPU 세트가 포함됩니다. crio.conf 및 kubelet.conf 의 호스트별 값을 base64로 인코딩합니다. 클러스터 성능 프로필에 지정된 CPU 세트와 일치하도록 콘텐츠를 조정합니다. 클러스터 호스트의 코어 수와 일치해야 합니다.

    권장되는 워크로드 파티션 구성

    apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: master
  name: 02-master-workload-partitioning
spec:
  config:
    ignition:
      version: 3.2.0
    storage:
      files:
      - contents:
          source: data:text/plain;charset=utf-8;base64,W2NyaW8ucnVudGltZS53b3JrbG9hZHMubWFuYWdlbWVudF0KYWN0aXZhdGlvbl9hbm5vdGF0aW9uID0gInRhcmdldC53b3JrbG9hZC5vcGVuc2hpZnQuaW8vbWFuYWdlbWVudCIKYW5ub3RhdGlvbl9wcmVmaXggPSAicmVzb3VyY2VzLndvcmtsb2FkLm9wZW5zaGlmdC5pbyIKcmVzb3VyY2VzID0geyAiY3B1c2hhcmVzIiA9IDAsICJjcHVzZXQiID0gIjAtMSw1Mi01MyIgfQo=
        mode: 420
        overwrite: true
        path: /etc/crio/crio.conf.d/01-workload-partitioning
        user:
          name: root
      - contents:
          source: data:text/plain;charset=utf-8;base64,ewogICJtYW5hZ2VtZW50IjogewogICAgImNwdXNldCI6ICIwLTEsNTItNTMiCiAgfQp9Cg==
        mode: 420
        overwrite: true
        path: /etc/kubernetes/openshift-workload-pinning
        user:
          name: root
    Copy to Clipboard Toggle word wrap

  • 클러스터 호스트에 구성하면 /etc/crio/crio.conf.d/01-workload-partitioning 의 내용은 다음과 같아야 합니다. 

    [crio.runtime.workloads.management]
activation_annotation = "target.workload.openshift.io/management"
annotation_prefix = "resources.workload.openshift.io"
resources = { "cpushares" = 0, "cpuset" = "0-1,52-53" }
    1
    Copy to Clipboard Toggle word wrap
    1
    cpuset 값은 설치에 따라 다릅니다. Hyper-Threading이 활성화된 경우 각 코어에 대해 두 스레드를 모두 지정합니다. cpuset 값은 성능 프로필의 spec.cpu.reserved 필드에 정의된 예약된 CPU와 일치해야 합니다.

  • 클러스터에서 구성하면 /etc/kubernetes/openshift-workload-pinning 의 내용은 다음과 같아야 합니다. 

    {
  "management": {
    "cpuset": "0-1,52-53"
    1 
    
  }
}
    Copy to Clipboard Toggle word wrap
    1
    cpuset 는 /etc/crio/crio.conf.d/01-workload-partitioning 의 cpuset 값과 일치해야 합니다.

검증

애플리케이션과 클러스터 시스템 CPU 고정이 올바른지 확인합니다. 다음 명령을 실행합니다.

  1. 관리 클러스터에 대한 원격 쉘 연결을 엽니다. 

    $ oc debug node/example-sno-1
    Copy to Clipboard Toggle word wrap

  2. OpenShift 인프라 애플리케이션 CPU 고정이 올바른지 확인합니다. 

    sh-4.4# pgrep ovn | while read i; do taskset -cp $i; done
    Copy to Clipboard Toggle word wrap

    출력 예

    pid 8481's current affinity list: 0-1,52-53
pid 8726's current affinity list: 0-1,52-53
pid 9088's current affinity list: 0-1,52-53
pid 9945's current affinity list: 0-1,52-53
pid 10387's current affinity list: 0-1,52-53
pid 12123's current affinity list: 0-1,52-53
pid 13313's current affinity list: 0-1,52-53
    Copy to Clipboard Toggle word wrap

  3. 시스템 애플리케이션 CPU 고정이 올바른지 확인합니다. 

    sh-4.4# pgrep systemd | while read i; do taskset -cp $i; done
    Copy to Clipboard Toggle word wrap

    출력 예

    pid 1's current affinity list: 0-1,52-53
pid 938's current affinity list: 0-1,52-53
pid 962's current affinity list: 0-1,52-53
pid 1197's current affinity list: 0-1,52-53
    Copy to Clipboard Toggle word wrap

22.6.6.2. 플랫폼 관리 공간 감소
링크 복사

플랫폼의 전반적인 관리 풋프린트를 줄이기 위해 MachineConfig 사용자 정의 리소스 (CR)는 새 네임스페이스에 모든 Kubernetes별 마운트 지점을 호스트 운영 체제와 별도로 배치해야합니다. 다음 base64로 인코딩된 예제 MachineConfig CR은 이 구성을 보여줍니다.

권장되는 컨테이너 마운트 네임스페이스 구성

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: master
  name: container-mount-namespace-and-kubelet-conf-master
spec:
  config:
    ignition:
      version: 3.2.0
    storage:
      files:
      - contents:
          source: data:text/plain;charset=utf-8;base64,IyEvYmluL2Jhc2gKCmRlYnVnKCkgewogIGVjaG8gJEAgPiYyCn0KCnVzYWdlKCkgewogIGVjaG8gVXNhZ2U6ICQoYmFzZW5hbWUgJDApIFVOSVQgW2VudmZpbGUgW3Zhcm5hbWVdXQogIGVjaG8KICBlY2hvIEV4dHJhY3QgdGhlIGNvbnRlbnRzIG9mIHRoZSBmaXJzdCBFeGVjU3RhcnQgc3RhbnphIGZyb20gdGhlIGdpdmVuIHN5c3RlbWQgdW5pdCBhbmQgcmV0dXJuIGl0IHRvIHN0ZG91dAogIGVjaG8KICBlY2hvICJJZiAnZW52ZmlsZScgaXMgcHJvdmlkZWQsIHB1dCBpdCBpbiB0aGVyZSBpbnN0ZWFkLCBhcyBhbiBlbnZpcm9ubWVudCB2YXJpYWJsZSBuYW1lZCAndmFybmFtZSciCiAgZWNobyAiRGVmYXVsdCAndmFybmFtZScgaXMgRVhFQ1NUQVJUIGlmIG5vdCBzcGVjaWZpZWQiCiAgZXhpdCAxCn0KClVOSVQ9JDEKRU5WRklMRT0kMgpWQVJOQU1FPSQzCmlmIFtbIC16ICRVTklUIHx8ICRVTklUID09ICItLWhlbHAiIHx8ICRVTklUID09ICItaCIgXV07IHRoZW4KICB1c2FnZQpmaQpkZWJ1ZyAiRXh0cmFjdGluZyBFeGVjU3RhcnQgZnJvbSAkVU5JVCIKRklMRT0kKHN5c3RlbWN0bCBjYXQgJFVOSVQgfCBoZWFkIC1uIDEpCkZJTEU9JHtGSUxFI1wjIH0KaWYgW1sgISAtZiAkRklMRSBdXTsgdGhlbgogIGRlYnVnICJGYWlsZWQgdG8gZmluZCByb290IGZpbGUgZm9yIHVuaXQgJFVOSVQgKCRGSUxFKSIKICBleGl0CmZpCmRlYnVnICJTZXJ2aWNlIGRlZmluaXRpb24gaXMgaW4gJEZJTEUiCkVYRUNTVEFSVD0kKHNlZCAtbiAtZSAnL15FeGVjU3RhcnQ9LipcXCQvLC9bXlxcXSQvIHsgcy9eRXhlY1N0YXJ0PS8vOyBwIH0nIC1lICcvXkV4ZWNTdGFydD0uKlteXFxdJC8geyBzL15FeGVjU3RhcnQ9Ly87IHAgfScgJEZJTEUpCgppZiBbWyAkRU5WRklMRSBdXTsgdGhlbgogIFZBUk5BTUU9JHtWQVJOQU1FOi1FWEVDU1RBUlR9CiAgZWNobyAiJHtWQVJOQU1FfT0ke0VYRUNTVEFSVH0iID4gJEVOVkZJTEUKZWxzZQogIGVjaG8gJEVYRUNTVEFSVApmaQo=
        mode: 493
        path: /usr/local/bin/extractExecStart
      - contents:
          source: data:text/plain;charset=utf-8;base64,IyEvYmluL2Jhc2gKbnNlbnRlciAtLW1vdW50PS9ydW4vY29udGFpbmVyLW1vdW50LW5hbWVzcGFjZS9tbnQgIiRAIgo=
        mode: 493
        path: /usr/local/bin/nsenterCmns
    systemd:
      units:
      - contents: |
          [Unit]
          Description=Manages a mount namespace that both kubelet and crio can use to share their container-specific mounts

          [Service]
          Type=oneshot
          RemainAfterExit=yes
          RuntimeDirectory=container-mount-namespace
          Environment=RUNTIME_DIRECTORY=%t/container-mount-namespace
          Environment=BIND_POINT=%t/container-mount-namespace/mnt
          ExecStartPre=bash -c "findmnt ${RUNTIME_DIRECTORY} || mount --make-unbindable --bind ${RUNTIME_DIRECTORY} ${RUNTIME_DIRECTORY}"
          ExecStartPre=touch ${BIND_POINT}
          ExecStart=unshare --mount=${BIND_POINT} --propagation slave mount --make-rshared /
          ExecStop=umount -R ${RUNTIME_DIRECTORY}
        enabled: true
        name: container-mount-namespace.service
      - dropins:
        - contents: |
            [Unit]
            Wants=container-mount-namespace.service
            After=container-mount-namespace.service

            [Service]
            ExecStartPre=/usr/local/bin/extractExecStart %n /%t/%N-execstart.env ORIG_EXECSTART
            EnvironmentFile=-/%t/%N-execstart.env
            ExecStart=
            ExecStart=bash -c "nsenter --mount=%t/container-mount-namespace/mnt \
                ${ORIG_EXECSTART}"
          name: 90-container-mount-namespace.conf
        name: crio.service
      - dropins:
        - contents: |
            [Unit]
            Wants=container-mount-namespace.service
            After=container-mount-namespace.service

            [Service]
            ExecStartPre=/usr/local/bin/extractExecStart %n /%t/%N-execstart.env ORIG_EXECSTART
            EnvironmentFile=-/%t/%N-execstart.env
            ExecStart=
            ExecStart=bash -c "nsenter --mount=%t/container-mount-namespace/mnt \
                ${ORIG_EXECSTART} --housekeeping-interval=30s"
          name: 90-container-mount-namespace.conf
        - contents: |
            [Service]
            Environment="OPENSHIFT_MAX_HOUSEKEEPING_INTERVAL_DURATION=60s"
            Environment="OPENSHIFT_EVICTION_MONITORING_PERIOD_DURATION=30s"
          name: 30-kubelet-interval-tuning.conf
        name: kubelet.service
Copy to Clipboard Toggle word wrap

22.6.6.3. SCTP
링크 복사

SCTP(스트림 제어 전송 프로토콜)는 RAN 애플리케이션에서 사용되는 주요 프로토콜입니다. 이 MachineConfig 오브젝트는 이 프로토콜을 활성화하기 위해 SCTP 커널 모듈을 노드에 추가합니다.

권장되는 SCTP 구성

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: master
  name: load-sctp-module
spec:
  config:
    ignition:
      version: 2.2.0
    storage:
      files:
        - contents:
            source: data:,
            verification: {}
          filesystem: root
            mode: 420
            path: /etc/modprobe.d/sctp-blacklist.conf
        - contents:
            source: data:text/plain;charset=utf-8,sctp
          filesystem: root
            mode: 420
            path: /etc/modules-load.d/sctp-load.conf
Copy to Clipboard Toggle word wrap

22.6.6.4. 컨테이너 시작 가속화
링크 복사

다음 MachineConfig CR은 시스템 시작 및 종료 중에 사용 가능한 모든 CPU 코어를 사용하도록 핵심 OpenShift 프로세스 및 컨테이너를 구성합니다. 따라서 초기 부팅 및 재부팅 중에 시스템 복구가 빨라집니다.

권장되는 가속화 컨테이너 시작 구성

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: master
  name: 04-accelerated-container-startup-master
spec:
  config:
    ignition:
      version: 3.2.0
    storage:
      files:
      - contents:
          source: data:text/plain;charset=utf-8;base64,IyEvYmluL2Jhc2gKIwojIFRlbXBvcmFyaWx5IHJlc2V0IHRoZSBjb3JlIHN5c3RlbSBwcm9jZXNzZXMncyBDUFUgYWZmaW5pdHkgdG8gYmUgdW5yZXN0cmljdGVkIHRvIGFjY2VsZXJhdGUgc3RhcnR1cCBhbmQgc2h1dGRvd24KIwojIFRoZSBkZWZhdWx0cyBiZWxvdyBjYW4gYmUgb3ZlcnJpZGRlbiB2aWEgZW52aXJvbm1lbnQgdmFyaWFibGVzCiMKCiMgVGhlIGRlZmF1bHQgc2V0IG9mIGNyaXRpY2FsIHByb2Nlc3NlcyB3aG9zZSBhZmZpbml0eSBzaG91bGQgYmUgdGVtcG9yYXJpbHkgdW5ib3VuZDoKQ1JJVElDQUxfUFJPQ0VTU0VTPSR7Q1JJVElDQUxfUFJPQ0VTU0VTOi0ic3lzdGVtZCBvdnMgY3JpbyBrdWJlbGV0IE5ldHdvcmtNYW5hZ2VyIGNvbm1vbiBkYnVzIn0KCiMgRGVmYXVsdCB3YWl0IHRpbWUgaXMgNjAwcyA9IDEwbToKTUFYSU1VTV9XQUlUX1RJTUU9JHtNQVhJTVVNX1dBSVRfVElNRTotNjAwfQoKIyBEZWZhdWx0IHN0ZWFkeS1zdGF0ZSB0aHJlc2hvbGQgPSAyJQojIEFsbG93ZWQgdmFsdWVzOgojICA0ICAtIGFic29sdXRlIHBvZCBjb3VudCAoKy8tKQojICA0JSAtIHBlcmNlbnQgY2hhbmdlICgrLy0pCiMgIC0xIC0gZGlzYWJsZSB0aGUgc3RlYWR5LXN0YXRlIGNoZWNrClNURUFEWV9TVEFURV9USFJFU0hPTEQ9JHtTVEVBRFlfU1RBVEVfVEhSRVNIT0xEOi0yJX0KCiMgRGVmYXVsdCBzdGVhZHktc3RhdGUgd2luZG93ID0gNjBzCiMgSWYgdGhlIHJ1bm5pbmcgcG9kIGNvdW50IHN0YXlzIHdpdGhpbiB0aGUgZ2l2ZW4gdGhyZXNob2xkIGZvciB0aGlzIHRpbWUKIyBwZXJpb2QsIHJldHVybiBDUFUgdXRpbGl6YXRpb24gdG8gbm9ybWFsIGJlZm9yZSB0aGUgbWF4aW11bSB3YWl0IHRpbWUgaGFzCiMgZXhwaXJlcwpTVEVBRFlfU1RBVEVfV0lORE9XPSR7U1RFQURZX1NUQVRFX1dJTkRPVzotNjB9CgojIERlZmF1bHQgc3RlYWR5LXN0YXRlIGFsbG93cyBhbnkgcG9kIGNvdW50IHRvIGJlICJzdGVhZHkgc3RhdGUiCiMgSW5jcmVhc2luZyB0aGlzIHdpbGwgc2tpcCBhbnkgc3RlYWR5LXN0YXRlIGNoZWNrcyB1bnRpbCB0aGUgY291bnQgcmlzZXMgYWJvdmUKIyB0aGlzIG51bWJlciB0byBhdm9pZCBmYWxzZSBwb3NpdGl2ZXMgaWYgdGhlcmUgYXJlIHNvbWUgcGVyaW9kcyB3aGVyZSB0aGUKIyBjb3VudCBkb2Vzbid0IGluY3JlYXNlIGJ1dCB3ZSBrbm93IHdlIGNhbid0IGJlIGF0IHN0ZWFkeS1zdGF0ZSB5ZXQuClNURUFEWV9TVEFURV9NSU5JTVVNPSR7U1RFQURZX1NUQVRFX01JTklNVU06LTB9CgojIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjCgpLVUJFTEVUX0NQVV9TVEFURT0vdmFyL2xpYi9rdWJlbGV0L2NwdV9tYW5hZ2VyX3N0YXRlCkZVTExfQ1BVX1NUQVRFPS9zeXMvZnMvY2dyb3VwL2NwdXNldC9jcHVzZXQuY3B1cwp1bnJlc3RyaWN0ZWRDcHVzZXQoKSB7CiAgbG9jYWwgY3B1cwogIGlmIFtbIC1lICRLVUJFTEVUX0NQVV9TVEFURSBdXTsgdGhlbgogICAgICBjcHVzPSQoanEgLXIgJy5kZWZhdWx0Q3B1U2V0JyA8JEtVQkVMRVRfQ1BVX1NUQVRFKQogIGZpCiAgaWYgW1sgLXogJGNwdXMgXV07IHRoZW4KICAgICMgZmFsbCBiYWNrIHRvIHVzaW5nIGFsbCBjcHVzIGlmIHRoZSBrdWJlbGV0IHN0YXRlIGlzIG5vdCBjb25maWd1cmVkIHlldAogICAgW1sgLWUgJEZVTExfQ1BVX1NUQVRFIF1dIHx8IHJldHVybiAxCiAgICBjcHVzPSQoPCRGVUxMX0NQVV9TVEFURSkKICBmaQogIGVjaG8gJGNwdXMKfQoKcmVzdHJpY3RlZENwdXNldCgpIHsKICBmb3IgYXJnIGluICQoPC9wcm9jL2NtZGxpbmUpOyBkbwogICAgaWYgW1sgJGFyZyA9fiBec3lzdGVtZC5jcHVfYWZmaW5pdHk9IF1dOyB0aGVuCiAgICAgIGVjaG8gJHthcmcjKj19CiAgICAgIHJldHVybiAwCiAgICBmaQogIGRvbmUKICByZXR1cm4gMQp9CgpnZXRDUFVDb3VudCAoKSB7CiAgbG9jYWwgY3B1c2V0PSIkMSIKICBsb2NhbCBjcHVsaXN0PSgpCiAgbG9jYWwgY3B1cz0wCiAgbG9jYWwgbWluY3B1cz0yCgogIGlmIFtbIC16ICRjcHVzZXQgfHwgJGNwdXNldCA9fiBbXjAtOSwtXSBdXTsgdGhlbgogICAgZWNobyAkbWluY3B1cwogICAgcmV0dXJuIDEKICBmaQoKICBJRlM9JywnIHJlYWQgLXJhIGNwdWxpc3QgPDw8ICRjcHVzZXQKCiAgZm9yIGVsbSBpbiAiJHtjcHVsaXN0W0BdfSI7IGRvCiAgICBpZiBbWyAkZWxtID1+IF5bMC05XSskIF1dOyB0aGVuCiAgICAgICgoIGNwdXMrKyApKQogICAgZWxpZiBbWyAkZWxtID1+IF5bMC05XSstWzAtOV0rJCBdXTsgdGhlbgogICAgICBsb2NhbCBsb3c9MCBoaWdoPTAKICAgICAgSUZTPSctJyByZWFkIGxvdyBoaWdoIDw8PCAkZWxtCiAgICAgICgoIGNwdXMgKz0gaGlnaCAtIGxvdyArIDEgKSkKICAgIGVsc2UKICAgICAgZWNobyAkbWluY3B1cwogICAgICByZXR1cm4gMQogICAgZmkKICBkb25lCgogICMgUmV0dXJuIGEgbWluaW11bSBvZiAyIGNwdXMKICBlY2hvICQoKCBjcHVzID4gJG1pbmNwdXMgPyBjcHVzIDogJG1pbmNwdXMgKSkKICByZXR1cm4gMAp9CgpyZXNldE9WU3RocmVhZHMgKCkgewogIGxvY2FsIGNwdWNvdW50PSIkMSIKICBsb2NhbCBjdXJSZXZhbGlkYXRvcnM9MAogIGxvY2FsIGN1ckhhbmRsZXJzPTAKICBsb2NhbCBkZXNpcmVkUmV2YWxpZGF0b3JzPTAKICBsb2NhbCBkZXNpcmVkSGFuZGxlcnM9MAogIGxvY2FsIHJjPTAKCiAgY3VyUmV2YWxpZGF0b3JzPSQocHMgLVRlbyBwaWQsdGlkLGNvbW0sY21kIHwgZ3JlcCAtZSByZXZhbGlkYXRvciB8IGdyZXAgLWMgb3ZzLXZzd2l0Y2hkKQogIGN1ckhhbmRsZXJzPSQocHMgLVRlbyBwaWQsdGlkLGNvbW0sY21kIHwgZ3JlcCAtZSBoYW5kbGVyIHwgZ3JlcCAtYyBvdnMtdnN3aXRjaGQpCgogICMgQ2FsY3VsYXRlIHRoZSBkZXNpcmVkIG51bWJlciBvZiB0aHJlYWRzIHRoZSBzYW1lIHdheSBPVlMgZG9lcy4KICAjIE9WUyB3aWxsIHNldCB0aGVzZSB0aHJlYWQgY291bnQgYXMgYSBvbmUgc2hvdCBwcm9jZXNzIG9uIHN0YXJ0dXAsIHNvIHdlCiAgIyBoYXZlIHRvIGFkanVzdCB1cCBvciBkb3duIGR1cmluZyB0aGUgYm9vdCB1cCBwcm9jZXNzLiBUaGUgZGVzaXJlZCBvdXRjb21lIGlzCiAgIyB0byBub3QgcmVzdHJpY3QgdGhlIG51bWJlciBvZiB0aHJlYWQgYXQgc3RhcnR1cCB1bnRpbCB3ZSByZWFjaCBhIHN0ZWFkeQogICMgc3RhdGUuICBBdCB3aGljaCBwb2ludCB3ZSBuZWVkIHRvIHJlc2V0IHRoZXNlIGJhc2VkIG9uIG91ciByZXN0cmljdGVkICBzZXQKICAjIG9mIGNvcmVzLgogICMgU2VlIE9WUyBmdW5jdGlvbiB0aGF0IGNhbGN1bGF0ZXMgdGhlc2UgdGhyZWFkIGNvdW50czoKICAjIGh0dHBzOi8vZ2l0aHViLmNvbS9vcGVudnN3aXRjaC9vdnMvYmxvYi9tYXN0ZXIvb2Zwcm90by9vZnByb3RvLWRwaWYtdXBjYWxsLmMjTDYzNQogICgoIGRlc2lyZWRSZXZhbGlkYXRvcnM9JGNwdWNvdW50IC8gNCArIDEgKSkKICAoKCBkZXNpcmVkSGFuZGxlcnM9JGNwdWNvdW50IC0gJGRlc2lyZWRSZXZhbGlkYXRvcnMgKSkKCgogIGlmIFtbICRjdXJSZXZhbGlkYXRvcnMgLW5lICRkZXNpcmVkUmV2YWxpZGF0b3JzIHx8ICRjdXJIYW5kbGVycyAtbmUgJGRlc2lyZWRIYW5kbGVycyBdXTsgdGhlbgoKICAgIGxvZ2dlciAiUmVjb3Zlcnk6IFJlLXNldHRpbmcgT1ZTIHJldmFsaWRhdG9yIHRocmVhZHM6ICR7Y3VyUmV2YWxpZGF0b3JzfSAtPiAke2Rlc2lyZWRSZXZhbGlkYXRvcnN9IgogICAgbG9nZ2VyICJSZWNvdmVyeTogUmUtc2V0dGluZyBPVlMgaGFuZGxlciB0aHJlYWRzOiAke2N1ckhhbmRsZXJzfSAtPiAke2Rlc2lyZWRIYW5kbGVyc30iCgogICAgb3ZzLXZzY3RsIHNldCBcCiAgICAgIE9wZW5fdlN3aXRjaCAuIFwKICAgICAgb3RoZXItY29uZmlnOm4taGFuZGxlci10aHJlYWRzPSR7ZGVzaXJlZEhhbmRsZXJzfSBcCiAgICAgIG90aGVyLWNvbmZpZzpuLXJldmFsaWRhdG9yLXRocmVhZHM9JHtkZXNpcmVkUmV2YWxpZGF0b3JzfQogICAgcmM9JD8KICBmaQoKICByZXR1cm4gJHJjCn0KCnJlc2V0QWZmaW5pdHkoKSB7CiAgbG9jYWwgY3B1c2V0PSIkMSIKICBsb2NhbCBmYWlsY291bnQ9MAogIGxvY2FsIHN1Y2Nlc3Njb3VudD0wCiAgbG9nZ2VyICJSZWNvdmVyeTogU2V0dGluZyBDUFUgYWZmaW5pdHkgZm9yIGNyaXRpY2FsIHByb2Nlc3NlcyBcIiRDUklUSUNBTF9QUk9DRVNTRVNcIiB0byAkY3B1c2V0IgogIGZvciBwcm9jIGluICRDUklUSUNBTF9QUk9DRVNTRVM7IGRvCiAgICBsb2NhbCBwaWRzPSIkKHBncmVwICRwcm9jKSIKICAgIGZvciBwaWQgaW4gJHBpZHM7IGRvCiAgICAgIGxvY2FsIHRhc2tzZXRPdXRwdXQKICAgICAgdGFza3NldE91dHB1dD0iJCh0YXNrc2V0IC1hcGMgIiRjcHVzZXQiICRwaWQgMj4mMSkiCiAgICAgIGlmIFtbICQ/IC1uZSAwIF1dOyB0aGVuCiAgICAgICAgZWNobyAiRVJST1I6ICR0YXNrc2V0T3V0cHV0IgogICAgICAgICgoZmFpbGNvdW50KyspKQogICAgICBlbHNlCiAgICAgICAgKChzdWNjZXNzY291bnQrKykpCiAgICAgIGZpCiAgICBkb25lCiAgZG9uZQoKICByZXNldE9WU3RocmVhZHMgIiQoZ2V0Q1BVQ291bnQgJHtjcHVzZXR9KSIKICBpZiBbWyAkPyAtbmUgMCBdXTsgdGhlbgogICAgKChmYWlsY291bnQrKykpCiAgZWxzZQogICAgKChzdWNjZXNzY291bnQrKykpCiAgZmkKCiAgbG9nZ2VyICJSZWNvdmVyeTogUmUtYWZmaW5lZCAkc3VjY2Vzc2NvdW50IHBpZHMgc3VjY2Vzc2Z1bGx5IgogIGlmIFtbICRmYWlsY291bnQgLWd0IDAgXV07IHRoZW4KICAgIGxvZ2dlciAiUmVjb3Zlcnk6IEZhaWxlZCB0byByZS1hZmZpbmUgJGZhaWxjb3VudCBwcm9jZXNzZXMiCiAgICByZXR1cm4gMQogIGZpCn0KCnNldFVucmVzdHJpY3RlZCgpIHsKICBsb2dnZXIgIlJlY292ZXJ5OiBTZXR0aW5nIGNyaXRpY2FsIHN5c3RlbSBwcm9jZXNzZXMgdG8gaGF2ZSB1bnJlc3RyaWN0ZWQgQ1BVIGFjY2VzcyIKICByZXNldEFmZmluaXR5ICIkKHVucmVzdHJpY3RlZENwdXNldCkiCn0KCnNldFJlc3RyaWN0ZWQoKSB7CiAgbG9nZ2VyICJSZWNvdmVyeTogUmVzZXR0aW5nIGNyaXRpY2FsIHN5c3RlbSBwcm9jZXNzZXMgYmFjayB0byBub3JtYWxseSByZXN0cmljdGVkIGFjY2VzcyIKICByZXNldEFmZmluaXR5ICIkKHJlc3RyaWN0ZWRDcHVzZXQpIgp9CgpjdXJyZW50QWZmaW5pdHkoKSB7CiAgbG9jYWwgcGlkPSIkMSIKICB0YXNrc2V0IC1wYyAkcGlkIHwgYXdrIC1GJzogJyAne3ByaW50ICQyfScKfQoKd2l0aGluKCkgewogIGxvY2FsIGxhc3Q9JDEgY3VycmVudD0kMiB0aHJlc2hvbGQ9JDMKICBsb2NhbCBkZWx0YT0wIHBjaGFuZ2UKICBkZWx0YT0kKCggY3VycmVudCAtIGxhc3QgKSkKICBpZiBbWyAkY3VycmVudCAtZXEgJGxhc3QgXV07IHRoZW4KICAgIHBjaGFuZ2U9MAogIGVsaWYgW1sgJGxhc3QgLWVxIDAgXV07IHRoZW4KICAgIHBjaGFuZ2U9MTAwMDAwMAogIGVsc2UKICAgIHBjaGFuZ2U9JCgoICggJGRlbHRhICogMTAwKSAvIGxhc3QgKSkKICBmaQogIGVjaG8gLW4gImxhc3Q6JGxhc3QgY3VycmVudDokY3VycmVudCBkZWx0YTokZGVsdGEgcGNoYW5nZToke3BjaGFuZ2V9JTogIgogIGxvY2FsIGFic29sdXRlIGxpbWl0CiAgY2FzZSAkdGhyZXNob2xkIGluCiAgICAqJSkKICAgICAgYWJzb2x1dGU9JHtwY2hhbmdlIyMtfSAjIGFic29sdXRlIHZhbHVlCiAgICAgIGxpbWl0PSR7dGhyZXNob2xkJSUlfQogICAgICA7OwogICAgKikKICAgICAgYWJzb2x1dGU9JHtkZWx0YSMjLX0gIyBhYnNvbHV0ZSB2YWx1ZQogICAgICBsaW1pdD0kdGhyZXNob2xkCiAgICAgIDs7CiAgZXNhYwogIGlmIFtbICRhYnNvbHV0ZSAtbGUgJGxpbWl0IF1dOyB0aGVuCiAgICBlY2hvICJ3aXRoaW4gKCsvLSkkdGhyZXNob2xkIgogICAgcmV0dXJuIDAKICBlbHNlCiAgICBlY2hvICJvdXRzaWRlICgrLy0pJHRocmVzaG9sZCIKICAgIHJldHVybiAxCiAgZmkKfQoKc3RlYWR5c3RhdGUoKSB7CiAgbG9jYWwgbGFzdD0kMSBjdXJyZW50PSQyCiAgaWYgW1sgJGxhc3QgLWx0ICRTVEVBRFlfU1RBVEVfTUlOSU1VTSBdXTsgdGhlbgogICAgZWNobyAibGFzdDokbGFzdCBjdXJyZW50OiRjdXJyZW50IFdhaXRpbmcgdG8gcmVhY2ggJFNURUFEWV9TVEFURV9NSU5JTVVNIGJlZm9yZSBjaGVja2luZyBmb3Igc3RlYWR5LXN0YXRlIgogICAgcmV0dXJuIDEKICBmaQogIHdpdGhpbiAkbGFzdCAkY3VycmVudCAkU1RFQURZX1NUQVRFX1RIUkVTSE9MRAp9Cgp3YWl0Rm9yUmVhZHkoKSB7CiAgbG9nZ2VyICJSZWNvdmVyeTogV2FpdGluZyAke01BWElNVU1fV0FJVF9USU1FfXMgZm9yIHRoZSBpbml0aWFsaXphdGlvbiB0byBjb21wbGV0ZSIKICBsb2NhbCBsYXN0U3lzdGVtZENwdXNldD0iJChjdXJyZW50QWZmaW5pdHkgMSkiCiAgbG9jYWwgbGFzdERlc2lyZWRDcHVzZXQ9IiQodW5yZXN0cmljdGVkQ3B1c2V0KSIKICBsb2NhbCB0PTAgcz0xMAogIGxvY2FsIGxhc3RDY291bnQ9MCBjY291bnQ9MCBzdGVhZHlTdGF0ZVRpbWU9MAogIHdoaWxlIFtbICR0IC1sdCAkTUFYSU1VTV9XQUlUX1RJTUUgXV07IGRvCiAgICBzbGVlcCAkcwogICAgKCh0ICs9IHMpKQogICAgIyBSZS1jaGVjayB0aGUgY3VycmVudCBhZmZpbml0eSBvZiBzeXN0ZW1kLCBpbiBjYXNlIHNvbWUgb3RoZXIgcHJvY2VzcyBoYXMgY2hhbmdlZCBpdAogICAgbG9jYWwgc3lzdGVtZENwdXNldD0iJChjdXJyZW50QWZmaW5pdHkgMSkiCiAgICAjIFJlLWNoZWNrIHRoZSB1bnJlc3RyaWN0ZWQgQ3B1c2V0LCBhcyB0aGUgYWxsb3dlZCBzZXQgb2YgdW5yZXNlcnZlZCBjb3JlcyBtYXkgY2hhbmdlIGFzIHBvZHMgYXJlIGFzc2lnbmVkIHRvIGNvcmVzCiAgICBsb2NhbCBkZXNpcmVkQ3B1c2V0PSIkKHVucmVzdHJpY3RlZENwdXNldCkiCiAgICBpZiBbWyAkc3lzdGVtZENwdXNldCAhPSAkbGFzdFN5c3RlbWRDcHVzZXQgfHwgJGxhc3REZXNpcmVkQ3B1c2V0ICE9ICRkZXNpcmVkQ3B1c2V0IF1dOyB0aGVuCiAgICAgIHJlc2V0QWZmaW5pdHkgIiRkZXNpcmVkQ3B1c2V0IgogICAgICBsYXN0U3lzdGVtZENwdXNldD0iJChjdXJyZW50QWZmaW5pdHkgMSkiCiAgICAgIGxhc3REZXNpcmVkQ3B1c2V0PSIkZGVzaXJlZENwdXNldCIKICAgIGZpCgogICAgIyBEZXRlY3Qgc3RlYWR5LXN0YXRlIHBvZCBjb3VudAogICAgY2NvdW50PSQoY3JpY3RsIHBzIHwgd2MgLWwpCiAgICBpZiBzdGVhZHlzdGF0ZSAkbGFzdENjb3VudCAkY2NvdW50OyB0aGVuCiAgICAgICgoc3RlYWR5U3RhdGVUaW1lICs9IHMpKQogICAgICBlY2hvICJTdGVhZHktc3RhdGUgZm9yICR7c3RlYWR5U3RhdGVUaW1lfXMvJHtTVEVBRFlfU1RBVEVfV0lORE9XfXMiCiAgICAgIGlmIFtbICRzdGVhZHlTdGF0ZVRpbWUgLWdlICRTVEVBRFlfU1RBVEVfV0lORE9XIF1dOyB0aGVuCiAgICAgICAgbG9nZ2VyICJSZWNvdmVyeTogU3RlYWR5LXN0YXRlICgrLy0gJFNURUFEWV9TVEFURV9USFJFU0hPTEQpIGZvciAke1NURUFEWV9TVEFURV9XSU5ET1d9czogRG9uZSIKICAgICAgICByZXR1cm4gMAogICAgICBmaQogICAgZWxzZQogICAgICBpZiBbWyAkc3RlYWR5U3RhdGVUaW1lIC1ndCAwIF1dOyB0aGVuCiAgICAgICAgZWNobyAiUmVzZXR0aW5nIHN0ZWFkeS1zdGF0ZSB0aW1lciIKICAgICAgICBzdGVhZHlTdGF0ZVRpbWU9MAogICAgICBmaQogICAgZmkKICAgIGxhc3RDY291bnQ9JGNjb3VudAogIGRvbmUKICBsb2dnZXIgIlJlY292ZXJ5OiBSZWNvdmVyeSBDb21wbGV0ZSBUaW1lb3V0Igp9CgptYWluKCkgewogIGlmICEgdW5yZXN0cmljdGVkQ3B1c2V0ID4mL2Rldi9udWxsOyB0aGVuCiAgICBsb2dnZXIgIlJlY292ZXJ5OiBObyB1bnJlc3RyaWN0ZWQgQ3B1c2V0IGNvdWxkIGJlIGRldGVjdGVkIgogICAgcmV0dXJuIDEKICBmaQoKICBpZiAhIHJlc3RyaWN0ZWRDcHVzZXQgPiYvZGV2L251bGw7IHRoZW4KICAgIGxvZ2dlciAiUmVjb3Zlcnk6IE5vIHJlc3RyaWN0ZWQgQ3B1c2V0IGhhcyBiZWVuIGNvbmZpZ3VyZWQuICBXZSBhcmUgYWxyZWFkeSBydW5uaW5nIHVucmVzdHJpY3RlZC4iCiAgICByZXR1cm4gMAogIGZpCgogICMgRW5zdXJlIHdlIHJlc2V0IHRoZSBDUFUgYWZmaW5pdHkgd2hlbiB3ZSBleGl0IHRoaXMgc2NyaXB0IGZvciBhbnkgcmVhc29uCiAgIyBUaGlzIHdheSBlaXRoZXIgYWZ0ZXIgdGhlIHRpbWVyIGV4cGlyZXMgb3IgYWZ0ZXIgdGhlIHByb2Nlc3MgaXMgaW50ZXJydXB0ZWQKICAjIHZpYSBeQyBvciBTSUdURVJNLCB3ZSByZXR1cm4gdGhpbmdzIGJhY2sgdG8gdGhlIHdheSB0aGV5IHNob3VsZCBiZS4KICB0cmFwIHNldFJlc3RyaWN0ZWQgRVhJVAoKICBsb2dnZXIgIlJlY292ZXJ5OiBSZWNvdmVyeSBNb2RlIFN0YXJ0aW5nIgogIHNldFVucmVzdHJpY3RlZAogIHdhaXRGb3JSZWFkeQp9CgppZiBbWyAiJHtCQVNIX1NPVVJDRVswXX0iID0gIiR7MH0iIF1dOyB0aGVuCiAgbWFpbiAiJHtAfSIKICBleGl0ICQ/CmZpCg==
        mode: 493
        path: /usr/local/bin/accelerated-container-startup.sh
    systemd:
      units:
      - contents: |
          [Unit]
          Description=Unlocks more CPUs for critical system processes during container startup

          [Service]
          Type=simple
          ExecStart=/usr/local/bin/accelerated-container-startup.sh

          # Maximum wait time is 600s = 10m:
          Environment=MAXIMUM_WAIT_TIME=600

          # Steady-state threshold = 2%
          # Allowed values:
          #  4  - absolute pod count (+/-)
          #  4% - percent change (+/-)
          #  -1 - disable the steady-state check
          # Note: '%' must be escaped as '%%' in systemd unit files
          Environment=STEADY_STATE_THRESHOLD=2%%

          # Steady-state window = 120s
          # If the running pod count stays within the given threshold for this time
          # period, return CPU utilization to normal before the maximum wait time has
          # expires
          Environment=STEADY_STATE_WINDOW=120

          # Steady-state minimum = 40
          # Increasing this will skip any steady-state checks until the count rises above
          # this number to avoid false positives if there are some periods where the
          # count doesn't increase but we know we can't be at steady-state yet.
          Environment=STEADY_STATE_MINIMUM=40

          [Install]
          WantedBy=multi-user.target
        enabled: true
        name: accelerated-container-startup.service
      - contents: |
          [Unit]
          Description=Unlocks more CPUs for critical system processes during container shutdown
          DefaultDependencies=no

          [Service]
          Type=simple
          ExecStart=/usr/local/bin/accelerated-container-startup.sh

          # Maximum wait time is 600s = 10m:
          Environment=MAXIMUM_WAIT_TIME=600

          # Steady-state threshold
          # Allowed values:
          #  4  - absolute pod count (+/-)
          #  4% - percent change (+/-)
          #  -1 - disable the steady-state check
          # Note: '%' must be escaped as '%%' in systemd unit files
          Environment=STEADY_STATE_THRESHOLD=-1

          # Steady-state window = 60s
          # If the running pod count stays within the given threshold for this time
          # period, return CPU utilization to normal before the maximum wait time has
          # expires
          Environment=STEADY_STATE_WINDOW=60

          [Install]
          WantedBy=shutdown.target reboot.target halt.target
        enabled: true
        name: accelerated-container-shutdown.service
Copy to Clipboard Toggle word wrap

22.6.6.5. kdump를 사용한 자동 커널 충돌 덤프
링크 복사

kdump 는 커널이 충돌할 때 커널 크래시 덤프를 생성하는 Linux 커널 기능입니다. kdump 는 다음 MachineConfig CR을 사용하여 활성화됩니다.

권장되는 kdump 설정

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  labels:
    machineconfiguration.openshift.io/role: master
  name: 06-kdump-enable-master
spec:
  config:
    ignition:
      version: 3.2.0
    systemd:
      units:
      - enabled: true
        name: kdump.service
  kernelArguments:
    - crashkernel=512M
Copy to Clipboard Toggle word wrap

22.6.7. 설치 후 클러스터 구성 권장
링크 복사

클러스터 설치가 완료되면 ZTP 파이프라인에서 DU 워크로드를 실행하는 데 필요한 다음 CR(사용자 정의 리소스)을 적용합니다.

참고

{ztp} v4.10 및 이전 버전에서는 MachineConfig CR을 사용하여 UEFI 보안 부팅을 구성합니다. {ztp} v4.11 이상에서는 더 이상 필요하지 않습니다. v4.11에서는 클러스터를 설치하는 데 사용하는 site Config CR에서 spec.clusters.nodes.bootMode 필드를 업데이트하여 단일 노드 OpenShift 클러스터에 대해 UEFI 보안 부팅을 구성합니다. 자세한 내용은 site Config 및 {ztp}를 사용하여 관리되는 클러스터 배포를 참조하십시오.

22.6.7.1. Operator 네임스페이스 및 Operator groups
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 다음 OperatorGroup 및 Namespace CR(사용자 정의 리소스)이 필요합니다.

  • Local Storage Operator
  • Operator 로깅
  • PTP Operator
  • SR-IOV 네트워크 Operator

다음 YAML은 이러한 CR을 요약합니다.

권장되는 Operator 네임스페이스 및 OperatorGroup 구성

apiVersion: v1
kind: Namespace
metadata:
  annotations:
    workload.openshift.io/allowed: management
  name: openshift-local-storage
---
apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: openshift-local-storage
  namespace: openshift-local-storage
spec:
  targetNamespaces:
    - openshift-local-storage
---
apiVersion: v1
kind: Namespace
metadata:
  annotations:
    workload.openshift.io/allowed: management
  name: openshift-logging
---
apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: cluster-logging
  namespace: openshift-logging
spec:
  targetNamespaces:
    - openshift-logging
---
apiVersion: v1
kind: Namespace
metadata:
  annotations:
    workload.openshift.io/allowed: management
  labels:
    openshift.io/cluster-monitoring: "true"
  name: openshift-ptp
---
apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: ptp-operators
  namespace: openshift-ptp
spec:
  targetNamespaces:
    - openshift-ptp
---
apiVersion: v1
kind: Namespace
metadata:
  annotations:
    workload.openshift.io/allowed: management
    name: openshift-sriov-network-operator
---
apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: sriov-network-operators
  namespace: openshift-sriov-network-operator
spec:
  targetNamespaces:
    - openshift-sriov-network-operator
Copy to Clipboard Toggle word wrap

22.6.7.2. Operator 서브스크립션
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 다음과 같은 Subscription CR이 필요합니다. 서브스크립션은 다음 Operator를 다운로드할 수 있는 위치를 제공합니다.

  • Local Storage Operator
  • Operator 로깅
  • PTP Operator
  • SR-IOV 네트워크 Operator

권장되는 Operator 서브스크립션

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: cluster-logging
  namespace: openshift-logging
spec:
  channel: "stable"
1 

  name: cluster-logging
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  installPlanApproval: Manual
2 

---
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: local-storage-operator
  namespace: openshift-local-storage
spec:
  channel: "stable"
  installPlanApproval: Automatic
  name: local-storage-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  installPlanApproval: Manual
---
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
    name: ptp-operator-subscription
    namespace: openshift-ptp
spec:
  channel: "stable"
  name: ptp-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  installPlanApproval: Manual
---
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: sriov-network-operator-subscription
  namespace: openshift-sriov-network-operator
spec:
  channel: "stable"
  name: sriov-network-operator
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  installPlanApproval: Manual
Copy to Clipboard Toggle word wrap

1
Operator를 가져올 채널을 지정합니다. stable 이 권장되는 채널입니다.
2
수동 또는 자동 을 지정합니다. 자동 모드에서 Operator는 레지스트리에서 사용 가능할 때 채널의 최신 버전으로 자동으로 업데이트됩니다. 수동 모드에서 새 Operator 버전은 명시적으로 승인 된 후에만 설치됩니다.
22.6.7.3. 클러스터 로깅 및 로그 전달
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 디버깅을 위해 로깅 및 로그 전달이 필요합니다. 다음 예제 YAML은 필수 ClusterLogging 및 ClusterLogForwarder CR을 보여줍니다.

권장되는 클러스터 로깅 및 로그 전달 구성

apiVersion: logging.openshift.io/v1
kind: ClusterLogging
1 

metadata:
  name: instance
  namespace: openshift-logging
spec:
  collection:
    logs:
      fluentd: {}
      type: fluentd
  curation:
    type: "curator"
    curator:
      schedule: "30 3 * * *"
  managementState: Managed
---
apiVersion: logging.openshift.io/v1
kind: ClusterLogForwarder
2 

metadata:
  name: instance
  namespace: openshift-logging
spec:
  inputs:
    - infrastructure: {}
      name: infra-logs
  outputs:
    - name: kafka-open
      type: kafka
      url: tcp://10.46.55.190:9092/test
3 

  pipelines:
    - inputRefs:
      - audit
      name: audit-logs
      outputRefs:
      - kafka-open
    - inputRefs:
      - infrastructure
      name: infrastructure-logs
      outputRefs:
      - kafka-open
Copy to Clipboard Toggle word wrap

1
기존 ClusterLogging 인스턴스를 업데이트하거나 인스턴스가 없는 경우 생성합니다.
2
기존 ClusterLogForwarder 인스턴스를 업데이트하거나 인스턴스가 없는 경우 생성합니다.
3
로그가 전달되는 Kafka 서버의 URL을 지정합니다.
22.6.7.4. 성능 프로필
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 실시간 호스트 기능 및 서비스를 사용하려면 Node Tuning Operator 성능 프로파일이 필요합니다.

참고

이전 버전의 OpenShift Container Platform에서는 OpenShift 애플리케이션에 대해 짧은 대기 시간 성능을 실현하기 위해 자동 튜닝을 구현하는 데 Performance Addon Operator를 사용했습니다. OpenShift Container Platform 4.11 이상에서는 이 기능은 Node Tuning Operator의 일부입니다.

다음 예제 PerformanceProfile CR은 필요한 클러스터 구성을 보여줍니다.

권장되는 성능 프로파일 구성

apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: openshift-node-performance-profile
1 

spec:
  additionalKernelArgs:
  - "rcupdate.rcu_normal_after_boot=0"
  - "efi=runtime"
2 

  cpu:
    isolated: 2-51,54-103
3 

    reserved: 0-1,52-53
4 

  hugepages:
    defaultHugepagesSize: 1G
    pages:
      - count: 32
5 

        size: 1G
6 

        node: 0
7 

  machineConfigPoolSelector:
    pools.operator.machineconfiguration.openshift.io/master: ""
  nodeSelector:
    node-role.kubernetes.io/master: ""
  numa:
    topologyPolicy: "restricted"
  realTimeKernel:
    enabled: true
8
Copy to Clipboard Toggle word wrap

1
이름 값이 TunedPerformancePatch.yaml 의 spec.profile.data 필드에 지정된 값과 일치하고 validatorCRs/informDuValidator.yaml 의 status.configuration.source.name 필드와 일치하는지 확인합니다.
2
클러스터 호스트에 대한 UEFI 보안 부팅을 구성합니다.
3
분리된 CPU를 설정합니다. 모든 하이퍼 스레딩 쌍이 일치하는지 확인합니다.
중요

예약 및 분리된 CPU 풀은 겹치지 않아야 하며 함께 사용 가능한 모든 코어에 걸쳐 있어야 합니다. 고려하지 않은 CPU 코어로 인해 시스템에서 정의되지 않은 동작이 발생합니다.

4
예약된 CPU를 설정합니다. 워크로드 파티셔닝이 활성화되면 시스템 프로세스, 커널 스레드 및 시스템 컨테이너 스레드가 이러한 CPU로 제한됩니다. 분리되지 않은 모든 CPU는 예약해야 합니다.
5
대규모 페이지 수를 설정합니다.
6
대규모 페이지 크기를 설정합니다.
7
node 를 hugepages 가 할당된 NUMA 노드로 설정합니다.
8
실시간 Linux 커널을 설치하려면 enabled 를 true 로 설정합니다.
22.6.7.5. PTP
링크 복사

단일 노드 OpenShift 클러스터는 네트워크 시간 동기화에 PTP(Precision Time Protocol)를 사용합니다. 다음 예제 PtpConfig CR은 필요한 PTP 슬레이브 구성을 보여줍니다.

권장되는 PTP 구성

apiVersion: ptp.openshift.io/v1
kind: PtpConfig
metadata:
  name: du-ptp-slave
  namespace: openshift-ptp
spec:
  profile:
    - interface: ens5f0
1 

      name: slave
      phc2sysOpts: -a -r -n 24
      ptp4lConf: |
        [global]
        #
        # Default Data Set
        #
        twoStepFlag 1
        slaveOnly 0
        priority1 128
        priority2 128
        domainNumber 24
        #utc_offset 37
        clockClass 248
        clockAccuracy 0xFE
        offsetScaledLogVariance 0xFFFF
        free_running 0
        freq_est_interval 1
        dscp_event 0
        dscp_general 0
        dataset_comparison ieee1588
        G.8275.defaultDS.localPriority 128
        #
        # Port Data Set
        #
        logAnnounceInterval -3
        logSyncInterval -4
        logMinDelayReqInterval -4
        logMinPdelayReqInterval -4
        announceReceiptTimeout 3
        syncReceiptTimeout 0
        delayAsymmetry 0
        fault_reset_interval 4
        neighborPropDelayThresh 20000000
        masterOnly 0
        G.8275.portDS.localPriority 128
        #
        # Run time options
        #
        assume_two_step 0
        logging_level 6
        path_trace_enabled 0
        follow_up_info 0
        hybrid_e2e 0
        inhibit_multicast_service 0
        net_sync_monitor 0
        tc_spanning_tree 0
        tx_timestamp_timeout 1
        unicast_listen 0
        unicast_master_table 0
        unicast_req_duration 3600
        use_syslog 1
        verbose 0
        summary_interval 0
        kernel_leap 1
        check_fup_sync 0
        #
        # Servo Options
        #
        pi_proportional_const 0.0
        pi_integral_const 0.0
        pi_proportional_scale 0.0
        pi_proportional_exponent -0.3
        pi_proportional_norm_max 0.7
        pi_integral_scale 0.0
        pi_integral_exponent 0.4
        pi_integral_norm_max 0.3
        step_threshold 2.0
        first_step_threshold 0.00002
        max_frequency 900000000
        clock_servo pi
        sanity_freq_limit 200000000
        ntpshm_segment 0
        #
        # Transport options
        #
        transportSpecific 0x0
        ptp_dst_mac 01:1B:19:00:00:00
        p2p_dst_mac 01:80:C2:00:00:0E
        udp_ttl 1
        udp6_scope 0x0E
        uds_address /var/run/ptp4l
        #
        # Default interface options
        #
        clock_type OC
        network_transport L2
        delay_mechanism E2E
        time_stamping hardware
        tsproc_mode filter
        delay_filter moving_median
        delay_filter_length 10
        egressLatency 0
        ingressLatency 0
        boundary_clock_jbod 0
        #
        # Clock description
        #
        productDescription ;;
        revisionData ;;
        manufacturerIdentity 00:00:00
        userDescription ;
        timeSource 0xA0
      ptp4lOpts: -2 -s --summary_interval -4
recommend:
  - match:
      - nodeLabel: node-role.kubernetes.io/master
    priority: 4
    profile: slave
Copy to Clipboard Toggle word wrap

1
PTP 클럭 신호를 수신하는 데 사용되는 인터페이스를 설정합니다.
22.6.7.6. 확장 Tuned 프로파일
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 고성능 워크로드에 필요한 추가 성능 튜닝 구성이 필요합니다. 다음 예제 Tuned CR은 Tuned 프로필을 확장합니다.

권장되는 확장 Tuned 프로파일 구성

apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: performance-patch
  namespace: openshift-cluster-node-tuning-operator
spec:
  profile:
    - data: |
        [main]
        summary=Configuration changes profile inherited from performance created tuned
        include=openshift-node-performance-openshift-node-performance-profile
        [bootloader]
        cmdline_crash=nohz_full=2-51,54-103
        [sysctl]
        kernel.timer_migration=1
        [scheduler]
        group.ice-ptp=0:f:10:*:ice-ptp.*
        [service]
        service.stalld=start,enable
        service.chronyd=stop,disable
      name: performance-patch
  recommend:
    - machineConfigLabels:
        machineconfiguration.openshift.io/role: master
      priority: 19
      profile: performance-patch
Copy to Clipboard Toggle word wrap

22.6.7.7. SR-IOV
링크 복사

SR-IOV(Single Root I/O virtualization)는 일반적으로 fronthaul 및 midhaul 네트워크를 활성화하는 데 사용됩니다. 다음 YAML 예제에서는 단일 노드 OpenShift 클러스터에 대해 SR-IOV를 구성합니다.

권장되는 SR-IOV 구성

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovOperatorConfig
metadata:
  name: default
  namespace: openshift-sriov-network-operator
spec:
  configDaemonNodeSelector:
    node-role.kubernetes.io/master: ""
  disableDrain: true
  enableInjector: true
  enableOperatorWebhook: true
---
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriov-nw-du-mh
  namespace: openshift-sriov-network-operator
spec:
  networkNamespace: openshift-sriov-network-operator
  resourceName: du_mh
  vlan: 150
1 

---
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriov-nnp-du-mh
  namespace: openshift-sriov-network-operator
spec:
  deviceType: vfio-pci
2 

  isRdma: false
  nicSelector:
    pfNames:
      - ens7f0
3 

  nodeSelector:
    node-role.kubernetes.io/master: ""
  numVfs: 8
4 

  priority: 10
  resourceName: du_mh
---
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: sriov-nw-du-fh
  namespace: openshift-sriov-network-operator
spec:
  networkNamespace: openshift-sriov-network-operator
  resourceName: du_fh
  vlan: 140
5 

---
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: sriov-nnp-du-fh
  namespace: openshift-sriov-network-operator
spec:
  deviceType: netdevice
6 

  isRdma: true
  nicSelector:
    pfNames:
      - ens5f0
7 

  nodeSelector:
    node-role.kubernetes.io/master: ""
  numVfs: 8
8 

  priority: 10
  resourceName: du_fh
Copy to Clipboard Toggle word wrap

1
midhaul 네트워크의 VLAN을 지정합니다.
2
필요에 따라 vfio-pci 또는 netdevice 를 선택합니다.
3
중간 네트워크에 연결된 인터페이스를 지정합니다.
4
중간 네트워크의 VF 수를 지정합니다.
5
fronthaul 네트워크의 VLAN입니다.
6
필요에 따라 vfio-pci 또는 netdevice 를 선택합니다.
7
fronthaul 네트워크에 연결된 인터페이스를 지정합니다.
8
fronthaul 네트워크의 VF 수를 지정합니다.
22.6.7.8. Console Operator
링크 복사

console-operator는 클러스터에 웹 콘솔을 설치하고 유지 관리합니다. 노드가 중앙 집중식으로 관리되면 Operator가 필요하지 않으며 애플리케이션 워크로드를 위한 공간을 만듭니다. 다음 콘솔 CR(사용자 정의 리소스) 예에서는 콘솔을 비활성화합니다.

권장되는 콘솔 구성

apiVersion: operator.openshift.io/v1
kind: Console
metadata:
  annotations:
    include.release.openshift.io/ibm-cloud-managed: "false"
    include.release.openshift.io/self-managed-high-availability: "false"
    include.release.openshift.io/single-node-developer: "false"
    release.openshift.io/create-only: "true"
  name: cluster
spec:
  logLevel: Normal
  managementState: Removed
  operatorLogLevel: Normal
Copy to Clipboard Toggle word wrap

22.6.7.9. Alertmanager
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 OpenShift Container Platform 모니터링 구성 요소에서 사용하는 CPU 리소스가 감소해야 합니다. 다음 ConfigMap CR(사용자 정의 리소스)은 Alertmanager를 비활성화합니다.

권장되는 클러스터 모니터링 구성

apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    alertmanagerMain:
      enabled: false
    prometheusK8s:
       retention: 24h
Copy to Clipboard Toggle word wrap

22.6.7.10. Operator Lifecycle Manager
링크 복사

분산 단위 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 CPU 리소스에 대한 일관된 액세스 권한이 필요합니다. OLM(Operator Lifecycle Manager)은 정기적으로 Operator에서 성능 데이터를 수집하여 CPU 사용률이 증가합니다. 다음 ConfigMap CR(사용자 정의 리소스)은 OLM의 Operator 성능 데이터 수집을 비활성화합니다.

권장되는 클러스터 OLM 구성(ReduceOLMFootprint.yaml)

apiVersion: v1
kind: ConfigMap
metadata:
  name: collect-profiles-config
  namespace: openshift-operator-lifecycle-manager
data:
  pprof-config.yaml: |
    disabled: True
Copy to Clipboard Toggle word wrap

22.6.7.11. 네트워크 진단
링크 복사

DU 워크로드를 실행하는 단일 노드 OpenShift 클러스터에는 Pod에서 생성하는 추가 로드를 줄이기 위해 포드 간 네트워크 연결 검사가 줄어듭니다. 다음 CR(사용자 정의 리소스)은 이러한 검사를 비활성화합니다.

권장되는 네트워크 진단 구성

apiVersion: operator.openshift.io/v1
kind: Network
metadata:
  name: cluster
spec:
  disableNetworkDiagnostics: true
Copy to Clipboard Toggle word wrap

vDU(가상 분산 장치) 애플리케이션을 배포하기 전에 클러스터 호스트 펌웨어 및 기타 다양한 클러스터 구성 설정을 튜닝하고 구성해야 합니다. 다음 정보를 사용하여 vDU 워크로드를 지원하는 클러스터 구성의 유효성을 검증합니다.

22.7.1. vDU 클러스터 호스트에 권장되는 펌웨어 구성
링크 복사

다음 표를 기준으로 사용하여 OpenShift Container Platform 4.11에서 실행되는 vDU 애플리케이션의 클러스터 호스트 펌웨어를 구성합니다.

참고

다음 표는 vDU 클러스터 호스트 펌웨어 구성에 대한 일반적인 권장 사항입니다. 정확한 펌웨어 설정은 요구 사항 및 특정 하드웨어 플랫폼에 따라 다릅니다. 펌웨어 자동 설정은 제로 툴 프로비저닝 파이프라인에 의해 처리되지 않습니다.

Expand
표 22.7. 권장되는 클러스터 호스트 펌웨어 설정
펌웨어 설정설정설명

HyperTransport (HT)

활성화됨

HyperTransport (HT) 버스는 AMD에서 개발한 버스 기술입니다. HT는 호스트 메모리의 구성 요소와 다른 시스템 주변 장치 간의 고속 링크를 제공합니다.

UEFI

활성화됨

vDU 호스트의 UEFI에서 부팅을 활성화합니다.

CPU 전원 및 성능 정책

성능

CPU 전원 및 성능 정책을 설정하여 전력 효율성보다 성능을 최적화합니다.

코어 빈도 스케일링

비활성화됨

CPU가 아닌 부분의 가중 및 빈도가 독립적으로 설정되지 않도록 Uncore Frequency 스케일링을 비활성화합니다.

Uncore Frequency

최대

캐시 및 메모리 컨트롤러와 같은 CPU의 코어가 아닌 부분을 최대 작업 빈도로 설정합니다.

성능 P-limit

비활성화됨

프로세서의 Uncore 빈도 조정되지 않도록 성능 P-limit를 비활성화합니다.

향상된 Intel® SpeedStep Tech

활성화됨

강화된 Intel SpeedStep을 사용하면 시스템이 호스트의 전력 소비와 heat 프로덕션을 줄이는 프로세서의 부족과 코어 빈도를 동적으로 조정할 수 있습니다.

Intel® Turbo Boost Technology

활성화됨

활성화된 Intel 기반 CPU용 FeatureGate Boost Technology를 사용하면 프로세서 코어가 전력, 현재 및 온도 사양 제한 미만의 작동 빈도보다 프로세서 코어를 자동으로 실행할 수 있습니다.

Intel Configurable TDP

활성화됨

CPU에 대해 TDP(rmal Design Power)를 활성화합니다.

구성 가능한 TDP 수준

수준 2

TDP 수준은 특정 성능 등급에 필요한 CPU 전력 사용량을 설정합니다. TDP 레벨 2는 전력 소비에 따라 CPU를 가장 안정적인 성능 수준으로 설정합니다.

energy Efficient 터

비활성화됨

VMC Efficient FeatureGate를 비활성화하여 프로세서가 전력 효율성 기반 정책을 사용하지 못하도록 합니다.

하드웨어 P-States

비활성화됨

P-상태 (성능 상태)를 비활성화하여 전력 소비에 따른 성능을 위해 운영 체제 및 CPU를 최적화합니다.

패키지 C-State

C0/C1 상태

C0 또는 C1 상태를 사용하여 프로세서를 완전히 활성 상태(C0)로 설정하거나 소프트웨어 (C1)에서 실행되는 CPU 내부 클럭을 중지합니다.

C1E

비활성화됨

CPU Enhanced Halt (C1E)는 Intel 칩의 전력 절약 기능입니다. C1E를 비활성화하면 운영 체제가 비활성화될 때 CPU에 stop 명령을 보내지 않습니다.

프로세서 C6

비활성화됨

C6 절전은 유휴 CPU 코어 및 캐시를 자동으로 비활성화하는 CPU 기능입니다. C6을 비활성화하면 시스템 성능이 향상됩니다.

하위 NUMA 클러스터링

비활성화됨

하위 NUMA 클러스터링은 프로세서 코어, 캐시 및 메모리를 여러 NUMA 도메인으로 나눕니다. 이 옵션을 비활성화하면 대기 시간에 민감한 워크로드의 성능이 향상될 수 있습니다.

참고

호스트의 펌웨어에서 글로벌 SR-IOV 및 VT-d 설정을 활성화합니다. 이러한 설정은 베어 메탈 환경과 관련이 있습니다.

22.7.2. vDU 애플리케이션을 실행하기 위한 권장 클러스터 구성
링크 복사

가상화된 DCN(Distributed Unit) 애플리케이션을 실행하는 클러스터에는 고도로 조정되고 최적화된 구성이 필요합니다. 다음 정보는 OpenShift Container Platform 4.11 클러스터에서 vDU 워크로드를 지원하는 데 필요한 다양한 요소를 설명합니다.

22.7.2.4. 실시간 커널 버전 확인
링크 복사

OpenShift Container Platform 클러스터에서 항상 최신 버전의 realtime 커널을 사용하십시오. 클러스터에서 사용 중인 커널 버전에 대해 확실하지 않은 경우 현재 실시간 커널 버전을 릴리스 버전과 다음 절차와 비교할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인되어 있습니다.
  • podman 이 설치되어 있어야 합니다.

절차

  1. 다음 명령을 실행하여 클러스터 버전을 가져옵니다. 

    $ OCP_VERSION=$(oc get clusterversion version -o jsonpath='{.status.desired.version}{"\n"}')
    Copy to Clipboard Toggle word wrap

  2. 릴리스 이미지 SHA 번호를 가져옵니다. 

    $ DTK_IMAGE=$(oc adm release info --image-for=driver-toolkit quay.io/openshift-release-dev/ocp-release:$OCP_VERSION-x86_64)
    Copy to Clipboard Toggle word wrap

  3. 릴리스 이미지 컨테이너를 실행하고 클러스터의 현재 릴리스와 함께 패키지로 제공되는 커널 버전을 추출합니다. 

    $ podman run --rm $DTK_IMAGE rpm -qa | grep 'kernel-rt-core-' | sed 's#kernel-rt-core-##'
    Copy to Clipboard Toggle word wrap

    출력 예

    4.18.0-305.49.1.rt7.121.el8_4.x86_64
    Copy to Clipboard Toggle word wrap

    이는 릴리스와 함께 제공되는 기본 실시간 커널 버전입니다.

    참고

    realtime 커널은 커널 버전의 .rt 문자열로 표시됩니다.

검증

클러스터의 현재 릴리스에 대해 나열된 커널 버전이 클러스터에서 실행 중인 실제 실시간 커널과 일치하는지 확인합니다. 다음 명령을 실행하여 실행 중인 실시간 커널 버전을 확인합니다.

  1. 클러스터 노드에 대한 원격 쉘 연결을 엽니다. 

    $ oc debug node/<node_name>
    Copy to Clipboard Toggle word wrap

  2. 실시간 커널 버전을 확인합니다. 

    sh-4.4# uname -r
    Copy to Clipboard Toggle word wrap

    출력 예

    4.18.0-305.49.1.rt7.121.el8_4.x86_64
    Copy to Clipboard Toggle word wrap

22.7.3. 권장 클러스터 구성 적용
링크 복사

클러스터가 올바른 구성을 실행 중인지 확인할 수 있습니다. 다음 절차에서는 OpenShift Container Platform 4.11 클러스터에서 DU 애플리케이션을 배포하는 데 필요한 다양한 구성을 확인하는 방법을 설명합니다.

사전 요구 사항

  • 클러스터를 배포하고 vDU 워크로드에 맞게 조정했습니다.
  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 로그인했습니다.

절차

  1. 기본 OperatorHub 소스가 비활성화되어 있는지 확인합니다. 다음 명령을 실행합니다. 

    $ oc get operatorhub cluster -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    spec:
    disableAllDefaultSources: true
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 워크로드 분할(PreferredDuringScheduling)에 필요한 모든 CatalogSource 리소스에 주석이 추가되었는지 확인합니다. 

    $ oc get catalogsource -A -o jsonpath='{range .items[*]}{.metadata.name}{" -- "}{.metadata.annotations.target\.workload\.openshift\.io/management}{"\n"}{end}'
    Copy to Clipboard Toggle word wrap

    출력 예

    certified-operators -- {"effect": "PreferredDuringScheduling"}
community-operators -- {"effect": "PreferredDuringScheduling"}
ran-operators
    1 
    
redhat-marketplace -- {"effect": "PreferredDuringScheduling"}
redhat-operators -- {"effect": "PreferredDuringScheduling"}
    Copy to Clipboard Toggle word wrap

    1
    주석이 없는 CatalogSource 리소스도 반환됩니다. 이 예에서는 ran-operators CatalogSource 리소스에 주석이 추가되지 않으며 PreferredDuringScheduling 주석이 없습니다.
    참고

    올바르게 구성된 vDU 클러스터에는 주석이 있는 단일 카탈로그 소스만 나열됩니다.

  3. 적용 가능한 모든 OpenShift Container Platform Operator 네임 스페이스가 워크로드 파티셔닝을 위해 주석이 추가되었는지 확인합니다. 여기에는 핵심 OpenShift Container Platform과 참조 DU 튜닝 구성에 포함된 추가 Operator 세트를 사용하여 설치된 모든 Operator가 포함됩니다. 다음 명령을 실행합니다. 

    $ oc get namespaces -A -o jsonpath='{range .items[*]}{.metadata.name}{" -- "}{.metadata.annotations.workload\.openshift\.io/allowed}{"\n"}{end}'
    Copy to Clipboard Toggle word wrap

    출력 예

    default --
openshift-apiserver -- management
openshift-apiserver-operator -- management
openshift-authentication -- management
openshift-authentication-operator -- management
    Copy to Clipboard Toggle word wrap

    중요

    워크로드 파티셔닝을 위해 추가 Operator에 주석을 달 수 없습니다. 이전 명령의 출력에서 -- separator의 오른쪽에 있는 값 없이 추가 Operator를 나열해야 합니다.

  4. ClusterLogging 구성이 올바른지 확인합니다. 다음 명령을 실행합니다.

    1. 적절한 입력 및 출력 로그가 구성되어 있는지 확인합니다. 

      $ oc get -n openshift-logging ClusterLogForwarder instance -o yaml
      Copy to Clipboard Toggle word wrap

      출력 예

      apiVersion: logging.openshift.io/v1
kind: ClusterLogForwarder
metadata:
  creationTimestamp: "2022-07-19T21:51:41Z"
  generation: 1
  name: instance
  namespace: openshift-logging
  resourceVersion: "1030342"
  uid: 8c1a842d-80c5-447a-9150-40350bdf40f0
spec:
  inputs:
  - infrastructure: {}
    name: infra-logs
  outputs:
  - name: kafka-open
    type: kafka
    url: tcp://10.46.55.190:9092/test
  pipelines:
  - inputRefs:
    - audit
    name: audit-logs
    outputRefs:
    - kafka-open
  - inputRefs:
    - infrastructure
    name: infrastructure-logs
    outputRefs:
    - kafka-open
...
      Copy to Clipboard Toggle word wrap

    2. 큐레이션 일정이 애플리케이션에 적합한지 확인합니다. 

      $ oc get -n openshift-logging clusterloggings.logging.openshift.io instance -o yaml
      Copy to Clipboard Toggle word wrap

      출력 예

      apiVersion: logging.openshift.io/v1
kind: ClusterLogging
metadata:
  creationTimestamp: "2022-07-07T18:22:56Z"
  generation: 1
  name: instance
  namespace: openshift-logging
  resourceVersion: "235796"
  uid: ef67b9b8-0e65-4a10-88ff-ec06922ea796
spec:
  collection:
    logs:
      fluentd: {}
      type: fluentd
  curation:
    curator:
      schedule: 30 3 * * *
    type: curator
  managementState: Managed
...
      Copy to Clipboard Toggle word wrap

  5. 다음 명령을 실행하여 웹 콘솔이 비활성화(managementState: Removed)인지 확인합니다. 

    $ oc get consoles.operator.openshift.io cluster -o jsonpath="{ .spec.managementState }"
    Copy to Clipboard Toggle word wrap

    출력 예

    Removed
    Copy to Clipboard Toggle word wrap

  6. 다음 명령을 실행하여 클러스터 노드에서 chronyd 가 비활성화되어 있는지 확인합니다. 

    $ oc debug node/<node_name>
    Copy to Clipboard Toggle word wrap

    노드에서 chronyd 의 상태를 확인합니다. 

    sh-4.4# chroot /host
    Copy to Clipboard Toggle word wrap 
    sh-4.4# systemctl status chronyd
    Copy to Clipboard Toggle word wrap

    출력 예

    ● chronyd.service - NTP client/server
    Loaded: loaded (/usr/lib/systemd/system/chronyd.service; disabled; vendor preset: enabled)
    Active: inactive (dead)
      Docs: man:chronyd(8)
            man:chrony.conf(5)
    Copy to Clipboard Toggle word wrap

  7. PTP 인터페이스가 linuxptp-daemon 컨테이너 및 PTP 관리 클라이언트(pmc) 도구에 원격 쉘 연결을 사용하여 기본 시계와 성공적으로 동기화되었는지 확인합니다.

    1. 다음 명령을 실행하여 linuxptp-daemon Pod의 이름으로 $PTP_POD_NAME 변수를 설정합니다. 

      $ PTP_POD_NAME=$(oc get pods -n openshift-ptp -l app=linuxptp-daemon -o name)
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 PTP 장치의 동기화 상태를 확인합니다. 

      $ oc -n openshift-ptp rsh -c linuxptp-daemon-container ${PTP_POD_NAME} pmc -u -f /var/run/ptp4l.0.config -b 0 'GET PORT_DATA_SET'
      Copy to Clipboard Toggle word wrap

      출력 예

      sending: GET PORT_DATA_SET
  3cecef.fffe.7a7020-1 seq 0 RESPONSE MANAGEMENT PORT_DATA_SET
    portIdentity            3cecef.fffe.7a7020-1
    portState               SLAVE
    logMinDelayReqInterval  -4
    peerMeanPathDelay       0
    logAnnounceInterval     1
    announceReceiptTimeout  3
    logSyncInterval         0
    delayMechanism          1
    logMinPdelayReqInterval 0
    versionNumber           2
  3cecef.fffe.7a7020-2 seq 0 RESPONSE MANAGEMENT PORT_DATA_SET
    portIdentity            3cecef.fffe.7a7020-2
    portState               LISTENING
    logMinDelayReqInterval  0
    peerMeanPathDelay       0
    logAnnounceInterval     1
    announceReceiptTimeout  3
    logSyncInterval         0
    delayMechanism          1
    logMinPdelayReqInterval 0
    versionNumber           2
      Copy to Clipboard Toggle word wrap

    3. 다음 pmc 명령을 실행하여 PTP 클럭 상태를 확인합니다. 

      $ oc -n openshift-ptp rsh -c linuxptp-daemon-container ${PTP_POD_NAME} pmc -u -f /var/run/ptp4l.0.config -b 0 'GET TIME_STATUS_NP'
      Copy to Clipboard Toggle word wrap

      출력 예

      sending: GET TIME_STATUS_NP
  3cecef.fffe.7a7020-0 seq 0 RESPONSE MANAGEMENT TIME_STATUS_NP
    master_offset              10
      1 
      
    ingress_time               1657275432697400530
    cumulativeScaledRateOffset +0.000000000
    scaledLastGmPhaseChange    0
    gmTimeBaseIndicator        0
    lastGmPhaseChange          0x0000'0000000000000000.0000
    gmPresent                  true
      2 
      
    gmIdentity                 3c2c30.ffff.670e00
      Copy to Clipboard Toggle word wrap

      1
      master_databind 는 -100에서 100 ns 사이여야 합니다.
      2
      PTP 시계가 마스터와 동기화되고 로컬 시계가 할머신 시계가 아닌 것을 나타냅니다.

    4. /var/run/ptp4l.0.config 의 값에 해당하는 예상 마스터 오프셋 값이 linuxptp-daemon-container 로그에 있는지 확인합니다. 

      $ oc logs $PTP_POD_NAME -n openshift-ptp -c linuxptp-daemon-container
      Copy to Clipboard Toggle word wrap

      출력 예

      phc2sys[56020.341]: [ptp4l.1.config] CLOCK_REALTIME phc offset  -1731092 s2 freq -1546242 delay    497
ptp4l[56020.390]: [ptp4l.1.config] master offset         -2 s2 freq   -5863 path delay       541
ptp4l[56020.390]: [ptp4l.0.config] master offset         -8 s2 freq  -10699 path delay       533
      Copy to Clipboard Toggle word wrap

  8. 다음 명령을 실행하여 SR-IOV 구성이 올바른지 확인합니다.

    1. SriovOperatorConfig 리소스의 disableDrain 값이 true 로 설정되어 있는지 확인합니다. 

      $ oc get sriovoperatorconfig -n openshift-sriov-network-operator default -o jsonpath="{.spec.disableDrain}{'\n'}"
      Copy to Clipboard Toggle word wrap

      출력 예

      true
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 SriovNetworkNodeState 동기화 상태가 Succeeded 상태인지 확인합니다. 

      $ oc get SriovNetworkNodeStates -n openshift-sriov-network-operator -o jsonpath="{.items[*].status.syncStatus}{'\n'}"
      Copy to Clipboard Toggle word wrap

      출력 예

      Succeeded
      Copy to Clipboard Toggle word wrap

    3. SR-IOV용으로 구성된 각 인터페이스에서Vfs(가상 기능)의 예상 수 및 구성이 있는지 확인하고 .status.interfaces 필드에 올바른지 확인합니다. 예를 들어 다음과 같습니다. 

      $ oc get SriovNetworkNodeStates -n openshift-sriov-network-operator -o yaml
      Copy to Clipboard Toggle word wrap

      출력 예

      apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodeState
...
  status:
    interfaces:
    ...
    - Vfs:
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.0
        vendor: "8086"
        vfID: 0
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.1
        vendor: "8086"
        vfID: 1
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.2
        vendor: "8086"
        vfID: 2
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.3
        vendor: "8086"
        vfID: 3
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.4
        vendor: "8086"
        vfID: 4
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.5
        vendor: "8086"
        vfID: 5
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.6
        vendor: "8086"
        vfID: 6
      - deviceID: 154c
        driver: vfio-pci
        pciAddress: 0000:3b:0a.7
        vendor: "8086"
        vfID: 7
      Copy to Clipboard Toggle word wrap

  9. 클러스터 성능 프로필이 올바른지 확인합니다. cpu 및 hugepages 섹션은 하드웨어 구성에 따라 다릅니다. 다음 명령을 실행합니다. 

    $ oc get PerformanceProfile openshift-node-performance-profile -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  creationTimestamp: "2022-07-19T21:51:31Z"
  finalizers:
  - foreground-deletion
  generation: 1
  name: openshift-node-performance-profile
  resourceVersion: "33558"
  uid: 217958c0-9122-4c62-9d4d-fdc27c31118c
spec:
  additionalKernelArgs:
  - idle=poll
  - rcupdate.rcu_normal_after_boot=0
  - efi=runtime
  cpu:
    isolated: 2-51,54-103
    reserved: 0-1,52-53
  hugepages:
    defaultHugepagesSize: 1G
    pages:
    - count: 32
      size: 1G
  machineConfigPoolSelector:
    pools.operator.machineconfiguration.openshift.io/master: ""
  net:
    userLevelNetworking: true
  nodeSelector:
    node-role.kubernetes.io/master: ""
  numa:
    topologyPolicy: restricted
  realTimeKernel:
    enabled: true
status:
  conditions:
  - lastHeartbeatTime: "2022-07-19T21:51:31Z"
    lastTransitionTime: "2022-07-19T21:51:31Z"
    status: "True"
    type: Available
  - lastHeartbeatTime: "2022-07-19T21:51:31Z"
    lastTransitionTime: "2022-07-19T21:51:31Z"
    status: "True"
    type: Upgradeable
  - lastHeartbeatTime: "2022-07-19T21:51:31Z"
    lastTransitionTime: "2022-07-19T21:51:31Z"
    status: "False"
    type: Progressing
  - lastHeartbeatTime: "2022-07-19T21:51:31Z"
    lastTransitionTime: "2022-07-19T21:51:31Z"
    status: "False"
    type: Degraded
  runtimeClass: performance-openshift-node-performance-profile
  tuned: openshift-cluster-node-tuning-operator/openshift-node-performance-openshift-node-performance-profile
    Copy to Clipboard Toggle word wrap

    참고

    CPU 설정은 서버에서 사용 가능한 코어 수에 따라 다르며 워크로드 파티션 설정에 맞게 조정해야 합니다. hugepages 구성은 서버 및 애플리케이션에 따라 다릅니다.

  10. 다음 명령을 실행하여 PerformanceProfile 이 클러스터에 적용되었는지 확인합니다. 

    $ oc get performanceprofile openshift-node-performance-profile -o jsonpath="{range .status.conditions[*]}{ @.type }{' -- '}{@.status}{'\n'}{end}"
    Copy to Clipboard Toggle word wrap

    출력 예

    Available -- True
Upgradeable -- True
Progressing -- False
Degraded -- False
    Copy to Clipboard Toggle word wrap

  11. 다음 명령을 실행하여 Tuned 성능 패치 설정을 확인합니다. 

    $ oc get tuneds.tuned.openshift.io -n openshift-cluster-node-tuning-operator performance-patch -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  creationTimestamp: "2022-07-18T10:33:52Z"
  generation: 1
  name: performance-patch
  namespace: openshift-cluster-node-tuning-operator
  resourceVersion: "34024"
  uid: f9799811-f744-4179-bf00-32d4436c08fd
spec:
  profile:
  - data: |
      [main]
      summary=Configuration changes profile inherited from performance created tuned
      include=openshift-node-performance-openshift-node-performance-profile
      [bootloader]
      cmdline_crash=nohz_full=2-23,26-47
    1 
    
      [sysctl]
      kernel.timer_migration=1
      [scheduler]
      group.ice-ptp=0:f:10:*:ice-ptp.*
      [service]
      service.stalld=start,enable
      service.chronyd=stop,disable
    name: performance-patch
  recommend:
  - machineConfigLabels:
      machineconfiguration.openshift.io/role: master
    priority: 19
    profile: performance-patch
    Copy to Clipboard Toggle word wrap

    1
    cmdline=nohz_full= 의 cpu 목록은 하드웨어 구성에 따라 달라집니다.

  12. 다음 명령을 실행하여 클러스터 네트워킹 진단이 비활성화되어 있는지 확인합니다. 

    $ oc get networks.operator.openshift.io cluster -o jsonpath='{.spec.disableNetworkDiagnostics}'
    Copy to Clipboard Toggle word wrap

    출력 예

    true
    Copy to Clipboard Toggle word wrap

  13. Kubelet 하우스키핑 간격이 느린 속도로 조정되었는지 확인합니다. 이는 containerMountNS 머신 구성에 설정되어 있습니다. 다음 명령을 실행합니다. 

    $ oc describe machineconfig container-mount-namespace-and-kubelet-conf-master | grep OPENSHIFT_MAX_HOUSEKEEPING_INTERVAL_DURATION
    Copy to Clipboard Toggle word wrap

    출력 예

    Environment="OPENSHIFT_MAX_HOUSEKEEPING_INTERVAL_DURATION=60s"
    Copy to Clipboard Toggle word wrap

  14. 다음 명령을 실행하여 Grafana 및 alertManagerMain 이 비활성화되어 있으며 Prometheus 보존 기간이 24h로 설정되어 있는지 확인합니다. 

    $ oc get configmap cluster-monitoring-config -n openshift-monitoring -o jsonpath="{ .data.config\.yaml }"
    Copy to Clipboard Toggle word wrap

    출력 예

    grafana:
  enabled: false
alertmanagerMain:
  enabled: false
prometheusK8s:
   retention: 24h
    Copy to Clipboard Toggle word wrap

    1. 다음 명령을 사용하여 Grafana 및 alertManagerMain 경로가 클러스터에 없는 것을 확인합니다. 

      $ oc get route -n openshift-monitoring alertmanager-main
      Copy to Clipboard Toggle word wrap 
      $ oc get route -n openshift-monitoring grafana
      Copy to Clipboard Toggle word wrap

      두 쿼리 모두 서버(NotFound) 메시지에서 Error 를 반환해야 합니다.

  15. 다음 명령을 실행하여 PerformanceProfile,Tuned performance-patch, workload partitioning 및 kernel 명령줄 인수 각각에 대해 예약된 최소 4개의 CPU가 있는지 확인합니다. 

    $ oc get performanceprofile -o jsonpath="{ .items[0].spec.cpu.reserved }"
    Copy to Clipboard Toggle word wrap

    출력 예

    0-3
    Copy to Clipboard Toggle word wrap

    참고

    워크로드 요구 사항에 따라 예약된 CPU를 추가로 할당해야 할 수 있습니다.

22.8. siteConfig 리소스를 사용한 고급 관리형 클러스터 구성
링크 복사

site Config CR(사용자 정의 리소스)을 사용하여 설치 시 관리 클러스터에 사용자 정의 기능 및 구성을 배포할 수 있습니다.

22.8.1. ZTP GitOps 파이프라인에서 추가 설치 매니페스트 사용자 정의
링크 복사

제로 건스 프로비저닝(ZTP) GitOps 파이프라인의 설치 단계에 포함하기 위해 추가 매니페스트 세트를 정의할 수 있습니다. 이러한 매니페스트는 SiteConfig CR(사용자 정의 리소스)에 연결되며 설치 중에 클러스터에 적용됩니다. 설치 시 MachineConfig CR을 포함하면 설치 프로세스를 보다 효율적으로 수행할 수 있습니다.

사전 요구 사항

  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성합니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.

절차

  1. ZTP 파이프라인에서 클러스터 설치를 사용자 지정하는 데 사용하는 추가 매니페스트 CR 세트를 생성합니다.

  2. 사용자 정의 /siteconfig 디렉터리에서 추가 매니페스트를 위한 /extra-manifest 폴더를 생성합니다. 다음 예제에서는 /extra-manifest 폴더가 포함된 샘플 /siteconfig 를 보여줍니다. 

    siteconfig
├── site1-sno-du.yaml
├── site2-standard-du.yaml
└── extra-manifest
    └── 01-example-machine-config.yaml
    Copy to Clipboard Toggle word wrap
  3. 사용자 지정 추가 매니페스트 CR을 siteconfig/extra-manifest 디렉터리에 추가합니다.

  4. SiteConfig CR에서 extraManifestPath 필드에 디렉터리 이름을 입력합니다. 예를 들면 다음과 같습니다. 

    clusters:
- clusterName: "example-sno"
  networkType: "OVNKubernetes"
  extraManifestPath: extra-manifest
    Copy to Clipboard Toggle word wrap
  5. SiteConfig CR 및 /extra-manifest CR을 저장하고 사이트 구성 리포지토리로 내보냅니다.

ZTP 파이프라인은 /extra-manifest 디렉터리의 CR을 클러스터 프로비저닝 중에 기본 추가 매니페스트 세트에 추가합니다.

22.8.2. SiteConfig 필터를 사용하여 사용자 정의 리소스 필터링
링크 복사

필터를 사용하면ZTP(zero touch provisioning) GitOps 파이프라인의 설치 단계에서 사용할 다른 CR을 포함하거나 제외하도록 SiteConfig CR(CR)을 쉽게 사용자 지정할 수 있습니다.

포함되거나 제외 하려는 특정 extraManifest RAN CR 목록과 함께 SiteConfig CR에 대해 include 또는 exclude에 대해 inclusionDefault 값을 지정할 수 있습니다. include 로 inclusionDefault 를 설정하면 ZTP 파이프라인이 설치 중에 /source-crs/extra-manifest 에 있는 모든 파일을 적용합니다. exclude 로 inclusionDefault 를 설정하면 그 반대입니다.

기본적으로 포함된 /source-crs/extra-manifest 폴더에서 개별 CR을 제외할 수 있습니다. 다음 예제에서는 설치 시 /source-crs/extra-manifest/03-sctp-machine-config-worker.yaml CR을 제외하도록 사용자 지정 단일 노드 OpenShift SiteConfig CR을 구성합니다.

몇 가지 추가 선택적 필터링 시나리오도 설명되어 있습니다.

사전 요구 사항

  • 필요한 설치 및 정책 CR을 생성하기 위해 hub 클러스터를 구성하셨습니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD 애플리케이션의 소스 리포지토리로 정의해야 합니다.

절차

  1. ZTP 파이프라인이 03-sctp-machine-config-worker.yaml CR 파일을 적용하지 않으려면 SiteConfig CR에 다음 YAML을 적용합니다. 

    apiVersion: ran.openshift.io/v1
kind: SiteConfig
metadata:
  name: "site1-sno-du"
  namespace: "site1-sno-du"
spec:
  baseDomain: "example.com"
  pullSecretRef:
    name: "assisted-deployment-pull-secret"
  clusterImageSetNameRef: "openshift-4.11"
  sshPublicKey: "<ssh_public_key>"
  clusters:
- clusterName: "site1-sno-du"
  extraManifests:
    filter:
      exclude:
        - 03-sctp-machine-config-worker.yaml
    Copy to Clipboard Toggle word wrap

    ZTP 파이프라인은 설치 중에 03-sctp-machine-config-worker.yaml CR을 건너뜁니다. /source-crs/extra-manifest 의 다른 모든 CR이 적용됩니다.

  2. site Config CR을 저장하고 변경 사항을 사이트 구성 리포지토리로 내보냅니다.

    ZTP 파이프라인은 SiteConfig 필터 지침에 따라 적용되는 CR을 모니터링하고 조정합니다.

  3. 선택 사항: ZTP 파이프라인이 클러스터 설치 중에 모든 /source-crs/extra-manifest CR을 적용하지 않도록 하려면 SiteConfig CR에 다음 YAML을 적용합니다. 

    - clusterName: "site1-sno-du"
  extraManifests:
    filter:
      inclusionDefault: exclude
    Copy to Clipboard Toggle word wrap

  4. 선택 사항: 모든 /source-crs/extra-manifest RAN CR을 제외하고 설치 중에 사용자 정의 CR 파일을 포함하려면 사용자 정의 매니페스트 폴더 및 포함 파일을 설정합니다. 

    clusters:
- clusterName: "site1-sno-du"
  extraManifestPath: "<custom_manifest_folder>"
    1 
    
  extraManifests:
    filter:
      inclusionDefault: exclude
    2 
    
      include:
        - custom-sctp-machine-config-worker.yaml
    Copy to Clipboard Toggle word wrap
    1
    < custom_manifest_folder >를 사용자 지정 설치 CR이 포함된 폴더의 이름으로 변경합니다(예: user-custom-manifest/ ).
    2
    설치하는 동안 ZTP 파이프라인이 /source-crs/extra-manifest 에 파일을 적용하지 못하도록 exclude 로 inclusionDefault 를 설정합니다.

    다음 예제에서는 사용자 지정 폴더 구조를 보여줍니다. 

    siteconfig
  ├── site1-sno-du.yaml
  └── user-custom-manifest
        └── custom-sctp-machine-config-worker.yaml
    Copy to Clipboard Toggle word wrap

22.9. PolicyGenTemplate 리소스를 사용한 고급 관리형 클러스터 구성
링크 복사

PolicyGenTemplate CR을 사용하여 관리 클러스터에 사용자 정의 기능을 배포할 수 있습니다.

22.9.1. 클러스터에 추가 변경 사항 배포
링크 복사

기본 GitOps ZTP 파이프라인 구성 외부에서 클러스터 구성을 변경해야 하는 경우 다음 세 가지 옵션이 있습니다.

ZTP 파이프라인이 완료된 후 추가 설정 적용
GitOps ZTP 파이프라인 배포가 완료되면 배포된 클러스터는 애플리케이션 워크로드에 사용할 수 있습니다. 이 시점에서 추가 Operator를 설치하고 요구 사항에 맞는 구성을 적용할 수 있습니다. 추가 구성이 플랫폼 성능 또는 할당된 CPU 예산에 부정적인 영향을 미치지 않도록 합니다.
ZTP 라이브러리에 콘텐츠 추가
GitOps ZTP 파이프라인을 사용하여 배포하는 기본 소스 CR(사용자 정의 리소스)은 필요에 따라 사용자 정의 콘텐츠로 보강될 수 있습니다.
클러스터 설치에 대한 추가 매니페스트 생성
추가 매니페스트는 설치 중에 적용되며 설치 프로세스를 보다 효율적으로 수행할 수 있습니다.
중요

추가 소스 CR을 제공하거나 기존 소스 CR을 수정하면 OpenShift Container Platform의 성능 또는 CPU 프로파일에 심각한 영향을 미칠 수 있습니다.

22.9.2. PolicyGenTemplate CR을 사용하여 소스 CR 콘텐츠 재정의
링크 복사

PolicyGenTemplate 사용자 정의 리소스(CR)를 사용하면 ztp-site-generate 컨테이너에서 GitOps 플러그인과 함께 제공되는 기본 소스 CR 상단에 추가 구성 세부 정보를 오버레이할 수 있습니다. PolicyGenTemplate CR을 기본 CR에 대한 논리 병합 또는 패치로 간주할 수 있습니다. PolicyGenTemplate CR을 사용하여 기본 CR의 단일 필드를 업데이트하거나 기본 CR의 전체 콘텐츠를 오버레이합니다. 기본 CR에 없는 값 및 삽입 필드를 업데이트할 수 있습니다.

다음 예제 절차에서는 group-du-sno-ranGen.yaml 파일의 PolicyGenTemplate CR을 기반으로 참조 구성에 대해 생성된 PerformanceProfile CR의 필드를 업데이트하는 방법을 설명합니다. 이 절차는 요구 사항에 따라 PolicyGenTemplate 의 다른 부분을 수정하기 위한 기초로 사용하십시오.

사전 요구 사항

  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성합니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 Argo CD의 소스 리포지토리로 정의해야 합니다.

절차

  1. 기존 콘텐츠의 기준 소스 CR을 검토합니다. 제로 대화 프로비저닝 (ZTP) 컨테이너에서 추출하여 참조 PolicyGenTemplate CR에 나열된 소스 CR을 검토할 수 있습니다.

    1. /out 폴더를 생성합니다. 

      $ mkdir -p ./out
      Copy to Clipboard Toggle word wrap

    2. 소스 CR을 추출합니다. 

      $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11.1 extract /home/ztp --tar | tar x -C ./out
      Copy to Clipboard Toggle word wrap

  2. ./out/source-crs/ PerformanceProfile.yaml 에서 기준 PerformanceProfile CR을 검토합니다. 

    apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
  name: $name
  annotations:
    ran.openshift.io/ztp-deploy-wave: "10"
spec:
  additionalKernelArgs:
  - "idle=poll"
  - "rcupdate.rcu_normal_after_boot=0"
  cpu:
    isolated: $isolated
    reserved: $reserved
  hugepages:
    defaultHugepagesSize: $defaultHugepagesSize
    pages:
      - size: $size
        count: $count
        node: $node
  machineConfigPoolSelector:
    pools.operator.machineconfiguration.openshift.io/$mcp: ""
  net:
    userLevelNetworking: true
  nodeSelector:
    node-role.kubernetes.io/$mcp: ''
  numa:
    topologyPolicy: "restricted"
  realTimeKernel:
    enabled: true
    Copy to Clipboard Toggle word wrap
    참고

    $…​ 가 포함된 소스 CR의 필드는 PolicyGenTemplate CR에 제공되지 않는 경우 생성된 CR에서 제거됩니다.

  3. group-du-sno-ranGen.yaml 참조 파일에서 PerformanceProfile 의 PolicyGenTemplate 항목을 업데이트합니다. 다음 예제 PolicyGenTemplate CR 스탠자는 적절한 CPU 사양을 제공하고, hugepages 구성을 설정하고, globallyDisableIrqLoadBalancing 을 false로 설정하는 새 필드를 추가합니다. 

    - fileName: PerformanceProfile.yaml
  policyName: "config-policy"
  metadata:
    name: openshift-node-performance-profile
  spec:
    cpu:
      # These must be tailored for the specific hardware platform
      isolated: "2-19,22-39"
      reserved: "0-1,20-21"
    hugepages:
      defaultHugepagesSize: 1G
      pages:
        - size: 1G
          count: 10
    globallyDisableIrqLoadBalancing: false
    Copy to Clipboard Toggle word wrap
  4. Git에서 PolicyGenTemplate 변경 사항을 커밋한 다음 GitOps ZTP argo CD 애플리케이션에서 모니터링 중인 Git 리포지토리로 내보냅니다.

출력 예

ZTP 애플리케이션은 생성된 PerformanceProfile CR을 포함하는 RHACM 정책을 생성합니다. PolicyGenTemplate 의 PerformanceProfile 항목의 metadata 및 spec 콘텐츠를 소스 CR에 병합하여 해당 CR의 콘텐츠를 파생시킵니다. 결과 CR에는 다음 내용이 있습니다. 

---
apiVersion: performance.openshift.io/v2
kind: PerformanceProfile
metadata:
    name: openshift-node-performance-profile
spec:
    additionalKernelArgs:
        - idle=poll
        - rcupdate.rcu_normal_after_boot=0
    cpu:
        isolated: 2-19,22-39
        reserved: 0-1,20-21
    globallyDisableIrqLoadBalancing: false
    hugepages:
        defaultHugepagesSize: 1G
        pages:
            - count: 10
              size: 1G
    machineConfigPoolSelector:
        pools.operator.machineconfiguration.openshift.io/master: ""
    net:
        userLevelNetworking: true
    nodeSelector:
        node-role.kubernetes.io/master: ""
    numa:
        topologyPolicy: restricted
    realTimeKernel:
        enabled: true
Copy to Clipboard Toggle word wrap
참고

ztp-site-generate 컨테이너에서 추출한 /source-crs 폴더의 경우 구문에 따라 템플릿 대체에 $ 구문이 사용되지 않습니다. 대신 policyGen 툴이 문자열에 대한 $ 접두사를 확인하고 관련 PolicyGenTemplate CR에서 해당 필드에 대한 값을 지정하지 않으면 해당 필드가 출력 CR에서 완전히 생략됩니다.

이 예외는 PolicyGenTemplate CR에서 mcp 에 지정된 값으로 대체되는 /source-crs YAML 파일의 $mcp 변수입니다. 예를 들어 example/policygentemplates/group-du-standard-ranGen.yaml 에서 mcp 는 worker 입니다. 

spec:
  bindingRules:
    group-du-standard: ""
  mcp: "worker"
Copy to Clipboard Toggle word wrap

policyGen 툴은 출력 CR에서 $mcp 의 인스턴스를 worker 로 바꿉니다.

22.9.3. GitOps ZTP 파이프라인에 새 콘텐츠 추가
링크 복사

GitOps ZTP 사이트 생성기 컨테이너의 소스 CR에서는 RAN Distributed Unit (DU) 애플리케이션에 대한 일련의 중요한 기능 및 노드 튜닝 설정을 제공합니다. 이는 ZTP로 배포하는 클러스터에 적용됩니다. ztp-site-generate 컨테이너에서 기존 소스 CR을 추가하거나 수정하려면 ztp-site-generate 컨테이너를 다시 빌드하고 hub 클러스터에서 (일반적으로 hub 클러스터와 연결된 연결 해제된 레지스트리에서 사용할 수 있도록 합니다. 유효한 OpenShift Container Platform CR을 추가할 수 있습니다.

다음 절차에 따라 ZTP 파이프라인에 새 콘텐츠를 추가합니다.

절차

  1. 업데이트된 ztp-site-generate 컨테이너에 포함할 Containerfile 및 소스 CR YAML 파일이 포함된 디렉터리를 생성합니다. 예를 들면 다음과 같습니다. 

    ztp-update/
├── example-cr1.yaml
├── example-cr2.yaml
└── ztp-update.in
    Copy to Clipboard Toggle word wrap

  2. ztp-update.in Containerfile에 다음 내용을 추가합니다. 

    FROM registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11

ADD example-cr2.yaml /kustomize/plugin/ran.openshift.io/v1/policygentemplate/source-crs/
ADD example-cr1.yaml /kustomize/plugin/ran.openshift.io/v1/policygentemplate/source-crs/
    Copy to Clipboard Toggle word wrap

  3. ztp-update/ 디렉터리에서 터미널을 열고 컨테이너를 다시 빌드합니다. 

    $ podman build -t ztp-site-generate-rhel8-custom:v4.11-custom-1
    Copy to Clipboard Toggle word wrap

  4. 빌드된 컨테이너 이미지를 연결이 끊긴 레지스트리로 푸시합니다. 예를 들면 다음과 같습니다. 

    $ podman push localhost/ztp-site-generate-rhel8-custom:v4.11-custom-1 registry.example.com:5000/ztp-site-generate-rhel8-custom:v4.11-custom-1
    Copy to Clipboard Toggle word wrap

  5. hub 클러스터에서 Argo CD 인스턴스를 패치하여 새로 빌드된 컨테이너 이미지를 가리킵니다. 

    $ oc patch -n openshift-gitops argocd openshift-gitops --type=json -p '[{"op": "replace", "path":"/spec/repo/initContainers/0/image", "value": "registry.example.com:5000/ztp-site-generate-rhel8-custom:v4.11-custom-1"} ]'
    Copy to Clipboard Toggle word wrap

    Argo CD 인스턴스가 패치되면 openshift-gitops-repo-server Pod가 자동으로 다시 시작됩니다.

검증

  1. 새 openshift-gitops-repo-server Pod가 초기화를 완료하고 이전 리포지토리 Pod가 종료되었는지 확인합니다. 

    $ oc get pods -n openshift-gitops | grep openshift-gitops-repo-server
    Copy to Clipboard Toggle word wrap

    출력 예

    openshift-gitops-server-7df86f9774-db682          1/1     Running   	     1          28s
    Copy to Clipboard Toggle word wrap

    새로 추가된 컨테이너 이미지 콘텐츠를 사용할 수 있기 전에 새 openshift-gitops-repo-server Pod가 초기화를 완료하고 이전 Pod가 종료될 때까지 기다려야 합니다.

22.9.4. PolicyGenTemplate CR에 대한 정책 준수 평가 타임아웃 구성
링크 복사

관리 클러스터가 적용된 정책을 준수하는지 여부를 모니터링 및 보고하려면 hub 클러스터에 설치된 RHACM(Red Hat Advanced Cluster Management)을 사용합니다. RHACM은 정책 템플릿을 사용하여 사전 정의된 정책 컨트롤러 및 정책을 적용합니다. 정책 컨트롤러는 Kubernetes CRD(사용자 정의 리소스 정의) 인스턴스입니다.

기본 정책 평가 간격은 PolicyGenTemplate CR(사용자 정의 리소스)으로 덮어쓸 수 있습니다. RHACM이 적용된 클러스터 정책을 다시 평가하기 전에 ConfigurationPolicy CR의 상태가 정책 준수 또는 비준수 상태에 있는 기간을 정의하는 기간 설정을 구성합니다.

zero touch provisioning (ZTP) 정책 생성기는 사전 정의된 정책 평가 간격을 사용하여 ConfigurationPolicy CR 정책을 생성합니다. 비호환 상태의 기본값은 10초입니다. 준수 상태의 기본값은 10분입니다. 평가 간격을 비활성화하려면 값을 never 로 설정합니다.

사전 요구 사항

  • OpenShift CLI(oc)가 설치되어 있습니다.
  • cluster-admin 권한이 있는 사용자로 hub 클러스터에 로그인했습니다.
  • 사용자 정의 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성했습니다.

절차

  1. PolicyGenTemplate CR에서 모든 정책에 대한 평가 간격을 구성하려면 spec 필드에 evaluationInterval 을 추가한 다음 적절한 준수 및 비준수 값을 설정합니다. 예를 들어 다음과 같습니다. 

    spec:
  evaluationInterval:
    compliant: 30m
    noncompliant: 20s
    Copy to Clipboard Toggle word wrap

  2. PolicyGenTemplate CR에서 spec.sourceFiles 오브젝트에 대한 평가 간격을 구성하려면 evaluationInterval 을 sourceFiles 필드에 추가합니다. 예를 들면 다음과 같습니다. 

    spec:
  sourceFiles:
   - fileName: SriovSubscription.yaml
     policyName: "sriov-sub-policy"
     evaluationInterval:
       compliant: never
       noncompliant: 10s
    Copy to Clipboard Toggle word wrap
  3. Git 리포지토리에서 PolicyGenTemplate CR 파일을 커밋하고 변경 사항을 내보냅니다.

검증

관리형 스포크 클러스터 정책이 예상 간격으로 모니터링되는지 확인합니다.

  1. 관리형 클러스터에서 cluster-admin 권한이 있는 사용자로 로그인합니다.

  2. open-cluster-management-agent-addon 네임스페이스에서 실행 중인 pod를 가져옵니다. 다음 명령을 실행합니다. 

    $ oc get pods -n open-cluster-management-agent-addon
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                                         READY   STATUS    RESTARTS        AGE
config-policy-controller-858b894c68-v4xdb    1/1     Running   22 (5d8h ago)   10d
    Copy to Clipboard Toggle word wrap

  3. config-policy-controller Pod에 대한 로그의 예상 간격으로 적용된 정책이 평가되고 있는지 확인합니다. 

    $ oc logs -n open-cluster-management-agent-addon config-policy-controller-858b894c68-v4xdb
    Copy to Clipboard Toggle word wrap

    출력 예

    2022-05-10T15:10:25.280Z       info   configuration-policy-controller controllers/configurationpolicy_controller.go:166      Skipping the policy evaluation due to the policy not reaching the evaluation interval  {"policy": "compute-1-config-policy-config"}
2022-05-10T15:10:25.280Z       info   configuration-policy-controller controllers/configurationpolicy_controller.go:166      Skipping the policy evaluation due to the policy not reaching the evaluation interval  {"policy": "compute-1-common-compute-1-catalog-policy-config"}
    Copy to Clipboard Toggle word wrap

유효성 검사기를 생성하면 배포된 클러스터의 설치 및 구성이 완료될 때 null touch 프로비저닝(ZTP)이 완료되면 신호를 알리는 정책을 알릴 수 있습니다. 이 정책은 단일 노드 OpenShift 클러스터, 3 노드 클러스터 및 표준 클러스터의 배포에 사용할 수 있습니다.

절차

  1. 소스 파일 validatorCRs/informDuValidator.yaml 을 포함하는 독립 실행형 PolicyGenTemplate 사용자 정의 리소스(CR)를 생성합니다. 각 클러스터 유형에 대해 하나의 독립 실행형 PolicyGenTemplate CR만 있으면 됩니다. 예를 들어, 이 CR은 단일 노드 OpenShift 클러스터에 대한 검증기를 적용합니다.

    예제 single-node 클러스터 검증기에서는 정책 CR을 알립니다 (group-du-sno-validator-ranGen.yaml).

    apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "group-du-sno-validator"
    1 
    
  namespace: "ztp-group"
    2 
    
spec:
  bindingRules:
    group-du-sno: ""
    3 
    
  bindingExcludedRules:
    ztp-done: ""
    4 
    
  mcp: "master"
    5 
    
  sourceFiles:
    - fileName: validatorCRs/informDuValidator.yaml
      remediationAction: inform
    6 
    
      policyName: "du-policy"
    7
    Copy to Clipboard Toggle word wrap

    1
    PolicyGenTemplates 개체의 이름입니다. 이 이름은 요청된 네임스페이스에서 생성된 placementBinding,placementRule 및 정책 의 일부로 사용됩니다.
    2
    이 값은 PolicyGenTemplates 그룹에 사용된 네임스페이스 와 일치해야 합니다.
    3
    bindingRules 에 정의된 group-du-* 레이블은 SiteConfig 파일에 있어야 합니다.
    4
    bindingExcludedRules 에 정의된 레이블은 'ztp-done:'이어야 합니다. ztp-done 레이블은 토폴로지 Aware Lifecycle Manager와 조정하는 데 사용됩니다.
    5
    MCP 는 소스 파일 validatorCRs/informDuValidator.yaml 에 사용되는 MachineConfigPool 오브젝트를 정의합니다. 단일 노드 및 표준 클러스터 배포의 경우 3노드 클러스터 배포 및 작업자 의 마스터 여야 합니다.
    6
    선택사항입니다. 기본값은 inform 입니다.
    7
    이 값은 생성된 RHACM 정책의 이름으로 사용됩니다. 단일 노드 예제에 대해 생성된 검증기 정책은 group-du-sno-validator-du-policy 입니다.
  2. Git 리포지토리에서 PolicyGenTemplate CR 파일을 커밋하고 변경 사항을 내보냅니다.

22.9.6. PolicyGenTemplate CR을 사용하여 PTP 빠른 이벤트 구성
링크 복사

GitOps Zero touch Provisioning(ZTP) 파이프라인을 사용하여 배포된 vRAN 클러스터에 대한 PTP 빠른 이벤트를 구성할 수 있습니다. PolicyGenTemplate 사용자 정의 리소스(CR)를 기반으로 사용하여 특정 사이트 요구 사항에 맞게 구성 파일의 계층 구조를 생성합니다.

사전 요구 사항

  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성합니다.

절차

  1. common-ranGen.yaml 파일의 .spec.sourceFiles 에 다음 YAML을 추가하여 AMQP Operator를 구성합니다. 

    #AMQ interconnect operator for fast events
- fileName: AmqSubscriptionNS.yaml
  policyName: "subscriptions-policy"
- fileName: AmqSubscriptionOperGroup.yaml
  policyName: "subscriptions-policy"
- fileName: AmqSubscription.yaml
  policyName: "subscriptions-policy"
    Copy to Clipboard Toggle word wrap

  2. 요구 사항에 따라 group-du-3node-ranGen.yaml,group-du-sno-ranGen.yaml 또는 group-du-standard-ranGen.yaml 파일에 다음 Policy Gen 변경 사항을 적용합니다.

    1. .sourceFiles.sourceFiles에서 AMQ 전송 호스트를 config-policy 로 구성하는 PtpOperatorConfig CR 파일을 추가합니다. 

      - fileName: PtpOperatorConfigForEvent.yaml
  policyName: "config-policy"
      Copy to Clipboard Toggle word wrap

    2. PTP 클럭 유형 및 인터페이스에 linuxptp 및 phc2sys 를 구성합니다. 예를 들어 .sourceFiles 에 다음 스탠자를 추가합니다. 

      - fileName: PtpConfigSlave.yaml
      1 
      
  policyName: "config-policy"
  metadata:
    name: "du-ptp-slave"
  spec:
    profile:
    - name: "slave"
      interface: "ens5f1"
      2 
      
      ptp4lOpts: "-2 -s --summary_interval -4"
      3 
      
      phc2sysOpts: "-a -r -m -n 24 -N 8 -R 16"
      4 
      
    ptpClockThreshold:
      5 
      
      holdOverTimeout: 30 #secs
      maxOffsetThreshold: 100  #nano secs
      minOffsetThreshold: -100 #nano secs
      Copy to Clipboard Toggle word wrap
      1
      요구 사항에 따라 PtpConfigMaster.yaml,PtpConfigSlave.yaml 또는 PtpConfigSlaveCvl.yaml 하나가 될 수 있습니다. PtpConfigSlaveCvl.yaml 은 Intel E810 Columbiaville NIC에 대해 linuxptp 서비스를 구성합니다. group-du-sno-ranGen.yaml 또는 group-du-3node-ranGen.yaml 을 기반으로 하는 구성의 경우 PtpConfigSlave.yaml 을 사용합니다.
      2
      장치별 인터페이스 이름입니다.
      3
      PTP 빠른 이벤트를 활성화하려면 .spec.sourceFiles.spec.profile 의 --summary_interval -4 값을 ptp4lOpts 에 추가해야 합니다.
      4
      필수 phc2sysOpts 값. -m 에서 stdout 에 메시지를 출력합니다. linuxptp-daemon DaemonSet 은 로그를 구문 분석하고 Prometheus 지표를 생성합니다.
      5
      선택사항입니다. ptpClockThreshold 가 없으면 기본값이 ptpClockThreshold 필드에 사용됩니다. 스탠자는 기본 ptpClockThreshold 값을 표시합니다. ptpClockThreshold 값은 PTP 이벤트가 트리거되기 전에 PTP 마스터 클럭이 연결 해제된 후의 기간을 구성합니다. holdOverTimeout 은 PTP 마스터 클럭의 연결이 끊어지면 PTP 클럭 이벤트 상태가 FREERUN 로 변경되기 전 시간(초)입니다. maxOffsetThreshold 및 minOffsetThreshold 설정은 CLOCK_REALTIME (phc2sys) 또는 마스터 오프셋(ptp4l)의 값과 비교되는 나노초에 오프셋 값을 구성합니다. ptp4l 또는 phc2sys 오프셋 값이 이 범위를 벗어나는 경우 PTP 클럭 상태가 FREERUN 로 설정됩니다. 오프셋 값이 이 범위 내에 있으면 PTP 클럭 상태가 LOCKED 로 설정됩니다.

  3. 특정 사이트 YAML 파일에 다음 PolicyGenTemplate 변경 사항을 적용합니다(예: example-sno-site.yaml ).

    1. .sourceFiles.sourceFiles에서 AMQ 라우터를 config-policy 에 구성하는 Interconnect CR 파일을 추가합니다. 

      - fileName: AmqInstance.yaml
  policyName: "config-policy"
      Copy to Clipboard Toggle word wrap
  4. 다른 필요한 변경 사항 및 파일을 사용자 지정 사이트 리포지토리와 병합합니다.
  5. 사이트 구성 리포지토리의 변경 사항을 내보내 GitOps ZTP를 사용하여 PTP 빠른 이벤트를 새 사이트에 배포합니다.

22.9.7. PolicyGenTemplate CR을 사용하여 베어 메탈 이벤트 모니터링 구성
링크 복사

GitOps Zero touch Provisioning(ZTP) 파이프라인을 사용하여 배포된 vRAN 클러스터에 대해 베어 메탈 하드웨어 이벤트를 구성할 수 있습니다.

사전 요구 사항

  • OpenShift CLI(oc)를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성합니다.

절차

  1. AMQ Interconnect Operator 및 Bare Metal Event Relay Operator를 구성하려면 common-ranGen.yaml 파일의 spec.sourceFiles 에 다음 YAML을 추가합니다. 

    # AMQ interconnect operator for fast events
- fileName: AmqSubscriptionNS.yaml
  policyName: "subscriptions-policy"
- fileName: AmqSubscriptionOperGroup.yaml
  policyName: "subscriptions-policy"
- fileName: AmqSubscription.yaml
  policyName: "subscriptions-policy"
# Bare Metal Event Rely operator
- fileName: BareMetalEventRelaySubscriptionNS.yaml
  policyName: "subscriptions-policy"
- fileName: BareMetalEventRelaySubscriptionOperGroup.yaml
  policyName: "subscriptions-policy"
- fileName: BareMetalEventRelaySubscription.yaml
  policyName: "subscriptions-policy"
    Copy to Clipboard Toggle word wrap

  2. 사이트 구성 파일의 .spec.sourceFiles 에 Interconnect CR을 추가합니다(예: example-sno-site.yaml 파일). 

    - fileName: AmqInstance.yaml
  policyName: "config-policy"
    Copy to Clipboard Toggle word wrap

  3. 특정 그룹 구성 파일의 spec.sourceFiles (예: group-du-sno-ranGen.yaml 파일에서 spec.sourceFiles)에 HardwareEvent CR을 추가합니다. 

    - fileName: HardwareEvent.yaml
  policyName: "config-policy"
  spec:
    nodeSelector: {}
    transportHost: "amqp://<amq_interconnect_name>.<amq_interconnect_namespace>.svc.cluster.local"
    1 
    
    logLevel: "info"
    Copy to Clipboard Toggle word wrap
    1
    transportHost URL은 기존 AMQ Interconnect CR 이름과 네임스페이스 로 구성됩니다. 예를 들어 transportHost: "amqp://amq-router.amq-router.svc.cluster.local" 에서 AMQ Interconnect 이름은 둘 다 amq-router 로 설정됩니다.
    참고

    각 BMC(Baseboard Management Controller)에는 단일 HardwareEvent 리소스만 필요합니다.

  4. Git에서 PolicyGenTemplate 변경 사항을 커밋한 다음 사이트 구성 리포지토리로 변경 사항을 내보내 GitOps ZTP를 사용하여 베어 메탈 이벤트 모니터링을 새 사이트에 배포합니다.

  5. 다음 명령을 실행하여 Redfish 보안을 생성합니다. 

    $ oc -n openshift-bare-metal-events create secret generic redfish-basic-auth \
--from-literal=username=<bmc_username> --from-literal=password=<bmc_password> \
--from-literal=hostaddr="<bmc_host_ip_addr>"
    Copy to Clipboard Toggle word wrap

22.10. 토폴로지 Aware Lifecycle Manager로 관리형 클러스터 업데이트
링크 복사

Topology Aware Lifecycle Manager (TALM)를 사용하여 OpenShift Container Platform 관리 클러스터의 소프트웨어 라이프사이클을 관리할 수 있습니다. TALM은 RHACM(Red Hat Advanced Cluster Management) 정책을 사용하여 대상 클러스터에서 변경 사항을 수행합니다.

중요

토폴로지 Aware Lifecycle Manager는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

22.10.1. 연결이 끊긴 환경에서 클러스터 업데이트
링크 복사

GitOps ZTP 및 Topology Aware Lifecycle Manager(TALM)를 사용하여 배포한 관리형 클러스터 및 Operator를 업그레이드할 수 있습니다.

22.10.1.1. 환경 설정
링크 복사

TALM은 플랫폼과 Operator 업데이트를 모두 수행할 수 있습니다.

TALM을 사용하여 연결이 끊긴 클러스터를 업데이트하기 전에 미러 레지스트리에서 업데이트하려는 플랫폼 이미지 및 Operator 이미지를 모두 미러링해야 합니다. 이미지를 미러링하려면 다음 단계를 완료합니다.

  • 플랫폼 업데이트의 경우 다음 단계를 수행해야 합니다.

    1. 원하는 OpenShift Container Platform 이미지 저장소를 미러링합니다. 추가 리소스에 연결된 "OpenShift Container Platform 이미지 저장소 미러링" 절차에 따라 원하는 플랫폼 이미지가 미러링되었는지 확인합니다. imageContentSources .yaml 파일의 imageContentSources 섹션을 저장합니다.

      출력 예

      imageContentSources:
 - mirrors:
   - mirror-ocp-registry.ibmcloud.io.cpak:5000/openshift-release-dev/openshift4
   source: quay.io/openshift-release-dev/ocp-release
 - mirrors:
   - mirror-ocp-registry.ibmcloud.io.cpak:5000/openshift-release-dev/openshift4
   source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
      Copy to Clipboard Toggle word wrap

    2. 미러링된 플랫폼 이미지의 이미지 서명을 저장합니다. 플랫폼 업데이트의 경우 PolicyGenTemplate CR에 이미지 서명을 추가해야 합니다. 이미지 서명을 가져오려면 다음 단계를 수행합니다.

      1. 다음 명령을 실행하여 원하는 OpenShift Container Platform 태그를 지정합니다. 

        $ OCP_RELEASE_NUMBER=<release_version>
        Copy to Clipboard Toggle word wrap

      2. 다음 명령을 실행하여 서버의 아키텍처를 지정합니다. 

        $ ARCHITECTURE=<server_architecture>
        Copy to Clipboard Toggle word wrap

      3. 다음 명령을 실행하여 Quay에서 릴리스 이미지 다이제스트를 가져옵니다. 

        $ DIGEST="$(oc adm release info quay.io/openshift-release-dev/ocp-release:${OCP_RELEASE_NUMBER}-${ARCHITECTURE} | sed -n 's/Pull From: .*@//p')"
        Copy to Clipboard Toggle word wrap

      4. 다음 명령을 실행하여 다이제스트 알고리즘을 설정합니다. 

        $ DIGEST_ALGO="${DIGEST%%:*}"
        Copy to Clipboard Toggle word wrap

      5. 다음 명령을 실행하여 다이제스트 서명을 설정합니다. 

        $ DIGEST_ENCODED="${DIGEST#*:}"
        Copy to Clipboard Toggle word wrap

      6. 다음 명령을 실행하여 mirror.openshift.com 웹 사이트에서 이미지 서명을 가져옵니다. 

        $ SIGNATURE_BASE64=$(curl -s "https://mirror.openshift.com/pub/openshift-v4/signatures/openshift/release/${DIGEST_ALGO}=${DIGEST_ENCODED}/signature-1" | base64 -w0 && echo)
        Copy to Clipboard Toggle word wrap

      7. 다음 명령을 실행하여 체크섬-<OCP_RELEASE_NUMBER>.yaml 파일에 이미지 서명을 저장합니다. 

        $ cat >checksum-${OCP_RELEASE_NUMBER}.yaml <<EOF
${DIGEST_ALGO}-${DIGEST_ENCODED}: ${SIGNATURE_BASE64}
EOF
        Copy to Clipboard Toggle word wrap

    3. 업데이트 그래프를 준비합니다. 업데이트 그래프를 준비하는 두 가지 옵션이 있습니다.

      1. OpenShift 업데이트 서비스를 사용합니다.

        hub 클러스터에서 그래프를 설정하는 방법에 대한 자세한 내용은 Deploy the operator for OpenShift Update Service 및 Build the graph data init 컨테이너를 참조하십시오.

      2. 업스트림 그래프의 로컬 사본을 만듭니다. 연결이 끊긴 환경의 http 또는 https 서버에서 관리 클러스터에 액세스할 수 있는 업데이트 그래프를 호스팅합니다. 업데이트 그래프를 다운로드하려면 다음 명령을 사용하십시오. 

        $ curl -s https://api.openshift.com/api/upgrades_info/v1/graph?channel=stable-4.11 -o ~/upgrade-graph_stable-4.11
        Copy to Clipboard Toggle word wrap

  • Operator 업데이트의 경우 다음 작업을 수행해야 합니다.

    • Operator 카탈로그를 미러링합니다. "연결이 끊긴 클러스터와 함께 사용하기 위해 Operator 카탈로그 미러링 절차에 따라 원하는 Operator 이미지가 미러링되었는지 확인합니다.
22.10.1.2. 플랫폼 업데이트 수행
링크 복사

TALM으로 플랫폼 업데이트를 수행할 수 있습니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • ZTP를 최신 버전으로 업데이트합니다.
  • ZTP로 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • 원하는 이미지 저장소를 미러링합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • hub 클러스터에서 RHACM 정책을 생성합니다.

절차

  1. 플랫폼 업데이트에 대한 PolicyGenTemplate CR을 생성합니다.

    1. du-upgrade.yaml 파일에 PolicyGenTemplate CR의 다음 내용을 저장합니다.

      플랫폼 업데이트의 PolicyGenTemplate 예

      apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "du-upgrade"
  namespace: "ztp-group-du-sno"
spec:
  bindingRules:
    group-du-sno: ""
  mcp: "master"
  remediationAction: inform
  sourceFiles:
    - fileName: ImageSignature.yaml
      1 
      
      policyName: "platform-upgrade-prep"
      binaryData:
        ${DIGEST_ALGO}-${DIGEST_ENCODED}: ${SIGNATURE_BASE64}
      2 
      
    - fileName: DisconnectedICSP.yaml
      policyName: "platform-upgrade-prep"
      metadata:
        name: disconnected-internal-icsp-for-ocp
      spec:
        repositoryDigestMirrors:
      3 
      
          - mirrors:
            - quay-intern.example.com/ocp4/openshift-release-dev
            source: quay.io/openshift-release-dev/ocp-release
          - mirrors:
            - quay-intern.example.com/ocp4/openshift-release-dev
            source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
    - fileName: ClusterVersion.yaml
      4 
      
      policyName: "platform-upgrade-prep"
      metadata:
        name: version
        annotations:
          ran.openshift.io/ztp-deploy-wave: "1"
      spec:
        channel: "stable-4.11"
        upstream: http://upgrade.example.com/images/upgrade-graph_stable-4.11
    - fileName: ClusterVersion.yaml
      5 
      
      policyName: "platform-upgrade"
      metadata:
        name: version
      spec:
        channel: "stable-4.11"
        upstream: http://upgrade.example.com/images/upgrade-graph_stable-4.11
        desiredUpdate:
          version: 4.11.4
      status:
        history:
          - version: 4.11.4
            state: "Completed"
      Copy to Clipboard Toggle word wrap

      1
      ConfigMap CR에는 업데이트할 릴리스 이미지의 서명이 포함되어 있습니다.
      2
      원하는 OpenShift Container Platform 릴리스의 이미지 서명을 표시합니다. "설정 환경 설정" 섹션의 절차에 따라 저장한 체크섬-${OCP_RELASE_NUMBER}.yaml 파일에서 서명을 가져옵니다.
      3
      원하는 OpenShift Container Platform 이미지가 포함된 미러 리포지토리를 표시합니다. "환경 설정" 섹션의 절차에 따라 저장할 때 저장한 imageContentSources.yaml 파일에서 미러를 가져옵니다.
      4
      업스트림을 업데이트하는 ClusterVersion CR을 표시합니다.
      5
      업데이트를 트리거하는 ClusterVersion CR을 표시합니다. 이미지 사전 캐싱에는 채널,업스트림 및 desiredVersion 필드가 모두 필요합니다.

      PolicyGenTemplate CR은 다음 두 가지 정책을 생성합니다.

      • du-upgrade-platform-upgrade-prep 정책은 플랫폼 업데이트에 대한 준비 작업을 수행합니다. 원하는 릴리스 이미지 서명을 위해 ConfigMap CR을 생성하고 미러링된 릴리스 이미지 저장소의 이미지 콘텐츠 소스를 생성하고, 연결이 끊긴 환경에서 관리되는 클러스터에서 연결할 수 있는 업데이트 채널을 사용하여 클러스터 버전을 업데이트합니다.
      • du-upgrade-platform-upgrade 정책은 플랫폼 업그레이드를 수행하는 데 사용됩니다.

    2. du-upgrade.yaml 파일 콘텐츠를 PolicyGenTemplate CR의 ZTP Git 리포지토리에 있는 kustomization.yaml 파일에 추가하고 변경 사항을 Git 리포지토리로 내보냅니다.

      argocd는 Git 리포지토리에서 변경 사항을 가져와 hub 클러스터에서 정책을 생성합니다.

    3. 다음 명령을 실행하여 생성된 정책을 확인합니다. 

      $ oc get policies -A | grep platform-upgrade
      Copy to Clipboard Toggle word wrap

  2. TALM으로 플랫폼 업데이트를 시작하기 전에 필요한 업데이트 리소스를 적용합니다.

    1. 다음 예와 같이 du-upgrade- platform-upgrade-prep 정책 및 대상 관리형 클러스터를 사용하여 platform-upgrade-prep ClusterUpgradeGroup CR의 내용을 저장합니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-platform-upgrade-prep
  namespace: default
spec:
  managedPolicies:
  - du-upgrade-platform-upgrade-prep
  clusters:
  - spoke1
  remediationStrategy:
    maxConcurrency: 1
  enable: true
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 hub 클러스터에 정책을 적용합니다. 

      $ oc apply -f cgu-platform-upgrade-prep.yml
      Copy to Clipboard Toggle word wrap

    3. 업데이트 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies --all-namespaces
      Copy to Clipboard Toggle word wrap

  3. spec.enable 필드를 false 로 설정하여 플랫폼 업데이트의 ClusterGroupUpdate CR을 생성합니다.

    1. 다음 예와 같이 du-upgrade-platform-upgrade 정책 및 대상 클러스터를 cgu-platform-upgrade.yml 파일에 사용하여 플랫폼 업데이트 ClusterGroupUpdate CR을 저장합니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-platform-upgrade
  namespace: default
spec:
  managedPolicies:
  - du-upgrade-platform-upgrade
  preCaching: false
  clusters:
  - spoke1
  remediationStrategy:
    maxConcurrency: 1
  enable: false
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 hub 클러스터에 ClusterGroupUpdate CR을 적용합니다. 

      $ oc apply -f cgu-platform-upgrade.yml
      Copy to Clipboard Toggle word wrap

  4. 선택 사항: 플랫폼 업데이트의 이미지를 미리 캐시합니다.

    1. 다음 명령을 실행하여 ClusterGroupUpdate CR에서 사전 캐싱을 활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
--patch '{"spec":{"preCaching": true}}' --type=merge
      Copy to Clipboard Toggle word wrap

    2. 업데이트 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. hub 클러스터에서 다음 명령을 실행하여 사전 캐싱의 상태를 확인합니다. 

      $ oc get cgu cgu-platform-upgrade -o jsonpath='{.status.precaching.status}'
      Copy to Clipboard Toggle word wrap

  5. 플랫폼 업데이트를 시작합니다.

    1. cgu-platform-upgrade 정책을 활성화하고 다음 명령을 실행하여 사전 캐싱을 비활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
--patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge
      Copy to Clipboard Toggle word wrap

    2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies --all-namespaces
      Copy to Clipboard Toggle word wrap
22.10.1.3. Operator 업데이트 수행
링크 복사

TALM을 사용하여 Operator 업데이트를 수행할 수 있습니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • ZTP를 최신 버전으로 업데이트합니다.
  • ZTP로 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • 번들 이미지에서 참조하는 모든 Operator 이미지, 번들 이미지 및 모든 Operator 이미지를 미러링합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • hub 클러스터에서 RHACM 정책을 생성합니다.

절차

  1. Operator 업데이트에 대한 PolicyGenTemplate CR을 업데이트합니다.

    1. du-upgrade.yaml 파일에서 다음과 같은 추가 내용으로 du-upgrade PolicyGenTemplate CR을 업데이트합니다. 

      apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "du-upgrade"
  namespace: "ztp-group-du-sno"
spec:
  bindingRules:
    group-du-sno: ""
  mcp: "master"
  remediationAction: inform
  sourceFiles:
    - fileName: DefaultCatsrc.yaml
      remediationAction: inform
      policyName: "operator-catsrc-policy"
      metadata:
        name: redhat-operators
      spec:
        displayName: Red Hat Operators Catalog
        image: registry.example.com:5000/olm/redhat-operators:v4.11
      1 
      
        updateStrategy:
      2 
      
          registryPoll:
            interval: 1h
      Copy to Clipboard Toggle word wrap
      1
      인덱스 이미지 URL에는 원하는 Operator 이미지가 포함되어 있습니다. 인덱스 이미지가 항상 동일한 이미지 이름과 태그로 푸시되면 이 변경이 필요하지 않습니다.
      2
      OLM(Operator Lifecycle Manager)이 registryPoll.interval 필드를 사용하여 새 Operator 버전의 인덱스 이미지를 폴링하는 빈도를 설정합니다. y-stream 및 z-stream Operator 업데이트에 새 인덱스 이미지 태그를 항상 푸시하는 경우 이 변경 사항이 필요하지 않습니다. registryPoll.interval 필드는 업데이트를 신속하게 처리하기 위해 더 짧은 간격으로 설정할 수 있지만 간격이 단축되어 계산 부하가 증가합니다. 이 문제를 방지하려면 업데이트가 완료되면 registryPoll.interval 을 기본값으로 복원할 수 있습니다.

    2. 이번 업데이트에서는 원하는 Operator 이미지가 포함된 새 인덱스 이미지로 redhat-operators 카탈로그 소스를 업데이트하기 위해 하나의 정책 du-upgrade-operator-catsrc-policy 를 생성합니다.

      참고

      Operator에 이미지 사전 캐싱을 사용하고 redhat-operators 이외의 다른 카탈로그 소스의 Operator가 있는 경우 다음 작업을 수행해야 합니다.

      • 다른 카탈로그 소스에 대한 새 인덱스 이미지 또는 레지스트리 폴링 간격 업데이트를 사용하여 별도의 카탈로그 소스 정책을 준비합니다.
      • 다른 카탈로그 소스의 원하는 Operator에 대해 별도의 서브스크립션 정책을 준비합니다.

      예를 들어, 원하는 SRIOV-FEC Operator는 certified-operators 카탈로그 소스에서 사용할 수 있습니다. 카탈로그 소스 및 Operator 서브스크립션을 업데이트하려면 다음 콘텐츠를 추가하여 du-upgrade-fec-catsrc-policy 및 du-upgrade-subscriptions-fec-policy 정책 두 가지 정책을 생성합니다. 

      apiVersion: ran.openshift.io/v1
kind: PolicyGenTemplate
metadata:
  name: "du-upgrade"
  namespace: "ztp-group-du-sno"
spec:
  bindingRules:
    group-du-sno: ""
  mcp: "master"
  remediationAction: inform
  sourceFiles:
       …
    - fileName: DefaultCatsrc.yaml
      remediationAction: inform
      policyName: "fec-catsrc-policy"
      metadata:
        name: certified-operators
      spec:
        displayName: Intel SRIOV-FEC Operator
        image: registry.example.com:5000/olm/far-edge-sriov-fec:v4.10
        updateStrategy:
          registryPoll:
            interval: 10m
    - fileName: AcceleratorsSubscription.yaml
      policyName: "subscriptions-fec-policy"
      spec:
        channel: "stable"
        source: certified-operators
      Copy to Clipboard Toggle word wrap

    3. 공통 PolicyGenTemplate CR에서 지정된 서브스크립션 채널을 제거합니다. ZTP 이미지의 기본 서브스크립션 채널은 업데이트에 사용됩니다.

      참고

      ZTP 4.11을 통해 적용되는 Operator의 기본 채널은 performance-addon-operator 를 제외하고 안정적입니다. OpenShift Container Platform 4.11부터 performance-addon-operator 기능이 node-tuning-operator 로 이동되었습니다. 4.10 릴리스의 경우 PAO의 기본 채널은 v4.10 입니다. common PolicyGenTemplate CR에서 기본 채널을 지정할 수도 있습니다.

    4. PolicyGenTemplate CR 업데이트를 ZTP Git 리포지토리에 내보냅니다.

      argocd는 Git 리포지토리에서 변경 사항을 가져와 hub 클러스터에서 정책을 생성합니다.

    5. 다음 명령을 실행하여 생성된 정책을 확인합니다. 

      $ oc get policies -A | grep -E "catsrc-policy|subscription"
      Copy to Clipboard Toggle word wrap

  2. Operator 업데이트를 시작하기 전에 필요한 카탈로그 소스 업데이트를 적용합니다.

    1. 카탈로그 소스 정책과 대상 관리형 클러스터를 사용하여 operator-upgrade-prep 이라는 ClusterGroupUpgrade CR의 콘텐츠를 cgu-operator-upgrade-prep.yml 파일에 저장합니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-operator-upgrade-prep
  namespace: default
spec:
  clusters:
  - spoke1
  enable: true
  managedPolicies:
  - du-upgrade-operator-catsrc-policy
  remediationStrategy:
    maxConcurrency: 1
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 hub 클러스터에 정책을 적용합니다. 

      $ oc apply -f cgu-operator-upgrade-prep.yml
      Copy to Clipboard Toggle word wrap

    3. 업데이트 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies -A | grep -E "catsrc-policy"
      Copy to Clipboard Toggle word wrap

  3. spec.enable 필드를 false 로 설정하여 Operator 업데이트의 ClusterGroupUpgrade CR을 생성합니다.

    1. 다음 예와 같이 du-upgrade-operator-catsrc-policy 정책과 공통 PolicyGenTemplate 에서 생성된 서브스크립션 정책을 사용하여 Operator 업데이트 ClusterGroupUpgrade CR의 콘텐츠를 cgu-operator-upgrade.yml 파일에 저장합니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-operator-upgrade
  namespace: default
spec:
  managedPolicies:
  - du-upgrade-operator-catsrc-policy
      1 
      
  - common-subscriptions-policy
      2 
      
  preCaching: false
  clusters:
  - spoke1
  remediationStrategy:
    maxConcurrency: 1
  enable: false
      Copy to Clipboard Toggle word wrap
      1
      이미지 사전 캐싱 기능을 통해 카탈로그 소스에서 운영자 이미지를 검색하는 데 정책이 필요합니다.
      2
      정책에는 Operator 서브스크립션이 포함되어 있습니다. 참조 PolicyGenTemplates 의 구조와 내용을 따르는 경우 모든 Operator 서브스크립션이 common-subscriptions-policy 정책으로 그룹화됩니다.
      참고

      하나의 ClusterGroupUpgrade CR은 ClusterGroupUpgrade CR에 포함된 하나의 카탈로그 소스에서 서브스크립션 정책에 정의된 원하는 Operator의 이미지만 사전 캐시할 수 있습니다. SRIOV-FEC Operator의 예제와 같이 다른 카탈로그 소스의 Operator가 있는 경우, SRIOV-FEC Operator 이미지에 대한 du-upgrade-fec-catsrc-policy 및 du-upgrade-subscriptions-fec-policy 정책을 사용하여 다른 ClusterGroupUpgrade CR을 생성해야 합니다.

    2. 다음 명령을 실행하여 hub 클러스터에 ClusterGroupUpgrade CR을 적용합니다. 

      $ oc apply -f cgu-operator-upgrade.yml
      Copy to Clipboard Toggle word wrap

  4. 선택 사항: Operator 업데이트의 이미지를 미리 캐시합니다.

    1. 이미지 캐싱을 시작하기 전에 다음 명령을 실행하여 서브스크립션 정책이 NonCompliant 인지 확인합니다. 

      $ oc get policy common-subscriptions-policy -n <policy_namespace>
      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                          REMEDIATION ACTION   COMPLIANCE STATE     AGE
common-subscriptions-policy   inform               NonCompliant         27d
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 ClusterGroupUpgrade CR에서 사전 캐싱을 활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
--patch '{"spec":{"preCaching": true}}' --type=merge
      Copy to Clipboard Toggle word wrap

    3. 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. 관리 클러스터에서 다음 명령을 실행하여 사전 캐싱의 상태를 확인합니다. 

      $ oc get cgu cgu-operator-upgrade -o jsonpath='{.status.precaching.status}'
      Copy to Clipboard Toggle word wrap

    4. 다음 명령을 실행하여 업데이트를 시작하기 전에 사전 캐싱이 완료되었는지 확인합니다. 

      $ oc get cgu -n default cgu-operator-upgrade -ojsonpath='{.status.conditions}' | jq
      Copy to Clipboard Toggle word wrap

      출력 예

      [
    {
      "lastTransitionTime": "2022-03-08T20:49:08.000Z",
      "message": "The ClusterGroupUpgrade CR is not enabled",
      "reason": "UpgradeNotStarted",
      "status": "False",
      "type": "Ready"
    },
    {
      "lastTransitionTime": "2022-03-08T20:55:30.000Z",
      "message": "Precaching is completed",
      "reason": "PrecachingCompleted",
      "status": "True",
      "type": "PrecachingDone"
    }
]
      Copy to Clipboard Toggle word wrap

  5. Operator 업데이트를 시작합니다.

    1. cgu-operator-upgrade ClusterGroupUpgrade CR을 활성화하고 다음 명령을 실행하여 Operator 업데이트를 시작하도록 사전 캐싱을 비활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
--patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge
      Copy to Clipboard Toggle word wrap

    2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies --all-namespaces
      Copy to Clipboard Toggle word wrap

일부 시나리오에서는 TALM( Topology Aware Lifecycle Manager)에서 최신 정책 준수 상태로 인해 Operator 업데이트가 누락될 수 있습니다.

카탈로그 소스 업데이트 후 OLM(Operator Lifecycle Manager)에서 서브스크립션 상태를 업데이트하는 데 시간이 걸립니다. TALM에서 수정이 필요한지 여부를 결정하는 동안 서브스크립션 정책의 상태가 계속 준수로 표시될 수 있습니다. 결과적으로 서브스크립션 정책에 지정된 Operator가 업그레이드되지 않습니다.

이 시나리오를 방지하려면 PolicyGenTemplate 에 다른 카탈로그 소스 구성을 추가하고 업데이트가 필요한 Operator의 서브스크립션에 이 구성을 지정합니다.

절차

  1. PolicyGenTemplate 리소스에 카탈로그 소스 구성을 추가합니다. 

    - fileName: DefaultCatsrc.yaml
      remediationAction: inform
      policyName: "operator-catsrc-policy"
      metadata:
        name: redhat-operators
      spec:
        displayName: Red Hat Operators Catalog
        image: registry.example.com:5000/olm/redhat-operators:v{product-version}
        updateStrategy:
          registryPoll:
            interval: 1h
      status:
        connectionState:
            lastObservedState: READY
- fileName: DefaultCatsrc.yaml
      remediationAction: inform
      policyName: "operator-catsrc-policy"
      metadata:
        name: redhat-operators-v2
    1 
    
      spec:
        displayName: Red Hat Operators Catalog v2
    2 
    
        image: registry.example.com:5000/olredhat-operators:<version>
    3 
    
        updateStrategy:
          registryPoll:
            interval: 1h
      status:
        connectionState:
            lastObservedState: READY
    Copy to Clipboard Toggle word wrap
    1
    새 구성의 이름을 업데이트합니다.
    2
    새 구성의 표시 이름을 업데이트합니다.
    3
    인덱스 이미지 URL을 업데이트합니다. 이 fileName.spec.image 필드는 DefaultCatsrc.yaml 파일의 구성을 재정의합니다.

  2. 업데이트가 필요한 Operator의 새 구성을 가리키도록 Subscription 리소스를 업데이트합니다. 

    apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: operator-subscription
  namespace: operator-namspace
# ...
spec:
  source: redhat-operators-v2
    1 
    
# ...
    Copy to Clipboard Toggle word wrap
    1
    PolicyGenTemplate 리소스에 정의된 추가 카탈로그 소스 구성의 이름을 입력합니다.
22.10.1.4. 플랫폼 및 Operator 업데이트 함께 수행
링크 복사

플랫폼과 Operator 업데이트를 동시에 수행할 수 있습니다.

사전 요구 사항

  • Topology Aware Lifecycle Manager (TALM)를 설치합니다.
  • ZTP를 최신 버전으로 업데이트합니다.
  • ZTP로 하나 이상의 관리 클러스터를 프로비저닝합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.
  • hub 클러스터에서 RHACM 정책을 생성합니다.

절차

  1. "플랫폼 업데이트 수행" 및 "Operator 업데이트 수행" 섹션에 설명된 단계에 따라 업데이트에 대한 PolicyGenTemplate CR을 생성합니다.

  2. 플랫폼 및 Operator 업데이트에 대한 prep 작업을 적용합니다.

    1. 플랫폼 업데이트 준비 작업, 카탈로그 소스 업데이트 및 대상 클러스터에 대한 정책을 사용하여 ClusterGroupUpgrade CR의 콘텐츠를 cgu-platform-operator-upgrade-prep.yml 파일에 저장합니다. 예를 들면 다음과 같습니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-platform-operator-upgrade-prep
  namespace: default
spec:
  managedPolicies:
  - du-upgrade-platform-upgrade-prep
  - du-upgrade-operator-catsrc-policy
  clusterSelector:
  - group-du-sno
  remediationStrategy:
    maxConcurrency: 10
  enable: true
      Copy to Clipboard Toggle word wrap

    2. 다음 명령을 실행하여 cgu-platform-operator-upgrade-prep.yml 파일을 hub 클러스터에 적용합니다. 

      $ oc apply -f cgu-platform-operator-upgrade-prep.yml
      Copy to Clipboard Toggle word wrap

    3. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies --all-namespaces
      Copy to Clipboard Toggle word wrap

  3. spec.enable 필드를 false 로 설정하여 플랫폼의 ClusterGroupUpdate CR 및 Operator 업데이트를 생성합니다.

    1. 다음 예와 같이 플랫폼 및 Operator 업데이트 ClusterGroupUpdate CR을 정책 및 대상 클러스터를 cgu-platform-operator-upgrade.yml 파일에 저장합니다. 

      apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  name: cgu-du-upgrade
  namespace: default
spec:
  managedPolicies:
  - du-upgrade-platform-upgrade
      1 
      
  - du-upgrade-operator-catsrc-policy
      2 
      
  - common-subscriptions-policy
      3 
      
  preCaching: true
  clusterSelector:
  - group-du-sno
  remediationStrategy:
    maxConcurrency: 1
  enable: false
      Copy to Clipboard Toggle word wrap
      1
      이는 플랫폼 업데이트 정책입니다.
      2
      이는 Operator가 업데이트할 카탈로그 소스 정보가 포함된 정책입니다. 관리 클러스터에 다운로드할 Operator 이미지를 확인하기 위해 사전 캐싱 기능이 필요합니다.
      3
      Operator를 업데이트하는 정책입니다.

    2. 다음 명령을 실행하여 cgu-platform-operator-upgrade.yml 파일을 hub 클러스터에 적용합니다. 

      $ oc apply -f cgu-platform-operator-upgrade.yml
      Copy to Clipboard Toggle word wrap

  4. 선택사항: 플랫폼 및 Operator 업데이트의 이미지를 사전 캐시합니다.

    1. 다음 명령을 실행하여 ClusterGroupUpgrade CR에서 사전 캐싱을 활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
--patch '{"spec":{"preCaching": true}}' --type=merge
      Copy to Clipboard Toggle word wrap

    2. 업데이트 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. 관리 클러스터에서 다음 명령을 실행하여 사전 캐싱의 상태를 확인합니다. 

      $ oc get jobs,pods -n openshift-talm-pre-cache
      Copy to Clipboard Toggle word wrap

    3. 다음 명령을 실행하여 업데이트를 시작하기 전에 사전 캐싱이 완료되었는지 확인합니다. 

      $ oc get cgu cgu-du-upgrade -ojsonpath='{.status.conditions}'
      Copy to Clipboard Toggle word wrap

  5. 플랫폼 및 Operator 업데이트를 시작합니다.

    1. 다음 명령을 실행하여 플랫폼 및 Operator 업데이트를 시작하려면 cgu-du-upgrade ClusterGroupUpgrade CR을 활성화합니다. 

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
--patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge
      Copy to Clipboard Toggle word wrap

    2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다. 

      $ oc get policies --all-namespaces
      Copy to Clipboard Toggle word wrap
      참고

      spec.enable: true 로 설정을 구성하여 플랫폼 및 Operator 업데이트의 CR을 처음부터 생성할 수 있습니다. 이 경우 사전 캐싱이 완료된 직후 업데이트가 시작되고 CR을 수동으로 활성화할 필요가 없습니다.

      사전 캐싱 및 업데이트 모두 정책, 배치 바인딩, 배치 규칙, 관리 클러스터 작업 및 관리형 클러스터 뷰와 같은 추가 리소스를 만들어 절차를 완료합니다. afterCompletion.deleteObjects 필드를 true 로 설정하면 업데이트가 완료된 후 이러한 모든 리소스가 삭제됩니다.

이전 버전의 OpenShift Container Platform에서 Performance Addon Operator는 애플리케이션에 대한 짧은 대기 시간 성능 튜닝을 제공합니다. OpenShift Container Platform 4.11 이상에서는 이러한 기능이 Node Tuning Operator의 일부입니다.

OpenShift Container Platform 4.11 이상을 실행하는 클러스터에 Performance Addon Operator를 설치하지 마십시오. OpenShift Container Platform 4.11 이상으로 업그레이드하는 경우 Node Tuning Operator는 Performance Addon Operator를 자동으로 제거합니다.

참고

Operator 재설치를 방지하기 위해 Performance Addon Operator 서브스크립션을 생성하는 정책을 제거해야 합니다.

참조 DU 프로파일에는 PolicyGenTemplate CR common-ranGen.yaml 에 Performance Addon Operator가 포함되어 있습니다. 배포된 관리형 클러스터에서 서브스크립션을 제거하려면 common-ranGen.yaml 을 업데이트해야 합니다.

참고

OpenShift Container Platform 4.11 이상에서 Performance Addon Operator 4.10.3-5 이상을 설치하는 경우 Performance Addon Operator는 클러스터 버전을 감지하고 자동으로 Node Tuning Operator 기능을 방해하지 않도록 합니다. 그러나 최상의 성능을 보장하기 위해 OpenShift Container Platform 4.11 클러스터에서 Performance Addon Operator를 제거하십시오.

사전 요구 사항

  • 사용자 지정 사이트 구성 데이터를 관리하는 Git 리포지토리를 생성합니다. 리포지토리는 hub 클러스터에서 액세스할 수 있어야 하며 ArgoCD의 소스 리포지토리로 정의해야 합니다.
  • OpenShift Container Platform 4.11 이상으로 업데이트합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

절차

  1. common-ranGen.yaml 파일에서 Performance Addon Operator 네임스페이스, Operator group 및 subscription에 대해 complianceType 을 필수 로 변경합니다. 

     -  fileName: PaoSubscriptionNS.yaml
    policyName: "subscriptions-policy"
    complianceType: mustnothave
 -  fileName: PaoSubscriptionOperGroup.yaml
    policyName: "subscriptions-policy"
    complianceType: mustnothave
 -  fileName: PaoSubscription.yaml
    policyName: "subscriptions-policy"
    complianceType: mustnothave
    Copy to Clipboard Toggle word wrap
  2. 사용자 정의 사이트 리포지토리와 변경 사항을 병합하고 ArgoCD 애플리케이션이 변경 사항을 hub 클러스터에 동기화할 때까지 기다립니다. common-subscriptions-policy 정책의 상태는 비준 수로 변경됩니다.
  3. 토폴로지 Aware Lifecycle Manager를 사용하여 대상 클러스터에 변경 사항을 적용합니다. 구성 변경 사항을 배포하는 방법에 대한 자세한 내용은 "ECDHE 리소스" 섹션을 참조하십시오.

  4. 프로세스를 모니터링합니다. 대상 클러스터의 common-subscriptions-policy 정책의 상태가 Compliant 인 경우 Performance Addon Operator가 클러스터에서 제거되었습니다. 다음 명령을 실행하여 common-subscriptions-policy 의 상태를 가져옵니다. 

    $ oc get policy -n ztp-common common-subscriptions-policy
    Copy to Clipboard Toggle word wrap
  5. common-ranGen.yaml 파일의 .spec.sourceFiles 에서 Performance Addon Operator 네임스페이스, Operator group 및 서브스크립션 CR을 삭제합니다.
  6. 사용자 정의 사이트 리포지토리와 변경 사항을 병합하고 ArgoCD 애플리케이션이 변경 사항을 hub 클러스터에 동기화할 때까지 기다립니다. 정책은 계속 준수합니다.

22.10.2. ZTP용 자동 생성된 ClusterGroupUpgrade CR 정보
링크 복사

TALM에는 hub 클러스터에서 ManagedCluster CR의 Ready 상태를 모니터링하고 ZTP에 대한 ClusterGroupUpgrade CR을 생성하는 ManagedClusterForCGU 라는 컨트롤러가 있습니다.

"ztp-done" 레이블이 적용되지 않은 Ready 상태의 관리형 클러스터의 경우 ManagedClusterForCGU 컨트롤러는 ZTP 프로세스 중에 생성된 관련 RHACM 정책과 함께 ztp-install 네임스페이스에 ClusterGroupUpgrade CR을 자동으로 생성합니다. 그런 다음 TALM은 구성 CR을 관리 클러스터로 푸시하기 위해 자동 생성된 ClusterGroupUpgrade CR에 나열된 구성 정책 세트를 수정합니다.

참고

클러스터가 Ready 상태가 될 때 관리형 클러스터에 바인딩 정책이 없는 경우 ClusterGroupUpgrade CR이 생성되지 않습니다.

ZTP의 자동 생성 ClusterGroupUpgrade CR의 예

apiVersion: ran.openshift.io/v1alpha1
kind: ClusterGroupUpgrade
metadata:
  generation: 1
  name: spoke1
  namespace: ztp-install
  ownerReferences:
  - apiVersion: cluster.open-cluster-management.io/v1
    blockOwnerDeletion: true
    controller: true
    kind: ManagedCluster
    name: spoke1
    uid: 98fdb9b2-51ee-4ee7-8f57-a84f7f35b9d5
  resourceVersion: "46666836"
  uid: b8be9cd2-764f-4a62-87d6-6b767852c7da
spec:
  actions:
    afterCompletion:
      addClusterLabels:
        ztp-done: ""
1 

      deleteClusterLabels:
        ztp-running: ""
      deleteObjects: true
    beforeEnable:
      addClusterLabels:
        ztp-running: ""
2 

  clusters:
  - spoke1
  enable: true
  managedPolicies:
  - common-spoke1-config-policy
  - common-spoke1-subscriptions-policy
  - group-spoke1-config-policy
  - spoke1-config-policy
  - group-spoke1-validator-du-policy
  preCaching: false
  remediationStrategy:
    maxConcurrency: 1
    timeout: 240
Copy to Clipboard Toggle word wrap

1
TALM이 클러스터 구성을 완료하면 관리형 클러스터에 적용됩니다.
2
TALM이 구성 정책 배포를 시작할 때 관리형 클러스터에 적용됩니다.

22.11. GitOps ZTP 업데이트
링크 복사

hub 클러스터, RHACM(Red Hat Advanced Cluster Management) 및 관리형 OpenShift Container Platform 클러스터와 독립적으로 Gitops zero touch provisioning(ZTP) 인프라를 업데이트할 수 있습니다.

참고

새 버전이 사용 가능하게 되면 Red Hat OpenShift GitOps Operator를 업데이트할 수 있습니다. GitOps ZTP 플러그인을 업데이트할 때 참조 구성에서 업데이트된 파일을 검토하고 변경 사항이 요구 사항을 충족하는지 확인합니다.

22.11.1. GitOps ZTP 업데이트 프로세스 개요
링크 복사

이전 버전의 GitOps ZTP 인프라를 실행하는 완전 운영 허브 클러스터에 대해 GitOps 제로 전화 프로비저닝(ZTP)을 업데이트할 수 있습니다. 업데이트 프로세스에서는 관리형 클러스터에 영향을 미치지 않습니다.

참고

권장 콘텐츠를 포함한 정책 설정 변경으로 인해 관리 클러스터에 롤아웃되고 조정되어야 하는 업데이트된 정책이 생성됩니다.

높은 수준에서 GitOps ZTP 인프라를 업데이트하는 전략은 다음과 같습니다.

  1. 기존 클러스터에 ztp-done 레이블을 지정합니다.
  2. ArgoCD 애플리케이션을 중지합니다.
  3. 새 GitOps ZTP 툴을 설치합니다.
  4. Git 리포지토리의 필수 콘텐츠 및 선택적 변경 사항을 업데이트합니다.
  5. 애플리케이션 구성을 업데이트하고 다시 시작합니다.

22.11.2. 업그레이드 준비
링크 복사

다음 절차에 따라 GitOps zero touch provisioning (ZTP) 업그레이드를 수행할 수 있습니다.

절차

  1. GitOps ZTP와 함께 사용하기 위해 Red Hat OpenShift GitOps를 구성하는 데 사용되는 CR(사용자 정의 리소스)이 있는 GitOps ZTP 컨테이너의 최신 버전을 가져옵니다.

  2. 다음 명령을 사용하여 argocd/deployment 디렉터리를 추출합니다. 

    $ mkdir -p ./update
    Copy to Clipboard Toggle word wrap 
    $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.11 extract /home/ztp --tar | tar x -C ./update
    Copy to Clipboard Toggle word wrap

    /update 디렉터리에는 다음 하위 디렉터리가 있습니다.

    • update/extra-manifest: site Config CR이 추가 매니페스트 configMap 을 생성하는 데 사용하는 소스 CR 파일이 포함되어 있습니다.
    • update/source-crs: PolicyGenTemplate CR에서 RHACM(Red Hat Advanced Cluster Management) 정책을 생성하는 데 사용하는 소스 CR 파일이 포함되어 있습니다.
    • update/argocd/deployment: 이 절차의 다음 단계에서 사용할 hub 클러스터에 적용할 패치 및 YAML 파일이 포함되어 있습니다.
    • update/argocd/example: 권장 구성을 나타내는 siteConfig 및 PolicyGenTemplate 파일 예제가 포함되어 있습니다.

  3. 애플리케이션 이름과 Git 리포지토리의 URL, 분기 및 경로를 반영하도록 cluster-app.yaml 및 policies-app.yaml 파일을 업데이트합니다.

    업그레이드에 더 이상 사용되지 않는 정책이 생성되는 변경 사항이 포함된 경우 업그레이드를 수행하기 전에 더 이상 사용되지 않는 정책을 제거해야 합니다.

  4. 함대 사이트 CR을 관리하는 /update 폴더의 구성 및 배포 소스 CR과 Git 리포지토리 간 변경 사항을 구분합니다. 필요한 변경 사항을 적용하고 사이트 리포지토리에 내보냅니다.

    중요

    GitOps ZTP를 최신 버전으로 업데이트할 때 update/argocd/deployment 디렉터리의 변경 사항을 사이트 리포지토리에 적용해야 합니다. 이전 버전의 argocd/deployment/ 파일을 사용하지 마십시오.

22.11.3. 기존 클러스터에 레이블 지정
링크 복사

툴 업데이트로 기존 클러스터가 변경되지 않도록 하려면 기존 관리형 클러스터에 ztp-done 라벨을 지정합니다.

참고

이 절차는 TALM ( Topology Topology Aware Lifecycle Manager)을 사용하여 프로비저닝되지 않은 클러스터를 업데이트하는 경우에만 적용됩니다. TALM으로 프로비저닝하는 클러스터는 자동으로 ztp-done 으로 레이블이 지정됩니다.

절차

  1. local-cluster!=true 와 같이 제로 대화 프로비저닝(ZTP)으로 배포된 관리형 클러스터를 나열하는 라벨 선택기를 찾습니다. 

    $ oc get managedcluster -l 'local-cluster!=true'
    Copy to Clipboard Toggle word wrap

  2. 결과 목록에 ZTP와 함께 배포된 모든 관리 클러스터가 포함되어 있는지 확인한 다음 해당 선택기를 사용하여 ztp-done 라벨을 추가합니다. 

    $ oc label managedcluster -l 'local-cluster!=true' ztp-done=
    Copy to Clipboard Toggle word wrap

22.11.4. 기존 GitOps ZTP 애플리케이션 중지
링크 복사

기존 애플리케이션을 제거하면 새 버전의 툴을 사용할 수 있을 때까지 Git 리포지토리의 기존 콘텐츠에 대한 변경 사항이 롤아웃되지 않습니다.

배포 디렉터리의 애플리케이션 파일을 사용합니다. 애플리케이션에 사용자 지정 이름을 사용한 경우 먼저 해당 파일의 이름을 업데이트합니다.

절차

  1. 클러스터 애플리케이션에서cascaded 삭제 작업을 수행하여 생성된 모든 리소스를 그대로 둡니다. 

    $ oc delete -f update/argocd/deployment/clusters-app.yaml
    Copy to Clipboard Toggle word wrap

  2. policies 애플리케이션에서 cascaded delete를 수행하여 이전 정책을 모두 제거합니다. 

    $ oc patch -f policies-app.yaml -p '{"metadata": {"finalizers": ["resources-finalizer.argocd.argoproj.io"]}}' --type merge
    Copy to Clipboard Toggle word wrap 
    $ oc delete -f update/argocd/deployment/policies-app.yaml
    Copy to Clipboard Toggle word wrap

22.11.5. Git 리포지토리에 대한 필요한 변경 사항
링크 복사

이전 버전의 GitOps ZTP에서 v4.10 이상으로 ztp-site-generate 컨테이너를 업그레이드할 때 Git 리포지토리의 콘텐츠에 대한 추가 요구 사항이 있습니다. 이러한 변경 사항을 반영하려면 리포지토리의 기존 콘텐츠를 업데이트해야 합니다.

  • PolicyGenTemplate 파일을 필요한 대로 변경합니다.

    모든 PolicyGenTemplate 파일은 ztp 접두사 가 붙은 네임스페이스에 생성해야 합니다. 이렇게 하면 GitOps zero touch provisioning (ZTP) 애플리케이션이 GitOps ZTP(Red Hat Advanced Cluster Management)가 내부적으로 정책을 관리하는 방식과 충돌하지 않고 GitOps ZTP에서 생성한 정책 CR을 관리할 수 있습니다.

  • kustomization.yaml 파일을 리포지토리에 추가합니다.

    모든 SiteConfig 및 PolicyGenTemplate CR은 해당 디렉터리 트리의 kustomization.yaml 파일에 포함되어야 합니다. 예를 들어 다음과 같습니다. 

    ├── policygentemplates
│   ├── site1-ns.yaml
│   ├── site1.yaml
│   ├── site2-ns.yaml
│   ├── site2.yaml
│   ├── common-ns.yaml
│   ├── common-ranGen.yaml
│   ├── group-du-sno-ranGen-ns.yaml
│   ├── group-du-sno-ranGen.yaml
│   └── kustomization.yaml
└── siteconfig
    ├── site1.yaml
    ├── site2.yaml
    └── kustomization.yaml
    Copy to Clipboard Toggle word wrap
    참고

    생성기 섹션에 나열된 파일에는 SiteConfig 또는 PolicyGenTemplate CR만 포함되어야 합니다. 기존 YAML 파일에 다른 CR(예: 네임스페이스 )이 포함된 경우 이러한 기타 CR을 별도의 파일로 가져와 resources 섹션에 나열해야 합니다.

    PolicyGenTemplate kustomization 파일에는 resources 섹션의 생성기 섹션 및 네임스페이스 CR에 모든 PolicyGenTemplate YAML 파일이 포함되어야 합니다. 예를 들어 다음과 같습니다. 

    apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

generators:
- common-ranGen.yaml
- group-du-sno-ranGen.yaml
- site1.yaml
- site2.yaml

resources:
- common-ns.yaml
- group-du-sno-ranGen-ns.yaml
- site1-ns.yaml
- site2-ns.yaml
    Copy to Clipboard Toggle word wrap

    SiteConfig kustomization 파일에는 생성기 섹션 및 리소스의 다른 모든 CR에 모든 SiteConfig YAML 파일이 포함되어야 합니다. 

    apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

generators:
- site1.yaml
- site2.yaml
    Copy to Clipboard Toggle word wrap

  • pre-sync.yaml 및 post-sync.yaml 파일을 제거합니다.

    OpenShift Container Platform 4.10 이상에서는 pre-sync.yaml 및 post-sync.yaml 파일이 더 이상 필요하지 않습니다. update/deployment/kustomization.yaml CR은 hub 클러스터에서 정책 배포를 관리합니다.

    참고

    site Config 및 PolicyGenTemplate leaves에 pre-sync.yaml 및 post-sync.yaml 파일 세트가 있습니다.

  • 권장 변경 사항 검토 및 통합

    각 릴리스에는 배포된 클러스터에 적용된 구성에 권장되는 추가 변경 사항이 포함되어 있을 수 있습니다. 일반적으로 이러한 변경으로 인해 OpenShift 플랫폼, 추가 기능 또는 플랫폼의 개선된 튜닝이 더 낮아집니다.

    네트워크의 클러스터 유형에 적용할 수 있는 SiteConfig 및 PolicyGenTemplate CR을 검토합니다. 이러한 예는 GitOps ZTP 컨테이너에서 추출된 argocd/example 디렉터리에서 찾을 수 있습니다.

22.11.6. 새 GitOps ZTP 애플리케이션 설치
링크 복사

추출된 argocd/deployment 디렉터리를 사용하고 애플리케이션이 사이트 Git 리포지토리를 가리키는 후 배포 디렉터리의 전체 콘텐츠를 적용합니다. 디렉터리의 전체 콘텐츠를 적용하면 애플리케이션에 필요한 모든 리소스가 올바르게 구성됩니다.

절차

  1. 이전에 update/argocd/deployment/ 디렉터리에 추출한 패치 파일을 사용하여 hub 클러스터에 ArgoCD 인스턴스를 패치하려면 다음 명령을 입력합니다. 

    $ oc patch argocd openshift-gitops \
-n openshift-gitops --type=merge \
--patch-file update/argocd/deployment/argocd-openshift-gitops-patch.json
    Copy to Clipboard Toggle word wrap

  2. argocd/deployment 디렉터리의 콘텐츠를 적용하려면 다음 명령을 입력합니다. 

    $ oc apply -k update/argocd/deployment
    Copy to Clipboard Toggle word wrap

22.11.7. GitOps ZTP 구성 변경 사항 롤아웃
링크 복사

권장 변경 사항을 구현하여 업그레이드에 구성 변경이 포함된 경우 업그레이드 프로세스에서는 hub 클러스터에서 정책 CR 세트가 Non-Compliant 상태가 됩니다. ZTP GitOps v4.10 이상 ztp-site-generate 컨테이너를 사용하면 이러한 정책은 모드를 알리 도록 설정되며 사용자의 추가 단계없이 관리되는 클러스터로 푸시되지 않습니다. 이렇게 하면 유지 관리 기간 동안 변경 사항이 수행되는 경우와 동시에 업데이트되는 클러스터 수의 측면에서 클러스터 중단 변경을 관리할 수 있습니다.

변경 사항을 롤아웃하려면 TALM 문서에 설명된 대로 하나 이상의 ClusterGroupUpgrade CR을 생성합니다. CR에는 관리 클러스터로 내보내고자 하는 비준수 정책 목록과 업데이트에 포함되어야 하는 클러스터의 목록 또는 선택기가 포함되어야 합니다.

Legal Notice
링크 복사

Copyright © 2025 Red Hat

OpenShift documentation is licensed under the Apache License 2.0 (https://www.apache.org/licenses/LICENSE-2.0).

Modified versions must remove all Red Hat trademarks.

Portions adapted from https://github.com/kubernetes-incubator/service-catalog/ with modifications by Red Hat.

Red Hat, Red Hat Enterprise Linux, the Red Hat logo, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.

Linux® is the registered trademark of Linus Torvalds in the United States and other countries.

Java® is a registered trademark of Oracle and/or its affiliates.

XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.

MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.

Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.

The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.

All other trademarks are the property of their respective owners.

맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat