베어 메탈에 설치 프로그램이 프로비저닝 한 클러스터 배포


OpenShift Container Platform 4.16

베어 메탈에 설치 관리자 프로비저닝 OpenShift Container Platform 클러스터 배포

Red Hat OpenShift Documentation Team

초록

이 문서에서는 설치 관리자 프로비저닝 인프라를 사용하여 베어 메탈에 OpenShift Container Platform 클러스터를 배포하는 방법을 설명합니다.

1장. 개요

베어 메탈 노드에 설치 프로그램이 프로비저닝한 설치는 OpenShift Container Platform 클러스터가 실행되는 인프라를 배포하고 구성합니다. 이 가이드에서는 설치 관리자가 프로비저닝한 베어 메탈 설치를 성공적으로 수행하는 방법을 제공합니다. 다음 다이어그램은 배포 1단계에서 설치 환경을 보여줍니다.

설치의 경우 이전 다이어그램의 주요 요소는 다음과 같습니다.

  • provisioner: 설치 프로그램을 실행하고 새로운 OpenShift Container Platform 클러스터의 컨트롤 플레인을 배포하는 부트스트랩 VM을 호스팅하는 물리적 머신입니다.
  • 부트스트랩 VM: OpenShift Container Platform 클러스터 배포 프로세스에서 사용되는 가상 머신입니다.
  • 네트워크 브리지: 부트스트랩 VM은 베어 메탈 네트워크와 provisioning 네트워크(있는 경우 네트워크 브리지, eno1eno2 를 통해)에 연결됩니다.
  • API VIP: API 가상 IP 주소(VIP)는 컨트롤 플레인 노드에서 API 서버의 페일오버를 제공하는 데 사용됩니다. API VIP는 먼저 부트스트랩 VM에 있습니다. 스크립트는 서비스를 시작하기 전에 keepalived.conf 구성 파일을 생성합니다. 부트스트랩 프로세스가 완료되면 VIP가 컨트롤 플레인 노드 중 하나로 이동하고 부트스트랩 VM이 중지됩니다.

배포 2단계에서 프로비저너는 부트스트랩 VM을 자동으로 제거하고 VIP(가상 IP 주소)를 적절한 노드로 이동합니다.

keepalived.conf 파일은 부트스트랩 VM보다 낮은 VRRP(Virtual Router Redundancy Protocol) 우선 순위가 낮은 컨트롤 플레인 머신을 설정하여 API VIP가 부트스트랩 VM에서 컨트롤 플레인으로 이동하기 전에 컨트롤 플레인 시스템의 API가 완전히 작동하는지 확인합니다. API VIP가 컨트롤 플레인 노드 중 하나로 이동하면 외부 클라이언트에서 API VIP 경로로 전송된 트래픽이 해당 컨트롤 플레인 노드에서 실행되는 haproxy 로드 밸런서로 이동합니다. haproxy 의 이 인스턴스는 컨트롤 플레인 노드에서 API VIP 트래픽의 균형을 조정합니다.

Ingress VIP는 컴퓨팅 노드로 이동합니다. keepalived 인스턴스는 Ingress VIP도 관리합니다.

다음 다이어그램에서는 배포 2단계에 대해 설명합니다.

이 시점 이후 프로비저너에서 사용하는 노드를 제거하거나 용도 변경할 수 있습니다. 여기에서 모든 추가 프로비저닝 작업은 컨트롤 플레인에서 수행합니다.

참고

설치 관리자 프로비저닝 인프라 설치의 경우 CoreDNS는 노드 수준에서 포트 53을 노출하여 다른 라우팅 가능한 네트워크에서 액세스할 수 있습니다.

중요

provisioning 네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 BMC(가상 미디어 베이스 보드 관리 컨트롤러) 주소 지정 옵션을 사용해야 합니다.

2장. 사전 요구 사항

OpenShift Container Platform 설치 프로그램으로 프로비저닝된 설치에는 다음이 필요합니다.

  1. RHEL(Red Hat Enterprise Linux) 9.x가 설치된 프로비저너 노드 1개 설치 후 프로비저너를 제거할 수 있습니다.
  2. 컨트롤 플레인 노드 세 개
  3. 각 노드에 대한 BMC(Baseboard Management Controller) 액세스
  4. 하나 이상의 네트워크:

    1. 라우팅 가능한 필수 네트워크 1개
    2. 선택적 프로비저닝 네트워크 1개
    3. 선택적 관리 네트워크 1개

OpenShift Container Platform 설치 프로그램으로 프로비저닝 설치를 시작하기 전에 하드웨어 환경이 다음 요구 사항을 충족하는지 확인합니다.

2.1. 노드 요구 사항

설치 프로그램에서 제공하는 설치에는 여러 하드웨어 노드 요구 사항이 있습니다.

  • CPU 아키텍처: 모든 노드는 x86_64 또는 aarch64 CPU 아키텍처를 사용해야 합니다.
  • 유사한 노드: Red Hat은 노드가 역할별로 동일한 구성을 지정할 것을 권장합니다. 즉, Red Hat은 동일한 CPU, 메모리, 스토리지 설정의 브랜드 및 모델의 노드를 사용할 것을 권장하고 있습니다.
  • 베이스 보드 관리 컨트롤러 : provisioner 노드는 각 OpenShift Container Platform 클러스터 노드의 베이스 보드 관리 컨트롤러 (BMC)에 액세스할 수 있습니다. IPMI, Redfish 또는 전용 프로토콜을 사용할 수 있습니다.
  • 최근 생성: 노드는 최근 생성된 노드여야합니다. 설치 프로그램에서 제공하는 설치는 노드간에 호환되어야 하는 BMC 프로토콜을 사용합니다. 또한 RHEL 9.x에는 RAID 컨트롤러용 최신 드라이버가 포함되어 있습니다. 노드가 프로비저너 노드에 대해 RHEL 9.x를 지원할 수 있을 만큼 최근 노드가 있고 컨트롤 플레인 및 작업자 노드에 대해 RHCOS 9.x가 있는지 확인합니다.
  • 레지스트리 노드: (선택 사항) 연결이 끊어진 미러링된 레지스트리를 설정하는 경우 레지스트리가 자체 노드에 상주하는 것이 좋습니다.
  • 프로비저너 노드 : 설치 프로그램이 제공하는 설치에는 하나의 provisioner 노드가 필요합니다.
  • 컨트롤 플레인: 설치 프로그램에서 프로비저닝한 설치에는 고가용성을 위해 3 개의 컨트롤 플레인 노드가 필요합니다. 컨트롤 플레인 노드 3개만 사용하여 OpenShift Container Platform 클러스터를 배포하여 컨트롤 플레인 노드를 작업자 노드로 예약할 수 있습니다. 소규모 클러스터는 개발, 프로덕션 및 테스트 중에 관리자와 개발자에게 더 많은 리소스를 제공합니다.
  • 작업자 노드: 필수는 아니지만 일반적인 프로덕션 클러스터에는 두 개 이상의 작업자 노드가 있습니다.

    중요

    클러스터가 성능 저하된 상태로 라우터 및 인그레스 트래픽으로 배포되므로 하나의 작업자 노드로만 클러스터를 배포하지 마십시오.

  • 네트워크 인터페이스: 각 노드에는 라우팅 가능한 baremetal 네트워크에 대해 하나 이상의 네트워크 인터페이스가 있어야 합니다. 배포에 provisioning 네트워크를 사용할 때 각 노드에는 provisioning 네트워크에 대해 하나의 네트워크 인터페이스가 있어야합니다. provisioning 네트워크를 사용하는 것이 기본 구성입니다.

    참고

    동일한 서브넷의 NIC(네트워크 카드) 하나만 게이트웨이를 통해 트래픽을 라우팅할 수 있습니다. 기본적으로 ARP(Address Resolution Protocol)는 가장 낮은 번호의 NIC를 사용합니다. 동일한 서브넷의 각 노드에 대해 단일 NIC를 사용하여 네트워크 로드 밸런싱이 예상대로 작동하는지 확인합니다. 동일한 서브넷의 노드에 여러 NIC를 사용하는 경우 단일 본딩 또는 팀 인터페이스를 사용합니다. 그런 다음 별칭 IP 주소 형식으로 해당 인터페이스에 다른 IP 주소를 추가합니다. 네트워크 인터페이스 수준에서 내결함성 또는 로드 밸런싱이 필요한 경우 본딩 또는 팀 인터페이스에서 별칭 IP 주소를 사용합니다. 또는 동일한 서브넷에서 보조 NIC를 비활성화하거나 IP 주소가 없는지 확인할 수 있습니다.

  • UEFI (Unified Extensible Firmware Interface): 설치 프로그램이 프로비저닝한 설치에는 provisioning 네트워크에서 IPv6 주소를 사용하는 경우 모든 OpenShift Container Platform 노드에서 UEFI 부팅이 필요합니다. 또한 provisioning 네트워크 NIC에서 IPv6 프로토콜을 사용하도록 UEFI 장치 PXE 설정을 설정해야하지만 provisioning 네트워크를 생략하면 이 요구 사항이 제거됩니다.

    중요

    ISO 이미지와 같은 가상 미디어에서 설치를 시작할 때 이전 UEFI 부팅 테이블 항목을 모두 삭제합니다. 부팅 테이블에 펌웨어에서 제공하는 일반 항목이 아닌 항목이 포함된 경우 설치에 실패할 수 있습니다.

  • Secure Boot: Secure Boot가 활성화된 노드를 사용하려면 UEFI 펌웨어 드라이버, EFI 애플리케이션 및 운영 체제와 같은 신뢰할 수 있는 소프트웨어에서만 노드를 부팅해야 합니다. Secure Boot를 사용하여 수동으로 배포하거나 관리할 수 있습니다.

    1. 수동형: Secure Boot를 사용하여 OpenShift Container Platform 클러스터를 수동으로 배포하려면 각 컨트롤 플레인 노드와 각 작업자 노드에서 UEFI 부팅 모드 및 Secure Boot를 활성화해야 합니다. Red Hat은 설치 관리자 프로비저닝 설치에서 Redfish 가상 미디어를 사용하는 경우에만 수동으로 활성화된 UEFI 및 Secure Boot를 사용하여 Secure Boot를 지원합니다. 자세한 내용은 "노드 구성" 섹션의 "Secure Boot을 위해 수동으로 노드 구성"을 참조하십시오.
    2. 관리형: Secure Boot를 사용하여 OpenShift Container Platform 클러스터를 배포하려면 install-config.yaml 파일에서 bootMode 값을 UEFISecureBoot로 설정해야 합니다. Red Hat은 펌웨어 버전 2.75.75.75 이상을 실행하는 10세대 HPE 하드웨어와 13세대 Dell 하드웨어에 대한 관리형 Secure Boot를 사용하는 설치 관리자 프로비저닝 설치를 지원합니다. 관리형 Secure Boot를 사용하여 배포하는 경우 Redfish 가상 미디어가 필요하지 않습니다. 자세한 내용은 "OpenShift 설치를 위한 환경 설정" 섹션의 "관리형 Secure Boot 구성"을 참조하십시오.

      참고

      Red Hat은 Secure Boot의 자체 생성 키 또는 기타 키 관리를 지원하지 않습니다.

2.2. 클러스터 설치를 위한 최소 리소스 요구 사항

각 클러스터 시스템이 다음과 같은 최소 요구사항을 충족해야 합니다.

Expand
표 2.1. 최소 리소스 요구사항
머신운영 체제CPU [1]RAM스토리지초당 입력/출력(IOPS)[2]

부트스트랩

RHEL

4

16GB

100GB

300

컨트롤 플레인

RHCOS

4

16GB

100GB

300

Compute

RHCOS

2

8GB

100GB

300

  1. SMT(동시 멀티스레딩) 또는 Hyper-Threading이 활성화되지 않은 경우 하나의 CPU가 하나의 물리적 코어와 동일합니다. 활성화하면 다음 공식을 사용하여 해당 비율을 계산합니다. (코어당 스레드 수 × 코어 수) × 소켓 = CPU입니다.
  2. OpenShift Container Platform 및 Kubernetes는 디스크 성능에 민감하며 특히 컨트롤 플레인 노드의 etcd에 더 빠른 스토리지를 사용하는 것이 좋습니다. 많은 클라우드 플랫폼에서 스토리지 크기와 IOPS를 함께 확장되므로 충분한 성능을 얻으려면 스토리지 볼륨을 과도하게 할당해야 할 수 있습니다.
참고

OpenShift Container Platform 버전 4.13부터 RHCOS는 RHEL 버전 9.2를 기반으로 하며 마이크로 아키텍처 요구 사항을 업데이트합니다. 다음 목록에는 각 아키텍처에 필요한 최소 명령 세트 아키텍처(ISA)가 포함되어 있습니다.

  • x86-64 아키텍처에는 x86-64-v2 ISA가 필요합니다.
  • ARM64 아키텍처에는 ARMv8.0-A ISA가 필요합니다.
  • IBM Power 아키텍처에는 Power 9 ISA가 필요합니다.
  • s390x architecture requires z14 ISA

자세한 내용은 아키텍처 (RHEL 문서)를 참조하십시오.

플랫폼의 인스턴스 유형이 클러스터 머신의 최소 요구 사항을 충족하는 경우 OpenShift Container Platform에서 사용할 수 있습니다.

2.3. OpenShift Virtualization에 대한 베어 메탈 클러스터 설치 요구 사항

베어 메탈 클러스터에서 OpenShift Virtualization을 사용하려면 설치 중에 클러스터가 올바르게 구성되었는지 확인해야 합니다. 이는 OpenShift Virtualization에 클러스터를 설치한 후에는 변경할 수 없는 특정 설정이 필요하기 때문입니다.

2.3.1. OpenShift Virtualization의 고가용성 요구 사항

OpenShift Virtualization 컨텍스트에서 HA(고가용성) 기능을 논의할 때 이는 인프라 CR(사용자 정의 리소스)의 controlPlaneTopologyinfrastructureTopology 필드에 의해 결정된 코어 클러스터 구성 요소의 복제 모델만 나타냅니다. 이러한 필드를 HighlyAvailable 으로 설정하면 일반 클러스터 전체 애플리케이션 HA와 다른 구성 요소 중복성이 제공됩니다. 이러한 필드를 SingleReplica 로 설정하면 구성 요소 중복성이 비활성화되므로 OpenShift Virtualization HA 기능이 비활성화됩니다.

OpenShift Virtualization HA 기능을 사용하려면 클러스터 설치 시 세 개의 컨트롤 플레인 노드가 있어야 합니다. 클러스터의 Infrastructure CR의 controlPlaneTopology 상태는 HighlyAvailable 이어야 합니다.

참고

단일 노드 클러스터에 OpenShift Virtualization을 설치할 수 있지만 단일 노드 OpenShift는 HA 기능을 지원하지 않습니다.

2.3.2. OpenShift Virtualization의 실시간 마이그레이션 요구 사항

  • 실시간 마이그레이션을 사용하려면 여러 작업자 노드가 있어야 합니다. 클러스터의 Infrastructure CR의 infrastructureTopology 상태는 HighlyAvailable 이어야 하며 최소 3개의 작업자 노드를 권장합니다.

    참고

    단일 노드 클러스터에 OpenShift Virtualization을 설치할 수 있지만 단일 노드 OpenShift는 실시간 마이그레이션을 지원하지 않습니다.

  • 실시간 마이그레이션에는 공유 스토리지가 필요합니다. OpenShift Virtualization용 스토리지는 RWX(ReadWriteMany) 액세스 모드를 지원하고 사용해야 합니다.

2.3.3. OpenShift Virtualization에 대한 SR-IOV 요구 사항

SR-IOV(Single Root I/O Virtualization)를 사용하려는 경우 OpenShift Container Platform에서 NIC(네트워크 인터페이스 컨트롤러)를 지원하는지 확인합니다.

2.4. 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항

설치 관리자 프로비저닝 OpenShift Container Platform 클러스터용 설치 프로그램은 Redfish 가상 미디어와의 하드웨어 및 펌웨어 호환성을 검증합니다. 노드 펌웨어가 호환되지 않는 경우 설치 프로그램이 노드에 설치를 시작하지 않습니다. 다음 표에는 Redfish 가상 미디어를 사용하여 배포된 설치 관리자 프로비저닝 OpenShift Container Platform 클러스터에서 테스트 및 검증된 최소 펌웨어 버전이 나열되어 있습니다.

참고

Red Hat은 펌웨어, 하드웨어 또는 기타 타사 구성 요소의 모든 조합을 테스트하지 않습니다. 타사 지원에 대한 자세한 내용은 Red Hat 타사 지원 정책을 참조하십시오. 펌웨어 업데이트에 대한 자세한 내용은 노드의 하드웨어 설명서를 참조하거나 하드웨어 공급 업체에 문의하십시오.

Expand
표 2.2. Redfish 가상 미디어를 사용한 HP 하드웨어의 펌웨어 호환성
모델관리펌웨어 버전

11세대

iLO6

1.57 이상

10세대

iLO5

2.63 이상

Expand
표 2.3. Redfish 가상 미디어를 사용하여 Dell 하드웨어의 펌웨어 호환성
모델관리펌웨어 버전

16세대

iDRAC 9

v7.10.70.00

15세대

iDRAC 9

v6.10.30.00 및 v7.10.70.00

14세대

iDRAC 9

v6.10.30.00

Expand
표 2.4. Redfish 가상 미디어를 사용한 Cisco UCS 하드웨어의 펌웨어 호환성
모델관리펌웨어 버전

UCS UCSX-210C-M6

CIMC

5.2(2) 이상

2.5. 네트워크 요구 사항

OpenShift Container Platform의 설치 관리자 프로비저닝 설치에는 여러 네트워크 요구 사항이 필요합니다. 첫째, 설치 프로그램 제공 설치에는 각 베어 메탈 노드에서 운영 체제를 프로비저닝하기 위한 선택적 라우팅 불가 provisioning 네트워크가 필요합니다. 그리고 설치 프로그램에서 프로비저닝하는 설치에는 라우팅 가능한 baremetal 네트워크가 포함됩니다.

2.5.1. 필요한 포트가 열려 있는지 확인

설치 관리자가 프로비저닝한 설치를 완료하려면 특정 포트가 클러스터 노드 간에 열려 있어야 합니다. 멀리 엣지 작업자 노드에 별도의 서브넷을 사용하는 것과 같은 특정 상황에서는 이러한 서브넷의 노드가 다음과 같은 필수 포트의 다른 서브넷의 노드와 통신할 수 있는지 확인해야 합니다.

Expand
표 2.5. 필수 포트
포트설명

67,68

프로비저닝 네트워크를 사용하는 경우 클러스터 노드는 포트 6768 을 사용하여 프로비저닝 네트워크 인터페이스를 통해 dnsmasq DHCP 서버에 액세스합니다.

69

provisioning 네트워크를 사용하는 경우 클러스터 노드는 provisioning 네트워크 인터페이스를 사용하여 포트 69 의 TFTP 서버와 통신합니다. TFTP 서버는 부트스트랩 VM에서 실행됩니다. 부트스트랩 VM은 프로비저너 노드에서 실행됩니다.

80

이미지 캐싱 옵션을 사용하지 않는 경우 또는 가상 미디어를 사용하는 경우 프로비저너 노드에 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 프로비저너 노드에서 클러스터 노드로 스트리밍하려면 baremetal 머신 네트워크 인터페이스에 포트 80 이 열려 있어야 합니다.

123

클러스터 노드는 baremetal 시스템 네트워크를 사용하여 포트 123 의 NTP 서버에 액세스해야 합니다.

5050

Ironic Inspector API는 컨트롤 플레인 노드에서 실행되며 포트 5050 에서 수신 대기합니다. Inspector API는 하드웨어 인트로스펙션을 담당하며 베어 메탈 노드의 하드웨어 특성에 대한 정보를 수집합니다.

5051

포트 5050 은 포트 5051 을 프록시로 사용합니다.

6180

가상 미디어를 사용하여 배포하고 TLS를 사용하지 않는 경우 작업자 노드의 BMC(Baseboard Management Controller)가 RHCOS 이미지에 액세스할 수 있도록 프로비저너 노드와 컨트롤 플레인 노드에는 baremetal 머신 네트워크 인터페이스에 포트 6180 이 열려 있어야 합니다. OpenShift Container Platform 4.13부터 기본 HTTP 포트는 6180 입니다.

6183

가상 미디어를 사용하여 배포하고 TLS를 사용하는 경우 작업자 노드의 BMC가 RHCOS 이미지에 액세스할 수 있도록 프로비저너 노드와 컨트롤 플레인 노드에 포트 6183baremetal 머신 네트워크 인터페이스에 열려 있어야 합니다.

6385

Ironic API 서버는 처음에 부트스트랩 VM에서 실행되고 나중에 컨트롤 플레인 노드에서 실행되며 포트 6385 에서 수신 대기합니다. Ironic API를 사용하면 클라이언트는 새 노드 등록, 전원 상태 관리, 이미지 배포, 하드웨어 정리 등의 작업을 포함하여 베어 메탈 노드 프로비저닝 및 관리를 위해 Ironic과 상호 작용할 수 있습니다.

6388

포트 6385 은 포트 6388 을 프록시로 사용합니다.

8080

TLS 없이 이미지 캐싱을 사용하는 경우, 프로비저너 노드에서 포트 8080 을 열고 클러스터 노드의 BMC 인터페이스에서 액세스할 수 있어야 합니다.

8083

TLS와 함께 이미지 캐싱 옵션을 사용하는 경우 8083 포트를 프로비저너 노드에서 열고 클러스터 노드의 BMC 인터페이스에서 액세스할 수 있어야 합니다.

9999

기본적으로 Ironic Python Agent(IPA)는 Ironic conductor 서비스에서 API 호출을 위해 TCP 포트 9999 에서 수신 대기합니다. IPA가 실행 중인 베어 메탈 노드 간 통신과 Ironic conductor 서비스는 이 포트를 사용합니다.

2.5.2. 네트워크 MTU 증가

OpenShift Container Platform을 배포하기 전에 네트워크 최대 전송 단위(MTU)를 1500 이상으로 늘립니다. MTU가 1500 미만이면 노드를 부팅하는 데 사용되는 Ironic 이미지가 Ironic 검사기 Pod와 통신하지 못할 수 있으며 검사가 실패합니다. 이 경우 노드에 설치할 수 없기 때문에 설치가 중지됩니다.

2.5.3. NIC 설정

OpenShift Container Platform은 다음 두 가지 네트워크를 사용하여 배포합니다.

  • provisioning: provisioning 네트워크는 OpenShift Container Platform 클러스터의 일부인 각 노드에서 기본 운영 체제를 프로비저닝하는데 사용되는 선택 옵션인 라우팅할 수 없는 네트워크입니다. 각 클러스터 노드에서 provisioning 네트워크의 네트워크 인터페이스에는 PXE 부팅으로 구성된 BIOS 또는 UEFI가 있어야 합니다.

    provisioningNetworkInterface 구성 설정은 컨트롤 플레인 노드에서 동일한 provisioning 네트워크 NIC 이름을 지정합니다. bootMACAddress 구성 설정은 provisioning 네트워크에 대해 각 노드에서 특정 NIC를 지정하는 수단을 제공합니다.

    provisioning 네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다.

  • baremetal: baremetal 네트워크는 라우팅 가능한 네트워크입니다. NIC가 provisioning 네트워크를 사용하도록 구성되지 않은 경우 모든 NIC를 사용하여 baremetal 네트워크와 상호 작용할 수 있습니다.
중요

VLAN을 사용하는 경우 각 NIC는 적절한 네트워크에 해당하는 별도의 VLAN에 있어야 합니다.

2.5.4. DNS 요구 사항

클라이언트는 baremetal 네트워크를 통해 OpenShift Container Platform 클러스터 노드에 액세스합니다. 네트워크 관리자는 정식 이름 확장이 클러스터 이름인 하위 도메인 또는 하위 영역을 구성해야 합니다.

<cluster_name>.<base_domain>
Copy to Clipboard Toggle word wrap

예를 들면 다음과 같습니다.

test-cluster.example.com
Copy to Clipboard Toggle word wrap

OpenShift Container Platform에는 클러스터 멤버십 정보를 사용하여 A/AAAA 레코드를 생성하는 기능이 포함되어 있습니다. 이렇게 하면 노드 이름이 해당 IP 주소로 확인됩니다. 노드가 API에 등록되면 클러스터에서 CoreDNS-mDNS를 사용하지 않고 노드 정보를 분산할 수 있습니다. 그러면 멀티캐스트 DNS와 연결된 네트워크 트래픽이 제거됩니다.

CoreDNS가 올바르게 작동하려면 업스트림 DNS 서버에 TCP 및 UDP 연결이 모두 필요합니다. 업스트림 DNS 서버가 OpenShift Container Platform 클러스터 노드에서 TCP 및 UDP 연결을 모두 수신할 수 있는지 확인합니다.

OpenShift Container Platform 배포의 경우 다음 구성 요소에 DNS 이름을 확인해야 합니다.

  • Kubernetes API
  • OpenShift Container Platform 애플리케이션 와일드카드 수신 API

A/AAAA 레코드는 이름 확인에 사용되며 PTR 레코드는 역방향 이름 확인에 사용됩니다. RHCOS(Red Hat Enterprise Linux CoreOS)는 역방향 레코드 또는 DHCP를 사용하여 모든 노드의 호스트 이름을 설정합니다.

설치 프로그램에서 제공하는 설치에는 클러스터 멤버십 정보를 사용하여 A/AAAA 레코드를 생성하는 기능이 포함됩니다. 이렇게 하면 노드 이름이 해당 IP 주소로 확인됩니다. 각 레코드에서 <cluster_name>은 클러스터 이름이고 <base_domain>install-config.yaml 파일에서 지정하는 기반 도메인입니다. 전체 DNS 레코드는 <component>.<cluster_name>.<base_domain> 형식입니다.

Expand
표 2.6. 필수 DNS 레코드
구성 요소레코드설명

Kubernetes API

api.<cluster_name>.<base_domain>.

A/AAAA 레코드와 PTR 레코드는 API 로드 밸런서를 식별합니다. 이 레코드는 클러스터 외부의 클라이언트와 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다.

라우트

*.apps.<cluster_name>.<base_domain>.

와일드카드 A/AAAA 레코드는 애플리케이션 인그레스 로드 밸런서를 나타냅니다. 애플리케이션 인그레스 로드 밸런서는 Ingress 컨트롤러 Pod를 실행하는 노드를 대상으로 합니다. Ingress 컨트롤러 Pod는 기본적으로 작업자 노드에서 실행됩니다. 이 레코드는 클러스터 외부의 클라이언트와 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다.

예를 들어 console-openshift-console.apps.<cluster_name>.<base_domain>은 OpenShift Container Platform 콘솔의 와일드카드 경로로 사용됩니다.

작은 정보

dig 명령을 사용하여 DNS 확인을 확인할 수 있습니다.

2.5.5. DHCP(Dynamic Host Configuration Protocol) 요구 사항

기본적으로 설치 프로그램에서 제공하는 설치는 provisioning 네트워크에 DHCP가 활성화된 ironic-dnsmasq를 배포합니다. provisioningNetwork 구성 설정이 기본값인 managed로 설정된 경우 provisioning 네트워크에서 다른 DHCP 서버가 실행되고 있지 않아야 합니다. provisioning 네트워크에서 실행 중인 DHCP 서버가 있는 경우 install-config.yaml 파일에서 provisioningNetwork 구성 설정을 Unmanaged로 설정해야 합니다.

네트워크 관리자는 외부 DHCP 서버의 baremetal 네트워크에 대해 OpenShift Container Platform 클러스터의 각 노드에 대한 IP 주소를 예약해야 합니다.

2.5.6. DHCP 서버를 사용하여 노드의 IP 주소 예약

baremetal 네트워크의 경우 네트워크 관리자는 다음을 포함하여 여러 IP 주소를 예약해야 합니다.

  1. 두 개의 고유한 가상 IP 주소입니다.

    • API 엔드 포인트에 대한 하나의 가상 IP 주소입니다.
    • 와일드카드 인그레스 끝점에 대한 하나의 가상 IP 주소입니다.
  2. 프로비저너 노드 중 하나의 IP 주소.
  3. 각 컨트롤 플레인 노드에 대해 하나의 IP 주소입니다.
  4. 각 작업자 노드에 대해 하나의 IP 주소 (해당되는 경우)
고정 IP 주소가 되도록 IP 주소 예약

일부 관리자는 각 노드의 IP 주소가 DHCP 서버에서 일정하게 유지되도록 고정 IP 주소를 사용하는 것을 선호합니다. NMState를 사용하여 고정 IP 주소를 구성하려면 "OpenShift 설치를 위한 환경 설정" 섹션의 "(선택 사항) 노드 네트워크 인터페이스 구성을 참조하십시오.

외부 로드 밸런서와 컨트롤 플레인 노드 간 네트워킹

외부 로드 밸런싱 서비스와 컨트롤 플레인 노드는 동일한 L2 네트워크에서 실행해야 하며 VLAN을 사용하여 로드 밸런싱 서비스와 컨트롤 플레인 노드 간에 트래픽을 라우팅할 때 동일한 VLAN에서 실행해야 합니다.

중요

스토리지 인터페이스에 DHCP 예약 또는 고정 IP가 필요합니다.

다음 표에서는 정규화된 도메인 이름의 구체적 구현을 제공합니다. API 및 이름 서버 주소는 표준 이름 확장으로 시작됩니다. 컨트롤 플레인 및 작업자 노드의 호스트 이름은 예외이므로 원하는 호스트 이름 지정 규칙을 사용할 수 있습니다.

Expand
사용법호스트 이름IP

API

api.<cluster_name>.<base_domain>

<ip>

Ingress LB (apps)

*.apps.<cluster_name>.<base_domain>

<ip>

Provisioner node

provisioner.<cluster_name>.<base_domain>

<ip>

Control-plane-0

openshift-control-plane-0.<cluster_name>.<base_domain>

<ip>

Control-plane-1

openshift-control-plane-1.<cluster_name>-.<base_domain>

<ip>

Control-plane-2

openshift-control-plane-2.<cluster_name>.<base_domain>

<ip>

Worker-0

openshift-worker-0.<cluster_name>.<base_domain>

<ip>

Worker-1

openshift-worker-1.<cluster_name>.<base_domain>

<ip>

Worker-n

openshift-worker-n.<cluster_name>.<base_domain>

<ip>

참고

DHCP 예약을 생성하지 않으면 설치 프로그램에서 Kubernetes API 노드, 프로비저너 노드, 컨트롤 플레인 노드 및 작업자 노드의 호스트 이름을 설정하기 위해 역방향 DNS 확인이 필요합니다.

2.5.7. 프로비저너 노드 요구 사항

설치 구성에서 provisioner 노드의 MAC 주소를 지정해야 합니다. bootMacAddress 사양은 일반적으로 PXE 네트워크 부팅과 연결됩니다. 그러나 Ironic 프로비저닝 서비스에는 클러스터를 검사하는 동안 또는 클러스터에서 노드를 다시 배포하는 동안 노드를 식별하기 위해 bootMacAddress 사양이 필요합니다.

프로비저너 노드에는 네트워크 부팅, DHCP 및 DNS 확인 및 로컬 네트워크 통신을 위한 계층 2 연결이 필요합니다. 프로비저너 노드에는 가상 미디어 부팅을 위해 계층 3 연결이 필요합니다.

2.5.8. Network Time Protocol (NTP)

클러스터의 각 OpenShift Container Platform 노드는 NTP 서버에 액세스할 수 있습니다. OpenShift Container Platform 노드는 NTP를 사용하여 클럭을 동기화합니다. 예를 들어 클러스터 노드는 검증이 필요한 SSL/TLS 인증서를 사용하므로 노드 간 날짜와 시간이 동기화되지 않은 경우 실패할 수 있습니다.

중요

각 클러스터 노드의 BIOS 설정에서 일관된 클럭 날짜 및 시간 형식을 정의하지 않으면 설치에 실패할 수 있습니다.

연결이 끊긴 클러스터에서 NTP 서버로 작동하도록 컨트롤 플레인 노드를 재구성하고 컨트롤 플레인 노드에서 시간을 검색하도록 작업자 노드를 재구성할 수 있습니다.

2.5.9. 대역 외 관리 IP 주소에 대한 포트 액세스

대역 외 관리 IP 주소는 노드와 별도의 네트워크에 있습니다. 대역 외 관리가 설치 중에 프로비저너 노드와 통신할 수 있도록 대역 외 관리 IP 주소에 프로비저너 노드 및 OpenShift Container Platform 컨트롤 플레인 노드의 포트 6180 에 대한 액세스 권한이 부여되어야 합니다. 예를 들어 Redfish를 사용하여 가상 미디어 설치에는 TLS 포트 6183 이 필요합니다.

2.6. 노드 설정

2.6.1. provisioning 네트워크를 사용할 때 노드 설정

클러스터의 각 노드는 적절한 설치를 위해 다음과 같은 설정이 필요합니다.

주의

노드간에 일치하지 않으면 설치에 실패합니다.

클러스터 노드에는 두 개 이상의 NIC가 포함될 수 있지만 설치 프로세스는 처음 두 개의 NIC에만 중점을 둡니다. 다음 표에서 NIC1은 OpenShift Container Platform 클러스터 설치에만 사용되는 라우팅 불가능한 네트워크(provisioning)입니다.

Expand
NIC네트워크VLAN

NIC1

provisioning

<provisioning_vlan>

NIC2

baremetal

<baremetal_vlan>

프로비저너 노드의 RHEL (Red Hat Enterprise Linux) 9.x 설치 프로세스는 다를 수 있습니다. 로컬 Satellite 서버 또는 PXE 서버 PXE 지원 NIC2를 사용하여 RHEL(Red Hat Enterprise Linux) 9.x를 설치하려면 다음을 수행합니다.

Expand
PXE부팅 순서

NIC1 PXE 지원 provisioning 네트워크

1

NIC2 baremetal 네트워크 PXE 사용은 선택 사항입니다.

2

참고

다른 모든 NIC에서 PXE가 비활성화되어 있는지 확인합니다.

다음과 같이 컨트롤 플레인 및 작업자 노드를 설정합니다.

Expand
PXE부팅 순서

NIC1 PXE 활성화 (프로비저닝 네트워크)

1

2.6.2. provisioning 네트워크없이 노드 설정

설치 프로세스에는 하나의 NIC가 필요합니다.

Expand
NIC네트워크VLAN

NICx

baremetal

<baremetal_vlan>

NICx는 OpenShift Container Platform 클러스터 설치에 사용되는 라우팅 가능한 네트워크 (baremetal)이며 인터넷으로 라우팅될 수 있습니다.

중요

provisioning 네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다.

2.6.3. Secure Boot를 위해 노드를 수동으로 설정합니다.

Secure Boot는 UEFI 펌웨어 드라이버, EFI 애플리케이션 및 운영 체제와 같은 신뢰할 수 있는 소프트웨어만 사용하는지 확인하지 않는 한 노드를 부팅하지 않습니다.

참고

Red Hat은 Redfish 가상 미디어를 사용하여 배포하는 경우에만 수동으로 구성된 Secure Boot를 지원합니다.

Secure Boot를 수동으로 활성화하려면 노드의 하드웨어 가이드를 참조하여 다음을 실행합니다.

프로세스

  1. 노드를 부팅하고 BIOS 메뉴를 입력합니다.
  2. 노드의 부팅 모드를 UEFI Enabled 로 설정합니다.
  3. Secure Boot를 활성화합니다.
중요

Red Hat은 자체 생성되는 키가 있는 Secure Boot를 지원하지 않습니다.

2.7. 대역 외 관리

노드에는 일반적으로 BMC(Baseboard Management Controller)에서 사용하는 추가 NIC가 있습니다. 이러한 BMC는 프로비저너 노드에서 액세스할 수 있어야 합니다.

각 노드는 대역 외 관리를 통해 액세스할 수 있어야합니다. 대역 외 관리 네트워크를 사용할 때 프로비저너 노드는 OpenShift Container Platform을 성공적으로 설치하기 위해 대역 외 관리 네트워크에 액세스해야 합니다.

대역 외 관리 설정은 이 문서에서 다루지 않습니다. 대역 외 관리를 위해 별도의 관리 네트워크를 사용하면 성능을 개선하고 보안을 향상시킬 수 있습니다. 그러나 provisioning 네트워크 또는 베어 메탈 네트워크를 사용하는 것은 유효한 옵션입니다.

참고

부트스트랩 VM에는 최대 두 개의 네트워크 인터페이스가 있습니다. 대역 외 관리를 위해 별도의 관리 네트워크를 구성하고 provisioning 네트워크를 사용하는 경우 부트스트랩 VM은 네트워크 인터페이스 중 하나를 통해 관리 네트워크에 대한 액세스를 라우팅해야 합니다. 이 시나리오에서는 부트스트랩 VM이 세 개의 네트워크에 액세스할 수 있습니다.

  • 베어 메탈 네트워크
  • 프로비저닝 네트워크
  • 네트워크 인터페이스 중 하나를 통해 라우팅되는 관리 네트워크

2.8. 설치에 필요한 데이터

OpenShift Container Platform 클러스터를 설치하기 전에 모든 클러스터 노드에서 다음 정보를 수집하십시오.

  • 대역 외 관리 IP

      • Dell (iDRAC) IP
      • HP (iLO) IP
      • Fujitsu (iRMC) IP

provisioning 네트워크를 사용하는 경우

  • NIC (provisioning) MAC 주소
  • NIC (baremetal) MAC 주소

provisioning 네트워크를 생략하는 경우

  • NIC (baremetal) MAC 주소

2.9. 노드의 유효성 검사 체크리스트

provisioning 네트워크를 사용하는 경우

  • ❏ NIC1 VLAN은 provisioning 네트워크에 대해 설정되어 있습니다.
  • provisioning 네트워크의 NIC1은 프로비저너, 컨트롤 플레인 및 작업자 노드에서 PXE를 지원합니다.
  • ❏ NIC2 VLAN은 baremetal 네트워크에 대해 설정되어 있습니다.
  • ❏ 다른 모든 NIC에서 PXE는 비활성화되어 있습니다.
  • kmod DNS는 API 및 Ingress 엔드포인트로 구성됩니다.
  • ❏ 컨트롤 플레인 및 작업자 노드가 설정되어 있습니다.
  • ❏ 모든 노드는 대역 외 관리를 통해 액세스할 수 있습니다.
  • kmod (선택 사항) 별도의 관리 네트워크가 생성되어 있습니다.
  • ❏ 설치에 필요한 데이터.

provisioning 네트워크를 생략하는 경우

  • ❏ kmod NIC1 VLAN은 baremetal 네트워크에 대해 설정되어 있습니다.
  • kmod DNS는 API 및 Ingress 엔드포인트로 구성됩니다.
  • ❏ 컨트롤 플레인 및 작업자 노드가 설정되어 있습니다.
  • ❏ 모든 노드는 대역 외 관리를 통해 액세스할 수 있습니다.
  • kmod (선택 사항) 별도의 관리 네트워크가 생성되어 있습니다.
  • ❏ 설치에 필요한 데이터.

2.10. 설치 개요

설치 프로그램은 대화형 모드를 지원합니다. 그러나 모든 베어 메탈 호스트 및 관련 클러스터 세부 정보가 포함된 install-config.yaml 파일을 미리 준비할 수 있습니다.

설치 프로그램은 install-config.yaml 파일을 로드하고 관리자가 매니페스트를 생성하고 모든 사전 요구 사항을 확인합니다.

설치 프로그램은 다음 작업을 수행합니다.

  • 클러스터의 모든 노드 등록
  • 부트스트랩 VM(가상 머신) 시작
  • 다음 컨테이너가 있는 머신 플랫폼 구성 요소를 systemd 서비스로 시작합니다.

    • ironic-dnsmasq: IP 주소를 provisioning 네트워크에서 다양한 노드의 프로비저닝 인터페이스로 전달하는 DHCP 서버입니다. ironic-dnsmasq는 provisioning 네트워크를 사용하여 OpenShift Container Platform 클러스터를 배포할 때만 활성화됩니다.
    • ironic-httpd: 이미지를 노드에 제공하는 데 사용되는 HTTP 서버입니다.
    • image-customization
    • Ironic
    • ironic-inspector (OpenShift Container Platform 4.16 및 이전 버전에서 사용 가능)
    • ironic-ramdisk-logs
    • extract-machine-os
    • provisioning-interface
    • Metal3-baremetal-operator

노드는 검증 단계에 들어갑니다. 이 단계에서는 Ironic에서 인증 정보를 검증하여 BMC(Baseboard Management Controller)에 액세스한 후 각 노드가 manageable 상태로 이동합니다.

노드가 manageable 상태에 있으면 검사 단계가 시작됩니다. 검사 단계를 수행하면 하드웨어가 OpenShift Container Platform을 성공적으로 배포하는 데 필요한 최소 요구 사항을 충족할 수 있습니다.

install-config.yaml 파일은 provisioning 네트워크를 자세히 설명합니다. 부트스트랩 VM에서 설치 프로그램은 PXE(Pre-Boot Execution Environment)를 사용하여 Ironic Python Agent(IPA)가 로드된 모든 노드에 라이브 이미지를 푸시합니다. 가상 미디어를 사용하는 경우 가상 미디어를 사용하여 각 노드의 BMC에 직접 연결하여 이미지를 사실상 연결합니다.

PXE 부팅을 사용하는 경우 모든 노드가 재부팅되어 프로세스를 시작합니다.

  • 부트스트랩 VM에서 실행되는 ironic-dnsmasq 서비스는 노드의 IP 주소와 TFTP 부팅 서버를 제공합니다.
  • 첫 번째 부팅 소프트웨어는 HTTP를 통해 루트 파일 시스템을 로드합니다.
  • 부트스트랩 VM의 ironic 서비스는 각 노드에서 하드웨어 정보를 수신합니다.

노드를 정리 상태로 전환하면 각 노드가 구성을 계속하기 전에 모든 디스크를 정리해야 합니다.

정리 상태가 완료되면 노드가 available 상태로 전환되고 설치 프로그램은 노드를 배포 상태로 이동합니다.

IPA는 coreos-installer 명령을 실행하여 install-config.yaml 파일의 rootDeviceHints 매개변수로 정의된 디스크에 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 설치합니다. 노드는 RHCOS를 사용하여 부팅됩니다.

설치 프로그램이 컨트롤 플레인 노드를 구성한 후 컨트롤 플레인 노드에서 컨트롤 플레인 노드로 제어를 이동하고 부트스트랩 VM을 삭제합니다.

Bare-Metal Operator는 작업자, 스토리지 및 인프라 노드를 계속 배포합니다.

설치가 완료되면 노드가 active 상태로 이동합니다. 그런 다음 설치 후 구성 및 기타 Day 2 작업을 진행할 수 있습니다.

3장. OpenShift 설치를 위한 환경 설정

3.1. 프로비저너 노드에 RHEL 설치

사전 요구 사항의 구성을 통해 다음 단계는 프로비저너 노드에 RHEL 9.x를 설치하는 것입니다. 설치 프로그램은 OpenShift Container Platform 클러스터를 설치하는 동안 프로비저너 노드를 오케스트레이터로 사용합니다. 이 문서에서는 프로비저너 노드에 RHEL을 설치하는 것은 다루지 않습니다. 선택 옵션에는 RHEL Satellite 서버, PXE 또는 설치 미디어 사용이 포함되지어 있지만 이에 국한되지는 않습니다.

3.2. OpenShift Container Platform 설치를 위한 provisioner 노드 준비

환경을 준비하려면 다음 단계를 수행하십시오.

프로세스

  1. ssh를 통해 프로비저너 노드에 로그인합니다.
  2. root가 아닌 사용자 (kni)를 만들고 해당 사용자에게 sudo 권한을 부여합니다.

    # useradd kni
    Copy to Clipboard Toggle word wrap
    # passwd kni
    Copy to Clipboard Toggle word wrap
    # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni
    Copy to Clipboard Toggle word wrap
    # chmod 0440 /etc/sudoers.d/kni
    Copy to Clipboard Toggle word wrap
  3. 새 사용자에 대한 ssh 키를 만듭니다.

    # su - kni -c "ssh-keygen -t ed25519 -f /home/kni/.ssh/id_rsa -N ''"
    Copy to Clipboard Toggle word wrap
  4. 프로비저너 노드에서 새 사용자로 로그인합니다.

    # su - kni
    Copy to Clipboard Toggle word wrap
  5. Red Hat Subscription Manager를 사용하여 프로비저닝 노드를 등록합니다.

    $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach
    Copy to Clipboard Toggle word wrap
    $ sudo subscription-manager repos --enable=rhel-9-for-<architecture>-appstream-rpms --enable=rhel-9-for-<architecture>-baseos-rpms
    Copy to Clipboard Toggle word wrap
    참고

    Red Hat Subscription Manager에 대한 자세한 내용은 Using and Configuring Red Hat Subscription Manager에서 참조하십시오.

  6. 다음 패키지를 설치합니다.

    $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool
    Copy to Clipboard Toggle word wrap
  7. 사용자를 변경하여 libvirt 그룹을 새로 만든 사용자에 추가합니다.

    $ sudo usermod --append --groups libvirt <user>
    Copy to Clipboard Toggle word wrap
  8. firewalld를 다시 시작하고 http 서비스를 활성화합니다.

    $ sudo systemctl start firewalld
    Copy to Clipboard Toggle word wrap
    $ sudo firewall-cmd --zone=public --add-service=http --permanent
    Copy to Clipboard Toggle word wrap
    $ sudo firewall-cmd --reload
    Copy to Clipboard Toggle word wrap
  9. 모듈식 libvirt 데몬 소켓을 시작합니다.

    $ for drv in qemu interface network nodedev nwfilter secret storage; do sudo systemctl start virt${drv}d{,-ro,-admin}.socket; done
    Copy to Clipboard Toggle word wrap
  10. default 스토리지 풀을 생성하고 시작합니다.

    $ sudo virsh pool-define-as --name default --type dir --target /var/lib/libvirt/images
    Copy to Clipboard Toggle word wrap
    $ sudo virsh pool-start default
    Copy to Clipboard Toggle word wrap
    $ sudo virsh pool-autostart default
    Copy to Clipboard Toggle word wrap
  11. pull-secret.txt 파일을 만듭니다.

    $ vim pull-secret.txt
    Copy to Clipboard Toggle word wrap

    웹 브라우저에서 Install OpenShift on Bare Metal with installer-provisioned infrastructure 로 이동합니다. Copy pull secret을 클릭합니다. pull-secret.txt 파일에 내용을 붙여 넣고 kni 사용자의 홈 디렉터리에 저장합니다.

3.3. NTP 서버 동기화 확인

OpenShift Container Platform 설치 프로그램은 클러스터 노드에 chrony Network Time Protocol (NTP) 서비스를 설치합니다. 설치를 완료하려면 각 노드가 NTP 시간 서버에 액세스할 수 있어야 합니다. chrony 서비스를 사용하여 NTP 서버 동기화를 확인할 수 있습니다.

연결이 끊긴 클러스터의 경우 컨트롤 플레인 노드에서 NTP 서버를 구성해야 합니다. 자세한 내용은 추가 리소스 섹션을 참조하십시오.

사전 요구 사항

  • 대상 노드에 chrony 패키지를 설치했습니다.

프로세스

  1. ssh 명령을 사용하여 노드에 로그인합니다.
  2. 다음 명령을 실행하여 노드에서 사용할 수 있는 NTP 서버를 확인합니다.

    $ chronyc sources
    Copy to Clipboard Toggle word wrap

    출력 예

    MS Name/IP address         Stratum Poll Reach LastRx Last sample
    ===============================================================================
    ^+ time.cloudflare.com           3  10   377   187   -209us[ -209us] +/-   32ms
    ^+ t1.time.ir2.yahoo.com         2  10   377   185  -4382us[-4382us] +/-   23ms
    ^+ time.cloudflare.com           3  10   377   198   -996us[-1220us] +/-   33ms
    ^* brenbox.westnet.ie            1  10   377   193  -9538us[-9761us] +/-   24ms
    Copy to Clipboard Toggle word wrap

  3. ping 명령을 사용하여 노드가 NTP 서버에 액세스할 수 있는지 확인합니다. 예를 들면 다음과 같습니다.

    $ ping time.cloudflare.com
    Copy to Clipboard Toggle word wrap

    출력 예

    PING time.cloudflare.com (162.159.200.123) 56(84) bytes of data.
    64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=1 ttl=54 time=32.3 ms
    64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=2 ttl=54 time=30.9 ms
    64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=3 ttl=54 time=36.7 ms
    ...
    Copy to Clipboard Toggle word wrap

3.4. 네트워킹 구성

설치하기 전에 프로비저너 노드의 네트워킹 설정을 구성해야 합니다. 설치 관리자 프로비저닝 클러스터는 베어 메탈 브리지 및 네트워크 리소스와 함께 배포되며 선택적 프로비저닝 브리지 및 네트워크 리소스를 사용합니다.

참고

OpenShift Container Platform 웹 콘솔에서 네트워킹 설정을 구성할 수도 있습니다.

사전 요구 사항

  • sudo dnf install -y <package_name> 명령을 사용하여 nmstate 패키지를 설치했습니다. 패키지에는 nmstatectl CLI가 포함됩니다.

프로세스

  1. 베어 메탈 네트워크를 구성합니다.

    참고

    베어 메탈 네트워크 및 SSH(Secure Shell) 연결 연결이 끊어지면 NMState에 모든 구성을 자동으로 되돌리는 롤백 메커니즘이 있습니다. nmstatectl gc 툴을 사용하여 지정된 네트워크 상태 파일에 대한 구성 파일을 생성할 수도 있습니다.

    1. DHCP를 사용하는 네트워크의 경우 다음 명령을 실행하여 /etc/sysconfig/network-scripts/ifcfg-eth0 레거시 스타일을 삭제합니다.

      $ nmcli con delete "System <baremetal_nic_name>"
      Copy to Clipboard Toggle word wrap

      다음과 같습니다.

      <baremetal_nic_name>
      & lt;baremetal_nic_name& gt;을 NIC(네트워크 인터페이스 컨트롤러)의 이름으로 바꿉니다.
    2. DHCP(Dynamic Host Configuration Protocol)를 사용하는 네트워크의 경우 NMState YAML 파일을 생성하고 파일에서 베어 메탈 브리지 인터페이스와 물리적 인터페이스를 지정합니다.

      DHCP를 사용하는 베어 메탈 브리지 인터페이스 구성의 예

      # ...
      interfaces:
        - name:  <physical_interface_name>
          type: ethernet
          state: up
          ipv4:
            enabled: false
          ipv6:
            enabled: false
        - name: baremetal
          type: linux-bridge
          state: up
          ipv4:
            enabled: true
            dhcp: true
          bridge:
            options:
              stp:
                enabled: false
            port:
              - name:  <physical_interface_name>
      # ...
      Copy to Clipboard Toggle word wrap

    3. 고정 IP 주소를 사용하는 네트워크의 경우 NMState YAML 파일을 생성하고 파일에 베어 메탈 브리지 인터페이스 세부 정보를 지정합니다.

      고정 IP 주소를 사용하고 DHCP 네트워크를 사용하지 않는 베어 메탈 브리지 인터페이스 구성의 예

      # ...
      dns-resolver:
        config:
          server:
            - <dns_ip_address>
      routes:
        config:
          - destination: 0.0.0.0/0
            next-hop-interface: baremetal
            next-hop-address: <gateway_ip>
      interfaces:
        - name: <physical_interface_name>
          type: ethernet
          state: up
          ipv4:
            enabled: false
          ipv6:
            enabled: false
        - name: baremetal
          type: linux-bridge
          state: up
          ipv4:
            enabled: true
            dhcp: false
            address:
              - ip: <static_ip_address>
                prefix-length: 24
          bridge:
            options:
              stp:
                enabled: false
            port:
              - name: <physical_interface_name>
      # ...
      Copy to Clipboard Toggle word wrap

      다음과 같습니다.

      <dns-resolver>
      베어 메탈 시스템의 DNS 서버를 정의합니다.
      <server>
      & lt;dns_ip_address >를 DNS 서버의 IP 주소로 바꿉니다.
      <type>
      브리지 인터페이스 및 정적 IP 구성을 정의합니다.
      <gateway>
      <gateway_ip>를 게이트웨이의 IP 주소로 바꿉니다.
      <name>
      브리지 포트로 설정한 물리적 인터페이스를 자세히 설명합니다.
  2. 다음 명령을 입력하여 YAML 파일의 네트워크 구성을 호스트의 네트워크 인터페이스에 적용합니다.

    $ nmstatectl apply <path_to_network_yaml>
    Copy to Clipboard Toggle word wrap
  3. 다음 명령을 입력하여 네트워크 구성 YAML 파일을 백업합니다.

    $ nmstatectl show > backup-nmstate.yml
    Copy to Clipboard Toggle word wrap
  4. 선택 사항: provisioning 네트워크에 클러스터를 배포하는 경우 NMState YAML 파일을 생성하거나 편집하고 파일에 세부 정보를 지정합니다.

    참고

    IPv6 주소는 베어 메탈 네트워크를 통해 라우팅되지 않는 모든 주소일 수 있습니다.

    UEFI(Unified Extensible Firmware Interface)를 활성화하고 IPv6 주소를 사용할 때 IPv6 프로토콜에 대한 UEFI PXE 설정을 설정해야 합니다.

    provisioning 네트워크용 NMState YAML 파일의 예

    # ...
    interfaces:
      - name: eth1
        type: ethernet
        state: up
        ipv4:
          enabled: false
        ipv6:
          enabled: false
      - name: provisioning
        type: linux-bridge
        state: up
        ipv4:
          enabled: true
          dhcp: false
          address:
            - ip: 172.22.0.254
              prefix-length: 24
        ipv6:
          enabled: true
          dhcp: false
          address:
            - ip: fd00:1101::1
              prefix-length: 64
        bridge:
          options:
            stp:
              enabled: false
          port:
            - name: eth1
    # ...
    Copy to Clipboard Toggle word wrap

  5. 선택 사항: 다음 명령을 실행하여 프로비저너 노드에 대한 SSH 연결을 설정합니다.

    # ssh kni@provisioner.<cluster_name>.<domain>
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <cluster_name>.<domain>
    < cluster_name >을 클러스터 이름으로 바꾸고 < domain >을 클러스터의 FQDN(정규화된 도메인 이름)으로 바꿉니다.
  6. 다음 명령을 실행하여 연결 브리지가 올바르게 생성되었는지 확인합니다.

    $ sudo nmcli con show
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                UUID                                  TYPE      DEVICE
    baremetal           832f645a-9337-4afc-b48e-4a55c5779eab  bridge    baremetal
    provisioning        e7756e01-d026-4a38-b460-129afaac0ec2  bridge    provisioning
    Wired connection 1  49ff4c9c-db76-3139-8c18-c49fa7deb39a  ethernet  eth0
    Wired connection 2  c1fb12b1-88a6-3c07-93b9-187c99204c43  ethernet  eth1
    lo                  aa030e0f-21ca-498f-b6ce-bac7d4d793f0  loopback  lo
    Copy to Clipboard Toggle word wrap

3.5. 사용자 지정 br-ex 브리지를 포함하는 매니페스트 오브젝트 생성

configure-ovs.sh 쉘 스크립트를 사용하여 베어 메탈 플랫폼에서 br-ex 브리지를 설정하는 대신 NMState 구성 파일이 포함된 MachineConfig 오브젝트를 생성할 수 있습니다. host nmstate-configuration.servicenmstate.service 는 NMState 구성 파일을 클러스터에서 실행되는 각 노드에 적용합니다.

configure-ovs.sh 쉘 스크립트를 사용하여 베어 메탈 플랫폼에서 br-ex 브리지를 설정하는 대신 NMState 구성 파일을 포함하는 NodeNetworkConfigurationPolicy (NNCP) 사용자 정의 리소스(CR)를 생성할 수 있습니다.

Kubernetes NMState Operator는 NMState 구성 파일을 사용하여 클러스터의 각 노드에 사용자 지정 br-ex 브리지 네트워크 구성을 생성합니다.

중요

NodeNetworkConfigurationPolicy CR을 생성한 후 클러스터 설치 중에 생성된 NMState 구성 파일의 콘텐츠를 NNCP CR에 복사합니다. 불완전한 NNCP CR 파일은 파일에 설명된 네트워크 정책이 클러스터의 노드에 적용할 수 없음을 의미합니다.

이 기능은 다음 작업을 지원합니다.

  • 클러스터의 최대 전송 단위(MTU) 수정.
  • MIImon(Media Independent Interface Monitor), 본딩 모드 또는 QoS(Quality of Service)와 같은 다른 본딩 인터페이스의 속성 수정.
  • DNS 값 업데이트.

사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 생성하는 다음 사용 사례를 고려하십시오.

  • OVS(Open vSwitch) 또는 OVN-Kubernetes br-ex 브리지 네트워크 변경과 같은 브릿지를 사후 설치하려고 합니다. configure-ovs.sh 쉘 스크립트는 브리지를 사후 설치하도록 지원하지 않습니다.
  • 호스트 또는 서버 IP 주소에 사용 가능한 인터페이스와 다른 인터페이스에 브리지를 배포하려고 합니다.
  • configure-ovs.sh 쉘 스크립트에서 사용할 수 없는 고급 구성을 브리지에 설정하려고 합니다. 이러한 구성에 스크립트를 사용하면 브리지가 여러 네트워크 인터페이스를 연결하고 인터페이스 간 데이터 전달을 용이하게 할 수 있습니다.
참고

단일 NIC(네트워크 인터페이스 컨트롤러) 및 기본 네트워크 설정이 있는 환경이 필요한 경우 configure-ovs.sh 쉘 스크립트를 사용합니다.

RHCOS(Red Hat Enterprise Linux CoreOS)를 설치하고 시스템을 재부팅하면 Machine Config Operator에서 클러스터의 각 노드에 Ignition 구성 파일을 삽입하여 각 노드가 br-ex 브리지 네트워크 구성을 수신하도록 합니다. 구성 충돌을 방지하기 위해 configure-ovs.sh 쉘 스크립트는 br-ex 브리지를 구성하지 않는 신호를 수신합니다.

사전 요구 사항

  • 선택 사항: NMState 구성을 검증할 수 있도록 nmstate API를 설치했습니다.

프로세스

  1. 사용자 지정 br-ex 브리지 네트워크에 대한 base64 정보를 디코딩한 NMState 구성 파일을 생성합니다.

    사용자 지정 br-ex 브리지 네트워크에 대한 NMState 구성의 예

    interfaces:
    - name: enp2s0
      type: ethernet
      state: up
      ipv4:
        enabled: false
      ipv6:
        enabled: false
    - name: br-ex
      type: ovs-bridge
      state: up
      ipv4:
        enabled: false
        dhcp: false
      ipv6:
        enabled: false
        dhcp: false
      bridge:
        options:
          mcast-snooping-enable: true
        port:
        - name: enp2s0
        - name: br-ex
    - name: br-ex
      type: ovs-interface
      state: up
      copy-mac-from: enp2s0
      ipv4:
        enabled: true
        dhcp: true
        auto-route-metric: 48
      ipv6:
        enabled: true
        dhcp: true
        auto-route-metric: 48
    # ...
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    interfaces.name
    인터페이스 이름입니다.
    interfaces.type
    이더넷 유형입니다.
    interfaces.state
    생성 후 인터페이스에 요청되는 상태입니다.
    ipv4.enabled
    이 예에서는 IPv4 및 IPv6을 비활성화합니다.
    port.name
    브리지가 연결되는 노드 NIC입니다.
    auto-route-metric
    매개변수를 48 으로 설정하여 br-ex 기본 경로가 항상 우선 순위가 가장 높은지(가장 낮은 메트릭)인지 확인합니다. 이 구성은 NetworkManager 서비스에서 자동으로 구성하는 다른 인터페이스와의 라우팅 충돌을 방지합니다.
  2. cat 명령을 사용하여 NMState 구성의 내용을 base64로 인코딩합니다.

    $ cat <nmstate_configuration>.yml | base64
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    <nmstate_configuration>
    & lt;nmstate_configuration& gt;을 NMState 리소스 YAML 파일의 이름으로 바꿉니다.
  3. MachineConfig 매니페스트 파일을 생성하고 다음 예와 유사한 사용자 지정 br-ex 브리지 네트워크 구성을 정의합니다.

    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      labels:
        machineconfiguration.openshift.io/role: worker
      name: 10-br-ex-worker
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          files:
          - contents:
              source: data:text/plain;charset=utf-8;base64,<base64_encoded_nmstate_configuration>
            mode: 0644
            overwrite: true
            path: /etc/nmstate/openshift/worker-0.yml
          - contents:
              source: data:text/plain;charset=utf-8;base64,<base64_encoded_nmstate_configuration>
            mode: 0644
            overwrite: true
            path: /etc/nmstate/openshift/worker-1.yml
    # ...
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    metadata.name
    정책의 이름입니다.
    contents.source
    인코딩된 base64 정보를 지정된 경로에 씁니다.
    path

    클러스터의 각 노드에 대해 노드의 호스트 이름 경로와 머신 유형의 base-64로 인코딩된 Ignition 구성 파일 데이터를 지정합니다. worker 역할은 클러스터의 노드의 기본 역할입니다. 각 노드 또는 MachineConfig 매니페스트 파일의 모든 노드에 대한 짧은 호스트 이름 경로를 지정할 때 $(hostname -s).yml 과 같은 구성 파일에 .yml 확장을 사용해야 합니다.

    클러스터의 모든 노드에 적용할 /etc/nmstate/openshift/cluster.yml 구성 파일에 단일 글로벌 구성이 있는 경우 / etc/nmstate/openshift/<node_hostname>.yml 과 같은 각 노드의 짧은 호스트 이름 경로를 지정할 필요가 없습니다. 예를 들면 다음과 같습니다.

    # ...
          - contents:
              source: data:text/plain;charset=utf-8;base64,<base64_encoded_nmstate_configuration>
            mode: 0644
            overwrite: true
            path: /etc/nmstate/openshift/cluster.yml
    # ...
    Copy to Clipboard Toggle word wrap
  4. 다음 명령을 입력하여 MachineConfig 오브젝트의 업데이트를 클러스터에 적용합니다.

    $ oc apply -f <machine_config>.yml
    Copy to Clipboard Toggle word wrap

다음 단계

  • 컴퓨팅 노드를 확장하여 사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 클러스터에 있는 각 컴퓨팅 노드에 적용합니다. 자세한 내용은 추가 리소스 섹션의 "클러스터 확장"을 참조하십시오.

3.5.1. 선택 사항: 각 머신 세트를 컴퓨팅 노드로 확장

OpenShift Container Platform 클러스터의 모든 컴퓨팅 노드에 사용자 지정 br-ex 브리지 구성을 적용하려면 MachineConfig CR(사용자 정의 리소스)을 편집하고 해당 역할을 수정해야 합니다. 또한 호스트 이름, 인증 정보 등과 같은 베어 메탈 시스템에 대한 정보를 정의하는 BareMetalHost CR을 생성해야 합니다.

이러한 리소스를 구성한 후 머신 세트가 각 컴퓨팅 노드에 리소스 구성을 적용하고 노드를 재부팅할 수 있도록 머신 세트를 확장해야 합니다.

사전 요구 사항

  • 사용자 지정 br-ex 브리지 구성이 포함된 MachineConfig 매니페스트 오브젝트를 생성했습니다.

프로세스

  1. 다음 명령을 입력하여 MachineConfig CR을 편집합니다.

    $ oc edit mc <machineconfig_custom_resource_name>
    Copy to Clipboard Toggle word wrap
  2. CR에서 클러스터에 정의된 각 컴퓨팅 노드의 역할을 관리할 수 있도록 각 컴퓨팅 노드 구성을 CR에 추가합니다.
  3. 최소한의 고정 IP 구성이 있는 extraworker-secret 이라는 Secret 오브젝트를 생성합니다.
  4. 다음 명령을 입력하여 클러스터의 각 노드에 extraworker-secret 시크릿을 적용합니다. 이 단계에서는 Ignition 구성 파일에 대한 각 컴퓨팅 노드 액세스를 제공합니다.

    $ oc apply -f ./extraworker-secret.yaml
    Copy to Clipboard Toggle word wrap
  5. BareMetalHost 리소스를 생성하고 preprovisioningNetworkDataName 매개변수에 네트워크 시크릿을 지정합니다.

    연결된 네트워크 시크릿을 사용하는 BareMetalHost 리소스의 예

    apiVersion: metal3.io/v1alpha1
    kind: BareMetalHost
    spec:
    # ...
      preprovisioningNetworkDataName: ostest-extraworker-0-network-config-secret
    # ...
    Copy to Clipboard Toggle word wrap

  6. 클러스터의 openshift-machine-api 네임스페이스에서 BareMetalHost 오브젝트를 관리하려면 다음 명령을 입력하여 네임스페이스로 변경합니다.

    $ oc project openshift-machine-api
    Copy to Clipboard Toggle word wrap
  7. 머신 세트를 가져옵니다.

    $ oc get machinesets
    Copy to Clipboard Toggle word wrap
  8. 다음 명령을 입력하여 각 머신 세트를 스케일링합니다. 각 머신 세트에 대해 이 명령을 실행해야 합니다.

    $ oc scale machineset <machineset_name> --replicas=<n> 
    1
    Copy to Clipboard Toggle word wrap
    1
    여기서 <machineset_name >은 머신 세트의 이름이며 < n >은 컴퓨팅 노드 수입니다.

3.6. 클러스터에 OVS balance-slb 모드 활성화

두 개 이상의 물리적 인터페이스가 네트워크 트래픽을 공유할 수 있도록 OVS(Open vSwitch) balance-slb 모드를 활성화할 수 있습니다. balance-slb 모드 인터페이스는 네트워크 스위치와의 로드 밸런싱 협상 없이도 가상화 워크로드를 실행하는 클러스터에 소스 로드 밸런싱(SLB) 기능을 제공할 수 있습니다.

현재 소스 로드 밸런싱은 본딩 인터페이스에서 실행되며, 여기서 인터페이스는 br-phy 와 같은 보조 브릿지에 연결됩니다. 소스 로드 밸런싱은 다양한 MAC(Media Access Control) 주소 및 VLAN(가상 로컬 영역 네트워크) 조합에서만 분산됩니다. 모든 OVN-Kubernetes Pod 트래픽은 동일한 MAC 주소와 VLAN을 사용하므로 이 트래픽을 여러 물리적 인터페이스에서 부하 분산할 수 없습니다.

다음 다이어그램에서는 간단한 클러스터 인프라 레이아웃의 balance-slb 모드를 보여줍니다. 가상 머신(VM)은 특정 localnet NetworkAttachmentDefinition (CRD) 사용자 정의 리소스 정의(CRD), CryostatD 0 또는 CryostatD 1 에 연결합니다. 각 CryostatD는 VM에 기본 물리적 네트워크에 액세스할 수 있도록 제공하여 VLAN 태그가 지정되지 않은 트래픽을 지원합니다. br-ex OVS 브리지는 VM에서 트래픽을 수신하고 트래픽을 다음 OVS 브리지 br-phy 로 전달합니다. br-phy 브리지는 SLB 본딩의 컨트롤러 역할을 합니다. SLB 본딩은 eno0eno1 과 같은 물리적 인터페이스 링크를 통해 다른 VM 포트의 트래픽을 분산합니다. 또한 물리적 인터페이스의 수신 트래픽은 OVS 브리지 집합을 통과하여 VM에 도달할 수 있습니다.

그림 3.1. 두 개의 CryostatD CRD를 사용하여 localnet에서 작동하는 OVS balance-slb 모드

OVS 본딩을 사용하여 balance-slb 모드 인터페이스를 기본 또는 보조 네트워크 유형에 통합할 수 있습니다. OVS 본딩에 대한 다음 사항에 유의하십시오.

  • OVN-Kubernetes CNI 플러그인을 지원하며 플러그인과 쉽게 통합할 수 있습니다.
  • 기본적으로 balance-slb 모드를 지원합니다.

사전 요구 사항

  • 기본 네트워크에 두 개 이상의 물리적 인터페이스가 연결되어 있으며 MachineConfig 파일에 인터페이스를 정의했습니다.
  • 매니페스트 객체를 생성하고 객체 구성 파일에서 사용자 정의 br-ex 브리지를 정의했습니다.
  • 기본 네트워크에 두 개 이상의 물리적 인터페이스가 연결되어 있으며, interfaces를 alignD CRD 파일에 정의했습니다.

프로세스

  1. 클러스터에 존재하는 각 베어 메탈 호스트의 경우 클러스터의 install-config.yaml 파일에서 다음 예와 유사한 networkConfig 섹션을 정의합니다.

    apiVersion: v1
    kind: InstallConfig
    metadata:
      name: <cluster-name>
    # ...
    networkConfig:
      interfaces:
        - name: enp1s0 
    1
    
          type: ethernet
          state: up
          ipv4:
            dhcp: true
            enabled: true
          ipv6:
            enabled: false
        - name: enp2s0 
    2
    
          type: ethernet
          state: up
          mtu: 1500 
    3
    
          ipv4:
            dhcp: true
            enabled: true
          ipv6:
            dhcp: true
            enabled: true
        - name: enp3s0 
    4
    
          type: ethernet
          state: up
          mtu: 1500
          ipv4:
            enabled: false
          ipv6:
            enabled: false
    # ...
    Copy to Clipboard Toggle word wrap
    1
    프로비저닝된 NIC(네트워크 인터페이스 컨트롤러)의 인터페이스입니다.
    2
    본딩 인터페이스에 대해 Ignition 구성 파일을 가져오는 첫 번째 본딩된 인터페이스입니다.
    3
    본딩 포트에서 br-ex 최대 전송 단위(MTU)를 수동으로 설정합니다.
    4
    두 번째 본딩 인터페이스는 클러스터 설치 중에 ignition을 가져오는 최소 구성의 일부입니다.
  2. NMState 구성 파일에 각 네트워크 인터페이스를 정의합니다.

    많은 네트워크 인터페이스를 정의하는 NMState 구성 파일의 예

    apiVersion: nmstate.io/v1
    kind: NodeNetworkConfigurationPolicy
    metadata:
    # ...
    ovn:
      bridge-mappings:
        - localnet: localnet-network
          bridge: br-ex
          state: present
    interfaces:
      - name: br-ex
        type: ovs-bridge
        state: up
        bridge:
          allow-extra-patch-ports: true
          port:
            - name: br-ex
            - name: patch-ex-to-phy
        ovs-db:
          external_ids:
            bridge-uplink: "patch-ex-to-phy"
      - name: br-ex
        type: ovs-interface
        state: up
        mtu: 1500 
    1
    
        ipv4:
          enabled: true
          dhcp: true
          auto-route-metric: 48
        ipv6:
          enabled: false
          dhcp: false
          auto-route-metric: 48
      - name: br-phy
        type: ovs-bridge
        state: up
        bridge:
          allow-extra-patch-ports: true
          port:
            - name: patch-phy-to-ex
            - name: ovs-bond
              link-aggregation:
                mode: balance-slb
                port:
                  - name: enp2s0
                  - name: enp3s0
      - name: patch-ex-to-phy
        type: ovs-interface
        state: up
        patch:
          peer: patch-phy-to-ex
      - name: patch-phy-to-ex
        type: ovs-interface
        state: up
        patch:
          peer: patch-ex-to-phy
      - name: enp1s0
        type: ethernet
        state: up
        ipv4:
          dhcp: true
          enabled: true
        ipv6:
          enabled: false
      - name: enp2s0
        type: ethernet
        state: up
        mtu: 1500
        ipv4:
          enabled: false
        ipv6:
          enabled: false
      - name: enp3s0
        type: ethernet
        state: up
        mtu: 1500
        ipv4:
          enabled: false
        ipv6:
          enabled: false
    # ...
    Copy to Clipboard Toggle word wrap

    1
    본딩 포트에 br-ex MTU를 수동으로 설정합니다.
  3. base64 명령을 사용하여 NMState 구성 파일의 인터페이스 콘텐츠를 인코딩합니다.

    $ base64 -w0  <nmstate_configuration>.yml 
    1
    Copy to Clipboard Toggle word wrap
    1
    여기서 -w0 옵션은 base64 인코딩 작업 중에 줄 래핑을 방지합니다.
  4. 마스터 역할 및 작업자 역할에 대한 MachineConfig 매니페스트 파일을 생성합니다. 이전 명령의 base64로 인코딩된 문자열을 각 MachineConfig 매니페스트 파일에 포함해야 합니다. 다음 예제 매니페스트 파일은 클러스터에 존재하는 모든 노드의 마스터 역할을 구성합니다. 노드와 관련된 마스터작업자 역할에 대한 매니페스트 파일을 생성할 수도 있습니다.

    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      labels:
        machineconfiguration.openshift.io/role: master
      name: 10-br-ex-master 
    1
    
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          files:
          - contents:
              source: data:text/plain;charset=utf-8;base64,<base64_encoded_nmstate_configuration> 
    2
    
            mode: 0644
            overwrite: true
            path: /etc/nmstate/openshift/cluster.yml 
    3
    Copy to Clipboard Toggle word wrap
    1
    정책의 이름입니다.
    2
    인코딩된 base64 정보를 지정된 경로에 씁니다.
    3
    cluster.yml 파일의 경로를 지정합니다. 클러스터의 각 노드에 대해 <node_short _hostname> .yml과 같이 노드의 짧은 호스트 이름 경로를 지정할 수 있습니다.
  5. MachineConfig 매니페스트 파일을 ./<installation_directory>/manifests 디렉터리에 저장합니다. 여기서 < installation_directory >는 설치 프로그램이 파일을 생성하는 디렉터리입니다.

    MCO(Machine Config Operator)는 각 매니페스트 파일에서 콘텐츠를 가져와 롤링 업데이트 중에 선택한 모든 노드에 지속적으로 콘텐츠를 적용합니다.

3.7. 서브넷 간 통신 설정

일반적인 OpenShift Container Platform 클러스터 설정에서 컨트롤 플레인 및 컴퓨팅 노드를 포함한 모든 노드는 동일한 네트워크에 있습니다. 그러나 엣지 컴퓨팅 시나리오에서는 컴퓨팅 노드를 에지에 더 가깝게 찾는 것이 유용할 수 있습니다. 이는 컨트롤 플레인 및 로컬 컴퓨팅 노드에서 사용하는 서브넷과 원격 노드에 대해 다른 네트워크 세그먼트 또는 서브넷을 사용하는 경우가 많습니다. 이러한 설정을 사용하면 엣지의 대기 시간을 줄이고 확장성을 향상시킬 수 있습니다.

OpenShift Container Platform을 설치하기 전에 원격 노드가 포함된 에지 서브넷이 컨트롤 플레인 노드가 포함된 서브넷에 도달하고 컨트롤 플레인에서 트래픽을 수신할 수 있도록 네트워크를 적절히 구성해야 합니다.

중요

클러스터 설치 중에 install-config.yaml 구성 파일의 네트워크 구성의 노드에 영구 IP 주소를 할당합니다. 이 작업을 수행하지 않으면 트래픽이 노드에 도달하는 방법에 영향을 줄 수 있는 임시 IP 주소가 노드에 할당될 수 있습니다. 예를 들어 노드에 임시 IP 주소가 할당되어 노드에 본딩된 인터페이스를 구성한 경우 본딩된 인터페이스에서 다른 IP 주소를 수신할 수 있습니다.

기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 구성하여 동일한 서브넷 또는 여러 서브넷에서 컨트롤 플레인 노드를 실행할 수 있습니다. 여러 서브넷 환경을 사용하면 하드웨어 장애 또는 네트워크 중단으로 인해 OpenShift Container Platform 클러스터의 위험을 줄일 수 있습니다. 자세한 내용은 "사용자 관리 로드 밸런서의 서비스" 및 "사용자 관리 로드 밸런서 구성"을 참조하십시오.

여러 서브넷 환경에서 컨트롤 플레인 노드를 실행하려면 다음 주요 작업을 완료해야 합니다.

  • install-config.yaml 파일의 loadBalancer.type 매개변수에 UserManaged 를 지정하여 기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 구성합니다.
  • install-config.yaml 파일의 ingressVIPsapiVIPs 매개변수에서 사용자 관리 로드 밸런서 주소를 구성합니다.
  • install-config.yaml 파일의 networking.machineNetworks 매개변수에 여러 서브넷 CIDR(Classless Inter-Domain Routing) 및 사용자 관리 로드 밸런서 IP 주소를 추가합니다.
참고

여러 서브넷이 있는 클러스터를 배포하려면 redfish-virtualmediaidrac-virtualmedia 와 같은 가상 미디어를 사용해야 합니다.

이 절차에서는 두 번째 서브넷의 원격 컴퓨팅 노드가 첫 번째 서브넷의 컨트롤 플레인 노드와 효과적으로 통신하고 첫 번째 서브넷의 컨트롤 플레인 노드가 두 번째 서브넷의 원격 컴퓨팅 노드와 효과적으로 통신할 수 있도록 하는 데 필요한 네트워크 구성에 대해 자세히 설명합니다.

이 절차에서 클러스터는 두 개의 서브넷에 걸쳐 있습니다.

  • 첫 번째 서브넷(10.0.0.0)에는 컨트롤 플레인 및 로컬 컴퓨팅 노드가 포함되어 있습니다.
  • 두 번째 서브넷(192.168.0.0)에는 엣지 컴퓨팅 노드가 포함되어 있습니다.

프로세스

  1. 두 번째 서브넷과 통신하도록 첫 번째 서브넷을 구성합니다.

    1. 다음 명령을 실행하여 root 로 컨트롤 플레인 노드에 로그인합니다.

      $ sudo su -
      Copy to Clipboard Toggle word wrap
    2. 다음 명령을 실행하여 네트워크 인터페이스의 이름을 가져옵니다.

      # nmcli dev status
      Copy to Clipboard Toggle word wrap
    3. 다음 명령을 실행하여 게이트웨이를 통해 두 번째 서브넷(192.168.0.0)에 경로를 추가합니다.

      # nmcli connection modify <interface_name> +ipv4.routes "192.168.0.0/24 via <gateway>"
      Copy to Clipboard Toggle word wrap

      &lt ;interface_name&gt;을 인터페이스 이름으로 바꿉니다. 을 실제 게이트웨이의 IP 주소로 바꿉니다 .

      예제

      # nmcli connection modify eth0 +ipv4.routes "192.168.0.0/24 via 192.168.0.1"
      Copy to Clipboard Toggle word wrap

    4. 다음 명령을 실행하여 변경 사항을 적용합니다.

      # nmcli connection up <interface_name>
      Copy to Clipboard Toggle word wrap

      &lt ;interface_name&gt;을 인터페이스 이름으로 바꿉니다.

    5. 라우팅 테이블을 확인하여 경로가 성공적으로 추가되었는지 확인합니다.

      # ip route
      Copy to Clipboard Toggle word wrap
    6. 첫 번째 서브넷의 각 컨트롤 플레인 노드에 대해 이전 단계를 반복합니다.

      참고

      실제 인터페이스 이름 및 게이트웨이와 일치하도록 명령을 조정합니다.

  2. 첫 번째 서브넷과 통신하도록 두 번째 서브넷을 구성합니다.

    1. 다음 명령을 실행하여 root 로 원격 컴퓨팅 노드에 로그인합니다.

      $ sudo su -
      Copy to Clipboard Toggle word wrap
    2. 다음 명령을 실행하여 네트워크 인터페이스의 이름을 가져옵니다.

      # nmcli dev status
      Copy to Clipboard Toggle word wrap
    3. 다음 명령을 실행하여 게이트웨이를 통해 첫 번째 서브넷(10.0.0.0)에 경로를 추가합니다.

      # nmcli connection modify <interface_name> +ipv4.routes "10.0.0.0/24 via <gateway>"
      Copy to Clipboard Toggle word wrap

      &lt ;interface_name&gt;을 인터페이스 이름으로 바꿉니다. 을 실제 게이트웨이의 IP 주소로 바꿉니다 .

      예제

      # nmcli connection modify eth0 +ipv4.routes "10.0.0.0/24 via 10.0.0.1"
      Copy to Clipboard Toggle word wrap

    4. 다음 명령을 실행하여 변경 사항을 적용합니다.

      # nmcli connection up <interface_name>
      Copy to Clipboard Toggle word wrap

      &lt ;interface_name&gt;을 인터페이스 이름으로 바꿉니다.

    5. 다음 명령을 실행하여 라우팅 테이블을 확인하여 경로가 성공적으로 추가되었는지 확인합니다.

      # ip route
      Copy to Clipboard Toggle word wrap
    6. 두 번째 서브넷의 각 compute 노드에 대해 이전 단계를 반복합니다.

      참고

      실제 인터페이스 이름 및 게이트웨이와 일치하도록 명령을 조정합니다.

  3. 네트워크를 구성한 후 연결을 테스트하여 원격 노드가 컨트롤 플레인 노드에 도달할 수 있고 컨트롤 플레인 노드가 원격 노드에 도달할 수 있는지 확인합니다.

    1. 첫 번째 서브넷의 컨트롤 플레인 노드에서 다음 명령을 실행하여 두 번째 서브넷의 원격 노드를 ping합니다.

      $ ping <remote_node_ip_address>
      Copy to Clipboard Toggle word wrap

      ping에 성공하면 첫 번째 서브넷의 컨트롤 플레인 노드가 두 번째 서브넷의 원격 노드에 연결할 수 있습니다. 응답이 수신되지 않으면 네트워크 구성을 검토하고 노드에 대한 절차를 반복합니다.

    2. 두 번째 서브넷의 원격 노드에서 다음 명령을 실행하여 첫 번째 서브넷의 컨트롤 플레인 노드를 ping합니다.

      $ ping <control_plane_node_ip_address>
      Copy to Clipboard Toggle word wrap

      ping에 성공하면 두 번째 서브넷의 원격 컴퓨팅 노드가 첫 번째 서브넷의 컨트롤 플레인에 도달할 수 있습니다. 응답이 수신되지 않으면 네트워크 구성을 검토하고 노드에 대한 절차를 반복합니다.

3.8. OpenShift Container Platform 설치 프로그램 검색

설치 프로그램의 stable-4.x 버전과 선택한 아키텍처를 사용하여 일반적으로 사용 가능한 OpenShift Container Platform 버전을 배포합니다.

$ export VERSION=stable-4.16
Copy to Clipboard Toggle word wrap
$ export RELEASE_ARCH=<architecture>
Copy to Clipboard Toggle word wrap
$ export RELEASE_IMAGE=$(curl -s https://mirror.openshift.com/pub/openshift-v4/$RELEASE_ARCH/clients/ocp/$VERSION/release.txt | grep 'Pull From: quay.io' | awk -F ' ' '{print $3}')
Copy to Clipboard Toggle word wrap

3.9. OpenShift Container Platform 설치 프로그램 추출

설치 프로그램을 가져온 후 다음 단계로 압축을 풉니다.

프로세스

  1. 환경 변수를 설정합니다.

    $ export cmd=openshift-baremetal-install
    Copy to Clipboard Toggle word wrap
    $ export pullsecret_file=~/pull-secret.txt
    Copy to Clipboard Toggle word wrap
    $ export extract_dir=$(pwd)
    Copy to Clipboard Toggle word wrap
  2. oc 바이너리를 가져옵니다.

    $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc
    Copy to Clipboard Toggle word wrap
  3. 설치 프로그램 압축을 풉니다.

    $ sudo cp oc /usr/local/bin
    Copy to Clipboard Toggle word wrap
    $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}
    Copy to Clipboard Toggle word wrap
    $ sudo cp openshift-baremetal-install /usr/local/bin
    Copy to Clipboard Toggle word wrap

3.10. 선택 사항: RHCOS 이미지 캐시 생성

이미지 캐싱을 사용하려면 부트스트랩 VM에서 클러스터 노드를 프로비저닝하는 데 사용하는 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 다운로드해야 합니다. 이미지 캐싱은 선택 사항이지만 대역폭이 제한된 네트워크에서 설치 프로그램을 실행할 때 특히 유용합니다.

참고

올바른 이미지가 릴리스 페이로드에 있으므로 설치 프로그램에 더 이상 clusterOSImage RHCOS 이미지가 필요하지 않습니다.

대역폭이 제한된 네트워크에서 설치 프로그램을 실행하고 RHCOS 이미지 다운로드가 15~20분 이상 걸리는 경우 설치 프로그램이 시간 초과됩니다. 이러한 경우 웹 서버에서 이미지를 캐시할 수 있습니다.

주의

HTTPD 서버에 대해 TLS를 활성화하는 경우 클라이언트에서 신뢰하는 기관에서 루트 인증서에 서명했는지 확인하고 OpenShift Container Platform Hub 및 spoke 클러스터와 HTTPD 서버 간의 신뢰할 수 있는 인증서 체인을 확인해야 합니다. 신뢰할 수 없는 인증서로 구성된 서버를 사용하면 이미지가 이미지 생성 서비스로 다운로드되지 않습니다. 신뢰할 수 없는 HTTPS 서버 사용은 지원되지 않습니다.

이미지가 포함된 컨테이너를 설치합니다.

프로세스

  1. podman을 설치합니다.

    $ sudo dnf install -y podman
    Copy to Clipboard Toggle word wrap
  2. RHCOS 이미지 캐싱에 사용할 방화벽 포트 8080 을 엽니다.

    $ sudo firewall-cmd --add-port=8080/tcp --zone=public --permanent
    Copy to Clipboard Toggle word wrap
    $ sudo firewall-cmd --reload
    Copy to Clipboard Toggle word wrap
  3. bootstraposimage 를 저장할 디렉터리를 만듭니다.

    $ mkdir /home/kni/rhcos_image_cache
    Copy to Clipboard Toggle word wrap
  4. 새로 생성된 디렉터리에 적절한 SELinux 컨텍스트를 설정합니다.

    $ sudo semanage fcontext -a -t httpd_sys_content_t "/home/kni/rhcos_image_cache(/.*)?"
    Copy to Clipboard Toggle word wrap
    $ sudo restorecon -Rv /home/kni/rhcos_image_cache/
    Copy to Clipboard Toggle word wrap
  5. 설치 프로그램이 부트스트랩 VM에 배포할 RHCOS 이미지의 URI를 가져옵니다.

    $ export RHCOS_QEMU_URI=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk.location')
    Copy to Clipboard Toggle word wrap
  6. 설치 프로그램이 부트스트랩 VM에 배포할 이미지의 이름을 가져옵니다.

    $ export RHCOS_QEMU_NAME=${RHCOS_QEMU_URI##*/}
    Copy to Clipboard Toggle word wrap
  7. 부트스트랩 VM에 배포된 RHCOS 이미지의 SHA 해시를 가져옵니다.

    $ export RHCOS_QEMU_UNCOMPRESSED_SHA256=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk["uncompressed-sha256"]')
    Copy to Clipboard Toggle word wrap
  8. 이미지를 다운로드하여 /home/kni/rhcos_image_cache 디렉터리에 배치합니다.

    $ curl -L ${RHCOS_QEMU_URI} -o /home/kni/rhcos_image_cache/${RHCOS_QEMU_NAME}
    Copy to Clipboard Toggle word wrap
  9. SELinux 유형이 새 파일의 httpd_sys_content_t 인지 확인합니다.

    $ ls -Z /home/kni/rhcos_image_cache
    Copy to Clipboard Toggle word wrap
  10. Pod를 생성합니다.

    $ podman run -d --name rhcos_image_cache \
    1
    
    -v /home/kni/rhcos_image_cache:/var/www/html \
    -p 8080:8080/tcp \
    registry.access.redhat.com/ubi9/httpd-24
    Copy to Clipboard Toggle word wrap
    1
    rhcos_image_cache 라는 이름의 캐싱 웹 서버를 생성합니다. 이 Pod는 배포를 위해 install-config.yaml 파일에서 bootstrapOSImage 이미지를 제공합니다.
  11. bootstrapOSImage 구성을 생성합니다.

    $ export BAREMETAL_IP=$(ip addr show dev baremetal | awk '/inet /{print $2}' | cut -d"/" -f1)
    Copy to Clipboard Toggle word wrap
    $ export BOOTSTRAP_OS_IMAGE="http://${BAREMETAL_IP}:8080/${RHCOS_QEMU_NAME}?sha256=${RHCOS_QEMU_UNCOMPRESSED_SHA256}"
    Copy to Clipboard Toggle word wrap
    $ echo "    bootstrapOSImage=${BOOTSTRAP_OS_IMAGE}"
    Copy to Clipboard Toggle word wrap
  12. platform.baremetal 아래의 install-config.yaml 파일에 필요한 구성을 추가합니다.

    platform:
      baremetal:
        bootstrapOSImage: <bootstrap_os_image>  
    1
    Copy to Clipboard Toggle word wrap
    1
    & lt;bootstrap_os_image >를 $BOOTSTRAP_OS_IMAGE 값으로 바꿉니다.

    자세한 내용은 " install-config.yaml 파일 구성" 섹션을 참조하십시오.

3.11. 사용자 관리 로드 밸런서의 서비스

기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 사용하도록 OpenShift Container Platform 클러스터를 구성할 수 있습니다.

중요

사용자 관리 로드 밸런서 구성은 벤더의 로드 밸런서에 따라 다릅니다.

이 섹션의 정보와 예제는 지침용으로만 사용됩니다. 벤더의 로드 밸런서에 대한 자세한 내용은 벤더 설명서를 참조하십시오.

Red Hat은 사용자 관리 로드 밸런서에 대해 다음 서비스를 지원합니다.

  • Ingress 컨트롤러
  • OpenShift API
  • OpenShift MachineConfig API

사용자 관리 로드 밸런서에 대해 이러한 서비스 중 하나 또는 모두를 구성할지 여부를 선택할 수 있습니다. Ingress 컨트롤러 서비스만 구성하는 것은 일반적인 구성 옵션입니다. 각 서비스를 더 잘 이해하려면 다음 다이어그램을 참조하십시오.

그림 3.2. OpenShift Container Platform 환경에서 작동하는 Ingress 컨트롤러를 보여주는 네트워크 워크플로의 예

그림 3.3. OpenShift Container Platform 환경에서 작동하는 OpenShift API를 보여주는 네트워크 워크플로우의 예

그림 3.4. OpenShift Container Platform 환경에서 작동하는 OpenShift MachineConfig API를 보여주는 네트워크 워크플로우의 예

사용자 관리 로드 밸런서에 대해 지원되는 구성 옵션은 다음과 같습니다.

  • 노드 선택기를 사용하여 Ingress 컨트롤러를 특정 노드 세트에 매핑합니다. 이 세트의 각 노드에 고정 IP 주소를 할당하거나 DHCP(Dynamic Host Configuration Protocol)에서 동일한 IP 주소를 수신하도록 각 노드를 구성해야 합니다. 인프라 노드는 일반적으로 이러한 유형의 구성을 수신합니다.
  • 서브넷의 모든 IP 주소를 대상으로 지정합니다. 이 구성은 로드 밸런서 대상을 재구성하지 않고 해당 네트워크 내에서 노드를 생성하고 삭제할 수 있으므로 유지 관리 오버헤드를 줄일 수 있습니다. /27 또는 /28 과 같은 작은 네트워크에 머신 세트를 사용하여 Ingress Pod를 배포하는 경우 로드 밸런서 대상을 단순화할 수 있습니다.

    작은 정보

    머신 구성 풀의 리소스를 확인하여 네트워크에 존재하는 모든 IP 주소를 나열할 수 있습니다.

OpenShift Container Platform 클러스터에 대한 사용자 관리 로드 밸런서를 구성하기 전에 다음 정보를 고려하십시오.

  • 프런트 엔드 IP 주소의 경우 프런트 엔드 IP 주소, Ingress 컨트롤러의 로드 밸런서 및 API 로드 밸런서에 동일한 IP 주소를 사용할 수 있습니다. 이 기능에 대해서는 벤더의 설명서를 확인하십시오.
  • 백엔드 IP 주소의 경우 사용자 관리 로드 밸런서의 수명 동안 OpenShift Container Platform 컨트롤 플레인 노드의 IP 주소가 변경되지 않아야 합니다. 다음 작업 중 하나를 완료하여 이 작업을 수행할 수 있습니다.

    • 각 컨트롤 플레인 노드에 고정 IP 주소를 할당합니다.
    • 노드가 DHCP 리스를 요청할 때마다 DHCP에서 동일한 IP 주소를 수신하도록 각 노드를 구성합니다. 공급 업체에 따라 DHCP 리스를 IP 예약 또는 정적 DHCP 할당의 형태로 될 수 있습니다.
  • Ingress 컨트롤러 백엔드 서비스의 사용자 관리 로드 밸런서에서 Ingress 컨트롤러를 실행하는 각 노드를 수동으로 정의합니다. 예를 들어 Ingress 컨트롤러가 정의되지 않은 노드로 이동하는 경우 연결 중단이 발생할 수 있습니다.

3.11.1. 사용자 관리 로드 밸런서 구성

기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 사용하도록 OpenShift Container Platform 클러스터를 구성할 수 있습니다.

중요

사용자 관리 로드 밸런서를 구성하기 전에 "사용자 관리 로드 밸런서의 서비스" 섹션을 읽으십시오.

사용자 관리 로드 밸런서에 대해 구성할 서비스에 적용되는 다음 사전 요구 사항을 읽으십시오.

참고

클러스터에서 실행되는 MetalLB는 사용자 관리 로드 밸런서로 작동합니다.

OpenShift API 사전 요구 사항

  • 프런트 엔드 IP 주소를 정의했습니다.
  • TCP 포트 6443 및 22623은 로드 밸런서의 프런트 엔드 IP 주소에 노출됩니다. 다음 항목을 확인합니다.

    • 포트 6443은 OpenShift API 서비스에 대한 액세스를 제공합니다.
    • 포트 22623은 노드에 Ignition 시작 구성을 제공할 수 있습니다.
  • 프런트 엔드 IP 주소와 포트 6443은 OpenShift Container Platform 클러스터 외부의 위치로 시스템의 모든 사용자가 연결할 수 있습니다.
  • 프런트 엔드 IP 주소와 포트 22623은 OpenShift Container Platform 노드에서만 연결할 수 있습니다.
  • 로드 밸런서 백엔드는 포트 6443 및 22623의 OpenShift Container Platform 컨트롤 플레인 노드와 통신할 수 있습니다.

Ingress 컨트롤러 사전 요구 사항

  • 프런트 엔드 IP 주소를 정의했습니다.
  • TCP 포트 443 및 80은 로드 밸런서의 프런트 엔드 IP 주소에 노출됩니다.
  • 프런트 엔드 IP 주소, 포트 80 및 포트 443은 OpenShift Container Platform 클러스터 외부에 있는 위치로 시스템의 모든 사용자가 연결할 수 있습니다.
  • 프런트 엔드 IP 주소, 포트 80 및 포트 443은 OpenShift Container Platform 클러스터에서 작동하는 모든 노드에 연결할 수 있습니다.
  • 로드 밸런서 백엔드는 포트 80, 443, 1936에서 Ingress 컨트롤러를 실행하는 OpenShift Container Platform 노드와 통신할 수 있습니다.

상태 점검 URL 사양의 사전 요구 사항

서비스를 사용할 수 없거나 사용할 수 없는지 결정하는 상태 점검 URL을 설정하여 대부분의 로드 밸런서를 구성할 수 있습니다. OpenShift Container Platform은 OpenShift API, 머신 구성 API 및 Ingress 컨트롤러 백엔드 서비스에 대한 이러한 상태 점검을 제공합니다.

다음 예제에서는 이전에 나열된 백엔드 서비스의 상태 점검 사양을 보여줍니다.

Kubernetes API 상태 점검 사양의 예

Path: HTTPS:6443/readyz
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 10
Interval: 10
Copy to Clipboard Toggle word wrap

Machine Config API 상태 점검 사양의 예

Path: HTTPS:22623/healthz
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 10
Interval: 10
Copy to Clipboard Toggle word wrap

Ingress 컨트롤러 상태 점검 사양의 예

Path: HTTP:1936/healthz/ready
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 5
Interval: 10
Copy to Clipboard Toggle word wrap

프로세스

  1. 포트 6443, 22623, 443 및 80의 로드 밸런서에서 클러스터에 액세스할 수 있도록 HAProxy Ingress 컨트롤러를 구성합니다. 필요에 따라 HAProxy 구성에 있는 여러 서브넷의 IP 주소 또는 단일 서브넷의 IP 주소를 지정할 수 있습니다.

    나열된 서브넷이 있는 HAProxy 구성 예

    # ...
    listen my-cluster-api-6443
        bind 192.168.1.100:6443
        mode tcp
        balance roundrobin
      option httpchk
      http-check connect
      http-check send meth GET uri /readyz
      http-check expect status 200
        server my-cluster-master-2 192.168.1.101:6443 check inter 10s rise 2 fall 2
        server my-cluster-master-0 192.168.1.102:6443 check inter 10s rise 2 fall 2
        server my-cluster-master-1 192.168.1.103:6443 check inter 10s rise 2 fall 2
    
    listen my-cluster-machine-config-api-22623
        bind 192.168.1.100:22623
        mode tcp
        balance roundrobin
      option httpchk
      http-check connect
      http-check send meth GET uri /healthz
      http-check expect status 200
        server my-cluster-master-2 192.168.1.101:22623 check inter 10s rise 2 fall 2
        server my-cluster-master-0 192.168.1.102:22623 check inter 10s rise 2 fall 2
        server my-cluster-master-1 192.168.1.103:22623 check inter 10s rise 2 fall 2
    
    listen my-cluster-apps-443
        bind 192.168.1.100:443
        mode tcp
        balance roundrobin
      option httpchk
      http-check connect
      http-check send meth GET uri /healthz/ready
      http-check expect status 200
        server my-cluster-worker-0 192.168.1.111:443 check port 1936 inter 10s rise 2 fall 2
        server my-cluster-worker-1 192.168.1.112:443 check port 1936 inter 10s rise 2 fall 2
        server my-cluster-worker-2 192.168.1.113:443 check port 1936 inter 10s rise 2 fall 2
    
    listen my-cluster-apps-80
       bind 192.168.1.100:80
       mode tcp
       balance roundrobin
      option httpchk
      http-check connect
      http-check send meth GET uri /healthz/ready
      http-check expect status 200
        server my-cluster-worker-0 192.168.1.111:80 check port 1936 inter 10s rise 2 fall 2
        server my-cluster-worker-1 192.168.1.112:80 check port 1936 inter 10s rise 2 fall 2
        server my-cluster-worker-2 192.168.1.113:80 check port 1936 inter 10s rise 2 fall 2
    # ...
    Copy to Clipboard Toggle word wrap

    나열된 여러 서브넷이 있는 HAProxy 구성의 예

    # ...
    listen api-server-6443
        bind *:6443
        mode tcp
          server master-00 192.168.83.89:6443 check inter 1s
          server master-01 192.168.84.90:6443 check inter 1s
          server master-02 192.168.85.99:6443 check inter 1s
          server bootstrap 192.168.80.89:6443 check inter 1s
    
    listen machine-config-server-22623
        bind *:22623
        mode tcp
          server master-00 192.168.83.89:22623 check inter 1s
          server master-01 192.168.84.90:22623 check inter 1s
          server master-02 192.168.85.99:22623 check inter 1s
          server bootstrap 192.168.80.89:22623 check inter 1s
    
    listen ingress-router-80
        bind *:80
        mode tcp
        balance source
          server worker-00 192.168.83.100:80 check inter 1s
          server worker-01 192.168.83.101:80 check inter 1s
    
    listen ingress-router-443
        bind *:443
        mode tcp
        balance source
          server worker-00 192.168.83.100:443 check inter 1s
          server worker-01 192.168.83.101:443 check inter 1s
    
    listen ironic-api-6385
        bind *:6385
        mode tcp
        balance source
          server master-00 192.168.83.89:6385 check inter 1s
          server master-01 192.168.84.90:6385 check inter 1s
          server master-02 192.168.85.99:6385 check inter 1s
          server bootstrap 192.168.80.89:6385 check inter 1s
    
    listen inspector-api-5050
        bind *:5050
        mode tcp
        balance source
          server master-00 192.168.83.89:5050 check inter 1s
          server master-01 192.168.84.90:5050 check inter 1s
          server master-02 192.168.85.99:5050 check inter 1s
          server bootstrap 192.168.80.89:5050 check inter 1s
    # ...
    Copy to Clipboard Toggle word wrap

  2. curl CLI 명령을 사용하여 사용자 관리 로드 밸런서 및 해당 리소스가 작동하는지 확인합니다.

    1. 다음 명령을 실행하고 응답을 관찰하여 Kubernetes API 서버 리소스에서 클러스터 머신 구성 API에 액세스할 수 있는지 확인합니다.

      $ curl https://<loadbalancer_ip_address>:6443/version --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 응답으로 JSON 오브젝트가 표시됩니다.

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
      }
      Copy to Clipboard Toggle word wrap
    2. 다음 명령을 실행하고 출력을 관찰하여 클러스터 머신 구성 API에 머신 구성 서버 리소스에 액세스할 수 있는지 확인합니다.

      $ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 200 OK
      Content-Length: 0
      Copy to Clipboard Toggle word wrap
    3. 다음 명령을 실행하고 출력을 관찰하여 포트 80의 Ingress 컨트롤러 리소스에서 컨트롤러에 액세스할 수 있는지 확인합니다.

      $ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.ocp4.private.opequon.net/
      cache-control: no-cache
      Copy to Clipboard Toggle word wrap
    4. 다음 명령을 실행하고 출력을 관찰하여 포트 443의 Ingress 컨트롤러 리소스에서 컨트롤러에 액세스할 수 있는지 확인합니다.

      $ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private
      Copy to Clipboard Toggle word wrap
  3. 사용자 관리 로드 밸런서의 프런트 엔드 IP 주소를 대상으로 하도록 클러스터의 DNS 레코드를 구성합니다. 로드 밸런서를 통해 클러스터 API 및 애플리케이션의 DNS 서버로 레코드를 업데이트해야 합니다.

    수정된 DNS 레코드 예

    <load_balancer_ip_address>  A  api.<cluster_name>.<base_domain>
    A record pointing to Load Balancer Front End
    Copy to Clipboard Toggle word wrap

    <load_balancer_ip_address>   A apps.<cluster_name>.<base_domain>
    A record pointing to Load Balancer Front End
    Copy to Clipboard Toggle word wrap
    중요

    DNS 전파는 각 DNS 레코드를 사용할 수 있을 때까지 약간의 시간이 걸릴 수 있습니다. 각 레코드를 검증하기 전에 각 DNS 레코드가 전파되는지 확인합니다.

  4. OpenShift Container Platform 클러스터가 사용자 관리 로드 밸런서를 사용하려면 클러스터의 install-config.yaml 파일에 다음 구성을 지정해야 합니다.

    # ...
    platform:
      baremetal:
        loadBalancer:
          type: UserManaged 
    1
    
        apiVIPs:
        - <api_ip> 
    2
    
        ingressVIPs:
        - <ingress_ip> 
    3
    
    # ...
    Copy to Clipboard Toggle word wrap
    1
    type 매개변수에 대해 UserManaged 를 설정하여 클러스터의 사용자 관리 로드 밸런서를 지정합니다. 매개변수의 기본값은 기본 내부 로드 밸런서를 나타내는 OpenShiftManagedDefault 입니다. openshift-kni-infra 네임스페이스에 정의된 서비스의 경우 사용자 관리 로드 밸런서는 coredns 서비스를 클러스터의 Pod에 배포할 수 있지만 keepalivedhaproxy 서비스를 무시합니다.
    2
    사용자 관리 로드 밸런서를 지정할 때 필수 매개변수입니다. Kubernetes API가 사용자 관리 로드 밸런서와 통신할 수 있도록 사용자 관리 로드 밸런서의 공용 IP 주소를 지정합니다.
    3
    사용자 관리 로드 밸런서를 지정할 때 필수 매개변수입니다. 사용자 관리 로드 밸런서에서 클러스터의 인그레스 트래픽을 관리할 수 있도록 사용자 관리 로드 밸런서의 공용 IP 주소를 지정합니다.

검증

  1. curl CLI 명령을 사용하여 사용자 관리 로드 밸런서 및 DNS 레코드 구성이 작동하는지 확인합니다.

    1. 다음 명령을 실행하고 출력을 관찰하여 클러스터 API에 액세스할 수 있는지 확인합니다.

      $ curl https://api.<cluster_name>.<base_domain>:6443/version --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 응답으로 JSON 오브젝트가 표시됩니다.

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
        }
      Copy to Clipboard Toggle word wrap
    2. 다음 명령을 실행하고 출력을 관찰하여 클러스터 머신 구성에 액세스할 수 있는지 확인합니다.

      $ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 200 OK
      Content-Length: 0
      Copy to Clipboard Toggle word wrap
    3. 다음 명령을 실행하고 출력을 관찰하여 포트의 각 클러스터 애플리케이션에 액세스할 수 있는지 확인합니다.

      $ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.<cluster-name>.<base domain>/
      cache-control: no-cacheHTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=39HoZgztDnzjJkq/JuLJMeoKNXlfiVv2YgZc09c3TBOBU4NI6kDXaJH1LdicNhN1UsQWzon4Dor9GWGfopaTEQ==; Path=/; Secure
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Tue, 17 Nov 2020 08:42:10 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=9b714eb87e93cf34853e87a92d6894be; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private
      Copy to Clipboard Toggle word wrap
    4. 다음 명령을 실행하고 출력을 관찰하여 포트 443에서 각 클러스터 애플리케이션에 액세스할 수 있는지 확인합니다.

      $ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure
      Copy to Clipboard Toggle word wrap

      구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private
      Copy to Clipboard Toggle word wrap

3.12. DHCP를 통해 클러스터 노드의 호스트 이름 설정

RHCOS(Red Hat Enterprise Linux CoreOS) 시스템에서 NetworkManager 는 호스트 이름을 설정합니다. 기본적으로 DHCP는 권장되는 방법인 NetworkManager 에 호스트 이름을 제공합니다. NetworkManager 는 다음과 같은 경우 역방향 DNS 조회를 통해 호스트 이름을 가져옵니다.

  • DHCP에서 호스트 이름을 제공하지 않는 경우
  • 커널 인수를 사용하여 호스트 이름을 설정하는 경우
  • 다른 방법을 사용하여 호스트 이름을 설정하는 경우

역방향 DNS 조회는 노드에서 네트워크를 초기화한 후 수행되며 NetworkManager 가 호스트 이름을 설정하는 데 걸리는 시간을 늘릴 수 있습니다. 다른 시스템 서비스는 NetworkManager 에서 호스트 이름을 설정하기 전에 시작하여 해당 서비스가 localhost 와 같은 기본 호스트 이름을 사용하도록 할 수 있습니다.

작은 정보

DHCP를 사용하여 각 클러스터 노드의 호스트 이름을 제공하여 호스트 이름을 설정하는 데 지연을 방지할 수 있습니다. 또한 DHCP를 통해 호스트 이름을 설정하면 DNS 분할 수평 구현 환경에서 수동으로 DNS 레코드 이름 구성 오류를 바이패스할 수 있습니다.

3.13. install-config.yaml 파일 구성

3.13.1. install-config.yaml 파일 구성

install-config.yaml 파일에는 몇 가지 추가 정보가 필요합니다. 대부분의 정보는 설치 프로그램과 결과 클러스터를 완전히 관리할 수 있는 하드웨어에 대해 충분히 알려줍니다.

참고

올바른 이미지가 릴리스 페이로드에 있으므로 설치 프로그램에 더 이상 clusterOSImage RHCOS 이미지가 필요하지 않습니다.

  1. install-config.yaml을 설정합니다. pullSecretsshKey 를 포함하여 환경과 일치하도록 적절한 변수를 변경합니다.

    apiVersion: v1
    baseDomain: <domain>
    metadata:
      name: <cluster_name>
    networking:
      machineNetwork:
      - cidr: <public_cidr>
      networkType: OVNKubernetes
    compute:
    - name: worker
      replicas: 2 
    1
    
    controlPlane:
      name: master
      replicas: 3
      platform:
        baremetal: {}
    platform:
      baremetal:
        apiVIPs:
          - <api_ip>
        ingressVIPs:
          - <wildcard_ip>
        provisioningNetworkCIDR: <CIDR>
        bootstrapExternalStaticIP: <bootstrap_static_ip_address> 
    2
    
        bootstrapExternalStaticGateway: <bootstrap_static_gateway> 
    3
    
        bootstrapExternalStaticDNS: <bootstrap_static_dns> 
    4
    
        hosts:
          - name: openshift-master-0
            role: master
            bmc:
              address: ipmi://<out_of_band_ip> 
    5
    
              username: <user>
              password: <password>
            bootMACAddress: <NIC1_mac_address>
            rootDeviceHints:
             deviceName: "<installation_disk_drive_path>" 
    6
    
          - name: <openshift_master_1>
            role: master
            bmc:
              address: ipmi://<out_of_band_ip>
              username: <user>
              password: <password>
            bootMACAddress: <NIC1_mac_address>
            rootDeviceHints:
             deviceName: "<installation_disk_drive_path>"
          - name: <openshift_master_2>
            role: master
            bmc:
              address: ipmi://<out_of_band_ip>
              username: <user>
              password: <password>
            bootMACAddress: <NIC1_mac_address>
            rootDeviceHints:
             deviceName: "<installation_disk_drive_path>"
          - name: <openshift_worker_0>
            role: worker
            bmc:
              address: ipmi://<out_of_band_ip>
              username: <user>
              password: <password>
            bootMACAddress: <NIC1_mac_address>
          - name: <openshift_worker_1>
            role: worker
            bmc:
              address: ipmi://<out_of_band_ip>
              username: <user>
              password: <password>
            bootMACAddress: <NIC1_mac_address>
            rootDeviceHints:
             deviceName: "<installation_disk_drive_path>"
    pullSecret: '<pull_secret>'
    sshKey: '<ssh_pub_key>'
    Copy to Clipboard Toggle word wrap
    1
    OpenShift Container Platform 클러스터의 일부인 컴퓨팅 노드 수를 기반으로 컴퓨팅 머신을 확장합니다. replicas 값에 유효한 옵션은 02 보다 크거나 같은 정수입니다. 복제본 수를 0 으로 설정하여 3개의 컨트롤 플레인 시스템만 포함하는 3-노드 클러스터를 배포합니다. 3-노드 클러스터는 테스트, 개발 및 프로덕션에 사용할 수 있는 더 작고 리소스 효율이 높은 클러스터입니다. 컴퓨팅 노드가 하나뿐인 클러스터를 설치할 수 없습니다.
    2
    고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우 부트스트랩 VM의 고정 IP 주소를 지정하도록 bootstrapExternalStaticIP 구성 설정을 설정해야 합니다.
    3
    고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우 부트스트랩ExternalStaticGateway 구성 설정을 설정하여 부트스트랩 VM의 게이트웨이 IP 주소를 지정해야 합니다.
    4
    고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우 부트스트랩 VM의 DNS 주소를 지정하도록 bootstrapExternalStaticDNS 구성 설정을 설정해야 합니다.
    5
    자세한 옵션은 BMC 주소 지정 섹션을 참조하십시오.
    6
    설치 디스크 드라이브의 경로를 설정하려면 디스크의 커널 이름을 입력합니다. 예: /dev/sda.
    중요

    디스크 검색 순서가 보장되지 않으므로 디스크의 커널 이름은 여러 디스크가 있는 시스템의 부팅 옵션 간에 변경될 수 있습니다. 예를 들어 /dev/sda/dev/sdb 가 되고 그 반대의 경우도 마찬가지입니다. 이 문제를 방지하려면 WWN(World Wide Name) 또는 /dev/disk/by-path/ 디스크와 같은 영구 디스크 속성을 사용해야 합니다. 스토리지 위치에 /dev/disk/by-path/<device_path > 링크를 사용하는 것이 좋습니다. 디스크 WWN을 사용하려면 deviceName 매개변수를 wwnWithExtension 매개변수로 바꿉니다. 사용하는 매개변수에 따라 다음 값 중 하나를 입력합니다.

    • 디스크 이름입니다. 예를 들어 /dev/sda 또는 /dev/disk/by-path/.
    • 디스크 WWN. 예를 들어 "0x64cd98fde100024684cf3034da5c2" 입니다. 16진수 값이 아닌 문자열 값으로 사용되도록 디스크 WWN 값을 따옴표 내에 입력해야 합니다.

    rootDeviceHints 매개변수에 대한 이러한 요구 사항을 충족하지 않으면 다음과 같은 오류가 발생할 수 있습니다.

    ironic-inspector inspection failed: No disks satisfied root device hints
    Copy to Clipboard Toggle word wrap
    참고

    OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서 apiVIPingressVIP 구성 설정에 대해 IPv4 주소 또는 IPv6 주소만 허용했습니다. OpenShift Container Platform 4.12 이상에서는 이러한 구성 설정이 더 이상 사용되지 않습니다. 대신 apiVIPsingressVIPs 구성 설정에서 목록 형식을 사용하여 IPv4 주소, IPv6 주소 또는 두 IP 주소 형식을 모두 지정합니다.

  2. 클러스터 구성을 저장할 디렉터리를 생성합니다.

    $ mkdir ~/clusterconfigs
    Copy to Clipboard Toggle word wrap
  3. install-config.yaml 파일을 새 디렉터리에 복사합니다.

    $ cp install-config.yaml ~/clusterconfigs
    Copy to Clipboard Toggle word wrap
  4. OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼졌는지 확인합니다.

    $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off
    Copy to Clipboard Toggle word wrap
  5. 이전 배포에서 남은 경우 이전 부트스트랩 리소스를 제거합니다.

    for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
    do
      sudo virsh destroy $i;
      sudo virsh undefine $i;
      sudo virsh vol-delete $i --pool $i;
      sudo virsh vol-delete $i.ign --pool $i;
      sudo virsh pool-destroy $i;
      sudo virsh pool-undefine $i;
    done
    Copy to Clipboard Toggle word wrap

3.13.2. 추가 install-config 매개 변수

install-config.yaml 파일의 필수 매개 변수 hosts 매개 변수 및 bmc 매개 변수는 다음 표를 참조하십시오.

Expand
표 3.1. 필수 매개 변수
매개 변수기본설명

baseDomain

 

클러스터의 도메인 이름입니다. 예: example.com

bootMode

UEFI

노드의 부팅 모드입니다. 옵션은 legacy, UEFIUEFISecureBoot입니다. bootMode가 설정되지 않은 경우 Ironic은 노드를 검사하는 동안 해당 노드를 설정합니다.

bootstrapExternalStaticDNS

 

부트스트랩 노드의 정적 네트워크 DNS입니다. 베어 메탈 네트워크에 DHCP(Dynamic Host Configuration Protocol) 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다. 이 값을 설정하지 않으면 설치 프로그램은 bootstrapExternalStaticGateway 의 값을 사용하므로 게이트웨이 및 DNS의 IP 주소 값이 다를 때 문제가 발생합니다.

bootstrapExternalStaticIP

 

부트스트랩 VM의 고정 IP 주소입니다. 베어 메탈 네트워크에 DHCP 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다.

bootstrapExternalStaticGateway

 

부트스트랩 VM에 대한 게이트웨이의 고정 IP 주소입니다. 베어 메탈 네트워크에 DHCP 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다.

sshKey

 

sshKey 구성 설정에는 컨트롤 플레인 노드 및 컴퓨팅 노드에 액세스하는 데 필요한 ~/.ssh/id_rsa.pub 파일의 키가 포함되어 있습니다. 일반적으로 이 키는 provisioner 노드에서 가져옵니다.

pullSecret

 

pullSecret 구성 설정에는 프로비저너 노드를 준비할 때 Install OpenShift on Bare Metal 페이지에서 다운로드한 풀 시크릿 사본이 포함되어 있습니다.

metadata:
    name:
Copy to Clipboard Toggle word wrap
 

OpenShift Container Platform 클러스터에 지정되는 이름입니다. 예: openshift

networking:
    machineNetwork:
    - cidr:
Copy to Clipboard Toggle word wrap
 

외부 네트워크의 공개 CIDR (Classless Inter-Domain Routing)입니다. 예: 10.0.0.0/24

compute:
  - name: worker
Copy to Clipboard Toggle word wrap
 

OpenShift Container Platform 클러스터에는 노드가 없는 경우에도 컴퓨팅 노드에 이름을 제공해야 합니다.

compute:
    replicas: 2
Copy to Clipboard Toggle word wrap
 

replicas는 OpenShift Container Platform 클러스터의 컴퓨팅 노드 수를 설정합니다.

controlPlane:
    name: master
Copy to Clipboard Toggle word wrap
 

OpenShift Container Platform 클러스터에는 컨트롤 플레인 노드의 이름이 필요합니다.

controlPlane:
    replicas: 3
Copy to Clipboard Toggle word wrap
 

replicas는 OpenShift Container Platform 클러스터의 일부로 포함된 컨트롤 플레인 노드 수를 설정합니다.

provisioningNetworkInterface

 

provisioning 네트워크에 연결된 노드의 네트워크 인터페이스 이름입니다. OpenShift Container Platform 4.9 이상 릴리스의 경우 bootMACAddress 구성 설정을 사용하여 Ironic에서 provisioningNetworkInterface 구성 설정을 사용하여 NIC 이름을 식별하는 대신 NIC의 IP 주소를 식별할 수 있습니다.

defaultMachinePlatform

 

플랫폼 구성없이 머신 풀에 사용되는 기본 설정입니다.

apiVIPs

 

(선택 사항) Kubernetes API 통신의 가상 IP 주소입니다.

기본 이름이 올바르게 확인되도록 install-config.yaml 파일에서 MachineNetwork 매개변수에서 예약된 IP로 이 설정을 제공하거나 DNS에서 사전 구성해야 합니다. install-config.yaml 파일의 apiVIPs 구성 설정에 값을 추가할 때 FQDN이 아닌 가상 IP 주소를 사용합니다. 듀얼 스택 네트워킹의 경우 기본 IP 주소는 IPv4 네트워크 또는 IPv6 네트워크일 수 있습니다. 설정되지 않은 경우 설치 프로그램은 api.<cluster_name>.<base_domain >을 사용하여 DNS에서 IP 주소를 파생합니다.

참고

OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서 apiVIP 구성 설정에 대해 IPv4 주소 또는 IPv6 주소만 허용했습니다. OpenShift Container Platform 4.12 이상에서는 apiVIP 구성 설정이 더 이상 사용되지 않습니다. 대신 apiVIPs 구성 설정에 목록 형식을 사용하여 IPv4 주소, IPv6 주소 또는 두 IP 주소 형식을 모두 지정합니다.

disableCertificateVerification

False

redfishredfish-virtualmedia 는 BMC 주소를 관리하기 위해 이 매개 변수가 필요합니다. BMC 주소에 자체 서명된 인증서를 사용하는 경우 값은 True 여야합니다.

ingressVIPs

 

(선택 사항) Ingress 트래픽의 가상 IP 주소입니다.

기본 이름이 올바르게 확인되도록 install-config.yaml 파일에서 MachineNetwork 매개변수에서 예약된 IP로 이 설정을 제공하거나 DNS에서 사전 구성해야 합니다. install-config.yaml 파일의 ingressVIPs 구성 설정에 값을 추가할 때 FQDN이 아닌 가상 IP 주소를 사용합니다. 듀얼 스택 네트워킹의 경우 기본 IP 주소는 IPv4 네트워크 또는 IPv6 네트워크일 수 있습니다. 설정되지 않은 경우 설치 프로그램은 test.apps.<cluster_name>.<base_domain >을 사용하여 DNS에서 IP 주소를 파생합니다.

참고

OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서 ingressVIP 구성 설정에 대해 IPv4 주소 또는 IPv6 주소만 허용했습니다. OpenShift Container Platform 4.12 이상에서는 ingressVIP 구성 설정이 더 이상 사용되지 않습니다. 대신 ingressVIPs 구성 설정에 목록 형식을 사용하여 IPv4 주소, IPv6 주소 또는 두 IP 주소 형식을 모두 지정합니다.

Expand
표 3.2. 선택적 매개변수
매개 변수기본설명

provisioningDHCPRange

172.22.0.10,172.22.0.100

provisioning 네트워크에서 노드의 IP 범위를 정의합니다.

provisioningNetworkCIDR

172.22.0.0/24

프로비저닝에 사용할 네트워크의 CIDR입니다. 이 옵션은 provisioning 네트워크에서 기본 주소 범위를 사용하지 않는 경우 필요합니다.

clusterProvisioningIP

provisioningNetworkCIDR의 세 번째 IP 주소입니다.

프로비저닝 서비스가 실행되는 클러스터 내의 IP 주소입니다. 기본값은 provisioning 서브넷의 세 번째 IP 주소입니다. 예: 172.22.0.3

bootstrapProvisioningIP

provisioningNetworkCIDR의 두 번째 IP 주소입니다.

설치 프로그램이 컨트롤 플레인 (마스터) 노드를 배포하는 동안 프로비저닝 서비스가 실행되는 부트스트랩 VM의 IP 주소입니다. 기본값은 provisioning 서브넷의 두 번째 IP 주소입니다. 예를 들면 172.22.0.2 또는 2620:52:0:1307::2 입니다.

externalBridge

baremetal

베어 메탈 네트워크에 연결된 하이퍼바이저의 베어 메탈 브리지의 이름입니다.

provisioningBridge

provisioning

provisioning 네트워크에 연결된 provisioner 호스트의 provisioning 브리지 이름입니다.

architecture

 

클러스터의 호스트 아키텍처를 정의합니다. 유효한 값은 amd64 또는 arm64 입니다.

defaultMachinePlatform

 

플랫폼 구성없이 머신 풀에 사용되는 기본 설정입니다.

bootstrapOSImage

 

부트스트랩 노드의 기본 운영 체제 이미지를 재정의하는 URL입니다. URL에는 이미지의 SHA-256 해시가 포함되어 있어야합니다. 예: https://mirror.openshift.com/rhcos-<version>-qemu.qcow2.gz?sha256=<uncompressed_sha256 > .

provisioningNetwork

 

provisioningNetwork 구성 설정은 클러스터가 provisioning 네트워크를 사용하는지 여부를 결정합니다. 이 경우 구성 설정에서 클러스터가 네트워크를 관리하는지 여부도 결정합니다.

disabled: provisioning 네트워크의 요구 사항을 비활성화하려면 이 매개변수를 Disabled 로 설정합니다. Disabled 로 설정하면 가상 미디어 기반 프로비저닝만 사용하거나 지원 설치 프로그램을 사용하여 클러스터를 가져와야 합니다. Disabled 이고 전원 관리를 사용하는 경우 베어 메탈 네트워크에서 BMC에 액세스할 수 있어야 합니다. Disabled 인 경우 provisioning 서비스에 사용되는 베어 메탈 네트워크에 두 개의 IP 주소를 제공해야 합니다.

Managed: DHCP, TFTP 등을 포함하여 프로비저닝 네트워크를 완전히 관리하려면 이 매개 변수를 기본값인 Managed 로 설정합니다.

Unmanaged: 이 매개 변수를 Unmanaged 로 설정하여 프로비저닝 네트워크를 활성화하지만 DHCP를 수동으로 설정합니다. 가상 미디어의 프로비저닝이 권장되지만 필요한 경우 PXE를 계속 사용할 수 있습니다.

httpProxy

 

이 매개 변수를 환경 내에서 사용되는 적절한 HTTP 프록시로 설정합니다.

httpsProxy

 

이 매개 변수를 환경 내에서 사용되는 적절한 HTTPS 프록시로 설정합니다.

noProxy

 

이 매개 변수를 환경 내 프록시 사용에 대한 적절한 예외 목록으로 설정합니다.

3.13.2.1. 호스트

hosts 매개 변수는 클러스터를 빌드하는 데 사용되는 별도의 베어 메탈 자산 목록입니다.

Expand
표 3.3. 호스트
이름기본설명

name

 

세부 정보와 연결할 BareMetalHost 리소스의 이름입니다. 예: openshift-master-0

role

 

베어 메탈 노드의 역할입니다. 마스터 (컨트롤 플레인 노드) 또는 작업자 (컴퓨팅 노드) 중 하나입니다.

bmc

 

베이스 보드 관리 컨트롤러에 대한 연결 세부 정보입니다. 자세한 내용은 BMC 주소 지정 섹션을 참조하십시오.

bootMACAddress

 

호스트가 provisioning 네트워크에 사용하는 NIC의 MAC 주소입니다. ironic은 bootMACAddress 구성 설정을 사용하여 IP 주소를 검색합니다. 그러면 호스트에 바인딩됩니다.

참고

provisioning 네트워크를 비활성화한 경우 호스트에서 유효한 MAC 주소를 제공해야 합니다.

networkConfig

 

이 선택적 매개 변수를 설정하여 호스트의 네트워크 인터페이스를 구성합니다. 자세한 내용은 "(선택 사항) 호스트 네트워크 인터페이스 구성을 참조하십시오.

3.13.3. BMC 주소 지정

대부분의 벤더는 IPMI(Intelligent Platform Management Interface)를 사용하여 BMC(Baseboard Management Controller) 주소 지정을 지원합니다. IPMI는 통신을 암호화하지 않습니다. 보안 또는 전용 관리 네트워크를 통해 데이터 센터 내에서 사용하기에 적합합니다. 공급 업체에 문의하여 Redfish 네트워크 부팅을 지원하는지 확인합니다. Redfish는 통합, 하이브리드 IT 및 소프트웨어 정의 데이터 센터 (SDDC)를 위한 간편한 보안 관리 기능을 제공합니다. Redfish는 사람이 읽을 수 있고 머신을 사용할 수 있으며 일반적인 인터넷 및 웹 서비스 표준을 활용하여 최신 툴 체인에 직접 정보를 노출합니다. 하드웨어에서 Redfish 네트워크 부팅을 지원하지 않는 경우 IPMI를 사용합니다.

노드가 Registering 상태인 동안 설치 중에 BMC 주소를 수정할 수 있습니다. 노드가 Registering 상태를 벗어나면 BMC 주소를 수정해야 하는 경우 Ironic에서 노드의 연결을 해제하고 BareMetalHost 리소스를 편집하고 노드를 Ironic에 다시 연결해야 합니다. 자세한 내용은 BareMetalHost 리소스 편집 섹션을 참조하십시오.

3.13.3.1. IPMI

IPMI를 사용하는 호스트는 ipmi://<out-of-band-ip>:<port> 주소 형식을 사용하며 지정되지 않은 경우 기본적으로 포트 623으로 설정됩니다. 다음 예제는 install-config.yaml 파일 내의 IPMI 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: ipmi://<out-of-band-ip>
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap
중요

BMC 주소 지정에 IPMI를 사용하여 PXE 부팅 시 provisioning 네트워크가 필요합니다. provisioning 네트워크없이 PXE 부팅 호스트를 사용할 수 없습니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다. 자세한 내용은 "HPE iLO용 BMC 주소 지정" 섹션의 "HPE iLO용 Redfish 가상 미디어" 또는 "Dell iDRAC용 BMC 주소 지정" 섹션의 "Dell iDRAC용 Redfish 가상 미디어"를 참조하십시오.

3.13.3.2. Redfish 네트워크 부팅

Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap

3.13.4. Redfish API 지원 확인

Redfish API를 사용하여 설치할 때 설치 프로그램은 베어 메탈에서 설치 관리자 프로비저닝 인프라를 사용할 때 BMC(Baseboard Management Controller)에서 여러 Redfish 끝점을 호출합니다. Redfish를 사용하는 경우 설치 전에 BMC가 모든 Redfish API를 지원하는지 확인합니다.

프로세스

  1. 다음 명령을 실행하여 BMC의 IP 주소 또는 호스트 이름을 설정합니다.

    $ export SERVER=<ip_address> 
    1
    Copy to Clipboard Toggle word wrap
    1
    & lt;ip_address& gt;를 BMC의 IP 주소 또는 호스트 이름으로 바꿉니다.
  2. 다음 명령을 실행하여 시스템의 ID를 설정합니다.

    $ export SystemID=<system_id> 
    1
    Copy to Clipboard Toggle word wrap
    1
    &lt ;system_id&gt;를 시스템 ID로 바꿉니다. 예를 들어 System.Embedded.1 또는 1. 자세한 내용은 다음 벤더별 BMC 섹션을 참조하십시오.

Redfish API 목록

  1. 다음 명령을 실행하여 지원 전원을 켭니다.

    $ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "On"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset
    Copy to Clipboard Toggle word wrap
  2. 다음 명령을 실행하여 전원 지원을 확인합니다.

    $ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "ForceOff"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset
    Copy to Clipboard Toggle word wrap
  3. 다음 명령을 실행하여 pxe 를 사용하는 임시 부팅 구현을 확인합니다.

    $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>"  https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "pxe", "BootSourceOverrideEnabled": "Once"}}
    Copy to Clipboard Toggle word wrap
  4. 다음 명령을 실행하여 레거시 또는 UEFI 를 사용하는 펌웨어 부팅 모드를 설정하는 상태를 확인합니다.

    $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>"  https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideMode":"UEFI"}}
    Copy to Clipboard Toggle word wrap

Redfish 가상 미디어 API 목록

  1. 다음 명령을 실행하여 cd 또는 dvd 를 사용하는 임시 부팅 장치를 설정하는 기능을 확인합니다.

    $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "cd", "BootSourceOverrideEnabled": "Once"}}'
    Copy to Clipboard Toggle word wrap
  2. 가상 미디어는 하드웨어에 따라 POST 또는 PATCH 를 사용할 수 있습니다. 다음 명령 중 하나를 실행하여 가상 미디어를 마운트하는 기능을 확인합니다.

    $ curl -u $USER:$PASS -X POST -H "Content-Type: application/json" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'
    Copy to Clipboard Toggle word wrap
    $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'
    Copy to Clipboard Toggle word wrap
참고

Redfish API의 PowerOnPowerOff 명령은 Redfish 가상 미디어 API와 동일합니다. 일부 하드웨어에서는 Managers/$ManagerID 대신 Systems/$SystemID 아래의 VirtualMedia 리소스만 찾을 수 있습니다. VirtualMedia 리소스의 경우 UserNamePassword 필드는 선택 사항입니다.

중요

HTTPSHTTPTransferProtocolTypes 에서 지원되는 유일한 매개변수 유형입니다.

3.13.5. Dell iDRAC용 BMC 주소 지정

bmc 항목의 주소 구성 설정은 URL 체계의 컨트롤러 유형과 네트워크의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다. 각 bmc 항목의 사용자 이름 구성은 Administrator 권한이 있는 사용자를 지정해야 합니다.

platform:
  baremetal:
    hosts:
      - name: <hostname>
        role: <master | worker>
        bmc:
          address: <address> 
1

          username: <user> 
2

          password: <password>
Copy to Clipboard Toggle word wrap
1
address 구성 설정은 프로토콜을 지정합니다.
2
사용자 이름 구성 설정은 관리자 권한이 있는 사용자를 지정해야 합니다.

Dell 하드웨어의 경우 Red Hat은 통합 iDRAC(Dell Remote Access Controller) 가상 미디어, Redfish 네트워크 부팅 및 IPMI를 지원합니다.

3.13.5.1. Dell iDRAC의 BMC 주소 형식
Expand
프로토콜주소 형식

iDRAC 가상 미디어

idrac-virtualmedia://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1

Redfish 네트워크 부팅

redfish://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1

IPMI

ipmi://<out_of_band_ip>

중요

Redfish 가상 미디어의 프로토콜로 idrac-virtualmedia를 사용합니다. redfish-virtualmedia는 Dell 하드웨어에서 작동하지 않습니다. Dell의 idrac-virtualmedia는 Dell의 OEM 확장 기능과 함께 Redfish 표준을 사용합니다.

자세한 내용은 다음 섹션을 참조하십시오.

3.13.5.2. Dell iDRAC 용 Redfish 가상 미디어

Dell 서버의 Redfish 가상 미디어의 경우 address 설정에서 idrac-virtualmedia://를 사용합니다. redfish-virtualmedia://를 사용하는 것은 작동하지 않습니다.

참고

idrac-virtualmedia://를 Redfish 가상 미디어의 프로토콜로 사용합니다. idrac -virtualmedia:// 프로토콜은 Ironic의 idrac 하드웨어 유형 및 Redfish 프로토콜에 해당하므로 redfish-virtualmedia://를 사용하면 Dell 하드웨어에서 작동하지 않습니다. Dell의 idrac-virtualmedia:// 프로토콜은 Dell의 OEM 확장에 Redfish 표준을 사용합니다. Ironic은 WSMAN 프로토콜로 idrac 유형도 지원합니다. 따라서 Dell 하드웨어에서 가상 미디어와 함께 Redfish를 사용하도록 선택할 때 예기치 않은 동작을 방지하려면 idrac-virtualmedia://를 지정해야 합니다.

다음 예는 install-config.yaml 파일 내에서 iDRAC 가상 미디어를 사용하는 방법을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: idrac-virtualmedia://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다.

참고

OpenShift Container Platform 클러스터 노드에 iDRAC 콘솔을 통해 AutoAttach 가 활성화되어 있는지 확인합니다. 메뉴 경로는 구성가상 미디어연결 모드자동 연결 입니다.

다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: idrac-virtualmedia://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap
3.13.5.3. iDRAC 용 Redfish 네트워크 부팅

Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS(transport layer security)를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관 인증서를 사용하는 것이 좋지만 자체 서명된 인증서를 사용하는 경우 bmc 구성에 disableCertificateVerification:True 를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out_of_band_ip>/redfish/v1/Systems/System.Embedded.1
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap
참고

펌웨어 버전 04.40.00.00 이 있는 Dell iDRAC 9에는 알려진 문제가 있으며 베어 메탈 배포 시 설치 관리자 프로비저닝 설치를 위한 5.xx 시리즈를 포함한 모든 릴리스가 있습니다. 가상 콘솔 플러그인은 기본적으로 eHTML5로 설정되어 InsertVirtualMedia 워크플로에 문제가 발생하는 향상된 HTML5 버전입니다. 이 문제를 방지하려면 플러그인을 HTML5를 사용하도록 설정합니다. 메뉴 경로는 구성가상 콘솔플러그인 유형HTML5 입니다.

OpenShift Container Platform 클러스터 노드에 iDRAC 콘솔을 통해 AutoAttach 가 활성화되어 있는지 확인합니다. 메뉴 경로는 구성가상 미디어연결 모드자동 연결입니다 .

3.13.6. HPE iLO용 BMC 주소 지정

bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.

platform:
  baremetal:
    hosts:
      - name: <hostname>
        role: <master | worker>
        bmc:
          address: <address> 
1

          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap
1
address 구성 설정은 프로토콜을 지정합니다.

HPE iLO(integrated Lights Out)의 경우 Red Hat은 Redfish 가상 미디어, Redfish 네트워크 부팅 및 IPMI를 지원합니다.

Expand
표 3.4. HPE iLO의 BMC 주소 형식
프로토콜주소 형식

RedFish 가상 미디어

redfish-virtualmedia://<out-of-band-ip>/redfish/v1/Systems/1

Redfish 네트워크 부팅

redfish://<out-of-band-ip>/redfish/v1/Systems/1

IPMI

ipmi://<out-of-band-ip>

자세한 내용은 다음 섹션을 참조하십시오.

3.13.6.1. HPE iLO용 Redfish 가상 미디어

HPE 서버용 Redfish 가상 미디어를 활성화하려면 address 설정에서 redfish-virtualmedia://를 사용합니다. 다음 예제는 install-config.yaml 파일 내에서 Redfish 가상 미디어를 사용하는 방법을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish-virtualmedia://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish-virtualmedia://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap
참고

Ironic은 가상 미디어에서 iLO4를 지원하지 않으므로 iLO4를 실행하는 9세대 시스템에서 Redfish 가상 미디어가 지원되지 않습니다.

3.13.6.2. HPE iLO용 Redfish 네트워크 부팅

Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish://<out-of-band-ip>/redfish/v1/Systems/1
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap

3.13.7. Fujitsu iRMC용 BMC 주소 지정

bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.

platform:
  baremetal:
    hosts:
      - name: <hostname>
        role: <master | worker>
        bmc:
          address: <address> 
1

          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap
1
address 구성 설정은 프로토콜을 지정합니다.

Fujitsu 하드웨어의 경우 Red Hat은 통합된 iRMC(Remote Management Controller) 및 IPMI를 지원합니다.

Expand
표 3.5. Fujitsu iRMC의 BMC 주소 형식
프로토콜주소 형식

iRMC

irmc://<out-of-band-ip>

IPMI

ipmi://<out-of-band-ip>

iRMC

Fujitsu 노드는 irmc://<out-of-band-ip>를 사용할 수 있으며 기본값은 포트 443 입니다. 다음 예제는 install-config.yaml 파일 내의 iRMC 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: irmc://<out-of-band-ip>
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap
참고

현재 Fujitsu는 베어 메탈에 설치 관리자 프로비저닝 설치를 위해 iRMC S5 펌웨어 버전 3.05P 이상을 지원합니다.

3.13.8. Cisco CIMC용 BMC 주소 지정

bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.

platform:
  baremetal:
    hosts:
      - name: <hostname>
        role: <master | worker>
        bmc:
          address: <address> 
1

          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap
1
address 구성 설정은 프로토콜을 지정합니다.

Cisco UCSX-210C-M6 하드웨어의 경우 Red Hat은 Cisco CIMC(Integrated Management Controller)를 지원합니다.

Expand
표 3.6. Cisco CIMC의 BMC 주소 형식
프로토콜주소 형식

RedFish 가상 미디어

redfish-virtualmedia://<server_kvm_ip>/redfish/v1/Systems/<serial_number>

Cisco UCSX-210C-M6 하드웨어에 Redfish 가상 미디어를 활성화하려면 address 설정에서 redfish-virtualmedia:// 를 사용합니다. 다음 예제는 install-config.yaml 파일 내에서 Redfish 가상 미디어를 사용하는 방법을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish-virtualmedia://<server_kvm_ip>/redfish/v1/Systems/<serial_number>
          username: <user>
          password: <password>
Copy to Clipboard Toggle word wrap

대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내에서 disableCertificateVerification:True 설정 매개 변수를 사용하여 Redfish 설정을 보여줍니다.

platform:
  baremetal:
    hosts:
      - name: openshift-master-0
        role: master
        bmc:
          address: redfish-virtualmedia://<server_kvm_ip>/redfish/v1/Systems/<serial_number>
          username: <user>
          password: <password>
          disableCertificateVerification: True
Copy to Clipboard Toggle word wrap

3.13.9. 루트 장치 팁

rootDeviceHints 매개 변수를 사용하면 설치 프로그램이 RHCOS (Red Hat Enterprise Linux CoreOS) 이미지를 특정 장치에 프로비저닝할 수 있습니다. 설치 프로그램은 장치를 검색한 순서대로 검사하고 검색된 값을 팁과 비교합니다. 설치 프로그램은 팁과 일치하는 첫 번째 검색된 장치를 사용합니다. 이 설정은 여러 팁을 결합할 수 있지만 장치는 설치 프로그램이이를 선택할 수 있도록 모든 팁과 일치해야 합니다.

Expand
표 3.7. 서브 필드
서브 필드설명

deviceName

Linux 장치 이름(예: /dev/vda 또는 /dev/disk/by-path/ )이 포함된 문자열입니다.

참고

스토리지 위치에 /dev/disk/by-path/<device_path > 링크를 사용하는 것이 좋습니다.

팁은 실제 값과 정확히 일치해야 합니다.

hctl

0:0:0:0과 같은 SCSI 버스 주소를 포함하는 문자열. 팁은 실제 값과 정확히 일치해야 합니다.

model

공급 업체별 장치 식별자가 포함된 문자열. 팁은 실제 값의 하위 문자열입니다.

vendor

장치의 공급 업체 또는 제조업체 이름이 포함된 문자열입니다. 팁은 실제 값의 하위 문자열입니다.

serialNumber

장치 일련 번호가 포함된 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다.

minSizeGigabytes

장치의 최소 크기 (기가 바이트)를 나타내는 정수입니다.

wwn

고유 저장소 식별자를 포함하는 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다.

wwnWithExtension

공급 업체 확장이 추가된 고유 한 저장소 식별자가 포함된 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다.

wwnVendorExtension

고유 공급 업체 저장소 식별자를 포함하는 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다.

rotational

장치가 회전 디스크 여야하는지 (true) 아닌지 (false)를 나타내는 부울 값입니다.

사용 예

     - name: master-0
       role: master
       bmc:
         address: ipmi://10.10.0.3:6203
         username: admin
         password: redhat
       bootMACAddress: de:ad:be:ef:00:40
       rootDeviceHints:
         deviceName: "/dev/sda"
Copy to Clipboard Toggle word wrap

3.13.10. 선택 사항: 프록시 설정

프록시를 사용하여 OpenShift Container Platform 클러스터를 배포하려면 install-config.yaml 파일을 다음과 같이 변경합니다.

apiVersion: v1
baseDomain: <domain>
proxy:
  httpProxy: http://USERNAME:PASSWORD@proxy.example.com:PORT
  httpsProxy: https://USERNAME:PASSWORD@proxy.example.com:PORT
  noProxy: <WILDCARD_OF_DOMAIN>,<PROVISIONING_NETWORK/CIDR>,<BMC_ADDRESS_RANGE/CIDR>
Copy to Clipboard Toggle word wrap

다음은 값을 포함하는 noProxy의 예입니다.

noProxy: .example.com,172.22.0.0/24,10.10.0.0/24
Copy to Clipboard Toggle word wrap

프록시가 활성화된 상태에서 해당 키 / 값 쌍에 적절한 프록시 값을 설정합니다.

주요 고려 사항:

  • 프록시에 HTTPS 프록시가 없는 경우 httpsProxy 값을 https://에서 http://로 변경합니다.
  • 프로비저닝 네트워크를 사용하는 경우 이를 noProxy 설정에 포함하십시오. 그렇지 않으면 설치 프로그램이 실패합니다.
  • 모든 프록시 설정을 프로버저너 노드 내에서 환경 변수로 설정합니다. 예를 들어, HTTP_PROXY, https_proxy, NO_PROXY가 포함됩니다.
참고

IPv6로 프로비저닝할 때 noProxy 설정에서 CIDR 주소 블록을 정의할 수 없습니다. 각 주소를 별도로 정의해야 합니다.

3.13.11. 선택 사항: provisioning 네트워크없이 배포

provisioning 네트워크없이 OpenShift Container Platform 클러스터를 배포하려면 install-config.yaml 파일을 다음과 같이 변경하십시오.

platform:
  baremetal:
    apiVIPs:
      - <api_VIP>
    ingressVIPs:
      - <ingress_VIP>
    provisioningNetwork: "Disabled" 
1
Copy to Clipboard Toggle word wrap
1
필요한 경우 provisioningNetwork 구성 설정을 추가하고 Disabled 로 설정합니다.
중요

provisioning 네트워크는 PXE 부팅에 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다. 자세한 내용은 "HPE iLO용 BMC 주소 지정" 섹션의 "HPE iLO용 Redfish 가상 미디어" 또는 "Dell iDRAC용 BMC 주소 지정" 섹션의 "Dell iDRAC용 Redfish 가상 미디어"를 참조하십시오.

3.13.12. 듀얼 스택 네트워킹을 사용하여 IP 주소 지정 배포

부트스트랩 가상 머신(VM)의 듀얼 스택 네트워킹을 사용하여 IP 주소 지정을 배포할 때 부트스트랩 VM은 단일 IP 버전으로 작동합니다.

참고

다음 예제는 DHCP용입니다. DHCP 기반 듀얼 스택 클러스터는 1일 차부터 각각 하나의 IPv4 및 하나의 IPv6 가상 IP 주소(VIP)를 사용하여 배포할 수 있습니다.

고정 IP 주소로 클러스터를 배포하려면 부트스트랩 VM, API 및 Ingress VIP의 IP 주소를 구성해야 합니다. install-config 에 설정된 고정 IP를 사용하여 듀얼 스택을 구성하려면 API 및 수신에 각각 하나의 VIP가 필요합니다. 배포 후 보조 VIP를 추가합니다.

OpenShift Container Platform 클러스터의 듀얼 스택 네트워킹의 경우 클러스터 노드에 대해 IPv4 및 IPv6 주소 끝점을 구성할 수 있습니다. 클러스터 노드에 대한 IPv4 및 IPv6 주소 끝점을 구성하려면 install-config.yaml 파일에서 machineNetwork,clusterNetworkserviceNetwork 구성 설정을 편집합니다. 각 설정에는 각각 두 개의 CIDR 항목이 있어야 합니다. IPv4 제품군을 기본 주소 제품군으로 사용하는 클러스터의 경우 먼저 IPv4 설정을 지정합니다. IPv6 제품군을 기본 주소 제품군으로 사용하는 클러스터의 경우 먼저 IPv6 설정을 지정합니다.

클러스터 노드의 IPv4 및 IPv6 주소 끝점을 포함하는 NMState YAML 구성 파일의 예

machineNetwork:
- cidr: {{ extcidrnet }}
- cidr: {{ extcidrnet6 }}
clusterNetwork:
- cidr: 10.128.0.0/14
  hostPrefix: 23
- cidr: fd02::/48
  hostPrefix: 64
serviceNetwork:
- 172.30.0.0/16
- fd03::/112
Copy to Clipboard Toggle word wrap

중요

베어 메탈 플랫폼의 install-config.yaml 파일의 networkConfig 섹션에 NMState 구성을 지정한 경우 interfaces.wait-ip: ipv4+ipv6 을 NMState YAML 파일에 추가하여 클러스터가 듀얼 스택 네트워크에 배포되지 않도록 하는 문제를 해결합니다.

wait-ip 매개변수를 포함하는 NMState YAML 구성 파일의 예

networkConfig:
  nmstate:
    interfaces:
    - name: <interface_name>
# ...
      wait-ip: ipv4+ipv6
# ...
Copy to Clipboard Toggle word wrap

IPv4 및 IPv6 주소를 사용하는 애플리케이션의 클러스터에 인터페이스를 제공하려면 Ingress VIP 및 API VIP 서비스에 대한 IPv4 및 IPv6 가상 IP(VIP) 주소 끝점을 구성합니다. IPv4 및 IPv6 주소 끝점을 구성하려면 install-config.yaml 파일에서 apiVIPsingressVIPs 구성 설정을 편집합니다. apiVIPsingressVIPs 구성 설정은 목록 형식을 사용합니다. 목록 순서는 각 서비스의 기본 및 보조 VIP 주소를 나타냅니다.

platform:
  baremetal:
    apiVIPs:
      - <api_ipv4>
      - <api_ipv6>
    ingressVIPs:
      - <wildcard_ipv4>
      - <wildcard_ipv6>
Copy to Clipboard Toggle word wrap
참고

듀얼 스택 네트워킹 구성이 있는 클러스터의 경우 IPv4 및 IPv6 주소를 동일한 인터페이스에 할당해야 합니다.

3.13.13. 선택 사항: 호스트 네트워크 인터페이스 구성

설치하기 전에 install-config.yaml 파일에서 networkConfig 구성 설정을 설정하여 NMState를 사용하여 호스트 네트워크 인터페이스를 구성할 수 있습니다.

이 기능의 가장 일반적인 사용 사례는 베어 메탈 네트워크에서 고정 IP 주소를 지정하는 것이지만 스토리지 네트워크와 같은 다른 네트워크도 구성할 수 있습니다. 이 기능은 VLAN, VXLAN, 브리지, 본딩, 경로, MTU 및 DNS 확인자 설정과 같은 기타 NMState 기능을 지원합니다.

주의

클러스터의 DNS 확인자 설정에서 지원되지 않는 rotate 옵션을 설정하지 마십시오. 옵션은 내부 API의 DNS 확인 기능을 중단합니다.

사전 요구 사항

  • 고정 IP 주소를 사용하여 각 노드에 유효한 호스트 이름으로 PTR DNS 레코드를 구성합니다.
  • NMState CLI(nmstate)를 설치합니다.
중요

provisioning 네트워크를 사용하는 경우 Ironic에서 dnsmasq 툴을 사용하여 구성합니다. 완전히 정적 배포를 수행하려면 가상 미디어를 사용해야 합니다.

프로세스

  1. 선택 사항: 설치 프로그램에서 NMState YAML 구문을 확인하지 않기 때문에 install-config.yaml 파일에 구문을 포함하기 전에 nmstatectl gc 로 NMState 구문을 테스트하는 것이 좋습니다.

    참고

    YAML 구문의 오류로 인해 네트워크 구성을 적용하지 못할 수 있습니다. 또한 검증된 YAML 구문을 유지 관리하는 것은 배포 후 또는 클러스터를 확장할 때 Kubernetes NMState를 사용하여 변경 사항을 적용할 때 유용합니다.

    1. NMState YAML 파일을 생성합니다.

      interfaces: 
      1
      
      - name: <nic1_name>
        type: ethernet
        state: up
        ipv4:
          address:
          - ip: <ip_address>
            prefix-length: 24
          enabled: true
      dns-resolver:
        config:
          server:
          - <dns_ip_address>
      routes:
        config:
        - destination: 0.0.0.0/0
          next-hop-address: <next_hop_ip_address>
          next-hop-interface: <next_hop_nic1_name>
      Copy to Clipboard Toggle word wrap
      1
      < nic1_name > , < ip_address > , < dns_ip_address > , < next_hop_ip_address > 및 < next_hop_nic1_name >을 적절한 값으로 바꿉니다.
    2. 다음 명령을 실행하여 구성 파일을 테스트합니다.

      $ nmstatectl gc <nmstate_yaml_file>
      Copy to Clipboard Toggle word wrap

      & lt;nmstate_yaml_file&gt;을 구성 파일 이름으로 바꿉니다.

  2. install-config.yaml 파일 내의 호스트에 NMState 구성을 추가하여 networkConfig 구성 설정을 사용합니다.

        hosts:
          - name: openshift-master-0
            role: master
            bmc:
              address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
              username: <user>
              password: <password>
              disableCertificateVerification: null
            bootMACAddress: <NIC1_mac_address>
            bootMode: UEFI
            rootDeviceHints:
              deviceName: "/dev/sda"
            networkConfig: 
    1
    
              interfaces: 
    2
    
              - name: <nic1_name>
                type: ethernet
                state: up
                ipv4:
                  address:
                  - ip: <ip_address>
                    prefix-length: 24
                  enabled: true
              dns-resolver:
                config:
                  server:
                  - <dns_ip_address>
              routes:
                config:
                - destination: 0.0.0.0/0
                  next-hop-address: <next_hop_ip_address>
                  next-hop-interface: <next_hop_nic1_name>
    Copy to Clipboard Toggle word wrap
    1
    NMState YAML 구문을 추가하여 호스트 인터페이스를 구성합니다.
    2
    < nic1_name > , < ip_address > , < dns_ip_address > , < next_hop_ip_address > 및 < next_hop_nic1_name >을 적절한 값으로 바꿉니다.
    중요

    클러스터를 배포한 후에는 install-config.yaml 파일의 networkConfig 구성 설정을 수정하여 호스트 네트워크 인터페이스를 변경할 수 없습니다. 배포 후 Kubernetes NMState Operator를 사용하여 호스트 네트워크 인터페이스를 변경합니다.

3.13.14. 서브넷에 대한 호스트 네트워크 인터페이스 구성

엣지 컴퓨팅 시나리오의 경우 엣지에 더 가까운 컴퓨팅 노드를 찾는 것이 유용할 수 있습니다. 서브넷에서 원격 노드를 찾으려면 컨트롤 플레인 서브넷 및 로컬 컴퓨팅 노드에 사용한 것과 다른 네트워크 세그먼트 또는 서브넷을 원격 노드에 사용할 수 있습니다. 엣지의 대기 시간을 줄이고 에지 컴퓨팅 시나리오의 서브넷을 설정하여 확장성을 향상시킬 수 있습니다.

중요

기본 로드 밸런서를 사용하는 경우 OpenShiftManagedDefault 및 OpenShift Container Platform 클러스터에 원격 노드를 추가하는 경우 모든 컨트롤 플레인 노드를 동일한 서브넷에서 실행해야 합니다. 둘 이상의 서브넷을 사용하는 경우 매니페스트를 사용하여 컨트롤 플레인 노드에서 실행되도록 Ingress VIP를 구성할 수도 있습니다. 자세한 내용은 "컨트롤 플레인에서 실행할 네트워크 구성 요소 구성"을 참조하십시오.

"네트워크 간 통신 설정" 섹션에 설명된 대로 원격 노드의 다른 네트워크 세그먼트 또는 서브넷을 설정한 경우 작업자가 고정 IP 주소, 본딩 또는 기타 고급 네트워킹을 사용하는 경우 machineNetwork 구성 설정에서 서브넷을 지정해야 합니다. 각 원격 노드의 networkConfig 매개변수에 노드 IP 주소를 설정할 때 고정 IP 주소를 사용할 때 컨트롤 플레인 노드가 포함된 서브넷의 게이트웨이 및 DNS 서버도 지정해야 합니다. 이렇게 하면 원격 노드가 컨트롤 플레인이 포함된 서브넷에 도달할 수 있으며 컨트롤 플레인에서 네트워크 트래픽을 수신할 수 있습니다.

참고

여러 서브넷이 있는 클러스터를 배포하려면 원격 노드가 로컬 프로비저닝 네트워크에 액세스할 수 없기 때문에 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어를 사용해야 합니다.

프로세스

  1. 고정 IP 주소를 사용할 때 install-config.yaml 파일에서 machineNetwork 에 서브넷을 추가합니다.

    networking:
      machineNetwork:
      - cidr: 10.0.0.0/24
      - cidr: 192.168.0.0/24
      networkType: OVNKubernetes
    Copy to Clipboard Toggle word wrap
  2. 고정 IP 주소 또는 본딩과 같은 고급 네트워킹을 사용할 때 NMState 구문을 사용하여 각 엣지 컴퓨팅 노드의 networkConfig 매개변수에 게이트웨이 및 DNS 구성을 추가합니다.

    networkConfig:
      interfaces:
      - name: <interface_name> 
    1
    
        type: ethernet
        state: up
        ipv4:
          enabled: true
          dhcp: false
          address:
          - ip: <node_ip> 
    2
    
            prefix-length: 24
          gateway: <gateway_ip> 
    3
    
      dns-resolver:
        config:
          server:
          - <dns_ip> 
    4
    Copy to Clipboard Toggle word wrap
    1
    &lt ;interface_name&gt;을 인터페이스 이름으로 바꿉니다.
    2
    & lt;node_ip& gt;를 노드의 IP 주소로 바꿉니다.
    3
    <gateway_ip>를 게이트웨이의 IP 주소로 바꿉니다.
    4
    <dns_ip>를 DNS 서버의 IP 주소로 바꿉니다.

SLAAC(상태 비저장 주소 자동 구성)를 사용하는 이중 스택 클러스터의 경우 ipv6.addr-gen-mode 네트워크 설정에 전역 값을 지정해야 합니다. NMState를 사용하여 이 값을 설정하여 RAM 디스크 및 클러스터 구성 파일을 구성할 수 있습니다. 이러한 위치에서 일관된 ipv6.addr-gen-mode 를 구성하지 않으면 IPv6 주소 불일치가 클러스터의 CSR 리소스와 BareMetalHost 리소스 간에 발생할 수 있습니다.

사전 요구 사항

  • NMState CLI(nmstate)를 설치합니다.

프로세스

  1. 선택 사항: 설치 프로그램에서 NMState YAML 구문을 확인하지 않기 때문에 nmstatectl gc 명령을 사용하여 NMState YAML 구문을 테스트하는 것이 좋습니다. install-config.yaml 파일에 포함하기 전에는 NMState YAML 구문을 확인하지 않습니다.

    1. NMState YAML 파일을 생성합니다.

      interfaces:
      - name: eth0
        ipv6:
          addr-gen-mode: <address_mode> 
      1
      Copy to Clipboard Toggle word wrap
      1
      & lt;address_mode >를 클러스터의 IPv6 주소에 필요한 주소 생성 모드로 바꿉니다. 유효한 값은 eui64,stable-privacy 또는 random 입니다.
    2. 다음 명령을 실행하여 구성 파일을 테스트합니다.

      $ nmstatectl gc <nmstate_yaml_file> 
      1
      Copy to Clipboard Toggle word wrap
      1
      & lt;nmstate_yaml_file& gt;을 테스트 구성 파일의 이름으로 바꿉니다.
  2. install-config.yaml 파일 내의 hosts.networkConfig 섹션에 NMState 구성을 추가합니다.

        hosts:
          - name: openshift-master-0
            role: master
            bmc:
              address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
              username: <user>
              password: <password>
              disableCertificateVerification: null
            bootMACAddress: <NIC1_mac_address>
            bootMode: UEFI
            rootDeviceHints:
              deviceName: "/dev/sda"
            networkConfig:
              interfaces:
              - name: eth0
                ipv6:
                  addr-gen-mode: <address_mode> 
    1
    
    ...
    Copy to Clipboard Toggle word wrap
    1
    & lt;address_mode >를 클러스터의 IPv6 주소에 필요한 주소 생성 모드로 바꿉니다. 유효한 값은 eui64,stable-privacy 또는 random 입니다.

3.13.16. 듀얼 포트 NIC에 대한 호스트 네트워크 인터페이스 구성

설치하기 전에 install-config.yaml 파일에서 networkConfig 구성 설정을 설정하여 NMState를 사용하여 듀얼 포트 네트워크 인터페이스 컨트롤러(NIC)를 지원하여 호스트 네트워크 인터페이스를 구성할 수 있습니다.

중요

SR-IOV 장치에 대한 NIC 파티셔닝 활성화와 관련된 Day 1 작업을 지원하는 것은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 다음 링크를 참조하십시오.

OpenShift Virtualization에서는 다음 본딩 모드만 지원합니다.

  • mode=1 active-backup
  • mode=2 balance-xor
  • mode=4 802.3ad

사전 요구 사항

  • 고정 IP 주소를 사용하여 각 노드에 유효한 호스트 이름으로 PTR DNS 레코드를 구성합니다.
  • NMState CLI(nmstate)를 설치합니다.
참고

YAML 구문의 오류로 인해 네트워크 구성을 적용하지 못할 수 있습니다. 또한 검증된 YAML 구문을 유지 관리하는 것은 배포 후 또는 클러스터를 확장할 때 Kubernetes NMState를 사용하여 변경 사항을 적용할 때 유용합니다.

프로세스

  1. install-config.yaml 파일 내의 호스트에 networkConfig 필드에 NMState 구성을 추가합니다.

        hosts:
          - name: worker-0
            role: worker
            bmc:
              address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
              username: <user>
              password: <password>
              disableCertificateVerification: false
            bootMACAddress: <NIC1_mac_address>
            bootMode: UEFI
            networkConfig: 
    1
    
              interfaces: 
    2
    
               - name: eno1 
    3
    
                 type: ethernet 
    4
    
                 state: up
                 mac-address: 0c:42:a1:55:f3:06
                 ipv4:
                   enabled: true
                   dhcp: false 
    5
    
                 ethernet:
                   sr-iov:
                     total-vfs: 2 
    6
    
                 ipv6:
                   enabled: false
                   dhcp: false
               - name: sriov:eno1:0
                 type: ethernet
                 state: up 
    7
    
                 ipv4:
                   enabled: false 
    8
    
                 ipv6:
                   enabled: false
               - name: sriov:eno1:1
                 type: ethernet
                 state: down
               - name: eno2
                 type: ethernet
                 state: up
                 mac-address: 0c:42:a1:55:f3:07
                 ipv4:
                   enabled: true
                 ethernet:
                   sr-iov:
                     total-vfs: 2
                 ipv6:
                   enabled: false
               - name: sriov:eno2:0
                 type: ethernet
                 state: up
                 ipv4:
                   enabled: false
                 ipv6:
                   enabled: false
               - name: sriov:eno2:1
                 type: ethernet
                 state: down
               - name: bond0
                 type: bond
                 state: up
                 min-tx-rate: 100 
    9
    
                 max-tx-rate: 200 
    10
    
                 link-aggregation:
                   mode: active-backup 
    11
    
                   options:
                     primary: sriov:eno1:0 
    12
    
                   port:
                     - sriov:eno1:0
                     - sriov:eno2:0
                 ipv4:
                   address:
                     - ip: 10.19.16.57 
    13
    
                       prefix-length: 23
                   dhcp: false
                   enabled: true
                 ipv6:
                   enabled: false
              dns-resolver:
                config:
                  server:
                    - 10.11.5.160
                    - 10.2.70.215
              routes:
                config:
                  - destination: 0.0.0.0/0
                    next-hop-address: 10.19.17.254
                    next-hop-interface: bond0 
    14
    
                    table-id: 254
    Copy to Clipboard Toggle word wrap
    1
    networkConfig 필드에는 호스트의 네트워크 구성에 대한 정보가 있으며, 인터페이스,dns-resolver, 경로를 포함한 하위 필드가 있습니다.
    2
    interfaces 필드는 호스트에 정의된 네트워크 인터페이스의 배열입니다.
    3
    인터페이스의 이름입니다.
    4
    인터페이스 유형입니다. 이 예제에서는 이더넷 인터페이스를 생성합니다.
    5
    반드시 필요하지 않은 경우 물리적 기능(PF)의 DHCP를 비활성화하려면 이 값을 'false'로 설정합니다.
    6
    인스턴스화할 SR-IOV 가상 기능(VF) 수로 설정합니다.
    7
    이 값을 up 으로 설정합니다.
    8
    본딩에 연결된 VF의 IPv4 주소를 비활성화하려면 이를 false 로 설정합니다.
    9
    VF에 대해 최소 전송 속도(Mbps)를 설정합니다. 이 샘플 값은 100Mbps의 속도를 설정합니다.
    • 이 값은 최대 전송 속도보다 작거나 같아야 합니다.
    • Intel NIC는 min-tx-rate 매개변수를 지원하지 않습니다. 자세한 내용은 BZ#1772847 에서 참조하십시오.
    10
    VF에 대해 최대 전송 속도(Mbps)를 설정합니다. 이 샘플 값은 200Mbps의 속도를 설정합니다.
    11
    필요한 본딩 모드를 설정합니다.
    12
    본딩 인터페이스의 기본 포트를 설정합니다. 본딩은 기본 장치를 본딩 인터페이스의 첫 번째 장치로 사용합니다. 본딩은 실패하는 경우가 아니면 기본 장치 인터페이스를 종료하지 않습니다. 이 설정은 특히 본딩 인터페이스의 특정 NIC가 더 빨라서 더 큰 부하를 처리할 수 있는 경우 유용합니다. 이 설정은 본딩 인터페이스가 active-backup 모드(mode 1)인 경우에만 유효합니다.
    13
    본딩 인터페이스의 고정 IP 주소를 설정합니다. 노드 IP 주소입니다.
    14
    bond0 을 기본 경로의 게이트웨이로 설정합니다.
    중요

    클러스터를 배포한 후에는 install-config.yaml 파일의 networkConfig 구성 설정을 변경하여 호스트 네트워크 인터페이스를 변경할 수 없습니다. 배포 후 Kubernetes NMState Operator를 사용하여 호스트 네트워크 인터페이스를 변경합니다.

3.13.17. 여러 클러스터 노드 구성

동일한 설정으로 OpenShift Container Platform 클러스터 노드를 동시에 구성할 수 있습니다. 여러 클러스터 노드를 구성하면 각 노드에 대한 중복 정보가 install-config.yaml 파일에 추가됩니다. 이 파일에는 클러스터의 여러 노드에 동일한 구성을 적용하는 특정 매개변수가 포함되어 있습니다.

컴퓨팅 노드는 컨트롤러 노드와 별도로 구성됩니다. 그러나 두 노드 유형의 구성은 install-config.yaml 파일에서 강조 표시된 매개 변수를 사용하여 다중 노드 구성을 활성화합니다. 다음 예와 같이 networkConfig 매개변수를 BOND 로 설정합니다.

hosts:
- name: ostest-master-0
 [...]
 networkConfig: &BOND
   interfaces:
   - name: bond0
     type: bond
     state: up
     ipv4:
       dhcp: true
       enabled: true
     link-aggregation:
       mode: active-backup
       port:
       - enp2s0
       - enp3s0
- name: ostest-master-1
 [...]
 networkConfig: *BOND
- name: ostest-master-2
 [...]
 networkConfig: *BOND
Copy to Clipboard Toggle word wrap
참고

여러 클러스터 노드의 구성은 설치 관리자 프로비저닝 인프라에 대한 초기 배포에만 사용할 수 있습니다.

3.13.18. 선택 사항: 관리형 Secure Boot 구성

redfish, redfish-virtualmedia, 또는 idrac-virtualmedia와 같은 Redfish BMC 주소를 사용하여 설치 관리자 프로비저닝 클러스터를 배포할 때 관리형 Secure Boot를 활성화할 수 있습니다. 관리형 Secure Boot를 활성화하려면 각 노드에 bootMode 구성 설정을 추가합니다.

예제

hosts:
  - name: openshift-master-0
    role: master
    bmc:
      address: redfish://<out_of_band_ip> 
1

      username: <username>
      password: <password>
    bootMACAddress: <NIC1_mac_address>
    rootDeviceHints:
     deviceName: "/dev/sda"
    bootMode: UEFISecureBoot 
2
Copy to Clipboard Toggle word wrap

1
bmc.address 설정이 redfish, redfish-virtualmedia, idrac-virtualmedia를 프로토콜로 사용하는지 확인합니다. 자세한 내용은 "BMC addressing for HPE iLO" 또는 "BMC addressing for Dell iDRAC"를 참조하십시오.
2
bootMode 설정의 기본값은 UEFI입니다. 이 파일을 UEFISecureBoot로 변경하여 관리되는 Secure Boot를 활성화합니다.
참고

노드가 관리형 Secure Boot를 지원할 수 있는지 확인하려면 "사전 요구 사항"의 "노드 구성"을 참조하십시오. 노드가 관리형 Secure Boot를 지원하지 않는 경우 "노드 구성" 섹션의 "수동으로 Secure Boot의 노드 구성"을 참조하십시오. Secure Boot를 수동으로 구성하려면 Redfish 가상 미디어가 필요합니다.

참고

IPMI는 Secure Boot 관리 기능을 제공하지 않으므로 Red Hat은 IPMI에 Secure Boot를 지원하지 않습니다.

3.14. 매니페스트 구성 파일

3.14.1. OpenShift Container Platform 매니페스트 만들기

  1. OpenShift Container Platform 매니페스트를 만듭니다.

    $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests
    Copy to Clipboard Toggle word wrap
    INFO Consuming Install Config from target directory
    WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
    WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated
    Copy to Clipboard Toggle word wrap

3.14.2. 선택사항: 연결이 끊긴 클러스터의 NTP 구성

OpenShift Container Platform은 클러스터 노드에 chrony Network Time Protocol(NTP) 서비스를 설치합니다.

OpenShift Container Platform 노드는 올바로 실행되려면 날짜와 시간에 동의해야 합니다. 컴퓨팅 노드가 컨트롤 플레인 노드의 NTP 서버에서 날짜와 시간을 검색할 때 라우팅 가능한 네트워크에 연결되지 않은 클러스터를 설치 및 실행할 수 있으므로 상위 계층 NTP 서버에 액세스할 수 없습니다.

프로세스

  1. 다음 명령을 사용하여 설치 호스트에 Butane을 설치합니다.

    $ sudo dnf -y install butane
    Copy to Clipboard Toggle word wrap
  2. 컨트롤 플레인 노드에 대한 chrony.conf 파일의 콘텐츠를 포함하여 Butane 구성, 99-master-chrony-conf-override.bu를 만듭니다.

    참고

    Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

    Butane 구성의 예

    variant: openshift
    version: 4.16.0
    metadata:
      name: 99-master-chrony-conf-override
      labels:
        machineconfiguration.openshift.io/role: master
    storage:
      files:
        - path: /etc/chrony.conf
          mode: 0644
          overwrite: true
          contents:
            inline: |
              # Use public servers from the pool.ntp.org project.
              # Please consider joining the pool (https://www.pool.ntp.org/join.html).
    
              # The Machine Config Operator manages this file
              server openshift-master-0.<cluster-name>.<domain> iburst 
    1
    
              server openshift-master-1.<cluster-name>.<domain> iburst
              server openshift-master-2.<cluster-name>.<domain> iburst
    
              stratumweight 0
              driftfile /var/lib/chrony/drift
              rtcsync
              makestep 10 3
              bindcmdaddress 127.0.0.1
              bindcmdaddress ::1
              keyfile /etc/chrony.keys
              commandkey 1
              generatecommandkey
              noclientlog
              logchange 0.5
              logdir /var/log/chrony
    
              # Configure the control plane nodes to serve as local NTP servers
              # for all compute nodes, even if they are not in sync with an
              # upstream NTP server.
    
              # Allow NTP client access from the local network.
              allow all
              # Serve time even if not synchronized to a time source.
              local stratum 3 orphan
    Copy to Clipboard Toggle word wrap

    1
    <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.
  3. Butane을 사용하여 컨트롤 플레인 노드에 전달할 구성이 포함된 MachineConfig 파일 99-master-chrony-conf-override.yaml을 생성합니다.

    $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap
  4. 컨트롤 플레인 노드의 NTP 서버를 참조하는 컴퓨팅 노드의 chrony.conf 파일의 내용을 포함하여 Butane 구성 99-worker-chrony-conf-override.bu 를 만듭니다.

    Butane 구성의 예

    variant: openshift
    version: 4.16.0
    metadata:
      name: 99-worker-chrony-conf-override
      labels:
        machineconfiguration.openshift.io/role: worker
    storage:
      files:
        - path: /etc/chrony.conf
          mode: 0644
          overwrite: true
          contents:
            inline: |
              # The Machine Config Operator manages this file.
              server openshift-master-0.<cluster-name>.<domain> iburst 
    1
    
              server openshift-master-1.<cluster-name>.<domain> iburst
              server openshift-master-2.<cluster-name>.<domain> iburst
    
              stratumweight 0
              driftfile /var/lib/chrony/drift
              rtcsync
              makestep 10 3
              bindcmdaddress 127.0.0.1
              bindcmdaddress ::1
              keyfile /etc/chrony.keys
              commandkey 1
              generatecommandkey
              noclientlog
              logchange 0.5
              logdir /var/log/chrony
    Copy to Clipboard Toggle word wrap

    1
    <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.
  5. Butane을 사용하여 작업자 노드로 전달할 구성이 포함된 MachineConfig 개체 파일 99-worker-chrony-conf-override.yaml을 생성합니다.

    $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap

3.14.3. 컨트롤 플레인에서 실행되도록 네트워크 구성 요소 구성

컨트롤 플레인 노드에서 독점적으로 실행되도록 네트워킹 구성 요소를 구성할 수 있습니다. 기본적으로 OpenShift Container Platform에서는 머신 구성 풀의 모든 노드가 ingressVIP 가상 IP 주소를 호스팅할 수 있습니다. 그러나 일부 환경에서는 컨트롤 플레인 노드의 별도의 서브넷에 컴퓨팅 노드를 배포합니다. 이 경우 컨트롤 플레인 노드에서 실행되도록 ingressVIP 가상 IP 주소를 구성해야 합니다.

중요

별도의 서브넷에 원격 노드를 배포할 때 컨트롤 플레인 노드에 독점적으로 ingressVIP 가상 IP 주소를 배치해야 합니다.

프로세스

  1. install-config.yaml 파일을 저장하는 디렉터리로 변경합니다.

    $ cd ~/clusterconfigs
    Copy to Clipboard Toggle word wrap
  2. manifests 하위 디렉터리로 전환합니다.

    $ cd manifests
    Copy to Clipboard Toggle word wrap
  3. cluster-network-avoid-workers-99-config.yaml이라는 파일을 생성합니다.

    $ touch cluster-network-avoid-workers-99-config.yaml
    Copy to Clipboard Toggle word wrap
  4. 편집기에서 cluster-network-avoid-workers-99-config.yaml 파일을 열고 Operator 구성을 설명하는 CR(사용자 정의 리소스)을 입력합니다.

    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      name: 50-worker-fix-ipi-rwn
      labels:
        machineconfiguration.openshift.io/role: worker
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          files:
            - path: /etc/kubernetes/manifests/keepalived.yaml
              mode: 0644
              contents:
                source: data:,
    Copy to Clipboard Toggle word wrap

    이 매니페스트는 컨트롤 플레인 노드에 ingressVIP 가상 IP 주소를 배치합니다. 또한 이 매니페스트는 컨트롤 플레인 노드에 다음 프로세스를 배포합니다.

    • openshift-ingress-operator
    • keepalived
  5. cluster-network-avoid-workers-99-config.yaml 파일을 저장합니다.
  6. manifests/cluster-ingress-default-ingresscontroller.yaml 파일을 생성합니다.

    apiVersion: operator.openshift.io/v1
    kind: IngressController
    metadata:
      name: default
      namespace: openshift-ingress-operator
    spec:
      nodePlacement:
        nodeSelector:
          matchLabels:
            node-role.kubernetes.io/master: ""
    Copy to Clipboard Toggle word wrap
  7. manifests 디렉터리를 백업하는 것이 좋습니다. 설치 프로그램은 클러스터를 생성할 때 manifests/ 디렉터리를 삭제합니다.
  8. mastersSchedulable 필드를 true로 설정하여 컨트롤 플레인 노드를 예약할 수 있도록 cluster-scheduler-02-config.yml 매니페스트를 수정합니다. 기본적으로 컨트롤 플레인 노드는 예약할 수 없습니다. 예를 들면 다음과 같습니다.

    $ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml
    Copy to Clipboard Toggle word wrap
    참고

    이 절차를 완료한 후 컨트롤 플레인 노드를 예약할 수 없는 경우 클러스터 배포가 실패합니다.

3.14.4. 선택 사항: 컴퓨팅 노드에 라우터 배포

설치 중에 설치 프로그램은 컴퓨팅 노드에 라우터 Pod를 배포합니다. 기본적으로 설치 프로그램은 두 개의 라우터 Pod를 설치합니다. 배포된 클러스터에 OpenShift Container Platform 클러스터 내의 서비스에 대한 외부 트래픽 로드를 처리하기 위해 추가 라우터가 필요한 경우 yaml 파일을 생성하여 적절한 수의 라우터 복제본을 설정할 수 있습니다.

중요

컴퓨팅 노드가 하나만 있는 클러스터를 배포하는 것은 지원되지 않습니다. 라우터 복제본을 수정하면 하나의 컴퓨팅 노드로 배포할 때 성능이 저하된 상태의 문제를 해결할 수 있지만, 클러스터는 Ingress API의 고가용성이 손실되며 프로덕션 환경에 적합하지 않습니다.

참고

기본적으로 설치 프로그램은 두 개의 라우터를 배포합니다. 클러스터에 컴퓨팅 노드가 없는 경우 설치 프로그램은 기본적으로 컨트롤 플레인 노드에 두 개의 라우터를 배포합니다.

프로세스

  1. router-replicas.yaml 파일을 생성합니다.

    apiVersion: operator.openshift.io/v1
    kind: IngressController
    metadata:
      name: default
      namespace: openshift-ingress-operator
    spec:
      replicas: <num-of-router-pods>
      endpointPublishingStrategy:
        type: HostNetwork
      nodePlacement:
        nodeSelector:
          matchLabels:
            node-role.kubernetes.io/worker: ""
    Copy to Clipboard Toggle word wrap
    참고

    <num-of-router-pods>를 적절한 값으로 바꿉니다. 하나의 컴퓨팅 노드로만 작업하는 경우 replicas: 1 로 설정합니다. 컴퓨팅 노드를 3개 이상 사용하여 작업하는 경우 필요에 따라 replicas: 를 기본값 2 에서 늘릴 수 있습니다.

  2. router-replicas.yaml 파일을 clusterconfigs/openshift 디렉터리에 저장하고 복사합니다.

    $ cp ~/router-replicas.yaml clusterconfigs/openshift/99_router-replicas.yaml
    Copy to Clipboard Toggle word wrap

3.14.5. 선택 사항: BIOS 구성

다음 절차에서는 설치 프로세스 중에 BIOS를 구성합니다.

프로세스

  1. 매니페스트를 생성합니다.
  2. 노드에 해당하는 BareMetalHost 리소스 파일을 수정합니다.

    $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml
    Copy to Clipboard Toggle word wrap
  3. BareMetalHost 리소스의 spec 섹션에 BIOS 구성을 추가합니다.

    spec:
      firmware:
        simultaneousMultithreadingEnabled: true
        sriovEnabled: true
        virtualizationEnabled: true
    Copy to Clipboard Toggle word wrap
    참고

    Red Hat은 세 가지 BIOS 구성을 지원합니다. BMC 유형 irmc 가 있는 서버만 지원됩니다. 다른 유형의 서버는 현재 지원되지 않습니다.

  4. 클러스터를 생성합니다.

3.14.6. 선택 사항: RAID 구성

다음 절차에서는 설치 프로세스 중에 BMC(Baseboard Management Controller)를 사용하여 독립 디스크(RAID)의 중복 배열을 구성합니다.

참고

노드에 대한 하드웨어 RAID를 구성하려면 노드에 RAID 컨트롤러가 지원되는지 확인합니다. OpenShift Container Platform 4.16은 소프트웨어 RAID를 지원하지 않습니다.

Expand
표 3.8. 벤더의 하드웨어 RAID 지원
vendorBMC 및 프로토콜펌웨어 버전RAID 수준

Fujitsu

iRMC

해당 없음

0, 1, 5, 6, 10

Dell

Redfish를 사용하는 iDRAC

버전 6.10.30.20 이상

0, 1, 5

프로세스

  1. 매니페스트를 생성합니다.
  2. 노드에 해당하는 BareMetalHost 리소스를 수정합니다.

    $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml
    Copy to Clipboard Toggle word wrap
    참고

    다음 예제에서는 OpenShift Container Platform 4.16이 소프트웨어 RAID를 지원하지 않기 때문에 하드웨어 RAID 구성을 사용합니다.

    1. 특정 RAID 구성을 spec 섹션에 추가한 경우 노드에서 준비 단계에서 원래 RAID 구성을 삭제하고 RAID에서 지정된 구성을 수행합니다. 예를 들면 다음과 같습니다.

      spec:
        raid:
          hardwareRAIDVolumes:
          - level: "0" 
      1
      
            name: "sda"
            numberOfPhysicalDisks: 1
            rotational: true
            sizeGibibytes: 0
      Copy to Clipboard Toggle word wrap
      1
      level 은 필수 필드이며 다른 필드는 선택적 필드입니다.
    2. spec 섹션에 빈 RAID 구성을 추가한 경우 빈 구성으로 인해 노드가 준비 단계에서 원래 RAID 구성을 삭제하지만 새 구성을 수행하지 않습니다. 예를 들면 다음과 같습니다.

      spec:
        raid:
          hardwareRAIDVolumes: []
      Copy to Clipboard Toggle word wrap
    3. spec 섹션에 raid 필드를 추가하지 않으면 원래 RAID 구성이 삭제되지 않으며 새 구성은 수행되지 않습니다.
  3. 클러스터를 생성합니다.

3.14.7. 선택사항: 노드에서 스토리지 구성

MCO(Machine Config Operator)에서 관리하는 MachineConfig 오브젝트를 생성하여 OpenShift Container Platform 노드의 운영 체제를 변경할 수 있습니다.

MachineConfig 사양에는 처음 부팅할 때 머신을 구성하기 위한 ignition 구성이 포함되어 있습니다. 이 config 오브젝트는 OpenShift Container Platform 시스템에서 실행되는 파일, systemd 서비스 및 기타 운영 체제 기능을 수정하는 데 사용할 수 있습니다.

프로세스

ignition config를 사용하여 노드에서 스토리지를 구성합니다. 다음 MachineSet 매니페스트 예제에서는 기본 노드의 장치에 파티션을 추가하는 방법을 보여줍니다. 이 예에서는 설치 전에 매니페스트를 적용하여 기본 노드에 크기가 16GiB인 recovery 라는 파티션을 만듭니다.

  1. custom-partitions.yaml 파일을 생성하고 파티션 레이아웃이 포함된 MachineConfig 오브젝트를 포함합니다.

    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      labels:
        machineconfiguration.openshift.io/role: primary
      name: 10_primary_storage_config
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          disks:
            - device: </dev/xxyN>
              partitions:
                - label: recovery
                  startMiB: 32768
                  sizeMiB: 16384
          filesystems:
            - device: /dev/disk/by-partlabel/recovery
              label: recovery
              format: xfs
    Copy to Clipboard Toggle word wrap
  2. custom-partitions.yaml 파일을 clusterconfigs/openshift 디렉터리에 저장하고 복사합니다.

    $ cp ~/<MachineConfig_manifest> ~/clusterconfigs/openshift
    Copy to Clipboard Toggle word wrap

3.15. 연결이 끊긴 레지스트리 생성

설치 레지스트리의 로컬 사본을 사용하여 OpenShift Container Platform 클러스터를 설치해야하는 경우가 있습니다. 이는 클러스터 노드가 인터넷에 액세스할 수 없는 네트워크에 있기 때문에 네트워크 효율성을 향상시키기 위한 것일 수 있습니다.

로컬 또는 미러링된 레지스트리 사본에는 다음이 필요합니다.

  • 레지스트리 노드의 인증서. 자체 서명된 인증서를 사용할 수 있습니다.
  • 시스템의 컨테이너가 제공할 웹 서버입니다.
  • 인증서 및 로컬 저장소 정보를 포함하는 업데이트된 풀 시크릿.
참고

레지스트리 노드에 연결되지 않은 레지스트리를 만드는 것은 선택 사항입니다. 레지스트리 노드에 연결이 끊긴 레지스트리를 생성해야 하는 경우 다음 하위 섹션을 모두 완료해야 합니다.

3.15.1. 사전 요구 사항

3.15.2. 미러링된 레지스트리를 호스팅할 레지스트리 노드 준비

베어 메탈에서 미러링된 레지스트리를 호스팅하기 전에 다음 단계를 완료해야 합니다.

프로세스

  1. 레지스트리 노드에서 방화벽 포트를 엽니다.

    $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
    Copy to Clipboard Toggle word wrap
    $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
    Copy to Clipboard Toggle word wrap
    $ sudo firewall-cmd --reload
    Copy to Clipboard Toggle word wrap
  2. 레지스트리 노드에 필요한 패키지를 설치합니다.

    $ sudo yum -y install python3 podman httpd httpd-tools jq
    Copy to Clipboard Toggle word wrap
  3. 리포지토리 정보가 보관될 디렉터리 구조를 생성합니다.

    $ sudo mkdir -p /opt/registry/{auth,certs,data}
    Copy to Clipboard Toggle word wrap

연결이 끊긴 레지스트리의 OpenShift Container Platform 이미지 저장소를 미러링하려면 다음 단계를 완료합니다.

사전 요구 사항

  • 미러 호스트가 인터넷에 액세스할 수 있습니다.
  • 네트워크가 제한된 환경에서 사용할 미러 레지스트리를 설정하고 설정한 인증서 및 인증 정보에 액세스할 수 있습니다.
  • Red Hat OpenShift Cluster Manager에서 풀 시크릿 을 다운로드하여 미러 저장소에 대한 인증을 포함하도록 수정했습니다.

프로세스

  1. OpenShift Container Platform 다운로드 페이지를 확인하여 설치할 OpenShift Container Platform 버전을 확인하고 Repository Tags 페이지에서 해당 태그를 지정합니다.
  2. 필요한 환경 변수를 설정합니다.

    1. 릴리스 버전을 내보냅니다.

      $ OCP_RELEASE=<release_version>
      Copy to Clipboard Toggle word wrap

      <release_version>에 대해 설치할 OpenShift Container Platform 버전에 해당하는 태그를 지정합니다 (예: 4.5.4).

    2. 로컬 레지스트리 이름 및 호스트 포트를 내보냅니다.

      $ LOCAL_REGISTRY='<local_registry_host_name>:<local_registry_host_port>'
      Copy to Clipboard Toggle word wrap

      <local_registry_host_name>의 경우 미러 저장소의 레지스트리 도메인 이름을 지정하고 <local_registry_host_port>의 경우 콘텐츠를 제공하는데 사용되는 포트를 지정합니다.

    3. 로컬 저장소 이름을 내보냅니다.

      $ LOCAL_REPOSITORY='<local_repository_name>'
      Copy to Clipboard Toggle word wrap

      <local_repository_name>의 경우 레지스트리에 작성할 저장소 이름 (예: ocp4/openshift4)을 지정합니다.

    4. 미러링할 저장소 이름을 내보냅니다.

      $ PRODUCT_REPO='openshift-release-dev'
      Copy to Clipboard Toggle word wrap

      프로덕션 환경의 릴리스의 경우 openshift-release-dev를 지정해야 합니다.

    5. 레지스트리 풀 시크릿의 경로를 내보냅니다.

      $ LOCAL_SECRET_JSON='<path_to_pull_secret>'
      Copy to Clipboard Toggle word wrap

      생성한 미러 레지스트리에 대한 풀 시크릿의 절대 경로 및 파일 이름을 <path_to_pull_secret>에 지정합니다.

    6. 릴리스 미러를 내보냅니다.

      $ RELEASE_NAME="ocp-release"
      Copy to Clipboard Toggle word wrap

      프로덕션 환경의 릴리스의 경우 ocp-release를 지정해야 합니다.

    7. 클러스터의 아키텍처 유형을 내보냅니다.

      $ ARCHITECTURE=<cluster_architecture> 
      1
      Copy to Clipboard Toggle word wrap
      1
      x86_64,aarch64,s390x 또는 ppc64le 과 같은 클러스터의 아키텍처를 지정합니다.
    8. 미러링된 이미지를 호스트할 디렉터리의 경로를 내보냅니다.

      $ REMOVABLE_MEDIA_PATH=<path> 
      1
      Copy to Clipboard Toggle word wrap
      1
      초기 슬래시 (/) 문자를 포함하여 전체 경로를 지정합니다.
  3. 미러 레지스트리에 버전 이미지를 미러링합니다.

    • 미러 호스트가 인터넷에 액세스할 수 없는 경우 다음 작업을 수행합니다.

      1. 이동식 미디어를 인터넷에 연결된 시스템에 연결합니다.
      2. 미러링할 이미지 및 설정 매니페스트를 확인합니다.

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE} --dry-run
        Copy to Clipboard Toggle word wrap
      3. 이전 명령의 출력에서 전체 imageContentSources 섹션을 기록합니다. 미러에 대한 정보는 미러링된 저장소에 고유하며 설치 중에 imageContentSources 섹션을 install-config.yaml 파일에 추가해야 합니다.
      4. 이동식 미디어의 디렉터리에 이미지를 미러링합니다.

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON} --to-dir=${REMOVABLE_MEDIA_PATH}/mirror quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE}
        Copy to Clipboard Toggle word wrap
      5. 미디어를 네트워크가 제한된 환경으로 가져와서 이미지를 로컬 컨테이너 레지스트리에 업로드합니다.

        $ oc image mirror -a ${LOCAL_SECRET_JSON} --from-dir=${REMOVABLE_MEDIA_PATH}/mirror "file://openshift/release:${OCP_RELEASE}*" ${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} 
        1
        Copy to Clipboard Toggle word wrap
        1
        REMOVABLE_MEDIA_PATH의 경우 이미지를 미러링 할 때 지정한 것과 동일한 경로를 사용해야 합니다.
    • 로컬 컨테이너 레지스트리가 미러 호스트에 연결된 경우 다음 작업을 수행합니다.

      1. 다음 명령을 사용하여 릴리스 이미지를 로컬 레지스트리에 직접 푸시합니다.

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}
        Copy to Clipboard Toggle word wrap

        이 명령은 요약된 릴리스 정보를 가져오며, 명령 출력에는 클러스터를 설치할 때 필요한 imageContentSources 데이터가 포함됩니다.

      2. 이전 명령의 출력에서 전체 imageContentSources 섹션을 기록합니다. 미러에 대한 정보는 미러링된 저장소에 고유하며 설치 중에 imageContentSources 섹션을 install-config.yaml 파일에 추가해야 합니다.

        참고

        미러링 프로세스 중에 이미지 이름이 Quay.io에 패치되고 podman 이미지는 부트스트랩 가상 머신의 레지스트리에 Quay.io를 표시합니다.

  4. 미러링된 콘텐츠를 기반으로 설치 프로그램을 생성하려면 콘텐츠를 추출하여 릴리스 배포에 고정합니다.

    • 미러 호스트가 인터넷에 액세스할 수 없는 경우 다음 명령을 실행합니다.

      $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"
      Copy to Clipboard Toggle word wrap
    • 로컬 컨테이너 레지스트리가 미러 호스트에 연결된 경우 다음 명령을 실행합니다.

      $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}"
      Copy to Clipboard Toggle word wrap
      중요

      선택한 OpenShift Container Platform 버전에 올바른 이미지를 사용하려면 미러링된 콘텐츠에서 설치 프로그램을 배포해야 합니다.

      인터넷이 연결된 컴퓨터에서 이 단계를 수행해야 합니다.

      연결이 끊긴 환경에 있는 경우 --image 플래그를 must-gather의 일부로 사용하여 페이로드 이미지를 가리킵니다.

  5. 설치 프로그램에서 제공하는 인프라를 사용하는 클러스터의 경우 다음 명령을 실행합니다.

    $ openshift-baremetal-install
    Copy to Clipboard Toggle word wrap

프로비저너 노드에서 install-config.yaml 파일은 pull-secret-update.txt 파일에서 새로 생성된 풀 시크릿(pull-secret)을 사용해야 합니다. install-config.yaml 파일에는 연결되지 않은 레지스트리 노드 인증서 및 레지스트리 정보도 포함되어야합니다.

프로세스

  1. install-config.yaml 파일에 연결이 끊긴 레지스트리 노드의 인증서를 추가합니다.

    $ echo "additionalTrustBundle: |" >> install-config.yaml
    Copy to Clipboard Toggle word wrap

    인증서는 "additionalTrustBundle:|" 뒤에 있어야 하며 보통 두 개의 공백으로 적절하게 들여 쓰기합니다.

    $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml
    Copy to Clipboard Toggle word wrap
  2. 레지스트리의 미러 정보를 install-config.yaml 파일에 추가합니다.

    $ echo "imageContentSources:" >> install-config.yaml
    Copy to Clipboard Toggle word wrap
    $ echo "- mirrors:" >> install-config.yaml
    Copy to Clipboard Toggle word wrap
    $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
    Copy to Clipboard Toggle word wrap

    registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.

    $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
    Copy to Clipboard Toggle word wrap
    $ echo "- mirrors:" >> install-config.yaml
    Copy to Clipboard Toggle word wrap
    $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
    Copy to Clipboard Toggle word wrap

    registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.

    $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml
    Copy to Clipboard Toggle word wrap

3.16. 설치 확인 체크리스트

  • ❏ OpenShift Container Platform 설치 프로그램이 검색되었습니다.
  • ❏ OpenShift Container Platform 설치 프로그램이 추출되었습니다.
  • install-config.yaml의 필수 매개 변수가 설정되었습니다.
  • install-config.yamlhosts 매개 변수가 구성되었습니다.
  • install-config.yamlbmc 매개 변수가 구성되었습니다.
  • bmc address 필드에 구성된 값에 대한 규칙이 적용되었습니다.
  • OpenShift Container Platform 매니페스트를 생성했습니다.
  • Cryostat (선택 사항) 컴퓨팅 노드에 라우터를 배포했습니다.
  • Cryostat (선택 사항) 연결이 끊긴 레지스트리를 생성합니다.
  • 사용 중인 경우 연결이 끊긴 레지스트리 설정을 검증합니다.

4장. 클러스터 설치

4.1. 이전 설치 정리

이전 배포에 실패한 경우 OpenShift Container Platform을 다시 배포하기 전에 실패한 시도에서 아티팩트를 제거합니다.

프로세스

  1. 다음 명령을 사용하여 OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원을 끕니다.

    $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off
    Copy to Clipboard Toggle word wrap
  2. 다음 스크립트를 사용하여 이전 배포 시도에서 남아 있는 경우 이전 부트스트랩 리소스를 모두 제거합니다.

    for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
    do
      sudo virsh destroy $i;
      sudo virsh undefine $i;
      sudo virsh vol-delete $i --pool $i;
      sudo virsh vol-delete $i.ign --pool $i;
      sudo virsh pool-destroy $i;
      sudo virsh pool-undefine $i;
    done
    Copy to Clipboard Toggle word wrap
  3. 다음 명령을 사용하여 이전 설치에서 생성한 아티팩트를 삭제합니다.

    $ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \
    .openshift_install.log .openshift_install_state.json
    Copy to Clipboard Toggle word wrap
  4. 다음 명령을 사용하여 OpenShift Container Platform 매니페스트를 다시 생성합니다.

    $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests
    Copy to Clipboard Toggle word wrap

4.2. OpenShift Container Platform 설치 프로그램을 통해 클러스터 배포

OpenShift Container Platform 설치 프로그램을 실행합니다.

$ ./openshift-baremetal-install --dir ~/clusterconfigs --log-level debug create cluster
Copy to Clipboard Toggle word wrap

4.3. 설치 진행 상황

배포 프로세스 중에 설치 디렉터리 폴더의 .openshift_install.log 로그 파일에 tail 명령을 실행하여 설치의 전체 상태를 확인할 수 있습니다.

$ tail -f /path/to/install-dir/.openshift_install.log
Copy to Clipboard Toggle word wrap

4.4. 고정 IP 주소 구성 확인

클러스터 노드의 DHCP 예약에서 무한 리스를 지정하는 경우 설치 프로그램이 노드를 성공적으로 프로비저닝한 후 디스패치 스크립트에서 노드의 네트워크 구성을 확인합니다. 스크립트에서 네트워크 구성에 무한 DHCP 리스가 포함되어 있음을 확인하면 DHCP 리스의 IP 주소를 고정 IP 주소로 사용하여 새 연결을 생성합니다.

참고

클러스터에 있는 다른 노드의 프로비저닝이 진행되는 동안 디스패치 스크립트는 성공적으로 프로비저닝된 노드에서 실행될 수 있습니다.

네트워크 구성이 제대로 작동하는지 확인합니다.

프로세스

  1. 노드의 네트워크 인터페이스 구성을 확인합니다.
  2. DHCP 서버를 끄고 OpenShift Container Platform 노드를 재부팅하고 네트워크 구성이 제대로 작동하는지 확인합니다.

5장. 설치 문제 해결

5.1. 설치 프로그램 워크플로 문제 해결

설치 환경의 문제를 해결하기 전에 베어 메탈에서 설치 관리자 프로비저닝 설치의 전체 흐름을 이해하는 것이 중요합니다. 다음 다이어그램은 환경에 대한 단계별 분석과 함께 문제 해결 흐름을 보여줍니다.

Flow-Diagram-1

워크 플로우 1/4install-config.yaml 파일에 오류가 있거나 RHCOS (Red Hat Enterprise Linux CoreOS) 이미지에 액세스할 수 없는 경우 문제 해결의 워크 플로우를 보여줍니다. 문제 해결 제안 사항은 install-config.yaml 문제 해결을 참조하십시오.

Flow-Diagram-2

워크 플로우 2/4부트스트랩 VM 문제, 클러스터 노드를 부팅할 수 없는 부트스트랩 VM로그 검사에 대한 문제 해결 워크 플로우를 보여줍니다. provisioning 네트워크없이 OpenShift Container Platform 클러스터를 설치할 때 이 워크플로가 적용되지 않습니다.

Flow-Diagram-3

워크 플로우 3/4PXE 부팅이 아닌 클러스터 노드에 대한 문제 해결 워크 플로우를 보여줍니다. Redfish 가상 미디어를 사용하여 설치하는 경우 각 노드는 노드를 배포하기 위해 설치 프로그램의 최소 펌웨어 요구 사항을 충족해야 합니다. 자세한 내용은 사전 요구 사항 섹션에서 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항을 참조하십시오.

Flow-Diagram-4

워크 플로우 4/4 액세스할 수 없는 API 에서 검증된 설치 까지의 문제 해결 워크 플로우를 보여줍니다.

5.2. install-config.yaml 문제 해결

install-config.yaml 설정 파일은 OpenShift Container Platform 클러스터의 일부인 모든 노드를 나타냅니다. 이 파일에는 apiVersion, baseDomain, imageContentSources 및 가상 IP 주소로 구성되지만 이에 국한되지 않는 필수 옵션이 포함되어 있습니다. OpenShift Container Platform 클러스터 배포 초기에 오류가 발생하면 install-config.yaml 구성 파일에 오류가 있을 수 있습니다.

프로세스

  1. YAML-tips의 지침을 사용합니다.
  2. syntax-check를 사용하여 YAML 구문이 올바른지 확인합니다.
  3. RHCOS (Red Hat Enterprise Linux CoreOS) QEMU 이미지가 올바르게 정의되어 있고 install-config.yaml에서 제공되는 URL을 통해 액세스할 수 있는지 확인합니다. 예를 들면 다음과 같습니다.

    $ curl -s -o /dev/null -I -w "%{http_code}\n" http://webserver.example.com:8080/rhcos-44.81.202004250133-0-qemu.<architecture>.qcow2.gz?sha256=7d884b46ee54fe87bbc3893bf2aa99af3b2d31f2e19ab5529c60636fbd0f1ce7
    Copy to Clipboard Toggle word wrap

    출력이 200이면 부트스트랩 VM 이미지를 저장하는 웹 서버의 유효한 응답이 있습니다.

5.3. 부트스트랩 VM 문제 해결

OpenShift Container Platform 설치 프로그램은 OpenShift Container Platform 클러스터 노드 프로비저닝을 처리하는 부트스트랩 노드 가상 머신을 생성합니다.

프로세스

  1. 설치 프로그램을 트리거한 후 약 10~15분 정도 후에 virsh 명령을 사용하여 부트스트랩 VM이 작동하는지 확인합니다.

    $ sudo virsh list
    Copy to Clipboard Toggle word wrap
     Id    Name                           State
     --------------------------------------------
     12    openshift-xf6fq-bootstrap      running
    Copy to Clipboard Toggle word wrap
    참고

    부트스트랩 VM의 이름은 항상 클러스터 이름으로 시작하여 그 뒤에 임의의 문자 집합이 있고 "bootstrap"이라는 단어로 끝납니다.

  2. 부트스트랩 VM이 10-15 분 후에 실행되지 않는 경우 다음 명령을 실행하여 시스템에서 libvirtd 가 실행되고 있는지 확인합니다.

    $ systemctl status libvirtd
    Copy to Clipboard Toggle word wrap
    ● libvirtd.service - Virtualization daemon
       Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)
       Active: active (running) since Tue 2020-03-03 21:21:07 UTC; 3 weeks 5 days ago
         Docs: man:libvirtd(8)
               https://libvirt.org
     Main PID: 9850 (libvirtd)
        Tasks: 20 (limit: 32768)
       Memory: 74.8M
       CGroup: /system.slice/libvirtd.service
               ├─ 9850 /usr/sbin/libvirtd
    Copy to Clipboard Toggle word wrap

    부트스트랩 VM이 작동하는 경우 해당 VM에 로그인합니다.

  3. virsh console 명령을 사용하여 부트스트랩 VM의 IP 주소를 찾습니다.

    $ sudo virsh console example.com
    Copy to Clipboard Toggle word wrap
    Connected to domain example.com
    Escape character is ^]
    Red Hat Enterprise Linux CoreOS 43.81.202001142154.0 (Ootpa) 4.3
    SSH host key: SHA256:BRWJktXZgQQRY5zjuAV0IKZ4WM7i4TiUyMVanqu9Pqg (ED25519)
    SSH host key: SHA256:7+iKGA7VtG5szmk2jB5gl/5EZ+SNcJ3a2g23o0lnIio (ECDSA)
    SSH host key: SHA256:DH5VWhvhvagOTaLsYiVNse9ca+ZSW/30OOMed8rIGOc (RSA)
    ens3:  fd35:919d:4042:2:c7ed:9a9f:a9ec:7
    ens4: 172.22.0.2 fe80::1d05:e52e:be5d:263f
    localhost login:
    Copy to Clipboard Toggle word wrap
    중요

    provisioning 네트워크없이 OpenShift Container Platform 클러스터를 배포하는 경우 172.22.0.2 와 같은 개인 IP 주소가 아닌 공용 IP 주소를 사용해야 합니다.

  4. IP 주소를 가져온 후 ssh 명령을 사용하여 부트스트랩 VM에 로그인합니다.

    참고

    이전 단계의 콘솔 출력에서 ens3에서 제공되는 IPv6 IP 주소 또는 ens4에서 제공되는 IPv4 IP를 사용할 수 있습니다.

    $ ssh core@172.22.0.2
    Copy to Clipboard Toggle word wrap

부트스트랩 VM에 성공적으로 로그인하지 못한 경우 다음 시나리오 중 하나가 발생했을 가능성이 있습니다.

  • 172.22.0.0/24 네트워크에 연결할 수 없습니다. 프로비저너와 provisioning 네트워크 브리지 간의 네트워크 연결을 확인합니다. 이 문제는 provisioning 네트워크를 사용하는 경우 발생할 수 있습니다.
  • 공용 네트워크를 통해 부트스트랩 VM에 연결할 수 없습니다. baremetal 네트워크에서 SSH를 시도할 때 provisioner 호스트, 특히 baremetal 네트워크 브리지의 연결을 확인합니다.
  • Permission denied (publickey, password, keyboard-interactive)문제가 발생했습니다. 부트스트랩 VM에 액세스하려고하면 Permission denied 오류가 발생할 수 있습니다. VM에 로그인하려는 사용자의 SSH 키가 install-config.yaml 파일에 설정되어 있는지 확인합니다.

5.3.1. 부트스트랩 VM은 클러스터 노드를 부팅할 수 없습니다.

배포 중에 부트스트랩 VM이 클러스터 노드를 부팅하지 못하여 VM이 RHCOS 이미지로 노드를 프로비저닝하지 못할 수 있습니다. 이 시나리오는 다음과 같은 이유로 발생할 수 있습니다.

  • install-config.yaml 파일 관련 문제
  • baremetal 네트워크를 사용할 때 대역 외 네트워크 액세스 문제

이 문제를 확인하기 위해 ironic과 관련된 세 가지 컨테이너를 사용할 수 있습니다.

  • Ironic
  • ironic-inspector

프로세스

  1. 부트스트랩 VM에 로그인합니다.

    $ ssh core@172.22.0.2
    Copy to Clipboard Toggle word wrap
  2. 컨테이너 로그를 확인하려면 다음을 실행합니다.

    [core@localhost ~]$ sudo podman logs -f <container_name>
    Copy to Clipboard Toggle word wrap

    &lt ;container_name&gt;을 ironic 또는 ironic-inspector 중 하나로 바꿉니다. 컨트롤 플레인 노드가 PXE에서 부팅되지 않는 문제가 발생하면 ironic pod를 확인합니다. ironic pod에는 IPMI를 통해 노드에 로그인을 시도하기 때문에 클러스터 노드를 부팅하려는 시도에 대한 정보가 포함되어 있습니다.

가능한 이유

배포가 시작되면 클러스터 노드가 ON 상태 일 수 있습니다.

해결책

IPMI를 통해 설치를 시작하기 전에 OpenShift Container Platform 클러스터 노드의 전원을 끄십시오.

$ ipmitool -I lanplus -U root -P <password> -H <out_of_band_ip> power off
Copy to Clipboard Toggle word wrap

5.3.2. 로그 검사

RHCOS 이미지를 다운로드하거나 액세스하는 데 문제가 발생하면 먼저 install-config.yaml 구성 파일에서 URL이 올바른지 확인합니다.

RHCOS 이미지를 호스팅하는 내부 웹 서버의 예

bootstrapOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-qemu.<architecture>.qcow2.gz?sha256=9d999f55ff1d44f7ed7c106508e5deecd04dc3c06095d34d36bf1cd127837e0c
clusterOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-openstack.<architecture>.qcow2.gz?sha256=a1bda656fa0892f7b936fdc6b6a6086bddaed5dafacedcd7a1e811abb78fe3b0
Copy to Clipboard Toggle word wrap

coreos-downloader 컨테이너는 install-config.yaml 구성 파일에서 지정하는 외부 quay.io 레지스트리 또는 웹 서버 또는 외부 quay.io 레지스트리에서 리소스를 다운로드합니다. coreos-downloader 컨테이너가 실행 중인지 확인하고 필요에 따라 로그를 검사합니다.

프로세스

  1. 부트스트랩 VM에 로그인합니다.

    $ ssh core@172.22.0.2
    Copy to Clipboard Toggle word wrap
  2. 다음 명령을 실행하여 부트스트랩 VM 내에서 coreos-downloader 컨테이너의 상태를 확인합니다.

    [core@localhost ~]$ sudo podman logs -f coreos-downloader
    Copy to Clipboard Toggle word wrap

    부트스트랩 VM이 이미지의 URL에 액세스할 수 없는 경우 curl 명령을 사용하여 VM이 이미지에 액세스할 수 있는지 확인합니다.

  3. 배포 단계에서 모든 컨테이너가 시작되었는지 여부를 나타내는 bootkube 로그를 검사하려면 다음을 실행합니다.

    [core@localhost ~]$ journalctl -xe
    Copy to Clipboard Toggle word wrap
    [core@localhost ~]$ journalctl -b -f -u bootkube.service
    Copy to Clipboard Toggle word wrap
  4. dnsmasq, mariadb, httpdironic를 포함한 모든 Pod가 실행 중인지 확인합니다.

    [core@localhost ~]$ sudo podman ps
    Copy to Clipboard Toggle word wrap
  5. Pod에 문제가 있는 경우 문제가있는 컨테이너의 로그를 확인합니다. ironic 서비스의 로그를 확인하려면 다음 명령을 실행합니다.

    [core@localhost ~]$ sudo podman logs ironic
    Copy to Clipboard Toggle word wrap

5.4. 사용할 수 없는 Kubernetes API 조사

Kubernetes API를 사용할 수 없는 경우 컨트롤 플레인 노드를 확인하여 올바른 구성 요소를 실행하고 있는지 확인합니다. 또한 호스트 이름 확인을 확인하십시오.

프로세스

  1. 다음 명령을 실행하여 각 컨트롤 플레인 노드에서 etcd 가 실행되고 있는지 확인합니다.

    $ sudo crictl logs $(sudo crictl ps --pod=$(sudo crictl pods --name=etcd-member --quiet) --quiet)
    Copy to Clipboard Toggle word wrap
  2. 이전 명령이 실패하면 Kubelet에서 다음 명령을 실행하여 etcd pod를 생성했는지 확인합니다.

    $ sudo crictl pods --name=etcd-member
    Copy to Clipboard Toggle word wrap

    포드가 없는 경우 etcd 를 조사합니다.

  3. 다음 명령을 사용하여 클러스터 노드에서 localhost.localdomain 뿐만 아니라 정규화된 도메인 이름이 있는지 확인합니다.

    $ hostname
    Copy to Clipboard Toggle word wrap

    호스트 이름이 설정되지 않은 경우 올바른 호스트 이름을 설정합니다. 예를 들면 다음과 같습니다.

    $ sudo hostnamectl set-hostname <hostname>
    Copy to Clipboard Toggle word wrap
  4. dig 명령을 사용하여 DNS 서버에서 각 노드에 올바른 이름 확인이 있는지 확인합니다.

    $ dig api.<cluster_name>.example.com
    Copy to Clipboard Toggle word wrap
    ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el8 <<>> api.<cluster_name>.example.com
    ;; global options: +cmd
    ;; Got answer:
    ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 37551
    ;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 2
    
    ;; OPT PSEUDOSECTION:
    ; EDNS: version: 0, flags:; udp: 4096
    ; COOKIE: 866929d2f8e8563582af23f05ec44203d313e50948d43f60 (good)
    ;; QUESTION SECTION:
    ;api.<cluster_name>.example.com. IN A
    
    ;; ANSWER SECTION:
    api.<cluster_name>.example.com. 10800 IN	A 10.19.13.86
    
    ;; AUTHORITY SECTION:
    <cluster_name>.example.com. 10800 IN NS	<cluster_name>.example.com.
    
    ;; ADDITIONAL SECTION:
    <cluster_name>.example.com. 10800 IN A	10.19.14.247
    
    ;; Query time: 0 msec
    ;; SERVER: 10.19.14.247#53(10.19.14.247)
    ;; WHEN: Tue May 19 20:30:59 UTC 2020
    ;; MSG SIZE  rcvd: 140
    Copy to Clipboard Toggle word wrap

    위 예제의 출력은 api.<cluster_name>.example.com VIP의 적절한 IP 주소가 10.19.13.86 임을 나타냅니다. 이 IP 주소는 baremetal 네트워크에 있어야합니다.

5.5. 클러스터를 초기화하지 못한 문제 해결

설치 프로그램은 Cluster Version Operator를 사용하여 OpenShift Container Platform 클러스터의 모든 구성 요소를 생성합니다. 설치 프로그램이 클러스터를 초기화하지 못하면 ClusterVersionClusterOperator 오브젝트에서 가장 중요한 정보를 검색할 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 ClusterVersion 오브젝트를 검사합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    apiVersion: config.openshift.io/v1
    kind: ClusterVersion
    metadata:
      creationTimestamp: 2019-02-27T22:24:21Z
      generation: 1
      name: version
      resourceVersion: "19927"
      selfLink: /apis/config.openshift.io/v1/clusterversions/version
      uid: 6e0f4cf8-3ade-11e9-9034-0a923b47ded4
    spec:
      channel: stable-4.1
      clusterID: 5ec312f9-f729-429d-a454-61d4906896ca
    status:
      availableUpdates: null
      conditions:
      - lastTransitionTime: 2019-02-27T22:50:30Z
        message: Done applying 4.1.1
        status: "True"
        type: Available
      - lastTransitionTime: 2019-02-27T22:50:30Z
        status: "False"
        type: Failing
      - lastTransitionTime: 2019-02-27T22:50:30Z
        message: Cluster version is 4.1.1
        status: "False"
        type: Progressing
      - lastTransitionTime: 2019-02-27T22:24:31Z
        message: 'Unable to retrieve available updates: unknown version 4.1.1
        reason: RemoteFailed
        status: "False"
        type: RetrievedUpdates
      desired:
        image: registry.svc.ci.openshift.org/openshift/origin-release@sha256:91e6f754975963e7db1a9958075eb609ad226968623939d262d1cf45e9dbc39a
        version: 4.1.1
      history:
      - completionTime: 2019-02-27T22:50:30Z
        image: registry.svc.ci.openshift.org/openshift/origin-release@sha256:91e6f754975963e7db1a9958075eb609ad226968623939d262d1cf45e9dbc39a
        startedTime: 2019-02-27T22:24:31Z
        state: Completed
        version: 4.1.1
      observedGeneration: 1
      versionHash: Wa7as_ik1qE=
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 조건을 확인합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion version \
         -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'
    Copy to Clipboard Toggle word wrap

    가장 중요한 조건 중 일부는 Failing,Available, Progressing 입니다.

    출력 예

    Available True Done applying 4.1.1
    Failing False
    Progressing False Cluster version is 4.0.0-0.alpha-2019-02-26-194020
    RetrievedUpdates False Unable to retrieve available updates: unknown version 4.1.1
    Copy to Clipboard Toggle word wrap

  3. 다음 명령을 실행하여 ClusterOperator 오브젝트를 검사합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator
    Copy to Clipboard Toggle word wrap

    명령은 클러스터 Operator의 상태를 반환합니다.

    출력 예

    NAME                                  VERSION   AVAILABLE   PROGRESSING   FAILING   SINCE
    cluster-baremetal-operator                      True        False         False     17m
    cluster-autoscaler                              True        False         False     17m
    cluster-storage-operator                        True        False         False     10m
    console                                         True        False         False     7m21s
    dns                                             True        False         False     31m
    image-registry                                  True        False         False     9m58s
    ingress                                         True        False         False     10m
    kube-apiserver                                  True        False         False     28m
    kube-controller-manager                         True        False         False     21m
    kube-scheduler                                  True        False         False     25m
    machine-api                                     True        False         False     17m
    machine-config                                  True        False         False     17m
    marketplace-operator                            True        False         False     10m
    monitoring                                      True        False         False     8m23s
    network                                         True        False         False     13m
    node-tuning                                     True        False         False     11m
    openshift-apiserver                             True        False         False     15m
    openshift-authentication                        True        False         False     20m
    openshift-cloud-credential-operator             True        False         False     18m
    openshift-controller-manager                    True        False         False     10m
    openshift-samples                               True        False         False     8m42s
    operator-lifecycle-manager                      True        False         False     17m
    service-ca                                      True        False         False     30m
    Copy to Clipboard Toggle word wrap

  4. 다음 명령을 실행하여 개별 클러스터 Operator를 검사합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> -oyaml 
    1
    Copy to Clipboard Toggle word wrap
    1
    & lt;operator& gt;를 클러스터 Operator의 이름으로 바꿉니다. 이 명령은 클러스터 Operator가 Available 상태를 얻지 못했거나 Failed 상태에 있는 이유를 식별하는 데 유용합니다.

    출력 예

    apiVersion: config.openshift.io/v1
    kind: ClusterOperator
    metadata:
      creationTimestamp: 2019-02-27T22:47:04Z
      generation: 1
      name: monitoring
      resourceVersion: "24677"
      selfLink: /apis/config.openshift.io/v1/clusteroperators/monitoring
      uid: 9a6a5ef9-3ae1-11e9-bad4-0a97b6ba9358
    spec: {}
    status:
      conditions:
      - lastTransitionTime: 2019-02-27T22:49:10Z
        message: Successfully rolled out the stack.
        status: "True"
        type: Available
      - lastTransitionTime: 2019-02-27T22:49:10Z
        status: "False"
        type: Progressing
      - lastTransitionTime: 2019-02-27T22:49:10Z
        status: "False"
        type: Failing
      extension: null
      relatedObjects: null
      version: ""
    Copy to Clipboard Toggle word wrap

  5. 클러스터 Operator의 상태 조건을 가져오려면 다음 명령을 실행합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> \
         -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'
    Copy to Clipboard Toggle word wrap

    & lt;operator >를 위의 Operator 중 하나의 이름으로 바꿉니다.

    출력 예

    Available True Successfully rolled out the stack
    Progressing False
    Failing False
    Copy to Clipboard Toggle word wrap

  6. 클러스터 Operator가 소유한 오브젝트 목록을 검색하려면 다음 명령을 실행합니다.

    oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator kube-apiserver \
       -o=jsonpath='{.status.relatedObjects}'
    Copy to Clipboard Toggle word wrap

    출력 예

    [map[resource:kubeapiservers group:operator.openshift.io name:cluster] map[group: name:openshift-config resource:namespaces] map[group: name:openshift-config-managed resource:namespaces] map[group: name:openshift-kube-apiserver-operator resource:namespaces] map[group: name:openshift-kube-apiserver resource:namespaces]]
    Copy to Clipboard Toggle word wrap

5.6. 콘솔 URL을 가져오지 못하는 문제 해결

설치 프로그램은 openshift-console 네임스페이스 내에서 [route][route-object] 를 사용하여 OpenShift Container Platform 콘솔의 URL을 검색합니다. 설치 프로그램이 콘솔에 대한 URL을 검색하지 못하면 다음 절차를 사용하십시오.

프로세스

  1. 다음 명령을 실행하여 콘솔 라우터가 Available 또는 Failing 상태에 있는지 확인합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator console -oyaml
    Copy to Clipboard Toggle word wrap
    apiVersion: config.openshift.io/v1
    kind: ClusterOperator
    metadata:
      creationTimestamp: 2019-02-27T22:46:57Z
      generation: 1
      name: console
      resourceVersion: "19682"
      selfLink: /apis/config.openshift.io/v1/clusteroperators/console
      uid: 960364aa-3ae1-11e9-bad4-0a97b6ba9358
    spec: {}
    status:
      conditions:
      - lastTransitionTime: 2019-02-27T22:46:58Z
        status: "False"
        type: Failing
      - lastTransitionTime: 2019-02-27T22:50:12Z
        status: "False"
        type: Progressing
      - lastTransitionTime: 2019-02-27T22:50:12Z
        status: "True"
        type: Available
      - lastTransitionTime: 2019-02-27T22:46:57Z
        status: "True"
        type: Upgradeable
      extension: null
      relatedObjects:
      - group: operator.openshift.io
        name: cluster
        resource: consoles
      - group: config.openshift.io
        name: cluster
        resource: consoles
      - group: oauth.openshift.io
        name: console
        resource: oauthclients
      - group: ""
        name: openshift-console-operator
        resource: namespaces
      - group: ""
        name: openshift-console
        resource: namespaces
      versions: null
    Copy to Clipboard Toggle word wrap
  2. 다음 명령을 실행하여 콘솔 URL을 수동으로 검색합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get route console -n openshift-console \
         -o=jsonpath='{.spec.host}' console-openshift-console.apps.adahiya-1.devcluster.openshift.com
    Copy to Clipboard Toggle word wrap

5.7. kubeconfig에 수신 인증서를 추가하지 못한 문제 해결

설치 프로그램은 기본 수신 인증서를 ${INSTALL_DIR}/auth/kubeconfig 의 신뢰할 수 있는 클라이언트 인증 기관 목록에 추가합니다. 설치 프로그램이 kubeconfig 파일에 Ingress 인증서를 추가하지 못하면 클러스터에서 인증서를 검색하여 추가할 수 있습니다.

프로세스

  1. 다음 명령을 사용하여 클러스터에서 인증서를 검색합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get configmaps default-ingress-cert \
         -n openshift-config-managed -o=jsonpath='{.data.ca-bundle\.crt}'
    Copy to Clipboard Toggle word wrap
    -----BEGIN CERTIFICATE-----
    MIIC/TCCAeWgAwIBAgIBATANBgkqhkiG9w0BAQsFADAuMSwwKgYDVQQDDCNjbHVz
    dGVyLWluZ3Jlc3Mtb3BlcmF0b3JAMTU1MTMwNzU4OTAeFw0xOTAyMjcyMjQ2Mjha
    Fw0yMTAyMjYyMjQ2MjlaMC4xLDAqBgNVBAMMI2NsdXN0ZXItaW5ncmVzcy1vcGVy
    YXRvckAxNTUxMzA3NTg5MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEA
    uCA4fQ+2YXoXSUL4h/mcvJfrgpBfKBW5hfB8NcgXeCYiQPnCKblH1sEQnI3VC5Pk
    2OfNCF3PUlfm4i8CHC95a7nCkRjmJNg1gVrWCvS/ohLgnO0BvszSiRLxIpuo3C4S
    EVqqvxValHcbdAXWgZLQoYZXV7RMz8yZjl5CfhDaaItyBFj3GtIJkXgUwp/5sUfI
    LDXW8MM6AXfuG+kweLdLCMm3g8WLLfLBLvVBKB+4IhIH7ll0buOz04RKhnYN+Ebw
    tcvFi55vwuUCWMnGhWHGEQ8sWm/wLnNlOwsUz7S1/sW8nj87GFHzgkaVM9EOnoNI
    gKhMBK9ItNzjrP6dgiKBCQIDAQABoyYwJDAOBgNVHQ8BAf8EBAMCAqQwEgYDVR0T
    AQH/BAgwBgEB/wIBADANBgkqhkiG9w0BAQsFAAOCAQEAq+vi0sFKudaZ9aUQMMha
    CeWx9CZvZBblnAWT/61UdpZKpFi4eJ2d33lGcfKwHOi2NP/iSKQBebfG0iNLVVPz
    vwLbSG1i9R9GLdAbnHpPT9UG6fLaDIoKpnKiBfGENfxeiq5vTln2bAgivxrVlyiq
    +MdDXFAWb6V4u2xh6RChI7akNsS3oU9PZ9YOs5e8vJp2YAEphht05X0swA+X8V8T
    C278FFifpo0h3Q0Dbv8Rfn4UpBEtN4KkLeS+JeT+0o2XOsFZp7Uhr9yFIodRsnNo
    H/Uwmab28ocNrGNiEVaVH6eTTQeeZuOdoQzUbClElpVmkrNGY0M42K0PvOQ/e7+y
    AQ==
    -----END CERTIFICATE-----
    Copy to Clipboard Toggle word wrap
  2. ${INSTALL_DIR}/auth/kubeconfig 파일의 client-certificate-authority-data 필드에 인증서를 추가합니다.

5.8. 클러스터 노드에 대한 SSH 액세스 문제 해결

보안을 강화하기 위해 기본적으로 클러스터 외부에서 클러스터에 SSH를 수행할 수 없습니다. 그러나 프로비저너 노드에서 컨트롤 플레인 및 작업자 노드에 액세스할 수 있습니다. 프로비저너 노드에서 클러스터 노드에 SSH를 수행할 수 없는 경우 노드가 부트스트랩 VM에서 대기 중일 수 있습니다. 컨트롤 플레인 노드는 부트스트랩 VM에서 부팅 구성을 검색하고 부팅 구성을 검색하지 않으면 성공적으로 부팅할 수 없습니다.

프로세스

  1. 노드에 대한 물리적 액세스 권한이 있는 경우 콘솔 출력을 확인하여 성공적으로 부팅되었는지 확인합니다. 노드가 부팅 구성을 계속 검색하는 경우 부트스트랩 VM에 문제가 있을 수 있습니다.
  2. install-config.yaml 파일에서 sshKey: '<ssh_pub_key>' 설정을 구성해야 합니다. 여기서 < ssh_pub_key >는 프로비저너 노드에서 kni 사용자의 공개 키입니다.

5.9. 클러스터 노드는 PXE 부팅 불가능

OpenShift Container Platform 클러스터 노드가 PXE 부팅을 하지 않는 경우 PXE 부팅이 되지 않는 클러스터 노드에서 다음 검사를 실행합니다. 이 절차는 provisioning 네트워크없이 OpenShift Container Platform 클러스터를 설치할 때 적용되지 않습니다.

프로세스

  1. provisioning 네트워크에 대한 네트워크 연결을 확인하십시오.
  2. provisioning 네트워크의 NIC에서 PXE가 활성화되어 있고 다른 모든 NIC에 대해 PXE가 비활성화되어 있는지 확인합니다.
  3. install-config.yaml 구성 파일에 provisioning 네트워크에 연결된 NIC의 rootDeviceHints 매개변수 및 부팅 MAC 주소가 포함되어 있는지 확인합니다. 예를 들면 다음과 같습니다.

    컨트롤 플레인 노드 설정

    bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC
    Copy to Clipboard Toggle word wrap

    작업자 노드 설정

    bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC
    Copy to Clipboard Toggle word wrap

5.10. 설치 시 작업자 노드가 생성되지 않음

설치 프로그램은 작업자 노드를 직접 프로비저닝하지 않습니다. 대신 Machine API Operator는 지원되는 플랫폼에서 노드를 확장 및 축소합니다. 클러스터의 인터넷 연결 속도에 따라 작업자 노드가 15~20분 후에 생성되지 않는 경우 Machine API Operator를 조사합니다.

프로세스

  1. 다음 명령을 실행하여 Machine API Operator를 확인합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \
       --namespace=openshift-machine-api get deployments
    Copy to Clipboard Toggle word wrap

    환경에 ${INSTALL_DIR} 이 설정되어 있지 않은 경우 값을 설치 디렉터리의 이름으로 교체합니다.

    출력 예

    NAME                          READY   UP-TO-DATE   AVAILABLE   AGE
    cluster-autoscaler-operator   1/1     1            1           86m
    cluster-baremetal-operator    1/1     1            1           86m
    machine-api-controllers       1/1     1            1           85m
    machine-api-operator          1/1     1            1           86m
    Copy to Clipboard Toggle word wrap

  2. 다음 명령을 실행하여 머신 컨트롤러 로그를 확인합니다.

    $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \
         --namespace=openshift-machine-api logs deployments/machine-api-controllers \
         --container=machine-controller
    Copy to Clipboard Toggle word wrap

5.11. Cluster Network Operator 문제 해결

Cluster Network Operator는 네트워킹 구성 요소를 배포합니다. 컨트롤 플레인 노드가 시작된 후 설치 프로그램이 부트스트랩 컨트롤 플레인을 제거하기 전에 설치 프로세스 초기에 실행됩니다. 이 Operator의 문제는 설치 프로그램 문제를 나타낼 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 네트워크 구성이 있는지 확인합니다.

    $ oc get network -o yaml cluster
    Copy to Clipboard Toggle word wrap

    존재하지 않는 경우 설치 프로그램이 이를 생성하지 않았습니다. 이유를 확인하려면 다음 명령을 실행합니다.

    $ openshift-install create manifests
    Copy to Clipboard Toggle word wrap

    매니페스트를 검토하여 설치 프로그램에서 네트워크 구성을 생성하지 않은 이유를 확인합니다.

  2. 다음 명령을 입력하여 네트워크가 실행 중인지 확인합니다.

    $ oc get po -n openshift-network-operator
    Copy to Clipboard Toggle word wrap

5.12. BMC를 사용하여 새 베어 메탈 호스트를 찾을 수 없음

경우에 따라 설치 프로그램에서 새 베어 메탈 호스트를 검색하고 원격 가상 미디어 공유를 마운트할 수 없기 때문에 오류를 발행할 수 없습니다.

예를 들면 다음과 같습니다.

ProvisioningError 51s metal3-baremetal-controller Image provisioning failed: Deploy step deploy.deploy failed with BadRequestError: HTTP POST
https://<bmc_address>/redfish/v1/Managers/iDRAC.Embedded.1/VirtualMedia/CD/Actions/VirtualMedia.InsertMedia
returned code 400.
Base.1.8.GeneralError: A general error has occurred. See ExtendedInfo for more information
Extended information: [
  {
    "Message": "Unable to mount remote share https://<ironic_address>/redfish/boot-<uuid>.iso.",
    "MessageArgs": [
      "https://<ironic_address>/redfish/boot-<uuid>.iso"
    ],
    "MessageArgs@odata.count": 1,
    "MessageId": "IDRAC.2.5.RAC0720",
    "RelatedProperties": [
      "#/Image"
    ],
    "RelatedProperties@odata.count": 1,
    "Resolution": "Retry the operation.",
    "Severity": "Informational"
  }
].
Copy to Clipboard Toggle word wrap

이 경우 알 수 없는 인증 기관이 있는 가상 미디어를 사용하는 경우 이 오류를 방지하기 위해 알 수 없는 인증 기관을 신뢰하도록 BMC(Baseboard Management Controller) 원격 파일 공유 설정을 구성할 수 있습니다.

참고

이 확인은 Dell iDRAC 9 및 펌웨어 버전 5.10.50이 있는 OpenShift Container Platform 4.11에서 테스트되었습니다.

5.13. 클러스터에 참여할 수 없는 작업자 노드 문제 해결

설치 관리자 프로비저닝 클러스터는 api-int.<cluster_name>.<base_domain > URL에 대한 DNS 항목을 포함하는 DNS 서버와 함께 배포됩니다. 클러스터 내의 노드가 외부 또는 업스트림 DNS 서버를 사용하여 api-int.<cluster_name>.<base_domain > URL을 확인하면 작업자 노드가 클러스터에 참여하지 못할 수 있습니다. 클러스터의 모든 노드가 도메인 이름을 확인할 수 있는지 확인합니다.

프로세스

  1. DNS A/AAAA 또는 CNAME 레코드를 추가하여 내부적으로 API 로드 밸런서를 식별합니다. 예를 들어 dnsmasq를 사용하는 경우 dnsmasq.conf 구성 파일을 수정합니다.

    $ sudo nano /etc/dnsmasq.conf
    Copy to Clipboard Toggle word wrap
    address=/api-int.<cluster_name>.<base_domain>/<IP_address>
    address=/api-int.mycluster.example.com/192.168.1.10
    address=/api-int.mycluster.example.com/2001:0db8:85a3:0000:0000:8a2e:0370:7334
    Copy to Clipboard Toggle word wrap
  2. 내부적으로 API 로드 밸런서를 식별하는 DNS PTR 레코드를 추가합니다. 예를 들어 dnsmasq를 사용하는 경우 dnsmasq.conf 구성 파일을 수정합니다.

    $ sudo nano /etc/dnsmasq.conf
    Copy to Clipboard Toggle word wrap
    ptr-record=<IP_address>.in-addr.arpa,api-int.<cluster_name>.<base_domain>
    ptr-record=10.1.168.192.in-addr.arpa,api-int.mycluster.example.com
    Copy to Clipboard Toggle word wrap
  3. DNS 서버를 다시 시작합니다. 예를 들어 dnsmasq를 사용하는 경우 다음 명령을 실행합니다.

    $ sudo systemctl restart dnsmasq
    Copy to Clipboard Toggle word wrap

이 레코드는 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다.

5.14. 이전 설치 정리

이전 배포에 실패한 경우 OpenShift Container Platform을 다시 배포하기 전에 실패한 시도에서 아티팩트를 제거합니다.

프로세스

  1. 다음 명령을 사용하여 OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원을 끕니다.

    $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off
    Copy to Clipboard Toggle word wrap
  2. 다음 스크립트를 사용하여 이전 배포 시도에서 남아 있는 경우 이전 부트스트랩 리소스를 모두 제거합니다.

    for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
    do
      sudo virsh destroy $i;
      sudo virsh undefine $i;
      sudo virsh vol-delete $i --pool $i;
      sudo virsh vol-delete $i.ign --pool $i;
      sudo virsh pool-destroy $i;
      sudo virsh pool-undefine $i;
    done
    Copy to Clipboard Toggle word wrap
  3. 다음 명령을 사용하여 이전 설치에서 생성한 아티팩트를 삭제합니다.

    $ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \
    .openshift_install.log .openshift_install_state.json
    Copy to Clipboard Toggle word wrap
  4. 다음 명령을 사용하여 OpenShift Container Platform 매니페스트를 다시 생성합니다.

    $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests
    Copy to Clipboard Toggle word wrap

5.15. 레지스트리 생성 문제

비 연결 레지스트리를 만들 때 레지스트리 미러링을 시도하는 경우 "User Not Authorized" 오류가 발생할 수 있습니다. 이 오류는 기존 pull-secret.txt 파일에 새 인증을 추가할 수 없는 경우 발생할 수 있습니다.

프로세스

  1. 인증이 성공했는지 확인합니다.

    $ /usr/local/bin/oc adm release mirror \
      -a pull-secret-update.json
      --from=$UPSTREAM_REPO \
      --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
      --to=$LOCAL_REG/$LOCAL_REPO
    Copy to Clipboard Toggle word wrap
    참고

    설치 이미지 미러링에 사용되는 변수의 출력 예:

    UPSTREAM_REPO=${RELEASE_IMAGE}
    LOCAL_REG=<registry_FQDN>:<registry_port>
    LOCAL_REPO='ocp4/openshift4'
    Copy to Clipboard Toggle word wrap

    RELEASE_IMAGEVERSION의 값은 OpenShift 설치 환경 설정 섹션의 OpenShift 설치 프로그램 가져오기 단계에서 설정됩니다.

  2. 레지스트리를 미러링 후 연결이 끊긴 환경에서 이에 액세스할 수 있는지 확인합니다.

    $ curl -k -u <user>:<password> https://registry.example.com:<registry_port>/v2/_catalog
    {"repositories":["<Repo_Name>"]}
    Copy to Clipboard Toggle word wrap

5.16. 기타 문제

5.16.1. runtime network not ready 오류 해결

클러스터 배포 후 다음과 같은 오류가 발생할 수 있습니다.

`runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: Missing CNI default network`
Copy to Clipboard Toggle word wrap

Cluster Network Operator는 설치 프로그램에서 생성된 특수 오브젝트에 대한 응답으로 네트워킹 구성 요소를 배포합니다. 컨트롤 플레인 (마스터) 노드가 시작된 후 부트스트랩 컨트롤 플레인이 중지되기 전에 설치 프로세스 초기에 실행됩니다. 컨트롤 플레인 (마스터) 노드를 가져오는 데 긴 지연 또는 apiserver 통신 문제와 같은 미묘한 설치 프로그램 문제를 나타낼 수 있습니다.

프로세스

  1. openshift-network-operator 네임 스페이스에서 Pod를 검사합니다.

    $ oc get all -n openshift-network-operator
    Copy to Clipboard Toggle word wrap
    NAME                                    READY STATUS            RESTARTS   AGE
    pod/network-operator-69dfd7b577-bg89v   0/1   ContainerCreating 0          149m
    Copy to Clipboard Toggle word wrap
  2. provisioner 노드에서 네트워크 구성이 존재하는지 확인합니다.

    $ kubectl get network.config.openshift.io cluster -oyaml
    Copy to Clipboard Toggle word wrap
    apiVersion: config.openshift.io/v1
    kind: Network
    metadata:
      name: cluster
    spec:
      serviceNetwork:
      - 172.30.0.0/16
      clusterNetwork:
      - cidr: 10.128.0.0/14
        hostPrefix: 23
      networkType: OVNKubernetes
    Copy to Clipboard Toggle word wrap

    존재하지 않는 경우 설치 프로그램이 이를 생성하지 않았습니다. 설치 프로그램이 생성하지 않은 이유를 확인하려면 다음을 실행합니다.

    $ openshift-install create manifests
    Copy to Clipboard Toggle word wrap
  3. network-operator가 실행되고 있는지 확인합니다.

    $ kubectl -n openshift-network-operator get pods
    Copy to Clipboard Toggle word wrap
  4. 로그를 검색합니다.

    $ kubectl -n openshift-network-operator logs -l "name=network-operator"
    Copy to Clipboard Toggle word wrap

    3 개 이상의 컨트롤 플레인 (마스터) 노드가 있는 고가용성 클러스터에서 Operator는 리더의 선택을 실행하고 다른 Operator는 절전 모드로 전환합니다. 자세한 내용은 Troubleshooting을 참조하십시오.

클러스터를 배포한 후 다음과 같은 오류 메시지가 표시될 수 있습니다.

No disk found with matching rootDeviceHints
Copy to Clipboard Toggle word wrap

rootDeviceHints 오류 메시지와 일치하는 No disk found 를 해결하기 위해 임시 해결 방법은 rootDeviceHintsminSizeGigabytes: 300 로 변경하는 것입니다.

rootDeviceHints 설정을 변경한 후 CoreOS를 부팅한 다음 다음 명령을 사용하여 디스크 정보를 확인합니다.

$ udevadm info /dev/sda
Copy to Clipboard Toggle word wrap

DL360keygen 10 서버를 사용하는 경우 /dev/sda 장치 이름이 할당될 수 있는 SD 카드 슬롯이 있다는 점에 유의하십시오. 서버에 SD 카드가 없으면 충돌이 발생할 수 있습니다. 서버의 BIOS 설정에서 SD 카드 슬롯이 비활성화되어 있는지 확인합니다.

minSizeGigabytes 해결방법이 요구 사항을 충족하지 않는 경우 rootDeviceHints/dev/sda 로 되돌려야 할 수 있습니다. 이러한 변경을 통해 ironic 이미지를 성공적으로 부팅할 수 있습니다.

이 문제를 해결하기 위한 대체 방법은 디스크의 직렬 ID를 사용하는 것입니다. 그러나 직렬 ID를 찾는 것은 어려울 수 있으며 구성 파일을 읽을 수 없게 만들 수 있습니다. 이 경로를 선택하는 경우 이전에 문서화한 명령을 사용하여 직렬 ID를 수집하여 구성에 통합해야 합니다.

5.16.3. DHCP를 통해 올바른 IPv6 주소를 얻지 못하는 클러스터 노드

클러스터 노드가 DHCP를 통해 올바른 IPv6 주소를 얻지 못하는 경우 다음을 확인합니다.

  1. 예약 된 IPv6 주소가 DHCP 범위 밖에 있는지 확인합니다.
  2. DHCP 서버의 IP 주소 예약에서 예약에 올바른 DHCP 고유 식별자 (DUID)가 지정되어 있는지 확인합니다. 예를 들면 다음과 같습니다.

    # This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC
    id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]
    Copy to Clipboard Toggle word wrap
  3. 경로 알림 (Route Announcement)이 제대로 작동하는지 확인합니다.
  4. DHCP 서버가 IP 주소 범위를 제공하는 데 필요한 인터페이스에서 수신하고 있는지 확인합니다.

5.16.4. DHCP를 통해 올바른 호스트 이름을 얻지 못하는 클러스터 노드

IPv6 배포 중에 클러스터 노드는 DHCP를 통해 호스트 이름을 검색해야 합니다. 경우에 따라 NetworkManager가 호스트 이름을 즉시 할당하지 않을 수 있습니다. 컨트롤 플레인 (마스터) 노드는 다음과 같은 오류를 보고할 수 있습니다.

Failed Units: 2
  NetworkManager-wait-online.service
  nodeip-configuration.service
Copy to Clipboard Toggle word wrap

이 오류는 클러스터 노드가 DHCP 서버에서 호스트 이름을 받지 않고 부팅되었을 가능성이 있음을 나타냅니다. 이로 인해 kubeletlocalhost.localdomain 호스트 이름으로 부팅됩니다. 이 문제를 해결하려면 노드가 호스트 이름을 업데이트하도록 합니다.

프로세스

  1. hostname을 검색합니다.

    [core@master-X ~]$ hostname
    Copy to Clipboard Toggle word wrap

    호스트 이름이 localhost인 경우 다음 단계를 진행합니다.

    참고

    여기서 X는 컨트롤 플레인 노드 번호입니다.

  2. 클러스터 노드가 DHCP 임대를 갱신하도록 합니다.

    [core@master-X ~]$ sudo nmcli con up "<bare_metal_nic>"
    Copy to Clipboard Toggle word wrap

    & lt;bare_metal_nic >을 baremetal 네트워크에 해당하는 유선 연결로 바꿉니다.

  3. hostname 다시 확인하십시오.

    [core@master-X ~]$ hostname
    Copy to Clipboard Toggle word wrap
  4. 호스트 이름이 여전히 localhost.localdomain인 경우 NetworkManager를 다시 시작합니다.

    [core@master-X ~]$ sudo systemctl restart NetworkManager
    Copy to Clipboard Toggle word wrap
  5. 호스트 이름이 여전히 localhost.localdomain 인 경우 몇 분 기다린 후 다시 확인하십시오. 호스트 이름이 localhost.localdomain으로 남아 있으면 이전 단계를 반복합니다.
  6. nodeip-configuration 서비스를 다시 시작합니다.

    [core@master-X ~]$ sudo systemctl restart nodeip-configuration.service
    Copy to Clipboard Toggle word wrap

    이 서비스는 올바른 호스트 이름 참조를 사용하여 kubelet 서비스를 재구성합니다.

  7. 이전 단계에서 kubelet이 변경되었으므로 단위 파일 정의를 다시 로드하십시오.

    [core@master-X ~]$ sudo systemctl daemon-reload
    Copy to Clipboard Toggle word wrap
  8. kubelet 서비스를 다시 시작합니다.

    [core@master-X ~]$ sudo systemctl restart kubelet.service
    Copy to Clipboard Toggle word wrap
  9. kubelet 이 올바른 호스트 이름으로 부팅되었는지 확인합니다.

    [core@master-X ~]$ sudo journalctl -fu kubelet.service
    Copy to Clipboard Toggle word wrap

클러스터 가동 후 (예: 클러스터를 다시 시작) 클러스터 노드가 DHCP를 통해 올바른 호스트 이름을 얻지 못하는 경우 클러스터에 csr은 보류 처리됩니다. csr을 승인 하지 마십시오. 그렇지 않으면 다른 문제가 발생할 수 있습니다.

CSR 처리

  1. 클러스터에서 CSR을 가져옵니다.

    $ oc get csr
    Copy to Clipboard Toggle word wrap
  2. 보류중인 CSRSubject Name: localhost.localdomain이 포함되어 있는지 확인합니다.

    $ oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -text
    Copy to Clipboard Toggle word wrap
  3. Subject Name: localhost.localdomain이 포함된 모든 csr을 제거합니다.

    $ oc delete csr <wrong_csr>
    Copy to Clipboard Toggle word wrap

5.16.5. 루트가 엔드 포인트에 도달하지 않음

설치 프로세스 중에 VRRP (Virtual Router Redundancy Protocol) 충돌이 발생할 수 있습니다. 특정 클러스터 이름을 사용하여 클러스터 배포의 일부였던 이전에 사용된 OpenShift Container Platform 노드가 여전히 실행 중이지만 동일한 클러스터 이름을 사용하는 현재 OpenShift Container Platform 클러스터 배포의 일부가 아닌 경우 이러한 충돌이 발생할 수 있습니다. 예를 들어 클러스터는 클러스터 이름 openshift를 사용하여 3 개의 컨트롤 플레인 (마스터) 노드와 3 개의 작업자 노드를 배포합니다. 나중에 다른 설치에서 동일한 클러스터 이름 openshift를 사용하지만 이 재배포에서는 3 개의 컨트롤 플레인 (마스터) 노드 만 설치하여 이전 배포의 작업자 노드 3 개를 ON 상태로 유지합니다. 이로 인해 VRID (Virtual Router Identifier) 충돌 및 VRRP 충돌이 발생할 수 있습니다.

  1. 루트를 가져옵니다.

    $ oc get route oauth-openshift
    Copy to Clipboard Toggle word wrap
  2. 서비스 엔드 포인트를 확인합니다.

    $ oc get svc oauth-openshift
    Copy to Clipboard Toggle word wrap
    NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
    oauth-openshift   ClusterIP   172.30.19.162   <none>        443/TCP   59m
    Copy to Clipboard Toggle word wrap
  3. 컨트롤 플레인 (마스터) 노드에서 서비스에 연결을 시도합니다.

    [core@master0 ~]$ curl -k https://172.30.19.162
    Copy to Clipboard Toggle word wrap
    {
      "kind": "Status",
      "apiVersion": "v1",
      "metadata": {
      },
      "status": "Failure",
      "message": "forbidden: User \"system:anonymous\" cannot get path \"/\"",
      "reason": "Forbidden",
      "details": {
      },
      "code": 403
    Copy to Clipboard Toggle word wrap
  4. provisioner 노드에서 authentication-operator 오류를 식별합니다.

    $ oc logs deployment/authentication-operator -n openshift-authentication-operator
    Copy to Clipboard Toggle word wrap
    Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"
    Copy to Clipboard Toggle word wrap

해결책

  1. 모든 배포의 클러스터 이름이 고유한지 확인하여 충돌이 발생하지 않도록합니다.
  2. 동일한 클러스터 이름을 사용하는 클러스터 배포의 일부가 아닌 잘못된 노드 모두를 종료합니다. 그렇지 않으면 OpenShift Container Platform 클러스터의 인증 pod가 정상적으로 시작되지 않을 수 있습니다.

5.16.6. Firstboot 동안 Ignition 실패

Firstboot 중에 Ignition 설정이 실패할 수 있습니다.

프로세스

  1. Ignition 설정이 실패한 노드에 연결합니다.

    Failed Units: 1
      machine-config-daemon-firstboot.service
    Copy to Clipboard Toggle word wrap
  2. machine-config-daemon-firstboot 서비스를 다시 시작합니다.

    [core@worker-X ~]$ sudo systemctl restart machine-config-daemon-firstboot.service
    Copy to Clipboard Toggle word wrap

5.16.7. NTP가 동기화되지 않음

OpenShift Container Platform 클러스터를 배포하려면 클러스터 노드 간의 NTP 시계가 동기화되어야합니다. 동기화된 시계가 없으면 시간 차이가 2 초보다 크면 클럭 드리프트로 인해 배포 실패할 수 있습니다.

프로세스

  1. 클러스터 노드의 AGE 차이를 확인하십시오. 예를 들면 다음과 같습니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap
    NAME                         STATUS   ROLES    AGE   VERSION
    master-0.cloud.example.com   Ready    master   145m   v1.29.4
    master-1.cloud.example.com   Ready    master   135m   v1.29.4
    master-2.cloud.example.com   Ready    master   145m   v1.29.4
    worker-2.cloud.example.com   Ready    worker   100m   v1.29.4
    Copy to Clipboard Toggle word wrap
  2. 클럭 드리프트로 인한 일관성없는 시간 지연을 확인하십시오. 예를 들면 다음과 같습니다.

    $ oc get bmh -n openshift-machine-api
    Copy to Clipboard Toggle word wrap
    master-1   error registering master-1  ipmi://<out_of_band_ip>
    Copy to Clipboard Toggle word wrap
    $ sudo timedatectl
    Copy to Clipboard Toggle word wrap
                   Local time: Tue 2020-03-10 18:20:02 UTC
               Universal time: Tue 2020-03-10 18:20:02 UTC
                     RTC time: Tue 2020-03-10 18:36:53
                    Time zone: UTC (UTC, +0000)
    System clock synchronized: no
                  NTP service: active
              RTC in local TZ: no
    Copy to Clipboard Toggle word wrap

기존 클러스터에서 클럭 드리프트 처리

  1. 노드에 전송할 chrony.conf 파일의 내용을 포함하여 Butane 구성 파일을 만듭니다. 다음 예제에서 99-master-chrony.bu를 생성하여 파일을 컨트롤 플레인 노드에 추가합니다. 작업자 노드의 파일을 변경하거나 작업자 역할에 대해 이 절차를 반복할 수 있습니다.

    참고

    Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

    variant: openshift
    version: 4.16.0
    metadata:
      name: 99-master-chrony
      labels:
        machineconfiguration.openshift.io/role: master
    storage:
      files:
      - path: /etc/chrony.conf
        mode: 0644
        overwrite: true
        contents:
          inline: |
            server <NTP_server> iburst 
    1
    
            stratumweight 0
            driftfile /var/lib/chrony/drift
            rtcsync
            makestep 10 3
            bindcmdaddress 127.0.0.1
            bindcmdaddress ::1
            keyfile /etc/chrony.keys
            commandkey 1
            generatecommandkey
            noclientlog
            logchange 0.5
            logdir /var/log/chrony
    Copy to Clipboard Toggle word wrap
    1
    & lt;NTP_server >를 NTP 서버의 IP 주소로 바꿉니다.
  2. Butane을 사용하여 노드에 전달할 구성이 포함된 MachineConfig 파일 99-master-chrony.yaml을 생성합니다.

    $ butane 99-master-chrony.bu -o 99-master-chrony.yaml
    Copy to Clipboard Toggle word wrap
  3. MachineConfig 오브젝트를 적용합니다.

    $ oc apply -f 99-master-chrony.yaml
    Copy to Clipboard Toggle word wrap
  4. System clock synchronized 값이 yes 인지 확인하십시오.

    $ sudo timedatectl
    Copy to Clipboard Toggle word wrap
                   Local time: Tue 2020-03-10 19:10:02 UTC
               Universal time: Tue 2020-03-10 19:10:02 UTC
                     RTC time: Tue 2020-03-10 19:36:53
                    Time zone: UTC (UTC, +0000)
    System clock synchronized: yes
                  NTP service: active
              RTC in local TZ: no
    Copy to Clipboard Toggle word wrap

    배포 전에 클럭 동기화를 설정하려면 매니페스트 파일을 생성하고이 파일을 openshift 디렉터리에 추가합니다. 예를 들면 다음과 같습니다.

    $ cp chrony-masters.yaml ~/clusterconfigs/openshift/99_masters-chrony-configuration.yaml
    Copy to Clipboard Toggle word wrap

    그런 다음 계속해서 클러스터를 만듭니다.

5.17. 설치 확인

설치 후 설치 프로그램이 노드와 Pod를 성공적으로 배포했는지 확인합니다.

프로세스

  1. OpenShift Container Platform 클러스터 노드가 적절하게 설치되면 STATUS 열에 Ready 상태가 표시됩니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap
    NAME                   STATUS   ROLES           AGE  VERSION
    master-0.example.com   Ready    master,worker   4h   v1.29.4
    master-1.example.com   Ready    master,worker   4h   v1.29.4
    master-2.example.com   Ready    master,worker   4h   v1.29.4
    Copy to Clipboard Toggle word wrap
  2. 설치 프로그램이 모든 pod를 성공적으로 배포했는지 확인합니다. 다음 명령은 아직 실행 중이거나 출력의 일부로 완료된 모든 pod를 제거합니다.

    $ oc get pods --all-namespaces | grep -iv running | grep -iv complete
    Copy to Clipboard Toggle word wrap

6장. 설치 프로그램에서 제공하는 설치 후 구성

설치 관리자 프로비저닝 클러스터를 성공적으로 배포한 후 다음 설치 후 절차를 고려하십시오.

6.1. 선택사항: 연결이 끊긴 클러스터의 NTP 구성

OpenShift Container Platform은 클러스터 노드에 chrony Network Time Protocol(NTP) 서비스를 설치합니다. 다음 절차에 따라 컨트롤 플레인 노드에서 NTP 서버를 구성하고 배포 후 컴퓨팅 노드를 컨트롤 플레인 노드의 NTP 클라이언트로 구성합니다.

OpenShift Container Platform 노드는 올바로 실행되려면 날짜와 시간에 동의해야 합니다. 컴퓨팅 노드가 컨트롤 플레인 노드의 NTP 서버에서 날짜와 시간을 검색할 때 라우팅 가능한 네트워크에 연결되지 않은 클러스터를 설치 및 실행할 수 있으므로 상위 계층 NTP 서버에 액세스할 수 없습니다.

프로세스

  1. 다음 명령을 사용하여 설치 호스트에 Butane을 설치합니다.

    $ sudo dnf -y install butane
    Copy to Clipboard Toggle word wrap
  2. 컨트롤 플레인 노드에 대한 chrony.conf 파일의 콘텐츠를 포함하여 Butane 구성, 99-master-chrony-conf-override.bu를 만듭니다.

    참고

    Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

    Butane 구성의 예

    variant: openshift
    version: 4.16.0
    metadata:
      name: 99-master-chrony-conf-override
      labels:
        machineconfiguration.openshift.io/role: master
    storage:
      files:
        - path: /etc/chrony.conf
          mode: 0644
          overwrite: true
          contents:
            inline: |
              # Use public servers from the pool.ntp.org project.
              # Please consider joining the pool (https://www.pool.ntp.org/join.html).
    
              # The Machine Config Operator manages this file
              server openshift-master-0.<cluster-name>.<domain> iburst 
    1
    
              server openshift-master-1.<cluster-name>.<domain> iburst
              server openshift-master-2.<cluster-name>.<domain> iburst
    
              stratumweight 0
              driftfile /var/lib/chrony/drift
              rtcsync
              makestep 10 3
              bindcmdaddress 127.0.0.1
              bindcmdaddress ::1
              keyfile /etc/chrony.keys
              commandkey 1
              generatecommandkey
              noclientlog
              logchange 0.5
              logdir /var/log/chrony
    
              # Configure the control plane nodes to serve as local NTP servers
              # for all compute nodes, even if they are not in sync with an
              # upstream NTP server.
    
              # Allow NTP client access from the local network.
              allow all
              # Serve time even if not synchronized to a time source.
              local stratum 3 orphan
    Copy to Clipboard Toggle word wrap

    1
    <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.
  3. Butane을 사용하여 컨트롤 플레인 노드에 전달할 구성이 포함된 MachineConfig 파일 99-master-chrony-conf-override.yaml을 생성합니다.

    $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap
  4. 컨트롤 플레인 노드의 NTP 서버를 참조하는 컴퓨팅 노드의 chrony.conf 파일의 내용을 포함하여 Butane 구성 99-worker-chrony-conf-override.bu 를 만듭니다.

    Butane 구성의 예

    variant: openshift
    version: 4.16.0
    metadata:
      name: 99-worker-chrony-conf-override
      labels:
        machineconfiguration.openshift.io/role: worker
    storage:
      files:
        - path: /etc/chrony.conf
          mode: 0644
          overwrite: true
          contents:
            inline: |
              # The Machine Config Operator manages this file.
              server openshift-master-0.<cluster-name>.<domain> iburst 
    1
    
              server openshift-master-1.<cluster-name>.<domain> iburst
              server openshift-master-2.<cluster-name>.<domain> iburst
    
              stratumweight 0
              driftfile /var/lib/chrony/drift
              rtcsync
              makestep 10 3
              bindcmdaddress 127.0.0.1
              bindcmdaddress ::1
              keyfile /etc/chrony.keys
              commandkey 1
              generatecommandkey
              noclientlog
              logchange 0.5
              logdir /var/log/chrony
    Copy to Clipboard Toggle word wrap

    1
    <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.
  5. Butane을 사용하여 작업자 노드로 전달할 구성이 포함된 MachineConfig 개체 파일 99-worker-chrony-conf-override.yaml을 생성합니다.

    $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap
  6. 99-master-chrony-conf-override.yaml 정책을 컨트롤 플레인 노드에 적용합니다.

    $ oc apply -f 99-master-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    machineconfig.machineconfiguration.openshift.io/99-master-chrony-conf-override created
    Copy to Clipboard Toggle word wrap

  7. 99-worker-chrony-conf-override.yaml 정책을 컴퓨팅 노드에 적용합니다.

    $ oc apply -f 99-worker-chrony-conf-override.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    machineconfig.machineconfiguration.openshift.io/99-worker-chrony-conf-override created
    Copy to Clipboard Toggle word wrap

  8. 적용된 NTP 설정 상태를 확인합니다.

    $ oc describe machineconfigpool
    Copy to Clipboard Toggle word wrap

6.2. 설치 후 프로비저닝 네트워크 활성화

베어 메탈 클러스터에 지원되는 설치 프로그램 및 설치 관리자 프로비저닝 설치는 provisioning 네트워크 없이 클러스터를 배포하는 기능을 제공합니다. 이 기능은 개념 증명 클러스터 또는 각 노드의 베이스보드 관리 컨트롤러를 baremetal 네트워크를 통해 라우팅할 수 있는 Redfish 가상 미디어 전용 배포와 같은 시나리오에 적합합니다.

CVO(Cluster Baremetal Operator)를 사용하여 설치 후 provisioning 네트워크를 활성화할 수 있습니다.

사전 요구 사항

  • 모든 작업자 및 컨트롤 플레인 노드에 연결된 전용 물리적 네트워크가 있어야 합니다.
  • 태그가 지정되지 않은 기본 물리적 네트워크를 분리해야 합니다.
  • provisioningNetwork 구성 설정이 Managed로 설정된 경우 네트워크에 DHCP 서버가 있을 수 없습니다.
  • OpenShift Container Platform 4.10에서 provisioningInterface 설정을 생략하여 bootMACAddress 구성 설정을 사용할 수 있습니다.

프로세스

  1. provisioningInterface 설정을 설정할 때 먼저 클러스터 노드의 프로비저닝 인터페이스 이름을 확인합니다. 예를 들어 eth0 또는 eno1 입니다.
  2. 클러스터 노드의 provisioning 네트워크 인터페이스에서 PXE(Preboot eXecution Environment)를 활성화합니다.
  3. provisioning 네트워크의 현재 상태를 검색하여 provisioning CR(사용자 정의 리소스) 파일에 저장합니다.

    $ oc get provisioning -o yaml > enable-provisioning-nw.yaml
    Copy to Clipboard Toggle word wrap
  4. 프로비저닝 CR 파일을 수정합니다.

    $ vim ~/enable-provisioning-nw.yaml
    Copy to Clipboard Toggle word wrap

    아래로 스크롤하여 provisioningNetwork 구성 설정으로 이동한 후 Disabled에서 Managed로 변경합니다. 그런 다음 provisioningNetwork 설정 후 provisioningIP,provisioningNetworkCIDR,provisioningDHCPRange,provisioningInterfacewatchAllNameSpaces 구성 설정을 추가합니다. 각 설정에 적절한 값을 제공합니다.

    apiVersion: v1
    items:
    - apiVersion: metal3.io/v1alpha1
      kind: Provisioning
      metadata:
        name: provisioning-configuration
      spec:
        provisioningNetwork: 
    1
    
        provisioningIP: 
    2
    
        provisioningNetworkCIDR: 
    3
    
        provisioningDHCPRange: 
    4
    
        provisioningInterface: 
    5
    
        watchAllNameSpaces: 
    6
    Copy to Clipboard Toggle word wrap
    1
    provisioningNetworkManaged, Unmanaged 또는 Disabled 중 하나입니다. Managed로 설정하면 Metal3에서 프로비저닝 네트워크를 관리하고 CBO는 구성된 DHCP 서버를 사용하여 Metal3 pod를 배포합니다. Unmanaged로 설정하면 시스템 관리자가 DHCP 서버를 수동으로 구성합니다.
    2
    provisioningIP는 DHCP 서버와 ironic에서 네트워크를 프로비저닝하는 데 사용하는 고정 IP 주소입니다. 이 고정 IP 주소는 provisioning 서브넷 내에 있어야 하며 DHCP 범위 외부에 있어야 합니다. 이 설정을 구성하는 경우 provisioning 네트워크가 Disabled인 경우에도 유효한 IP 주소가 있어야 합니다. 고정 IP 주소는 metal3 pod에 바인딩됩니다. metal3 pod에 장애가 발생하여 다른 서버로 이동하는 경우 고정 IP 주소도 새 서버로 이동합니다.
    3
    CIDR(Classless Inter-Domain Routing) 주소입니다. 이 설정을 구성하는 경우 provisioning 네트워크가 Disabled인 경우에도 유효한 CIDR 주소가 있어야 합니다. 예: 192.168.0.1/24
    4
    DHCP 범위입니다. 이 설정은 Managed 프로비저닝 네트워크에만 적용할 수 있습니다. provisioning 네트워크가 Disabled인 경우 이 구성 설정을 생략합니다. 예: 192.168.0.64, 192.168.0.253.
    5
    클러스터 노드의 provisioning 인터페이스의 NIC 이름입니다. provisioningInterface 설정은 ManagedUnmanaged 프로비저닝 네트워크에만 적용할 수 있습니다. provisioning 네트워크가 Disabled인 경우 provisioningInterface 구성 설정을 생략합니다. 대신 bootMACAddress 구성 설정을 사용하려면 provisioningInterface 구성 설정을 생략합니다.
    6
    metal3가 기본 openshift-machine-api 네임스페이스 이외의 네임스페이스를 감시하도록 하려면 이 설정을 true로 설정합니다. 기본값은 false입니다.
  5. 프로비저닝 CR 파일에 변경 사항을 저장합니다.
  6. 프로비저닝 CR 파일을 클러스터에 적용합니다.

    $ oc apply -f enable-provisioning-nw.yaml
    Copy to Clipboard Toggle word wrap

6.3. 사용자 지정 br-ex 브리지를 포함하는 매니페스트 오브젝트 생성

사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 생성하는 다음 사용 사례를 고려하십시오.

  • OVS(Open vSwitch) 또는 OVN-Kubernetes br-ex 브리지 네트워크 변경과 같은 브릿지를 사후 설치하려고 합니다. configure-ovs.sh 쉘 스크립트는 브리지를 사후 설치하도록 지원하지 않습니다.
  • 호스트 또는 서버 IP 주소에 사용 가능한 인터페이스와 다른 인터페이스에 브리지를 배포하려고 합니다.
  • configure-ovs.sh 쉘 스크립트에서 사용할 수 없는 고급 구성을 브리지에 설정하려고 합니다. 이러한 구성에 스크립트를 사용하면 브리지가 여러 네트워크 인터페이스를 연결하고 인터페이스 간 데이터 전달을 용이하게 할 수 있습니다.

사전 요구 사항

  • 대체 방법을 사용하여 configure-ovs 를 사용하여 사용자 지정 br-ex 를 설정합니다.
  • Kubernetes NMState Operator가 설치되어 있어야 합니다.

프로세스

  • NodeNetworkConfigurationPolicy (NNCP) CR을 생성하고 사용자 지정 br-ex 브리지 네트워크 구성을 정의합니다. br-ex NNCP CR에는 네트워크의 OVN-Kubernetes masquerade IP 주소와 서브넷이 포함되어야 합니다. 예제 NNCP CR에는 ipv4.address.ipipv6.address.ip 매개변수에 기본값이 포함되어 있습니다. ipv4.address.ip,ipv6.address.ip 또는 두 매개변수 모두에서 masquerade IP 주소를 설정할 수 있습니다.

    중요

    설치 후 작업에서는 사용자 지정된 br-ex 브리지의 기본 IP 주소를 변경할 수 없습니다. 단일 스택 클러스터 네트워크를 듀얼 스택 클러스터 네트워크로 변환하려면 NNCP CR에서 보조 IPv6 주소를 추가하거나 변경할 수 있지만 기존 기본 IP 주소는 변경할 수 없습니다.

    apiVersion: nmstate.io/v1
    kind: NodeNetworkConfigurationPolicy
    metadata:
      name: worker-0-br-ex
    spec:
      nodeSelector:
        kubernetes.io/hostname: worker-0
        desiredState:
        interfaces:
        - name: enp2s0
          type: ethernet
          state: up
          ipv4:
            enabled: false
          ipv6:
            enabled: false
        - name: br-ex
          type: ovs-bridge
          state: up
          ipv4:
            enabled: false
            dhcp: false
          ipv6:
            enabled: false
            dhcp: false
          bridge:
            options:
              mcast-snooping-enable: true
            port:
            - name: enp2s0
            - name: br-ex
        - name: br-ex
          type: ovs-interface
          state: up
          copy-mac-from: enp2s0
          ipv4:
            enabled: true
            dhcp: true
            auto-route-metric: 48
            address:
            - ip: "169.254.0.2"
              prefix-length: 17
          ipv6:
            enabled: true
            dhcp: true
            auto-route-metric: 48
            address:
            - ip: "fd69::2"
            prefix-length: 112
    # ...
    Copy to Clipboard Toggle word wrap

    다음과 같습니다.

    metadata.name
    정책 이름입니다.
    interfaces.name
    인터페이스 이름입니다.
    interfaces.type
    이더넷 유형입니다.
    interfaces.state
    생성 후 인터페이스에 요청되는 상태입니다.
    ipv4.enabled
    이 예에서는 IPv4 및 IPv6을 비활성화합니다.
    port.name
    브리지가 연결된 노드 NIC입니다.
    address.ip
    는 기본 IPv4 및 IPv6 IP 주소를 표시합니다. 네트워크의 masquerade IPv4 및 IPv6 IP 주소를 설정해야 합니다.
    auto-route-metric
    매개변수를 48 으로 설정하여 br-ex 기본 경로가 항상 우선 순위가 가장 높은지(가장 낮은 메트릭)인지 확인합니다. 이 구성은 NetworkManager 서비스에서 자동으로 구성하는 다른 인터페이스와의 라우팅 충돌을 방지합니다.

다음 단계

  • 컴퓨팅 노드를 확장하여 사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 클러스터에 있는 각 컴퓨팅 노드에 적용합니다. 자세한 내용은 추가 리소스 섹션의 "클러스터 확장"을 참조하십시오.

6.4. 사용자 지정 br-ex 브리지로 중단 변경

특정 상황에서는 계획된 유지 관리 또는 네트워크 구성 업데이트를 위해 br-ex 브릿지를 중단해야 할 수 있습니다. br-ex 브리지는 워크로드의 모든 외부 네트워크 트래픽의 게이트웨이이므로 브릿지에 대한 모든 변경으로 외부 네트워크에서 pod 및 가상 머신(VM)의 연결을 일시적으로 해제할 수 있습니다.

다음 절차에서는 예를 사용하여 클러스터 워크로드 실행에 미치는 영향을 최소화하는 br-ex 브릿지를 중단하는 것을 보여줍니다.

클러스터의 모든 노드가 br-ex 브리지 변경 사항을 수신하려면 클러스터를 재부팅해야 합니다. 기존 MachineConfig 오브젝트를 편집해도 재부팅 작업이 강제 적용되지 않으므로 클러스터에 대한 재부팅 작업을 강제 적용하려면 추가 MachineConfig 오브젝트를 생성해야 합니다.

중요

Red Hat은 노드의 IP 주소 변경을 postintallation 작업으로 지원하지 않습니다.

사전 요구 사항

  • br-ex 브리지를 포함하는 매니페스트 오브젝트를 생성했습니다.
  • br-ex 브리지가 구성된 클러스터를 배포했습니다.

프로세스

  1. br-ex 브리지 네트워크 인터페이스를 사용자 정의하기 위해 클러스터 설치 중에 생성한 NMState 구성 파일을 변경합니다.

    중요

    MachineConfig 오브젝트를 저장하기 전에 변경된 매개변수 값을 확인합니다. 잘못된 값을 입력하고 파일을 저장하면 파일을 원래 상태로 복구할 수 없으며 클러스터의 네트워킹 기능에 영향을 미칩니다.

  2. base64 명령을 사용하여 다음 명령을 입력하여 NMState 구성의 내용을 다시 인코딩합니다.

    $ base64 -w0 <nmstate_configuration>.yml 
    1
    Copy to Clipboard Toggle word wrap
    1
    & lt;nmstate_configuration& gt;을 NMState 리소스 YAML 파일의 이름으로 바꿉니다.
  3. 클러스터 설치 중에 생성한 MachineConfig 매니페스트 파일을 업데이트하고 사용자 지정된 br-ex 브리지 네트워크 인터페이스를 다시 정의합니다.
  4. 다음 명령을 입력하여 MachineConfig 오브젝트의 업데이트를 클러스터에 적용합니다.

    $ oc apply -f <machine_config>.yml
    Copy to Clipboard Toggle word wrap
  5. 베어 MachineConfig 오브젝트를 생성하지만 파일을 구성하지 마십시오.

    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      labels:
        machineconfiguration.openshift.io/role: master
      name: 10-force-reboot-master
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          files:
          - contents:
              source: data:text/plain;charset=utf-8;base64,
            mode: 0644
            overwrite: true
            path: /etc/force-reboot
    ---
    apiVersion: machineconfiguration.openshift.io/v1
    kind: MachineConfig
    metadata:
      labels:
        machineconfiguration.openshift.io/role: worker
      name: 10-force-reboot-worker
    spec:
      config:
        ignition:
          version: 3.2.0
        storage:
          files:
          - contents:
              source: data:text/plain;charset=utf-8;base64,
            mode: 0644
            overwrite: true
            path: /etc/force-reboot
    # ...
    Copy to Clipboard Toggle word wrap
  6. 다음 명령을 입력하여 베어 MachineConfig 오브젝트 구성을 클러스터에 적용하여 재부팅 작업을 시작합니다.

    $ oc apply -f <bare_machine_config>.yml
    Copy to Clipboard Toggle word wrap
  7. 클러스터의 각 노드에 다음 명령을 입력하여 재부팅이 완료되었음을 나타내는 Ready 상태가 있는지 확인합니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap
  8. 다음 명령을 입력하여 베어 MachineConfig 오브젝트를 삭제합니다.

    $ oc delete machineconfig <machine_config_name>
    Copy to Clipboard Toggle word wrap

검증

  • nmstatectl 툴을 사용하여 다음 명령을 실행하여 br-ex 브리지 인터페이스의 구성을 확인합니다. 이 툴은 MachineConfig 오브젝트를 배포한 위치가 아닌 br-ex 브리지 인터페이스를 실행하는 노드를 확인합니다.

    $ sudo nmstatectl show br-ex
    Copy to Clipboard Toggle word wrap

7장. 클러스터 확장

설치 관리자 프로비저닝 OpenShift Container Platform 클러스터를 배포한 후 다음 절차를 사용하여 작업자 노드 수를 확장할 수 있습니다. 가능한 각 작업자 노드가 사전 요구 사항을 충족하는지 확인합니다.

참고

RedFish Virtual Media를 사용하여 클러스터를 구성하려면 최소 펌웨어 요구 사항을 충족해야 합니다. RedFish Virtual Media를 사용하여 클러스터를 설정할 때 추가 세부 사항은 사전 요구 사항 섹션에서 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항을 참조하십시오.

7.1. 베어 메탈 노드 준비

클러스터를 확장하려면 노드에 관련 IP 주소를 제공해야 합니다. 이 작업은 정적 구성 또는 DHCP(Dynamic Host Configuration Protocol) 서버를 사용하여 수행할 수 있습니다. DHCP 서버를 사용하여 클러스터를 확장하는 경우 각 노드에 DHCP 예약이 있어야 합니다.

고정 IP 주소가 되도록 IP 주소 예약

일부 관리자는 각 노드의 IP 주소가 DHCP 서버에서 일정하게 유지되도록 고정 IP 주소를 사용하는 것을 선호합니다. NMState를 사용하여 고정 IP 주소를 구성하려면 자세한 내용은 "OpenShift 설치를 위한 환경 설정" 섹션의 "선택 사항: install-config.yaml 파일에서 호스트 네트워크 인터페이스 구성"을 참조하십시오.

베어 메탈 노드를 준비하려면 프로비저너 노드에서 다음 절차를 실행해야 합니다.

프로세스

  1. oc 바이너리를 가져옵니다.

    $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - oc
    Copy to Clipboard Toggle word wrap
    $ sudo cp oc /usr/local/bin
    Copy to Clipboard Toggle word wrap
  2. BMC(Baseboard Management Controller)를 사용하여 베어 메탈 노드의 전원을 끄고 꺼졌는지 확인합니다.
  3. 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 사용자 이름 및 암호를 검색합니다. 그런 다음 사용자 이름과 암호에서 base64 문자열을 생성합니다.

    $ echo -ne "root" | base64
    Copy to Clipboard Toggle word wrap
    $ echo -ne "password" | base64
    Copy to Clipboard Toggle word wrap
  4. 베어 메탈 노드에 대한 구성 파일을 생성합니다. 정적 구성 또는 DHCP 서버를 사용 중인지에 따라 다음 예제 bmh.yaml 파일 중 하나를 사용하여 YAML의 값을 사용자 환경과 일치시킵니다.

    $ vim bmh.yaml
    Copy to Clipboard Toggle word wrap
    • 정적 구성 bmh.yaml:

      ---
      apiVersion: v1 
      1
      
      kind: Secret
      metadata:
       name: openshift-worker-<num>-network-config-secret 
      2
      
       namespace: openshift-machine-api
      type: Opaque
      stringData:
       nmstate: | 
      3
      
        interfaces: 
      4
      
        - name: <nic1_name> 
      5
      
          type: ethernet
          state: up
          ipv4:
            address:
            - ip: <ip_address> 
      6
      
              prefix-length: 24
            enabled: true
        dns-resolver:
          config:
            server:
            - <dns_ip_address> 
      7
      
        routes:
          config:
          - destination: 0.0.0.0/0
            next-hop-address: <next_hop_ip_address> 
      8
      
            next-hop-interface: <next_hop_nic1_name> 
      9
      
      ---
      apiVersion: v1
      kind: Secret
      metadata:
        name: openshift-worker-<num>-bmc-secret 
      10
      
        namespace: openshift-machine-api
      type: Opaque
      data:
        username: <base64_of_uid> 
      11
      
        password: <base64_of_pwd> 
      12
      
      ---
      apiVersion: metal3.io/v1alpha1
      kind: BareMetalHost
      metadata:
        name: openshift-worker-<num> 
      13
      
        namespace: openshift-machine-api
      spec:
        online: True
        bootMACAddress: <nic1_mac_address> 
      14
      
        bmc:
          address: <protocol>://<bmc_url> 
      15
      
          credentialsName: openshift-worker-<num>-bmc-secret 
      16
      
          disableCertificateVerification: True 
      17
      
          username: <bmc_username> 
      18
      
          password: <bmc_password> 
      19
      
        rootDeviceHints:
          deviceName: <root_device_hint> 
      20
      
        preprovisioningNetworkDataName: openshift-worker-<num>-network-config-secret 
      21
      Copy to Clipboard Toggle word wrap
      1
      새로 생성된 노드의 네트워크 인터페이스를 구성하려면 네트워크 구성이 포함된 시크릿의 이름을 지정합니다. nmstate 구문을 따라 노드의 네트워크 구성을 정의합니다. NMState 구문 구성에 대한 자세한 내용은 install-config.yaml 파일에서 "선택 사항: 호스트 네트워크 인터페이스 구성"을 참조하십시오.
      2 10 13 16
      베어 메탈 노드의 작업자 번호에 대한 <num>을 name 필드, credentialsName 필드, preprovisioningNetworkDataName 필드로 바꿉니다.
      3
      NMState YAML 구문을 추가하여 호스트 인터페이스를 구성합니다.
      4
      선택 사항: nmstate 를 사용하여 네트워크 인터페이스를 구성하고 인터페이스를 비활성화하려면 다음과 같이 IP 주소가 enabled: false 로 설정된 state: up 을 설정합니다.
      ---
         interfaces:
         - name: <nic_name>
           type: ethernet
           state: up
           ipv4:
             enabled: false
           ipv6:
             enabled: false
      Copy to Clipboard Toggle word wrap
      5 6 7 8 9
      < nic1_name > , < ip_address > , < dns_ip_address > , < next_hop_ip_address > 및 < next_hop_nic1_name >을 적절한 값으로 바꿉니다.
      11 12
      < base64_of_uid > 및 < base64_of_pwd >를 사용자 이름과 암호의 base64 문자열로 바꿉니다.
      14
      & lt;nic1_mac_address >를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다. 추가 BMC 구성 옵션은 "BMC 주소 지정" 섹션을 참조하십시오.
      15
      <protocol>을 IPMI, RedFish 또는 기타와 같은 BMC 프로토콜로 바꿉니다. & lt;bmc_url& gt;을 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 URL로 바꿉니다.
      17
      인증서 검증을 건너뛰려면 disableCertificateVerification 을 true로 설정합니다.
      18 19
      & lt;bmc_username > 및 < bmc_password >를 BMC 사용자 이름 및 암호 문자열로 바꿉니다.
      20
      선택 사항: 루트 장치 힌트를 지정하는 경우 <root_device_hint >를 장치 경로로 바꿉니다.
      21
      선택 사항: 새로 생성된 노드에 대한 네트워크 인터페이스를 구성한 경우 BareMetalHost CR의 preprovisioningNetworkDataName 에 네트워크 구성 시크릿 이름을 제공합니다.
    • DHCP 구성 bmh.yaml:

      ---
      apiVersion: v1
      kind: Secret
      metadata:
        name: openshift-worker-<num>-bmc-secret 
      1
      
        namespace: openshift-machine-api
      type: Opaque
      data:
        username: <base64_of_uid> 
      2
      
        password: <base64_of_pwd> 
      3
      
      ---
      apiVersion: metal3.io/v1alpha1
      kind: BareMetalHost
      metadata:
        name: openshift-worker-<num> 
      4
      
        namespace: openshift-machine-api
      spec:
        online: True
        bootMACAddress: <nic1_mac_address> 
      5
      
        bmc:
          address: <protocol>://<bmc_url> 
      6
      
          credentialsName: openshift-worker-<num>-bmc-secret 
      7
      
          disableCertificateVerification: True 
      8
      
          username: <bmc_username> 
      9
      
          password: <bmc_password> 
      10
      
        rootDeviceHints:
          deviceName: <root_device_hint> 
      11
      
        preprovisioningNetworkDataName: openshift-worker-<num>-network-config-secret 
      12
      Copy to Clipboard Toggle word wrap
      1 4 7
      베어 메탈 노드의 작업자 번호에 대한 <num>을 name 필드, credentialsName 필드, preprovisioningNetworkDataName 필드로 바꿉니다.
      2 3
      < base64_of_uid > 및 < base64_of_pwd >를 사용자 이름과 암호의 base64 문자열로 바꿉니다.
      5
      & lt;nic1_mac_address >를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다. 추가 BMC 구성 옵션은 "BMC 주소 지정" 섹션을 참조하십시오.
      6
      <protocol>을 IPMI, RedFish 또는 기타와 같은 BMC 프로토콜로 바꿉니다. & lt;bmc_url& gt;을 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 URL로 바꿉니다.
      8
      인증서 검증을 건너뛰려면 disableCertificateVerification 을 true로 설정합니다.
      9 10
      & lt;bmc_username > 및 < bmc_password >를 BMC 사용자 이름 및 암호 문자열로 바꿉니다.
      11
      선택 사항: 루트 장치 힌트를 지정하는 경우 <root_device_hint >를 장치 경로로 바꿉니다.
      12
      선택 사항: 새로 생성된 노드에 대한 네트워크 인터페이스를 구성한 경우 BareMetalHost CR의 preprovisioningNetworkDataName 에 네트워크 구성 시크릿 이름을 제공합니다.
    참고

    기존 베어 메탈 노드의 MAC 주소가 프로비저닝하려는 베어 메탈 호스트의 MAC 주소와 일치하면 Ironic 설치가 실패합니다. 호스트 등록, 검사, 정리 또는 기타 Ironic 단계가 실패하면 Bare Metal Operator에서 설치를 지속적으로 다시 시도합니다. 자세한 내용은 "호스트 중복 MAC 주소 진단"을 참조하십시오.

  5. 베어 메탈 노드를 생성합니다.

    $ oc -n openshift-machine-api create -f bmh.yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    secret/openshift-worker-<num>-network-config-secret created
    secret/openshift-worker-<num>-bmc-secret created
    baremetalhost.metal3.io/openshift-worker-<num> created
    Copy to Clipboard Toggle word wrap

    여기서 <num>은 작업자 번호입니다.

  6. 베어 메탈 노드의 전원을 켜고 검사합니다.

    $ oc -n openshift-machine-api get bmh openshift-worker-<num>
    Copy to Clipboard Toggle word wrap

    여기서 <num>은 작업자 노드 번호입니다.

    출력 예

    NAME                    STATE       CONSUMER   ONLINE   ERROR
    openshift-worker-<num>  available              true
    Copy to Clipboard Toggle word wrap

    참고

    작업자 노드가 클러스터에 참여할 수 있도록 machineset 오브젝트를 BareMetalHost 오브젝트 수로 스케일링합니다. 노드를 수동 또는 자동으로 확장할 수 있습니다. 노드를 자동으로 확장하려면 machinesetmetal3.io/autoscale-to-hosts 주석을 사용합니다.

7.2. 베어 메탈 컨트롤 플레인 노드 교체

설치 관리자 프로비저닝 OpenShift Container Platform 컨트롤 플레인 노드를 교체하려면 다음 절차를 사용하십시오.

중요

기존 컨트롤 플레인 호스트에서 BareMetalHost 오브젝트 정의를 재사용하는 경우 external Provisioned 필드를 true 로 설정하지 마십시오.

OpenShift Container Platform 설치 프로그램에서 프로비저닝한 경우 기존 컨트롤 플레인 BareMetalHost 오브젝트의 external Provisioned 플래그가 true 로 설정될 수 있습니다.

사전 요구 사항

  • cluster-admin 역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
  • etcd 백업이 수행되었습니다.

    중요

    문제가 발생할 경우 클러스터를 복원할 수 있도록 이 절차를 수행하기 전에 etcd 백업을 수행하십시오. etcd 백업에 대한 자세한 내용은 추가 리소스 섹션을 참조하십시오.

프로세스

  1. Bare Metal Operator를 사용할 수 있는지 확인합니다.

    $ oc get clusteroperator baremetal
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME        VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
    baremetal   4.16   True        False         False      3d15h
    Copy to Clipboard Toggle word wrap

  2. 이전 BareMetalHostMachine 오브젝트를 제거합니다.

    $ oc delete bmh -n openshift-machine-api <host_name>
    Copy to Clipboard Toggle word wrap
    $ oc delete machine -n openshift-machine-api <machine_name>
    Copy to Clipboard Toggle word wrap

    & lt;host_name >을 호스트 이름으로 바꾸고 < machine_name >을 머신 이름으로 바꿉니다. 시스템 이름은 CONSUMER 필드에 표시됩니다.

    BareMetalHostMachine 오브젝트를 제거한 후 머신 컨트롤러에서 Node 오브젝트를 자동으로 삭제합니다.

  3. 새로운 BareMetalHost 오브젝트와 시크릿을 생성하여 BMC 인증 정보를 저장합니다.

    $ cat <<EOF | oc apply -f -
    apiVersion: v1
    kind: Secret
    metadata:
      name: control-plane-<num>-bmc-secret 
    1
    
      namespace: openshift-machine-api
    data:
      username: <base64_of_uid> 
    2
    
      password: <base64_of_pwd> 
    3
    
    type: Opaque
    ---
    apiVersion: metal3.io/v1alpha1
    kind: BareMetalHost
    metadata:
      name: control-plane-<num> 
    4
    
      namespace: openshift-machine-api
    spec:
      automatedCleaningMode: disabled
      bmc:
        address: <protocol>://<bmc_ip> 
    5
    
        credentialsName: control-plane-<num>-bmc-secret 
    6
    
      bootMACAddress: <NIC1_mac_address> 
    7
    
      bootMode: UEFI
      externallyProvisioned: false
      online: true
    EOF
    Copy to Clipboard Toggle word wrap
    1 4 6
    이름 필드에서 베어 메탈 노드의 컨트롤 플레인 번호와 credentialsName 필드에 <num >을 바꿉니다.
    2
    & lt;base64_of_uid >를 사용자 이름의 base64 문자열로 바꿉니다.
    3
    & lt;base64_of_pwd& gt;를 암호의 base64 문자열로 바꿉니다.
    5
    & lt;protocol >을 redfish , redfish -virtualmedia,idrac-virtualmedia 등과 같은 BMC 프로토콜로 바꿉니다. & lt;bmc_ip >를 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 IP 주소로 바꿉니다. 추가 BMC 구성 옵션은 추가 리소스 섹션의 "BMC 주소 지정"을 참조하십시오.
    7
    & lt;NIC1_mac_address >를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다.

    검사가 완료되면 BareMetalHost 오브젝트가 생성되고 프로비저닝할 수 있습니다.

  4. 사용 가능한 BareMetalHost 오브젝트를 확인합니다.

    $ oc get bmh -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                          STATE                    CONSUMER                   ONLINE   ERROR   AGE
    control-plane-1.example.com   available                control-plane-1            true             1h10m
    control-plane-2.example.com   externally provisioned   control-plane-2            true             4h53m
    control-plane-3.example.com   externally provisioned   control-plane-3            true             4h53m
    compute-1.example.com         provisioned              compute-1-ktmmx            true             4h53m
    compute-1.example.com         provisioned              compute-2-l2zmb            true             4h53m
    Copy to Clipboard Toggle word wrap

    컨트롤 플레인 노드에는 MachineSet 오브젝트가 없으므로 대신 Machine 오브젝트를 생성해야 합니다. 다른 컨트롤 플레인 Machine 오브젝트에서 providerSpec 을 복사할 수 있습니다.

  5. Machine 오브젝트를 생성합니다.

    $ cat <<EOF | oc apply -f -
    apiVersion: machine.openshift.io/v1beta1
    kind: Machine
    metadata:
      annotations:
        metal3.io/BareMetalHost: openshift-machine-api/control-plane-<num> 
    1
    
      labels:
        machine.openshift.io/cluster-api-cluster: control-plane-<num> 
    2
    
        machine.openshift.io/cluster-api-machine-role: master
        machine.openshift.io/cluster-api-machine-type: master
      name: control-plane-<num> 
    3
    
      namespace: openshift-machine-api
    spec:
      metadata: {}
      providerSpec:
        value:
          apiVersion: baremetal.cluster.k8s.io/v1alpha1
          customDeploy:
            method: install_coreos
          hostSelector: {}
          image:
            checksum: ""
            url: ""
          kind: BareMetalMachineProviderSpec
          metadata:
            creationTimestamp: null
          userData:
            name: master-user-data-managed
    EOF
    Copy to Clipboard Toggle word wrap
    1 2 3
    이름 ,레이블주석 필드에서 베어 메탈 노드의 컨트롤 플레인 번호 <num >을 바꿉니다.
  6. BareMetalHost 오브젝트를 보려면 다음 명령을 실행합니다.

    $ oc get bmh -A
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                          STATE                    CONSUMER                   ONLINE   ERROR   AGE
    control-plane-1.example.com   provisioned              control-plane-1            true             2h53m
    control-plane-2.example.com   externally provisioned   control-plane-2            true             5h53m
    control-plane-3.example.com   externally provisioned   control-plane-3            true             5h53m
    compute-1.example.com         provisioned              compute-1-ktmmx            true             5h53m
    compute-2.example.com         provisioned              compute-2-l2zmb            true             5h53m
    Copy to Clipboard Toggle word wrap

  7. RHCOS 설치 후 BareMetalHost 가 클러스터에 추가되었는지 확인합니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                           STATUS      ROLES     AGE   VERSION
    control-plane-1.example.com    available   master    4m2s  v1.29.4
    control-plane-2.example.com    available   master    141m  v1.29.4
    control-plane-3.example.com    available   master    141m  v1.29.4
    compute-1.example.com          available   worker    87m   v1.29.4
    compute-2.example.com          available   worker    87m   v1.29.4
    Copy to Clipboard Toggle word wrap

    참고

    새 컨트롤 플레인 노드를 교체한 후 새 노드에서 실행중인 etcd pod는 crashloopback 상태입니다. 자세한 내용은 추가 리소스 섹션의 " 비정상 etcd 멤버 교체"를 참조하십시오.

7.3. 가상 네트워크에서 가상 미디어를 사용하여 배포 준비

provisioning 네트워크가 활성화되어 있고 baremetal 네트워크에서 가상 미디어를 사용하여 클러스터를 확장하려면 다음 절차를 사용하십시오.

사전 요구 사항

  • baremetal 네트워크와 provisioning 네트워크가 있는 기존 클러스터가 있습니다.

프로세스

  1. provisioning CR(사용자 정의 리소스)을 편집하여 baremetal 네트워크에서 가상 미디어를 사용하여 배포할 수 있습니다.

    oc edit provisioning
    Copy to Clipboard Toggle word wrap
      apiVersion: metal3.io/v1alpha1
      kind: Provisioning
      metadata:
        creationTimestamp: "2021-08-05T18:51:50Z"
        finalizers:
        - provisioning.metal3.io
        generation: 8
        name: provisioning-configuration
        resourceVersion: "551591"
        uid: f76e956f-24c6-4361-aa5b-feaf72c5b526
      spec:
        provisioningDHCPRange: 172.22.0.10,172.22.0.254
        provisioningIP: 172.22.0.3
        provisioningInterface: enp1s0
        provisioningNetwork: Managed
        provisioningNetworkCIDR: 172.22.0.0/24
        virtualMediaViaExternalNetwork: true 
    1
    
      status:
        generations:
        - group: apps
          hash: ""
          lastGeneration: 7
          name: metal3
          namespace: openshift-machine-api
          resource: deployments
        - group: apps
          hash: ""
          lastGeneration: 1
          name: metal3-image-cache
          namespace: openshift-machine-api
          resource: daemonsets
        observedGeneration: 8
        readyReplicas: 0
    Copy to Clipboard Toggle word wrap
    1
    provisioning CR에 virtualœViaExternalNetwork: true를 추가합니다.
  2. 이미지 URL이 있는 경우 API VIP 주소를 사용하도록 머신 세트를 편집합니다. 이 단계는 4.9 이전 버전에 설치된 클러스터에만 적용됩니다.

    oc edit machineset
    Copy to Clipboard Toggle word wrap
      apiVersion: machine.openshift.io/v1beta1
      kind: MachineSet
      metadata:
        creationTimestamp: "2021-08-05T18:51:52Z"
        generation: 11
        labels:
          machine.openshift.io/cluster-api-cluster: ostest-hwmdt
          machine.openshift.io/cluster-api-machine-role: worker
          machine.openshift.io/cluster-api-machine-type: worker
        name: ostest-hwmdt-worker-0
        namespace: openshift-machine-api
        resourceVersion: "551513"
        uid: fad1c6e0-b9da-4d4a-8d73-286f78788931
      spec:
        replicas: 2
        selector:
          matchLabels:
            machine.openshift.io/cluster-api-cluster: ostest-hwmdt
            machine.openshift.io/cluster-api-machineset: ostest-hwmdt-worker-0
        template:
          metadata:
            labels:
              machine.openshift.io/cluster-api-cluster: ostest-hwmdt
              machine.openshift.io/cluster-api-machine-role: worker
              machine.openshift.io/cluster-api-machine-type: worker
              machine.openshift.io/cluster-api-machineset: ostest-hwmdt-worker-0
          spec:
            metadata: {}
            providerSpec:
              value:
                apiVersion: baremetal.cluster.k8s.io/v1alpha1
                hostSelector: {}
                image:
                  checksum: http:/172.22.0.3:6181/images/rhcos-<version>.<architecture>.qcow2.<md5sum> 
    1
    
                  url: http://172.22.0.3:6181/images/rhcos-<version>.<architecture>.qcow2 
    2
    
                kind: BareMetalMachineProviderSpec
                metadata:
                  creationTimestamp: null
                userData:
                  name: worker-user-data
      status:
        availableReplicas: 2
        fullyLabeledReplicas: 2
        observedGeneration: 11
        readyReplicas: 2
        replicas: 2
    Copy to Clipboard Toggle word wrap
    1
    API VIP 주소를 사용하도록 checksum URL을 편집합니다.
    2
    API VIP 주소를 사용하도록 url URL을 편집합니다.

7.4. 클러스터에서 새 호스트를 프로비저닝할 때 중복된 MAC 주소 진단

클러스터에 있는 기존 베어 메탈 노드의 MAC 주소가 클러스터에 추가하려는 베어 메탈 호스트의 MAC 주소와 일치하는 경우 베어 메탈 Operator는 기존 노드와 호스트를 연결합니다. 호스트 등록, 검사, 정리 또는 기타 Ironic 단계가 실패하면 Bare Metal Operator에서 설치를 지속적으로 다시 시도합니다. 실패한 베어 메탈 호스트에 대한 등록 오류가 표시됩니다.

openshift-machine-api 네임스페이스에서 실행 중인 베어 메탈 호스트를 검사하여 중복된 MAC 주소를 진단할 수 있습니다.

사전 요구 사항

  • OpenShift Container Platform 클러스터를 베어 메탈에 설치합니다.
  • OpenShift Container Platform CLI oc를 설치합니다.
  • cluster-admin 권한이 있는 사용자로 로그인합니다.

프로세스

프로비저닝에 실패하는 베어 메탈 호스트에 기존 노드와 동일한 MAC 주소가 있는지 확인하려면 다음을 수행하십시오.

  1. openshift-machine-api 네임스페이스에서 베어 메탈 호스트를 실행합니다.

    $ oc get bmh -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    출력 예

    NAME                 STATUS   PROVISIONING STATUS      CONSUMER
    openshift-master-0   OK       externally provisioned   openshift-zpwpq-master-0
    openshift-master-1   OK       externally provisioned   openshift-zpwpq-master-1
    openshift-master-2   OK       externally provisioned   openshift-zpwpq-master-2
    openshift-worker-0   OK       provisioned              openshift-zpwpq-worker-0-lv84n
    openshift-worker-1   OK       provisioned              openshift-zpwpq-worker-0-zd8lm
    openshift-worker-2   error    registering
    Copy to Clipboard Toggle word wrap

  2. 장애가 발생한 호스트의 상태에 대한 자세한 정보를 보려면 다음 명령을 실행하여 <bare_metal_host_name>을 호스트 이름으로 교체합니다.

    $ oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yaml
    Copy to Clipboard Toggle word wrap

    출력 예

    ...
    status:
      errorCount: 12
      errorMessage: MAC address b4:96:91:1d:7c:20 conflicts with existing node openshift-worker-1
      errorType: registration error
    ...
    Copy to Clipboard Toggle word wrap

7.5. 베어 메탈 노드 프로비저닝

베어 메탈 노드를 프로비저닝하려면 프로비저너 노드에서 다음 절차를 실행해야 합니다.

프로세스

  1. 베어 메탈 노드를 프로비저닝하기 전에 STATEavailable한 지 확인합니다.

    $  oc -n openshift-machine-api get bmh openshift-worker-<num>
    Copy to Clipboard Toggle word wrap

    여기서 <num>은 작업자 노드 번호입니다.

    NAME              STATE     ONLINE ERROR  AGE
    openshift-worker  available true          34h
    Copy to Clipboard Toggle word wrap
  2. 작업자 노드 수를 계산합니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap
    NAME                                                STATUS   ROLES           AGE     VERSION
    openshift-master-1.openshift.example.com            Ready    master          30h     v1.29.4
    openshift-master-2.openshift.example.com            Ready    master          30h     v1.29.4
    openshift-master-3.openshift.example.com            Ready    master          30h     v1.29.4
    openshift-worker-0.openshift.example.com            Ready    worker          30h     v1.29.4
    openshift-worker-1.openshift.example.com            Ready    worker          30h     v1.29.4
    Copy to Clipboard Toggle word wrap
  3. 컴퓨팅 머신 세트를 가져옵니다.

    $ oc get machinesets -n openshift-machine-api
    Copy to Clipboard Toggle word wrap
    NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
    ...
    openshift-worker-0.example.com      1         1         1       1           55m
    openshift-worker-1.example.com      1         1         1       1           55m
    Copy to Clipboard Toggle word wrap
  4. 작업자 노드 수를 하나씩 늘립니다.

    $ oc scale --replicas=<num> machineset <machineset> -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    <num>을 새 작업자 노드 수로 바꿉니다. & lt;machineset >를 이전 단계의 컴퓨팅 머신 세트 이름으로 바꿉니다.

  5. 베어 메탈 노드 상태를 확인합니다.

    $ oc -n openshift-machine-api get bmh openshift-worker-<num>
    Copy to Clipboard Toggle word wrap

    여기서 <num>은 작업자 노드 번호입니다. STATE가 ready 상태에서 provisioning으로 변경됩니다.

    NAME                    STATE             CONSUMER                          ONLINE   ERROR
    openshift-worker-<num>  provisioning      openshift-worker-<num>-65tjz      true
    Copy to Clipboard Toggle word wrap

    provisioning 상태는 OpenShift Container Platform 클러스터가 노드를 프로비저닝할 때까지 유지됩니다. 이 작업을 수행하는 데 30분 이상 걸릴 수 있습니다. 노드를 프로비저닝하면 상태가 provisioned로 변경됩니다.

    NAME                    STATE             CONSUMER                          ONLINE   ERROR
    openshift-worker-<num>  provisioned       openshift-worker-<num>-65tjz      true
    Copy to Clipboard Toggle word wrap
  6. 프로비저닝이 완료되면 베어 메탈 노드가 준비되었는지 확인합니다.

    $ oc get nodes
    Copy to Clipboard Toggle word wrap
    NAME                                          STATUS   ROLES   AGE     VERSION
    openshift-master-1.openshift.example.com      Ready    master  30h     v1.29.4
    openshift-master-2.openshift.example.com      Ready    master  30h     v1.29.4
    openshift-master-3.openshift.example.com      Ready    master  30h     v1.29.4
    openshift-worker-0.openshift.example.com      Ready    worker  30h     v1.29.4
    openshift-worker-1.openshift.example.com      Ready    worker  30h     v1.29.4
    openshift-worker-<num>.openshift.example.com  Ready    worker  3m27s   v1.29.4
    Copy to Clipboard Toggle word wrap

    kubelet도 확인할 수 있습니다.

    $ ssh openshift-worker-<num>
    Copy to Clipboard Toggle word wrap
    [kni@openshift-worker-<num>]$ journalctl -fu kubelet
    Copy to Clipboard Toggle word wrap

Legal Notice

Copyright © 2025 Red Hat

OpenShift documentation is licensed under the Apache License 2.0 (https://www.apache.org/licenses/LICENSE-2.0).

Modified versions must remove all Red Hat trademarks.

Portions adapted from https://github.com/kubernetes-incubator/service-catalog/ with modifications by Red Hat.

Red Hat, Red Hat Enterprise Linux, the Red Hat logo, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.

Linux® is the registered trademark of Linus Torvalds in the United States and other countries.

Java® is a registered trademark of Oracle and/or its affiliates.

XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.

MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.

Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.

The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.

All other trademarks are the property of their respective owners.

Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2026 Red Hat
맨 위로 이동