베어 메탈에 설치 프로그램이 프로비저닝 한 클러스터 배포
베어 메탈에 설치 관리자 프로비저닝 OpenShift Container Platform 클러스터 배포
초록
1장. 개요 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 노드에 설치 프로그램이 프로비저닝한 설치는 OpenShift Container Platform 클러스터가 실행되는 인프라를 배포하고 구성합니다. 이 가이드에서는 설치 관리자가 프로비저닝한 베어 메탈 설치를 성공적으로 수행하는 방법을 제공합니다. 다음 다이어그램은 배포 1단계에서 설치 환경을 보여줍니다.
설치의 경우 이전 다이어그램의 주요 요소는 다음과 같습니다.
- provisioner: 설치 프로그램을 실행하고 새로운 OpenShift Container Platform 클러스터의 컨트롤 플레인을 배포하는 부트스트랩 VM을 호스팅하는 물리적 머신입니다.
- 부트스트랩 VM: OpenShift Container Platform 클러스터 배포 프로세스에서 사용되는 가상 머신입니다.
-
네트워크 브리지: 부트스트랩 VM은 베어 메탈 네트워크와 provisioning 네트워크(있는 경우 네트워크 브리지,
eno1및eno2를 통해)에 연결됩니다. -
API VIP: API 가상 IP 주소(VIP)는 컨트롤 플레인 노드에서 API 서버의 페일오버를 제공하는 데 사용됩니다. API VIP는 먼저 부트스트랩 VM에 있습니다. 스크립트는 서비스를 시작하기 전에
keepalived.conf구성 파일을 생성합니다. 부트스트랩 프로세스가 완료되면 VIP가 컨트롤 플레인 노드 중 하나로 이동하고 부트스트랩 VM이 중지됩니다.
배포 2단계에서 프로비저너는 부트스트랩 VM을 자동으로 제거하고 VIP(가상 IP 주소)를 적절한 노드로 이동합니다.
keepalived.conf 파일은 부트스트랩 VM보다 낮은 VRRP(Virtual Router Redundancy Protocol) 우선 순위가 낮은 컨트롤 플레인 머신을 설정하여 API VIP가 부트스트랩 VM에서 컨트롤 플레인으로 이동하기 전에 컨트롤 플레인 시스템의 API가 완전히 작동하는지 확인합니다. API VIP가 컨트롤 플레인 노드 중 하나로 이동하면 외부 클라이언트에서 API VIP 경로로 전송된 트래픽이 해당 컨트롤 플레인 노드에서 실행되는 haproxy 로드 밸런서로 이동합니다. haproxy 의 이 인스턴스는 컨트롤 플레인 노드에서 API VIP 트래픽의 균형을 조정합니다.
Ingress VIP는 컴퓨팅 노드로 이동합니다. keepalived 인스턴스는 Ingress VIP도 관리합니다.
다음 다이어그램에서는 배포 2단계에 대해 설명합니다.
이 시점 이후 프로비저너에서 사용하는 노드를 제거하거나 용도 변경할 수 있습니다. 여기에서 모든 추가 프로비저닝 작업은 컨트롤 플레인에서 수행합니다.
설치 관리자 프로비저닝 인프라 설치의 경우 CoreDNS는 노드 수준에서 포트 53을 노출하여 다른 라우팅 가능한 네트워크에서 액세스할 수 있습니다.
provisioning 네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 BMC(가상 미디어 베이스 보드 관리 컨트롤러) 주소 지정 옵션을 사용해야 합니다.
2장. 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 설치 프로그램으로 프로비저닝된 설치에는 다음이 필요합니다.
- RHEL(Red Hat Enterprise Linux) 9.x가 설치된 프로비저너 노드 1개 설치 후 프로비저너를 제거할 수 있습니다.
- 컨트롤 플레인 노드 세 개
- 각 노드에 대한 BMC(Baseboard Management Controller) 액세스
하나 이상의 네트워크:
- 라우팅 가능한 필수 네트워크 1개
- 선택적 프로비저닝 네트워크 1개
- 선택적 관리 네트워크 1개
OpenShift Container Platform 설치 프로그램으로 프로비저닝 설치를 시작하기 전에 하드웨어 환경이 다음 요구 사항을 충족하는지 확인합니다.
2.1. 노드 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램에서 제공하는 설치에는 여러 하드웨어 노드 요구 사항이 있습니다.
-
CPU 아키텍처: 모든 노드는
x86_64또는aarch64CPU 아키텍처를 사용해야 합니다. - 유사한 노드: Red Hat은 노드가 역할별로 동일한 구성을 지정할 것을 권장합니다. 즉, Red Hat은 동일한 CPU, 메모리, 스토리지 설정의 브랜드 및 모델의 노드를 사용할 것을 권장하고 있습니다.
-
베이스 보드 관리 컨트롤러 :
provisioner노드는 각 OpenShift Container Platform 클러스터 노드의 베이스 보드 관리 컨트롤러 (BMC)에 액세스할 수 있습니다. IPMI, Redfish 또는 전용 프로토콜을 사용할 수 있습니다. -
최근 생성: 노드는 최근 생성된 노드여야합니다. 설치 프로그램에서 제공하는 설치는 노드간에 호환되어야 하는 BMC 프로토콜을 사용합니다. 또한 RHEL 9.x에는 RAID 컨트롤러용 최신 드라이버가 포함되어 있습니다. 노드가
프로비저너노드에 대해 RHEL 9.x를 지원할 수 있을 만큼 최근 노드가 있고 컨트롤 플레인 및 작업자 노드에 대해 RHCOS 9.x가 있는지 확인합니다. - 레지스트리 노드: (선택 사항) 연결이 끊어진 미러링된 레지스트리를 설정하는 경우 레지스트리가 자체 노드에 상주하는 것이 좋습니다.
-
프로비저너 노드 : 설치 프로그램이 제공하는 설치에는 하나의
provisioner노드가 필요합니다. - 컨트롤 플레인: 설치 프로그램에서 프로비저닝한 설치에는 고가용성을 위해 3 개의 컨트롤 플레인 노드가 필요합니다. 컨트롤 플레인 노드 3개만 사용하여 OpenShift Container Platform 클러스터를 배포하여 컨트롤 플레인 노드를 작업자 노드로 예약할 수 있습니다. 소규모 클러스터는 개발, 프로덕션 및 테스트 중에 관리자와 개발자에게 더 많은 리소스를 제공합니다.
작업자 노드: 필수는 아니지만 일반적인 프로덕션 클러스터에는 두 개 이상의 작업자 노드가 있습니다.
중요클러스터가 성능 저하된 상태로 라우터 및 인그레스 트래픽으로 배포되므로 하나의 작업자 노드로만 클러스터를 배포하지 마십시오.
네트워크 인터페이스: 각 노드에는 라우팅 가능한
baremetal네트워크에 대해 하나 이상의 네트워크 인터페이스가 있어야 합니다. 배포에provisioning네트워크를 사용할 때 각 노드에는provisioning네트워크에 대해 하나의 네트워크 인터페이스가 있어야합니다.provisioning네트워크를 사용하는 것이 기본 구성입니다.참고동일한 서브넷의 NIC(네트워크 카드) 하나만 게이트웨이를 통해 트래픽을 라우팅할 수 있습니다. 기본적으로 ARP(Address Resolution Protocol)는 가장 낮은 번호의 NIC를 사용합니다. 동일한 서브넷의 각 노드에 대해 단일 NIC를 사용하여 네트워크 로드 밸런싱이 예상대로 작동하는지 확인합니다. 동일한 서브넷의 노드에 여러 NIC를 사용하는 경우 단일 본딩 또는 팀 인터페이스를 사용합니다. 그런 다음 별칭 IP 주소 형식으로 해당 인터페이스에 다른 IP 주소를 추가합니다. 네트워크 인터페이스 수준에서 내결함성 또는 로드 밸런싱이 필요한 경우 본딩 또는 팀 인터페이스에서 별칭 IP 주소를 사용합니다. 또는 동일한 서브넷에서 보조 NIC를 비활성화하거나 IP 주소가 없는지 확인할 수 있습니다.
UEFI (Unified Extensible Firmware Interface): 설치 프로그램이 프로비저닝한 설치에는
provisioning네트워크에서 IPv6 주소를 사용하는 경우 모든 OpenShift Container Platform 노드에서 UEFI 부팅이 필요합니다. 또한provisioning네트워크 NIC에서 IPv6 프로토콜을 사용하도록 UEFI 장치 PXE 설정을 설정해야하지만provisioning네트워크를 생략하면 이 요구 사항이 제거됩니다.중요ISO 이미지와 같은 가상 미디어에서 설치를 시작할 때 이전 UEFI 부팅 테이블 항목을 모두 삭제합니다. 부팅 테이블에 펌웨어에서 제공하는 일반 항목이 아닌 항목이 포함된 경우 설치에 실패할 수 있습니다.
Secure Boot: Secure Boot가 활성화된 노드를 사용하려면 UEFI 펌웨어 드라이버, EFI 애플리케이션 및 운영 체제와 같은 신뢰할 수 있는 소프트웨어에서만 노드를 부팅해야 합니다. Secure Boot를 사용하여 수동으로 배포하거나 관리할 수 있습니다.
- 수동형: Secure Boot를 사용하여 OpenShift Container Platform 클러스터를 수동으로 배포하려면 각 컨트롤 플레인 노드와 각 작업자 노드에서 UEFI 부팅 모드 및 Secure Boot를 활성화해야 합니다. Red Hat은 설치 관리자 프로비저닝 설치에서 Redfish 가상 미디어를 사용하는 경우에만 수동으로 활성화된 UEFI 및 Secure Boot를 사용하여 Secure Boot를 지원합니다. 자세한 내용은 "노드 구성" 섹션의 "Secure Boot을 위해 수동으로 노드 구성"을 참조하십시오.
관리형: Secure Boot를 사용하여 OpenShift Container Platform 클러스터를 배포하려면
install-config.yaml파일에서bootMode값을UEFISecureBoot로 설정해야 합니다. Red Hat은 펌웨어 버전2.75.75.75이상을 실행하는 10세대 HPE 하드웨어와 13세대 Dell 하드웨어에 대한 관리형 Secure Boot를 사용하는 설치 관리자 프로비저닝 설치를 지원합니다. 관리형 Secure Boot를 사용하여 배포하는 경우 Redfish 가상 미디어가 필요하지 않습니다. 자세한 내용은 "OpenShift 설치를 위한 환경 설정" 섹션의 "관리형 Secure Boot 구성"을 참조하십시오.참고Red Hat은 Secure Boot의 자체 생성 키 또는 기타 키 관리를 지원하지 않습니다.
2.2. 클러스터 설치를 위한 최소 리소스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
각 클러스터 시스템이 다음과 같은 최소 요구사항을 충족해야 합니다.
| 머신 | 운영 체제 | CPU [1] | RAM | 스토리지 | 초당 입력/출력(IOPS)[2] |
|---|---|---|---|---|---|
| 부트스트랩 | RHEL | 4 | 16GB | 100GB | 300 |
| 컨트롤 플레인 | RHCOS | 4 | 16GB | 100GB | 300 |
| Compute | RHCOS | 2 | 8GB | 100GB | 300 |
- SMT(동시 멀티스레딩) 또는 Hyper-Threading이 활성화되지 않은 경우 하나의 CPU가 하나의 물리적 코어와 동일합니다. 활성화하면 다음 공식을 사용하여 해당 비율을 계산합니다. (코어당 스레드 수 × 코어 수) × 소켓 = CPU입니다.
- OpenShift Container Platform 및 Kubernetes는 디스크 성능에 민감하며 특히 컨트롤 플레인 노드의 etcd에 더 빠른 스토리지를 사용하는 것이 좋습니다. 많은 클라우드 플랫폼에서 스토리지 크기와 IOPS를 함께 확장되므로 충분한 성능을 얻으려면 스토리지 볼륨을 과도하게 할당해야 할 수 있습니다.
OpenShift Container Platform 버전 4.13부터 RHCOS는 RHEL 버전 9.2를 기반으로 하며 마이크로 아키텍처 요구 사항을 업데이트합니다. 다음 목록에는 각 아키텍처에 필요한 최소 명령 세트 아키텍처(ISA)가 포함되어 있습니다.
- x86-64 아키텍처에는 x86-64-v2 ISA가 필요합니다.
- ARM64 아키텍처에는 ARMv8.0-A ISA가 필요합니다.
- IBM Power 아키텍처에는 Power 9 ISA가 필요합니다.
- s390x architecture requires z14 ISA
자세한 내용은 아키텍처 (RHEL 문서)를 참조하십시오.
플랫폼의 인스턴스 유형이 클러스터 머신의 최소 요구 사항을 충족하는 경우 OpenShift Container Platform에서 사용할 수 있습니다.
2.3. OpenShift Virtualization에 대한 베어 메탈 클러스터 설치 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 클러스터에서 OpenShift Virtualization을 사용하려면 설치 중에 클러스터가 올바르게 구성되었는지 확인해야 합니다. 이는 OpenShift Virtualization에 클러스터를 설치한 후에는 변경할 수 없는 특정 설정이 필요하기 때문입니다.
2.3.1. OpenShift Virtualization의 고가용성 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Virtualization 컨텍스트에서 HA(고가용성) 기능을 논의할 때 이는 인프라 CR(사용자 정의 리소스)의 controlPlaneTopology 및 infrastructureTopology 필드에 의해 결정된 코어 클러스터 구성 요소의 복제 모델만 나타냅니다. 이러한 필드를 HighlyAvailable 으로 설정하면 일반 클러스터 전체 애플리케이션 HA와 다른 구성 요소 중복성이 제공됩니다. 이러한 필드를 SingleReplica 로 설정하면 구성 요소 중복성이 비활성화되므로 OpenShift Virtualization HA 기능이 비활성화됩니다.
OpenShift Virtualization HA 기능을 사용하려면 클러스터 설치 시 세 개의 컨트롤 플레인 노드가 있어야 합니다. 클러스터의 Infrastructure CR의 controlPlaneTopology 상태는 HighlyAvailable 이어야 합니다.
단일 노드 클러스터에 OpenShift Virtualization을 설치할 수 있지만 단일 노드 OpenShift는 HA 기능을 지원하지 않습니다.
2.3.2. OpenShift Virtualization의 실시간 마이그레이션 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
실시간 마이그레이션을 사용하려면 여러 작업자 노드가 있어야 합니다. 클러스터의
InfrastructureCR의infrastructureTopology상태는HighlyAvailable이어야 하며 최소 3개의 작업자 노드를 권장합니다.참고단일 노드 클러스터에 OpenShift Virtualization을 설치할 수 있지만 단일 노드 OpenShift는 실시간 마이그레이션을 지원하지 않습니다.
- 실시간 마이그레이션에는 공유 스토리지가 필요합니다. OpenShift Virtualization용 스토리지는 RWX(ReadWriteMany) 액세스 모드를 지원하고 사용해야 합니다.
2.3.3. OpenShift Virtualization에 대한 SR-IOV 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
SR-IOV(Single Root I/O Virtualization)를 사용하려는 경우 OpenShift Container Platform에서 NIC(네트워크 인터페이스 컨트롤러)를 지원하는지 확인합니다.
2.4. 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자 프로비저닝 OpenShift Container Platform 클러스터용 설치 프로그램은 Redfish 가상 미디어와의 하드웨어 및 펌웨어 호환성을 검증합니다. 노드 펌웨어가 호환되지 않는 경우 설치 프로그램이 노드에 설치를 시작하지 않습니다. 다음 표에는 Redfish 가상 미디어를 사용하여 배포된 설치 관리자 프로비저닝 OpenShift Container Platform 클러스터에서 테스트 및 검증된 최소 펌웨어 버전이 나열되어 있습니다.
Red Hat은 펌웨어, 하드웨어 또는 기타 타사 구성 요소의 모든 조합을 테스트하지 않습니다. 타사 지원에 대한 자세한 내용은 Red Hat 타사 지원 정책을 참조하십시오. 펌웨어 업데이트에 대한 자세한 내용은 노드의 하드웨어 설명서를 참조하거나 하드웨어 공급 업체에 문의하십시오.
| 모델 | 관리 | 펌웨어 버전 |
|---|---|---|
| 11세대 | iLO6 | 1.57 이상 |
| 10세대 | iLO5 | 2.63 이상 |
| 모델 | 관리 | 펌웨어 버전 |
|---|---|---|
| 16세대 | iDRAC 9 | v7.10.70.00 |
| 15세대 | iDRAC 9 | v6.10.30.00 및 v7.10.70.00 |
| 14세대 | iDRAC 9 | v6.10.30.00 |
| 모델 | 관리 | 펌웨어 버전 |
|---|---|---|
| UCS UCSX-210C-M6 | CIMC | 5.2(2) 이상 |
2.5. 네트워크 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform의 설치 관리자 프로비저닝 설치에는 여러 네트워크 요구 사항이 필요합니다. 첫째, 설치 프로그램 제공 설치에는 각 베어 메탈 노드에서 운영 체제를 프로비저닝하기 위한 선택적 라우팅 불가 provisioning 네트워크가 필요합니다. 그리고 설치 프로그램에서 프로비저닝하는 설치에는 라우팅 가능한 baremetal 네트워크가 포함됩니다.
2.5.1. 필요한 포트가 열려 있는지 확인 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자가 프로비저닝한 설치를 완료하려면 특정 포트가 클러스터 노드 간에 열려 있어야 합니다. 멀리 엣지 작업자 노드에 별도의 서브넷을 사용하는 것과 같은 특정 상황에서는 이러한 서브넷의 노드가 다음과 같은 필수 포트의 다른 서브넷의 노드와 통신할 수 있는지 확인해야 합니다.
| 포트 | 설명 |
|---|---|
|
|
프로비저닝 네트워크를 사용하는 경우 클러스터 노드는 포트 |
|
|
provisioning 네트워크를 사용하는 경우 클러스터 노드는 provisioning 네트워크 인터페이스를 사용하여 포트 |
|
|
이미지 캐싱 옵션을 사용하지 않는 경우 또는 가상 미디어를 사용하는 경우 프로비저너 노드에 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 프로비저너 노드에서 클러스터 노드로 스트리밍하려면 |
|
|
클러스터 노드는 |
|
|
Ironic Inspector API는 컨트롤 플레인 노드에서 실행되며 포트 |
|
|
포트 |
|
|
가상 미디어를 사용하여 배포하고 TLS를 사용하지 않는 경우 작업자 노드의 BMC(Baseboard Management Controller)가 RHCOS 이미지에 액세스할 수 있도록 프로비저너 노드와 컨트롤 플레인 노드에는 |
|
|
가상 미디어를 사용하여 배포하고 TLS를 사용하는 경우 작업자 노드의 BMC가 RHCOS 이미지에 액세스할 수 있도록 프로비저너 노드와 컨트롤 플레인 노드에 포트 |
|
|
Ironic API 서버는 처음에 부트스트랩 VM에서 실행되고 나중에 컨트롤 플레인 노드에서 실행되며 포트 |
|
|
포트 |
|
|
TLS 없이 이미지 캐싱을 사용하는 경우, 프로비저너 노드에서 포트 |
|
|
TLS와 함께 이미지 캐싱 옵션을 사용하는 경우 |
|
|
기본적으로 Ironic Python Agent(IPA)는 Ironic conductor 서비스에서 API 호출을 위해 TCP 포트 |
2.5.2. 네트워크 MTU 증가 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform을 배포하기 전에 네트워크 최대 전송 단위(MTU)를 1500 이상으로 늘립니다. MTU가 1500 미만이면 노드를 부팅하는 데 사용되는 Ironic 이미지가 Ironic 검사기 Pod와 통신하지 못할 수 있으며 검사가 실패합니다. 이 경우 노드에 설치할 수 없기 때문에 설치가 중지됩니다.
2.5.3. NIC 설정 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform은 다음 두 가지 네트워크를 사용하여 배포합니다.
provisioning:provisioning네트워크는 OpenShift Container Platform 클러스터의 일부인 각 노드에서 기본 운영 체제를 프로비저닝하는데 사용되는 선택 옵션인 라우팅할 수 없는 네트워크입니다. 각 클러스터 노드에서provisioning네트워크의 네트워크 인터페이스에는 PXE 부팅으로 구성된 BIOS 또는 UEFI가 있어야 합니다.provisioningNetworkInterface구성 설정은 컨트롤 플레인 노드에서 동일한provisioning네트워크 NIC 이름을 지정합니다.bootMACAddress구성 설정은provisioning네트워크에 대해 각 노드에서 특정 NIC를 지정하는 수단을 제공합니다.provisioning네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다.provisioning네트워크없이 배포하는 경우redfish-virtualmedia또는idrac-virtualmedia와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다.-
baremetal:baremetal네트워크는 라우팅 가능한 네트워크입니다. NIC가provisioning네트워크를 사용하도록 구성되지 않은 경우 모든 NIC를 사용하여baremetal네트워크와 상호 작용할 수 있습니다.
VLAN을 사용하는 경우 각 NIC는 적절한 네트워크에 해당하는 별도의 VLAN에 있어야 합니다.
2.5.4. DNS 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
클라이언트는 baremetal 네트워크를 통해 OpenShift Container Platform 클러스터 노드에 액세스합니다. 네트워크 관리자는 정식 이름 확장이 클러스터 이름인 하위 도메인 또는 하위 영역을 구성해야 합니다.
<cluster_name>.<base_domain>
<cluster_name>.<base_domain>
예를 들면 다음과 같습니다.
test-cluster.example.com
test-cluster.example.com
OpenShift Container Platform에는 클러스터 멤버십 정보를 사용하여 A/AAAA 레코드를 생성하는 기능이 포함되어 있습니다. 이렇게 하면 노드 이름이 해당 IP 주소로 확인됩니다. 노드가 API에 등록되면 클러스터에서 CoreDNS-mDNS를 사용하지 않고 노드 정보를 분산할 수 있습니다. 그러면 멀티캐스트 DNS와 연결된 네트워크 트래픽이 제거됩니다.
CoreDNS가 올바르게 작동하려면 업스트림 DNS 서버에 TCP 및 UDP 연결이 모두 필요합니다. 업스트림 DNS 서버가 OpenShift Container Platform 클러스터 노드에서 TCP 및 UDP 연결을 모두 수신할 수 있는지 확인합니다.
OpenShift Container Platform 배포의 경우 다음 구성 요소에 DNS 이름을 확인해야 합니다.
- Kubernetes API
- OpenShift Container Platform 애플리케이션 와일드카드 수신 API
A/AAAA 레코드는 이름 확인에 사용되며 PTR 레코드는 역방향 이름 확인에 사용됩니다. RHCOS(Red Hat Enterprise Linux CoreOS)는 역방향 레코드 또는 DHCP를 사용하여 모든 노드의 호스트 이름을 설정합니다.
설치 프로그램에서 제공하는 설치에는 클러스터 멤버십 정보를 사용하여 A/AAAA 레코드를 생성하는 기능이 포함됩니다. 이렇게 하면 노드 이름이 해당 IP 주소로 확인됩니다. 각 레코드에서 <cluster_name>은 클러스터 이름이고 <base_domain>은 install-config.yaml 파일에서 지정하는 기반 도메인입니다. 전체 DNS 레코드는 <component>.<cluster_name>.<base_domain> 형식입니다.
| 구성 요소 | 레코드 | 설명 |
|---|---|---|
| Kubernetes API |
| A/AAAA 레코드와 PTR 레코드는 API 로드 밸런서를 식별합니다. 이 레코드는 클러스터 외부의 클라이언트와 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다. |
| 라우트 |
| 와일드카드 A/AAAA 레코드는 애플리케이션 인그레스 로드 밸런서를 나타냅니다. 애플리케이션 인그레스 로드 밸런서는 Ingress 컨트롤러 Pod를 실행하는 노드를 대상으로 합니다. Ingress 컨트롤러 Pod는 기본적으로 작업자 노드에서 실행됩니다. 이 레코드는 클러스터 외부의 클라이언트와 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다.
예를 들어 |
dig 명령을 사용하여 DNS 확인을 확인할 수 있습니다.
2.5.5. DHCP(Dynamic Host Configuration Protocol) 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 설치 프로그램에서 제공하는 설치는 provisioning 네트워크에 DHCP가 활성화된 ironic-dnsmasq를 배포합니다. provisioningNetwork 구성 설정이 기본값인 managed로 설정된 경우 provisioning 네트워크에서 다른 DHCP 서버가 실행되고 있지 않아야 합니다. provisioning 네트워크에서 실행 중인 DHCP 서버가 있는 경우 install-config.yaml 파일에서 provisioningNetwork 구성 설정을 Unmanaged로 설정해야 합니다.
네트워크 관리자는 외부 DHCP 서버의 baremetal 네트워크에 대해 OpenShift Container Platform 클러스터의 각 노드에 대한 IP 주소를 예약해야 합니다.
2.5.6. DHCP 서버를 사용하여 노드의 IP 주소 예약 링크 복사링크가 클립보드에 복사되었습니다!
baremetal 네트워크의 경우 네트워크 관리자는 다음을 포함하여 여러 IP 주소를 예약해야 합니다.
두 개의 고유한 가상 IP 주소입니다.
- API 엔드 포인트에 대한 하나의 가상 IP 주소입니다.
- 와일드카드 인그레스 끝점에 대한 하나의 가상 IP 주소입니다.
- 프로비저너 노드 중 하나의 IP 주소.
- 각 컨트롤 플레인 노드에 대해 하나의 IP 주소입니다.
- 각 작업자 노드에 대해 하나의 IP 주소 (해당되는 경우)
일부 관리자는 각 노드의 IP 주소가 DHCP 서버에서 일정하게 유지되도록 고정 IP 주소를 사용하는 것을 선호합니다. NMState를 사용하여 고정 IP 주소를 구성하려면 "OpenShift 설치를 위한 환경 설정" 섹션의 "(선택 사항) 노드 네트워크 인터페이스 구성을 참조하십시오.
외부 로드 밸런싱 서비스와 컨트롤 플레인 노드는 동일한 L2 네트워크에서 실행해야 하며 VLAN을 사용하여 로드 밸런싱 서비스와 컨트롤 플레인 노드 간에 트래픽을 라우팅할 때 동일한 VLAN에서 실행해야 합니다.
스토리지 인터페이스에 DHCP 예약 또는 고정 IP가 필요합니다.
다음 표에서는 정규화된 도메인 이름의 구체적 구현을 제공합니다. API 및 이름 서버 주소는 표준 이름 확장으로 시작됩니다. 컨트롤 플레인 및 작업자 노드의 호스트 이름은 예외이므로 원하는 호스트 이름 지정 규칙을 사용할 수 있습니다.
| 사용법 | 호스트 이름 | IP |
|---|---|---|
| API |
|
|
| Ingress LB (apps) |
|
|
| Provisioner node |
|
|
| Control-plane-0 |
|
|
| Control-plane-1 |
|
|
| Control-plane-2 |
|
|
| Worker-0 |
|
|
| Worker-1 |
|
|
| Worker-n |
|
|
DHCP 예약을 생성하지 않으면 설치 프로그램에서 Kubernetes API 노드, 프로비저너 노드, 컨트롤 플레인 노드 및 작업자 노드의 호스트 이름을 설정하기 위해 역방향 DNS 확인이 필요합니다.
2.5.7. 프로비저너 노드 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
설치 구성에서 provisioner 노드의 MAC 주소를 지정해야 합니다. bootMacAddress 사양은 일반적으로 PXE 네트워크 부팅과 연결됩니다. 그러나 Ironic 프로비저닝 서비스에는 클러스터를 검사하는 동안 또는 클러스터에서 노드를 다시 배포하는 동안 노드를 식별하기 위해 bootMacAddress 사양이 필요합니다.
프로비저너 노드에는 네트워크 부팅, DHCP 및 DNS 확인 및 로컬 네트워크 통신을 위한 계층 2 연결이 필요합니다. 프로비저너 노드에는 가상 미디어 부팅을 위해 계층 3 연결이 필요합니다.
2.5.8. Network Time Protocol (NTP) 링크 복사링크가 클립보드에 복사되었습니다!
클러스터의 각 OpenShift Container Platform 노드는 NTP 서버에 액세스할 수 있습니다. OpenShift Container Platform 노드는 NTP를 사용하여 클럭을 동기화합니다. 예를 들어 클러스터 노드는 검증이 필요한 SSL/TLS 인증서를 사용하므로 노드 간 날짜와 시간이 동기화되지 않은 경우 실패할 수 있습니다.
각 클러스터 노드의 BIOS 설정에서 일관된 클럭 날짜 및 시간 형식을 정의하지 않으면 설치에 실패할 수 있습니다.
연결이 끊긴 클러스터에서 NTP 서버로 작동하도록 컨트롤 플레인 노드를 재구성하고 컨트롤 플레인 노드에서 시간을 검색하도록 작업자 노드를 재구성할 수 있습니다.
2.5.9. 대역 외 관리 IP 주소에 대한 포트 액세스 링크 복사링크가 클립보드에 복사되었습니다!
대역 외 관리 IP 주소는 노드와 별도의 네트워크에 있습니다. 대역 외 관리가 설치 중에 프로비저너 노드와 통신할 수 있도록 대역 외 관리 IP 주소에 프로비저너 노드 및 OpenShift Container Platform 컨트롤 플레인 노드의 포트 6180 에 대한 액세스 권한이 부여되어야 합니다. 예를 들어 Redfish를 사용하여 가상 미디어 설치에는 TLS 포트 6183 이 필요합니다.
2.6. 노드 설정 링크 복사링크가 클립보드에 복사되었습니다!
2.6.1. provisioning 네트워크를 사용할 때 노드 설정 링크 복사링크가 클립보드에 복사되었습니다!
클러스터의 각 노드는 적절한 설치를 위해 다음과 같은 설정이 필요합니다.
노드간에 일치하지 않으면 설치에 실패합니다.
클러스터 노드에는 두 개 이상의 NIC가 포함될 수 있지만 설치 프로세스는 처음 두 개의 NIC에만 중점을 둡니다. 다음 표에서 NIC1은 OpenShift Container Platform 클러스터 설치에만 사용되는 라우팅 불가능한 네트워크(provisioning)입니다.
| NIC | 네트워크 | VLAN |
|---|---|---|
| NIC1 |
|
|
| NIC2 |
|
|
프로비저너 노드의 RHEL (Red Hat Enterprise Linux) 9.x 설치 프로세스는 다를 수 있습니다. 로컬 Satellite 서버 또는 PXE 서버 PXE 지원 NIC2를 사용하여 RHEL(Red Hat Enterprise Linux) 9.x를 설치하려면 다음을 수행합니다.
| PXE | 부팅 순서 |
|---|---|
|
NIC1 PXE 지원 | 1 |
|
NIC2 | 2 |
다른 모든 NIC에서 PXE가 비활성화되어 있는지 확인합니다.
다음과 같이 컨트롤 플레인 및 작업자 노드를 설정합니다.
| PXE | 부팅 순서 |
|---|---|
| NIC1 PXE 활성화 (프로비저닝 네트워크) | 1 |
2.6.2. provisioning 네트워크없이 노드 설정 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로세스에는 하나의 NIC가 필요합니다.
| NIC | 네트워크 | VLAN |
|---|---|---|
| NICx |
|
|
NICx는 OpenShift Container Platform 클러스터 설치에 사용되는 라우팅 가능한 네트워크 (baremetal)이며 인터넷으로 라우팅될 수 있습니다.
provisioning 네트워크는 선택 사항이지만 PXE 부팅에는 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다.
2.6.3. Secure Boot를 위해 노드를 수동으로 설정합니다. 링크 복사링크가 클립보드에 복사되었습니다!
Secure Boot는 UEFI 펌웨어 드라이버, EFI 애플리케이션 및 운영 체제와 같은 신뢰할 수 있는 소프트웨어만 사용하는지 확인하지 않는 한 노드를 부팅하지 않습니다.
Red Hat은 Redfish 가상 미디어를 사용하여 배포하는 경우에만 수동으로 구성된 Secure Boot를 지원합니다.
Secure Boot를 수동으로 활성화하려면 노드의 하드웨어 가이드를 참조하여 다음을 실행합니다.
프로세스
- 노드를 부팅하고 BIOS 메뉴를 입력합니다.
-
노드의 부팅 모드를
UEFI Enabled로 설정합니다. - Secure Boot를 활성화합니다.
Red Hat은 자체 생성되는 키가 있는 Secure Boot를 지원하지 않습니다.
2.7. 대역 외 관리 링크 복사링크가 클립보드에 복사되었습니다!
노드에는 일반적으로 BMC(Baseboard Management Controller)에서 사용하는 추가 NIC가 있습니다. 이러한 BMC는 프로비저너 노드에서 액세스할 수 있어야 합니다.
각 노드는 대역 외 관리를 통해 액세스할 수 있어야합니다. 대역 외 관리 네트워크를 사용할 때 프로비저너 노드는 OpenShift Container Platform을 성공적으로 설치하기 위해 대역 외 관리 네트워크에 액세스해야 합니다.
대역 외 관리 설정은 이 문서에서 다루지 않습니다. 대역 외 관리를 위해 별도의 관리 네트워크를 사용하면 성능을 개선하고 보안을 향상시킬 수 있습니다. 그러나 provisioning 네트워크 또는 베어 메탈 네트워크를 사용하는 것은 유효한 옵션입니다.
부트스트랩 VM에는 최대 두 개의 네트워크 인터페이스가 있습니다. 대역 외 관리를 위해 별도의 관리 네트워크를 구성하고 provisioning 네트워크를 사용하는 경우 부트스트랩 VM은 네트워크 인터페이스 중 하나를 통해 관리 네트워크에 대한 액세스를 라우팅해야 합니다. 이 시나리오에서는 부트스트랩 VM이 세 개의 네트워크에 액세스할 수 있습니다.
- 베어 메탈 네트워크
- 프로비저닝 네트워크
- 네트워크 인터페이스 중 하나를 통해 라우팅되는 관리 네트워크
2.8. 설치에 필요한 데이터 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 클러스터를 설치하기 전에 모든 클러스터 노드에서 다음 정보를 수집하십시오.
대역 외 관리 IP
예
- Dell (iDRAC) IP
- HP (iLO) IP
- Fujitsu (iRMC) IP
provisioning 네트워크를 사용하는 경우
-
NIC (
provisioning) MAC 주소 -
NIC (
baremetal) MAC 주소
provisioning 네트워크를 생략하는 경우
-
NIC (
baremetal) MAC 주소
2.9. 노드의 유효성 검사 체크리스트 링크 복사링크가 클립보드에 복사되었습니다!
provisioning 네트워크를 사용하는 경우
-
❏ NIC1 VLAN은
provisioning네트워크에 대해 설정되어 있습니다. -
provisioning네트워크의 NIC1은 프로비저너, 컨트롤 플레인 및 작업자 노드에서 PXE를 지원합니다. -
❏ NIC2 VLAN은
baremetal네트워크에 대해 설정되어 있습니다. - ❏ 다른 모든 NIC에서 PXE는 비활성화되어 있습니다.
- kmod DNS는 API 및 Ingress 엔드포인트로 구성됩니다.
- ❏ 컨트롤 플레인 및 작업자 노드가 설정되어 있습니다.
- ❏ 모든 노드는 대역 외 관리를 통해 액세스할 수 있습니다.
- kmod (선택 사항) 별도의 관리 네트워크가 생성되어 있습니다.
- ❏ 설치에 필요한 데이터.
provisioning 네트워크를 생략하는 경우
-
❏ kmod NIC1 VLAN은
baremetal네트워크에 대해 설정되어 있습니다. - kmod DNS는 API 및 Ingress 엔드포인트로 구성됩니다.
- ❏ 컨트롤 플레인 및 작업자 노드가 설정되어 있습니다.
- ❏ 모든 노드는 대역 외 관리를 통해 액세스할 수 있습니다.
- kmod (선택 사항) 별도의 관리 네트워크가 생성되어 있습니다.
- ❏ 설치에 필요한 데이터.
2.10. 설치 개요 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램은 대화형 모드를 지원합니다. 그러나 모든 베어 메탈 호스트 및 관련 클러스터 세부 정보가 포함된 install-config.yaml 파일을 미리 준비할 수 있습니다.
설치 프로그램은 install-config.yaml 파일을 로드하고 관리자가 매니페스트를 생성하고 모든 사전 요구 사항을 확인합니다.
설치 프로그램은 다음 작업을 수행합니다.
- 클러스터의 모든 노드 등록
- 부트스트랩 VM(가상 머신) 시작
다음 컨테이너가 있는 머신 플랫폼 구성 요소를
systemd서비스로 시작합니다.- ironic-dnsmasq: IP 주소를 provisioning 네트워크에서 다양한 노드의 프로비저닝 인터페이스로 전달하는 DHCP 서버입니다. ironic-dnsmasq는 provisioning 네트워크를 사용하여 OpenShift Container Platform 클러스터를 배포할 때만 활성화됩니다.
- ironic-httpd: 이미지를 노드에 제공하는 데 사용되는 HTTP 서버입니다.
- image-customization
- Ironic
- ironic-inspector (OpenShift Container Platform 4.16 및 이전 버전에서 사용 가능)
- ironic-ramdisk-logs
- extract-machine-os
- provisioning-interface
- Metal3-baremetal-operator
노드는 검증 단계에 들어갑니다. 이 단계에서는 Ironic에서 인증 정보를 검증하여 BMC(Baseboard Management Controller)에 액세스한 후 각 노드가 manageable 상태로 이동합니다.
노드가 manageable 상태에 있으면 검사 단계가 시작됩니다. 검사 단계를 수행하면 하드웨어가 OpenShift Container Platform을 성공적으로 배포하는 데 필요한 최소 요구 사항을 충족할 수 있습니다.
install-config.yaml 파일은 provisioning 네트워크를 자세히 설명합니다. 부트스트랩 VM에서 설치 프로그램은 PXE(Pre-Boot Execution Environment)를 사용하여 Ironic Python Agent(IPA)가 로드된 모든 노드에 라이브 이미지를 푸시합니다. 가상 미디어를 사용하는 경우 가상 미디어를 사용하여 각 노드의 BMC에 직접 연결하여 이미지를 사실상 연결합니다.
PXE 부팅을 사용하는 경우 모든 노드가 재부팅되어 프로세스를 시작합니다.
-
부트스트랩 VM에서 실행되는
ironic-dnsmasq서비스는 노드의 IP 주소와 TFTP 부팅 서버를 제공합니다. - 첫 번째 부팅 소프트웨어는 HTTP를 통해 루트 파일 시스템을 로드합니다.
-
부트스트랩 VM의
ironic서비스는 각 노드에서 하드웨어 정보를 수신합니다.
노드를 정리 상태로 전환하면 각 노드가 구성을 계속하기 전에 모든 디스크를 정리해야 합니다.
정리 상태가 완료되면 노드가 available 상태로 전환되고 설치 프로그램은 노드를 배포 상태로 이동합니다.
IPA는 coreos-installer 명령을 실행하여 install-config.yaml 파일의 rootDeviceHints 매개변수로 정의된 디스크에 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 설치합니다. 노드는 RHCOS를 사용하여 부팅됩니다.
설치 프로그램이 컨트롤 플레인 노드를 구성한 후 컨트롤 플레인 노드에서 컨트롤 플레인 노드로 제어를 이동하고 부트스트랩 VM을 삭제합니다.
Bare-Metal Operator는 작업자, 스토리지 및 인프라 노드를 계속 배포합니다.
설치가 완료되면 노드가 active 상태로 이동합니다. 그런 다음 설치 후 구성 및 기타 Day 2 작업을 진행할 수 있습니다.
3장. OpenShift 설치를 위한 환경 설정 링크 복사링크가 클립보드에 복사되었습니다!
3.1. 프로비저너 노드에 RHEL 설치 링크 복사링크가 클립보드에 복사되었습니다!
사전 요구 사항의 구성을 통해 다음 단계는 프로비저너 노드에 RHEL 9.x를 설치하는 것입니다. 설치 프로그램은 OpenShift Container Platform 클러스터를 설치하는 동안 프로비저너 노드를 오케스트레이터로 사용합니다. 이 문서에서는 프로비저너 노드에 RHEL을 설치하는 것은 다루지 않습니다. 선택 옵션에는 RHEL Satellite 서버, PXE 또는 설치 미디어 사용이 포함되지어 있지만 이에 국한되지는 않습니다.
3.2. OpenShift Container Platform 설치를 위한 provisioner 노드 준비 링크 복사링크가 클립보드에 복사되었습니다!
환경을 준비하려면 다음 단계를 수행하십시오.
프로세스
-
ssh를 통해 프로비저너 노드에 로그인합니다. root가 아닌 사용자 (
kni)를 만들고 해당 사용자에게sudo권한을 부여합니다.useradd kni
# useradd kniCopy to Clipboard Copied! Toggle word wrap Toggle overflow passwd kni
# passwd kniCopy to Clipboard Copied! Toggle word wrap Toggle overflow echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni
# echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kniCopy to Clipboard Copied! Toggle word wrap Toggle overflow chmod 0440 /etc/sudoers.d/kni
# chmod 0440 /etc/sudoers.d/kniCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새 사용자에 대한
ssh키를 만듭니다.su - kni -c "ssh-keygen -t ed25519 -f /home/kni/.ssh/id_rsa -N ''"
# su - kni -c "ssh-keygen -t ed25519 -f /home/kni/.ssh/id_rsa -N ''"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 프로비저너 노드에서 새 사용자로 로그인합니다.
su - kni
# su - kniCopy to Clipboard Copied! Toggle word wrap Toggle overflow Red Hat Subscription Manager를 사용하여 프로비저닝 노드를 등록합니다.
sudo subscription-manager register --username=<user> --password=<pass> --auto-attach
$ sudo subscription-manager register --username=<user> --password=<pass> --auto-attachCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo subscription-manager repos --enable=rhel-9-for-<architecture>-appstream-rpms --enable=rhel-9-for-<architecture>-baseos-rpms
$ sudo subscription-manager repos --enable=rhel-9-for-<architecture>-appstream-rpms --enable=rhel-9-for-<architecture>-baseos-rpmsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고Red Hat Subscription Manager에 대한 자세한 내용은 Using and Configuring Red Hat Subscription Manager에서 참조하십시오.
다음 패키지를 설치합니다.
sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool
$ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitoolCopy to Clipboard Copied! Toggle word wrap Toggle overflow 사용자를 변경하여
libvirt그룹을 새로 만든 사용자에 추가합니다.sudo usermod --append --groups libvirt <user>
$ sudo usermod --append --groups libvirt <user>Copy to Clipboard Copied! Toggle word wrap Toggle overflow firewalld를 다시 시작하고http서비스를 활성화합니다.sudo systemctl start firewalld
$ sudo systemctl start firewalldCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo firewall-cmd --zone=public --add-service=http --permanent
$ sudo firewall-cmd --zone=public --add-service=http --permanentCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo firewall-cmd --reload
$ sudo firewall-cmd --reloadCopy to Clipboard Copied! Toggle word wrap Toggle overflow 모듈식
libvirt데몬 소켓을 시작합니다.for drv in qemu interface network nodedev nwfilter secret storage; do sudo systemctl start virt${drv}d{,-ro,-admin}.socket; done$ for drv in qemu interface network nodedev nwfilter secret storage; do sudo systemctl start virt${drv}d{,-ro,-admin}.socket; doneCopy to Clipboard Copied! Toggle word wrap Toggle overflow default스토리지 풀을 생성하고 시작합니다.sudo virsh pool-define-as --name default --type dir --target /var/lib/libvirt/images
$ sudo virsh pool-define-as --name default --type dir --target /var/lib/libvirt/imagesCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo virsh pool-start default
$ sudo virsh pool-start defaultCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo virsh pool-autostart default
$ sudo virsh pool-autostart defaultCopy to Clipboard Copied! Toggle word wrap Toggle overflow pull-secret.txt파일을 만듭니다.vim pull-secret.txt
$ vim pull-secret.txtCopy to Clipboard Copied! Toggle word wrap Toggle overflow 웹 브라우저에서 Install OpenShift on Bare Metal with installer-provisioned infrastructure 로 이동합니다. Copy pull secret을 클릭합니다.
pull-secret.txt파일에 내용을 붙여 넣고kni사용자의 홈 디렉터리에 저장합니다.
3.3. NTP 서버 동기화 확인 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 설치 프로그램은 클러스터 노드에 chrony Network Time Protocol (NTP) 서비스를 설치합니다. 설치를 완료하려면 각 노드가 NTP 시간 서버에 액세스할 수 있어야 합니다. chrony 서비스를 사용하여 NTP 서버 동기화를 확인할 수 있습니다.
연결이 끊긴 클러스터의 경우 컨트롤 플레인 노드에서 NTP 서버를 구성해야 합니다. 자세한 내용은 추가 리소스 섹션을 참조하십시오.
사전 요구 사항
-
대상 노드에
chrony패키지를 설치했습니다.
프로세스
-
ssh명령을 사용하여 노드에 로그인합니다. 다음 명령을 실행하여 노드에서 사용할 수 있는 NTP 서버를 확인합니다.
chronyc sources
$ chronyc sourcesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow ping명령을 사용하여 노드가 NTP 서버에 액세스할 수 있는지 확인합니다. 예를 들면 다음과 같습니다.ping time.cloudflare.com
$ ping time.cloudflare.comCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
PING time.cloudflare.com (162.159.200.123) 56(84) bytes of data. 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=1 ttl=54 time=32.3 ms 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=2 ttl=54 time=30.9 ms 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=3 ttl=54 time=36.7 ms ...
PING time.cloudflare.com (162.159.200.123) 56(84) bytes of data. 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=1 ttl=54 time=32.3 ms 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=2 ttl=54 time=30.9 ms 64 bytes from time.cloudflare.com (162.159.200.123): icmp_seq=3 ttl=54 time=36.7 ms ...Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.4. 네트워킹 구성 링크 복사링크가 클립보드에 복사되었습니다!
설치하기 전에 프로비저너 노드의 네트워킹 설정을 구성해야 합니다. 설치 관리자 프로비저닝 클러스터는 베어 메탈 브리지 및 네트워크 리소스와 함께 배포되며 선택적 프로비저닝 브리지 및 네트워크 리소스를 사용합니다.
OpenShift Container Platform 웹 콘솔에서 네트워킹 설정을 구성할 수도 있습니다.
사전 요구 사항
-
sudo dnf install -y <package_name> 명령을 사용하여설치했습니다. 패키지에는nmstate패키지를nmstatectlCLI가 포함됩니다.
프로세스
베어 메탈 네트워크를 구성합니다.
참고베어 메탈 네트워크 및 SSH(Secure Shell) 연결 연결이 끊어지면 NMState에 모든 구성을 자동으로 되돌리는 롤백 메커니즘이 있습니다.
nmstatectl gc툴을 사용하여 지정된 네트워크 상태 파일에 대한 구성 파일을 생성할 수도 있습니다.DHCP를 사용하는 네트워크의 경우 다음 명령을 실행하여
/etc/sysconfig/network-scripts/ifcfg-eth0레거시 스타일을 삭제합니다.$ nmcli con delete "System <baremetal_nic_name>"
$ nmcli con delete "System <baremetal_nic_name>"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
<baremetal_nic_name>-
&
lt;baremetal_nic_name>을 NIC(네트워크 인터페이스 컨트롤러)의 이름으로 바꿉니다.
DHCP(Dynamic Host Configuration Protocol)를 사용하는 네트워크의 경우 NMState YAML 파일을 생성하고 파일에서 베어 메탈 브리지 인터페이스와 물리적 인터페이스를 지정합니다.
DHCP를 사용하는 베어 메탈 브리지 인터페이스 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 고정 IP 주소를 사용하는 네트워크의 경우 NMState YAML 파일을 생성하고 파일에 베어 메탈 브리지 인터페이스 세부 정보를 지정합니다.
고정 IP 주소를 사용하고 DHCP 네트워크를 사용하지 않는 베어 메탈 브리지 인터페이스 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
<dns-resolver>- 베어 메탈 시스템의 DNS 서버를 정의합니다.
<server>-
&
lt;dns_ip_address>를 DNS 서버의 IP 주소로 바꿉니다. <type>- 브리지 인터페이스 및 정적 IP 구성을 정의합니다.
<gateway>-
<gateway_ip>를 게이트웨이의 IP 주소로 바꿉니다. <name>- 브리지 포트로 설정한 물리적 인터페이스를 자세히 설명합니다.
다음 명령을 입력하여 YAML 파일의 네트워크 구성을 호스트의 네트워크 인터페이스에 적용합니다.
nmstatectl apply <path_to_network_yaml>
$ nmstatectl apply <path_to_network_yaml>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 입력하여 네트워크 구성 YAML 파일을 백업합니다.
nmstatectl show > backup-nmstate.yml
$ nmstatectl show > backup-nmstate.ymlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 선택 사항: provisioning 네트워크에 클러스터를 배포하는 경우 NMState YAML 파일을 생성하거나 편집하고 파일에 세부 정보를 지정합니다.
참고IPv6 주소는 베어 메탈 네트워크를 통해 라우팅되지 않는 모든 주소일 수 있습니다.
UEFI(Unified Extensible Firmware Interface)를 활성화하고 IPv6 주소를 사용할 때 IPv6 프로토콜에 대한 UEFI PXE 설정을 설정해야 합니다.
provisioning 네트워크용 NMState YAML 파일의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 선택 사항: 다음 명령을 실행하여
프로비저너노드에 대한 SSH 연결을 설정합니다.ssh kni@provisioner.<cluster_name>.<domain>
# ssh kni@provisioner.<cluster_name>.<domain>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
<cluster_name>.<domain>-
<
cluster_name>을 클러스터 이름으로 바꾸고 <domain>을 클러스터의 FQDN(정규화된 도메인 이름)으로 바꿉니다.
다음 명령을 실행하여 연결 브리지가 올바르게 생성되었는지 확인합니다.
sudo nmcli con show
$ sudo nmcli con showCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.5. 사용자 지정 br-ex 브리지를 포함하는 매니페스트 오브젝트 생성 링크 복사링크가 클립보드에 복사되었습니다!
configure-ovs.sh 쉘 스크립트를 사용하여 베어 메탈 플랫폼에서 br-ex 브리지를 설정하는 대신 NMState 구성 파일이 포함된 MachineConfig 오브젝트를 생성할 수 있습니다. host nmstate-configuration.service 및 nmstate.service 는 NMState 구성 파일을 클러스터에서 실행되는 각 노드에 적용합니다.
configure-ovs.sh 쉘 스크립트를 사용하여 베어 메탈 플랫폼에서 br-ex 브리지를 설정하는 대신 NMState 구성 파일을 포함하는 NodeNetworkConfigurationPolicy (NNCP) 사용자 정의 리소스(CR)를 생성할 수 있습니다.
Kubernetes NMState Operator는 NMState 구성 파일을 사용하여 클러스터의 각 노드에 사용자 지정 br-ex 브리지 네트워크 구성을 생성합니다.
NodeNetworkConfigurationPolicy CR을 생성한 후 클러스터 설치 중에 생성된 NMState 구성 파일의 콘텐츠를 NNCP CR에 복사합니다. 불완전한 NNCP CR 파일은 파일에 설명된 네트워크 정책이 클러스터의 노드에 적용할 수 없음을 의미합니다.
이 기능은 다음 작업을 지원합니다.
- 클러스터의 최대 전송 단위(MTU) 수정.
- MIImon(Media Independent Interface Monitor), 본딩 모드 또는 QoS(Quality of Service)와 같은 다른 본딩 인터페이스의 속성 수정.
- DNS 값 업데이트.
사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 생성하는 다음 사용 사례를 고려하십시오.
-
OVS(Open vSwitch) 또는 OVN-Kubernetes
br-ex브리지 네트워크 변경과 같은 브릿지를 사후 설치하려고 합니다.configure-ovs.sh쉘 스크립트는 브리지를 사후 설치하도록 지원하지 않습니다. - 호스트 또는 서버 IP 주소에 사용 가능한 인터페이스와 다른 인터페이스에 브리지를 배포하려고 합니다.
-
configure-ovs.sh쉘 스크립트에서 사용할 수 없는 고급 구성을 브리지에 설정하려고 합니다. 이러한 구성에 스크립트를 사용하면 브리지가 여러 네트워크 인터페이스를 연결하고 인터페이스 간 데이터 전달을 용이하게 할 수 있습니다.
단일 NIC(네트워크 인터페이스 컨트롤러) 및 기본 네트워크 설정이 있는 환경이 필요한 경우 configure-ovs.sh 쉘 스크립트를 사용합니다.
RHCOS(Red Hat Enterprise Linux CoreOS)를 설치하고 시스템을 재부팅하면 Machine Config Operator에서 클러스터의 각 노드에 Ignition 구성 파일을 삽입하여 각 노드가 br-ex 브리지 네트워크 구성을 수신하도록 합니다. 구성 충돌을 방지하기 위해 configure-ovs.sh 쉘 스크립트는 br-ex 브리지를 구성하지 않는 신호를 수신합니다.
사전 요구 사항
-
선택 사항: NMState 구성을 검증할 수 있도록
nmstateAPI를 설치했습니다.
프로세스
사용자 지정
br-ex브리지 네트워크에 대한 base64 정보를 디코딩한 NMState 구성 파일을 생성합니다.사용자 지정
br-ex브리지 네트워크에 대한 NMState 구성의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
interfaces.name- 인터페이스 이름입니다.
interfaces.type- 이더넷 유형입니다.
interfaces.state- 생성 후 인터페이스에 요청되는 상태입니다.
ipv4.enabled- 이 예에서는 IPv4 및 IPv6을 비활성화합니다.
port.name- 브리지가 연결되는 노드 NIC입니다.
auto-route-metric-
매개변수를
48으로 설정하여br-ex기본 경로가 항상 우선 순위가 가장 높은지(가장 낮은 메트릭)인지 확인합니다. 이 구성은NetworkManager서비스에서 자동으로 구성하는 다른 인터페이스와의 라우팅 충돌을 방지합니다.
cat명령을 사용하여 NMState 구성의 내용을 base64로 인코딩합니다.cat <nmstate_configuration>.yml | base64
$ cat <nmstate_configuration>.yml | base64Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
<nmstate_configuration>-
&
lt;nmstate_configuration>을 NMState 리소스 YAML 파일의 이름으로 바꿉니다.
MachineConfig매니페스트 파일을 생성하고 다음 예와 유사한 사용자 지정br-ex브리지 네트워크 구성을 정의합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
metadata.name- 정책의 이름입니다.
contents.source- 인코딩된 base64 정보를 지정된 경로에 씁니다.
path클러스터의 각 노드에 대해 노드의 호스트 이름 경로와 머신 유형의 base-64로 인코딩된 Ignition 구성 파일 데이터를 지정합니다.
worker역할은 클러스터의 노드의 기본 역할입니다. 각 노드 또는MachineConfig매니페스트 파일의 모든 노드에 대한 짧은 호스트 이름 경로를 지정할 때$(hostname -s).yml과 같은 구성 파일에.yml확장을 사용해야 합니다.클러스터의 모든 노드에 적용할
/etc/nmstate/openshift/cluster.yml구성 파일에 단일 글로벌 구성이 있는 경우 /etc/nmstate/openshift/<node_hostname>.yml과 같은 각 노드의 짧은 호스트 이름 경로를 지정할 필요가 없습니다. 예를 들면 다음과 같습니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 명령을 입력하여
MachineConfig오브젝트의 업데이트를 클러스터에 적용합니다.oc apply -f <machine_config>.yml
$ oc apply -f <machine_config>.ymlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 단계
-
컴퓨팅 노드를 확장하여 사용자 지정
br-ex브리지가 포함된 매니페스트 오브젝트를 클러스터에 있는 각 컴퓨팅 노드에 적용합니다. 자세한 내용은 추가 리소스 섹션의 "클러스터 확장"을 참조하십시오.
3.5.1. 선택 사항: 각 머신 세트를 컴퓨팅 노드로 확장 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 클러스터의 모든 컴퓨팅 노드에 사용자 지정 br-ex 브리지 구성을 적용하려면 MachineConfig CR(사용자 정의 리소스)을 편집하고 해당 역할을 수정해야 합니다. 또한 호스트 이름, 인증 정보 등과 같은 베어 메탈 시스템에 대한 정보를 정의하는 BareMetalHost CR을 생성해야 합니다.
이러한 리소스를 구성한 후 머신 세트가 각 컴퓨팅 노드에 리소스 구성을 적용하고 노드를 재부팅할 수 있도록 머신 세트를 확장해야 합니다.
사전 요구 사항
-
사용자 지정
br-ex브리지 구성이 포함된MachineConfig매니페스트 오브젝트를 생성했습니다.
프로세스
다음 명령을 입력하여
MachineConfigCR을 편집합니다.oc edit mc <machineconfig_custom_resource_name>
$ oc edit mc <machineconfig_custom_resource_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow - CR에서 클러스터에 정의된 각 컴퓨팅 노드의 역할을 관리할 수 있도록 각 컴퓨팅 노드 구성을 CR에 추가합니다.
-
최소한의 고정 IP 구성이 있는
extraworker-secret이라는Secret오브젝트를 생성합니다. 다음 명령을 입력하여 클러스터의 각 노드에
extraworker-secret시크릿을 적용합니다. 이 단계에서는 Ignition 구성 파일에 대한 각 컴퓨팅 노드 액세스를 제공합니다.oc apply -f ./extraworker-secret.yaml
$ oc apply -f ./extraworker-secret.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow BareMetalHost리소스를 생성하고preprovisioningNetworkDataName매개변수에 네트워크 시크릿을 지정합니다.연결된 네트워크 시크릿을 사용하는
BareMetalHost리소스의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow 클러스터의
openshift-machine-api네임스페이스에서BareMetalHost오브젝트를 관리하려면 다음 명령을 입력하여 네임스페이스로 변경합니다.oc project openshift-machine-api
$ oc project openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow 머신 세트를 가져옵니다.
oc get machinesets
$ oc get machinesetsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 입력하여 각 머신 세트를 스케일링합니다. 각 머신 세트에 대해 이 명령을 실행해야 합니다.
oc scale machineset <machineset_name> --replicas=<n>
$ oc scale machineset <machineset_name> --replicas=<n>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 여기서
<machineset_name>은 머신 세트의 이름이며 <n>은 컴퓨팅 노드 수입니다.
3.6. 클러스터에 OVS balance-slb 모드 활성화 링크 복사링크가 클립보드에 복사되었습니다!
두 개 이상의 물리적 인터페이스가 네트워크 트래픽을 공유할 수 있도록 OVS(Open vSwitch) balance-slb 모드를 활성화할 수 있습니다. balance-slb 모드 인터페이스는 네트워크 스위치와의 로드 밸런싱 협상 없이도 가상화 워크로드를 실행하는 클러스터에 소스 로드 밸런싱(SLB) 기능을 제공할 수 있습니다.
현재 소스 로드 밸런싱은 본딩 인터페이스에서 실행되며, 여기서 인터페이스는 br-phy 와 같은 보조 브릿지에 연결됩니다. 소스 로드 밸런싱은 다양한 MAC(Media Access Control) 주소 및 VLAN(가상 로컬 영역 네트워크) 조합에서만 분산됩니다. 모든 OVN-Kubernetes Pod 트래픽은 동일한 MAC 주소와 VLAN을 사용하므로 이 트래픽을 여러 물리적 인터페이스에서 부하 분산할 수 없습니다.
다음 다이어그램에서는 간단한 클러스터 인프라 레이아웃의 balance-slb 모드를 보여줍니다. 가상 머신(VM)은 특정 localnet NetworkAttachmentDefinition (CRD) 사용자 정의 리소스 정의(CRD), CryostatD 0 또는 CryostatD 1 에 연결합니다. 각 CryostatD는 VM에 기본 물리적 네트워크에 액세스할 수 있도록 제공하여 VLAN 태그가 지정되지 않은 트래픽을 지원합니다. br-ex OVS 브리지는 VM에서 트래픽을 수신하고 트래픽을 다음 OVS 브리지 br-phy 로 전달합니다. br-phy 브리지는 SLB 본딩의 컨트롤러 역할을 합니다. SLB 본딩은 eno0 및 eno1 과 같은 물리적 인터페이스 링크를 통해 다른 VM 포트의 트래픽을 분산합니다. 또한 물리적 인터페이스의 수신 트래픽은 OVS 브리지 집합을 통과하여 VM에 도달할 수 있습니다.
그림 3.1. 두 개의 CryostatD CRD를 사용하여 localnet에서 작동하는 OVS balance-slb 모드
OVS 본딩을 사용하여 balance-slb 모드 인터페이스를 기본 또는 보조 네트워크 유형에 통합할 수 있습니다. OVS 본딩에 대한 다음 사항에 유의하십시오.
- OVN-Kubernetes CNI 플러그인을 지원하며 플러그인과 쉽게 통합할 수 있습니다.
-
기본적으로
balance-slb모드를 지원합니다.
사전 요구 사항
-
기본 네트워크에 두 개 이상의 물리적 인터페이스가 연결되어 있으며
MachineConfig파일에 인터페이스를 정의했습니다. -
매니페스트 객체를 생성하고 객체 구성 파일에서 사용자 정의
br-ex브리지를 정의했습니다. - 기본 네트워크에 두 개 이상의 물리적 인터페이스가 연결되어 있으며, interfaces를 alignD CRD 파일에 정의했습니다.
프로세스
클러스터에 존재하는 각 베어 메탈 호스트의 경우 클러스터의
install-config.yaml파일에서 다음 예와 유사한networkConfig섹션을 정의합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow NMState 구성 파일에 각 네트워크 인터페이스를 정의합니다.
많은 네트워크 인터페이스를 정의하는 NMState 구성 파일의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 본딩 포트에
br-exMTU를 수동으로 설정합니다.
base64명령을 사용하여 NMState 구성 파일의 인터페이스 콘텐츠를 인코딩합니다.base64 -w0 <nmstate_configuration>.yml
$ base64 -w0 <nmstate_configuration>.yml1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 여기서
-w0옵션은 base64 인코딩 작업 중에 줄 래핑을 방지합니다.
마스터역할 및작업자역할에 대한MachineConfig매니페스트 파일을 생성합니다. 이전 명령의 base64로 인코딩된 문자열을 각MachineConfig매니페스트 파일에 포함해야 합니다. 다음 예제 매니페스트 파일은 클러스터에 존재하는 모든 노드의마스터역할을 구성합니다. 노드와 관련된마스터및작업자역할에 대한 매니페스트 파일을 생성할 수도 있습니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 각
MachineConfig매니페스트 파일을./<installation_directory>/manifests디렉터리에 저장합니다. 여기서 <installation_directory>는 설치 프로그램이 파일을 생성하는 디렉터리입니다.MCO(Machine Config Operator)는 각 매니페스트 파일에서 콘텐츠를 가져와 롤링 업데이트 중에 선택한 모든 노드에 지속적으로 콘텐츠를 적용합니다.
3.7. 서브넷 간 통신 설정 링크 복사링크가 클립보드에 복사되었습니다!
일반적인 OpenShift Container Platform 클러스터 설정에서 컨트롤 플레인 및 컴퓨팅 노드를 포함한 모든 노드는 동일한 네트워크에 있습니다. 그러나 엣지 컴퓨팅 시나리오에서는 컴퓨팅 노드를 에지에 더 가깝게 찾는 것이 유용할 수 있습니다. 이는 컨트롤 플레인 및 로컬 컴퓨팅 노드에서 사용하는 서브넷과 원격 노드에 대해 다른 네트워크 세그먼트 또는 서브넷을 사용하는 경우가 많습니다. 이러한 설정을 사용하면 엣지의 대기 시간을 줄이고 확장성을 향상시킬 수 있습니다.
OpenShift Container Platform을 설치하기 전에 원격 노드가 포함된 에지 서브넷이 컨트롤 플레인 노드가 포함된 서브넷에 도달하고 컨트롤 플레인에서 트래픽을 수신할 수 있도록 네트워크를 적절히 구성해야 합니다.
클러스터 설치 중에 install-config.yaml 구성 파일의 네트워크 구성의 노드에 영구 IP 주소를 할당합니다. 이 작업을 수행하지 않으면 트래픽이 노드에 도달하는 방법에 영향을 줄 수 있는 임시 IP 주소가 노드에 할당될 수 있습니다. 예를 들어 노드에 임시 IP 주소가 할당되어 노드에 본딩된 인터페이스를 구성한 경우 본딩된 인터페이스에서 다른 IP 주소를 수신할 수 있습니다.
기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 구성하여 동일한 서브넷 또는 여러 서브넷에서 컨트롤 플레인 노드를 실행할 수 있습니다. 여러 서브넷 환경을 사용하면 하드웨어 장애 또는 네트워크 중단으로 인해 OpenShift Container Platform 클러스터의 위험을 줄일 수 있습니다. 자세한 내용은 "사용자 관리 로드 밸런서의 서비스" 및 "사용자 관리 로드 밸런서 구성"을 참조하십시오.
여러 서브넷 환경에서 컨트롤 플레인 노드를 실행하려면 다음 주요 작업을 완료해야 합니다.
-
install-config.yaml파일의loadBalancer.type매개변수에UserManaged를 지정하여 기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 구성합니다. -
install-config.yaml파일의ingressVIPs및apiVIPs매개변수에서 사용자 관리 로드 밸런서 주소를 구성합니다. -
install-config.yaml파일의networking.machineNetworks매개변수에 여러 서브넷 CIDR(Classless Inter-Domain Routing) 및 사용자 관리 로드 밸런서 IP 주소를 추가합니다.
여러 서브넷이 있는 클러스터를 배포하려면 redfish-virtualmedia 및 idrac-virtualmedia 와 같은 가상 미디어를 사용해야 합니다.
이 절차에서는 두 번째 서브넷의 원격 컴퓨팅 노드가 첫 번째 서브넷의 컨트롤 플레인 노드와 효과적으로 통신하고 첫 번째 서브넷의 컨트롤 플레인 노드가 두 번째 서브넷의 원격 컴퓨팅 노드와 효과적으로 통신할 수 있도록 하는 데 필요한 네트워크 구성에 대해 자세히 설명합니다.
이 절차에서 클러스터는 두 개의 서브넷에 걸쳐 있습니다.
-
첫 번째 서브넷(
10.0.0.0)에는 컨트롤 플레인 및 로컬 컴퓨팅 노드가 포함되어 있습니다. -
두 번째 서브넷(
192.168.0.0)에는 엣지 컴퓨팅 노드가 포함되어 있습니다.
프로세스
두 번째 서브넷과 통신하도록 첫 번째 서브넷을 구성합니다.
다음 명령을 실행하여
root로 컨트롤 플레인 노드에 로그인합니다.sudo su -
$ sudo su -Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네트워크 인터페이스의 이름을 가져옵니다.
nmcli dev status
# nmcli dev statusCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 게이트웨이를 통해 두 번째 서브넷(
192.168.0.0)에 경로를 추가합니다.nmcli connection modify <interface_name> +ipv4.routes "192.168.0.0/24 via <gateway>"
# nmcli connection modify <interface_name> +ipv4.routes "192.168.0.0/24 via <gateway>"Copy to Clipboard Copied! Toggle word wrap Toggle overflow <
;interface_name>을 인터페이스 이름으로 바꿉니다. 을 실제 게이트웨이의 IP 주소로 바꿉니다.예제
nmcli connection modify eth0 +ipv4.routes "192.168.0.0/24 via 192.168.0.1"
# nmcli connection modify eth0 +ipv4.routes "192.168.0.0/24 via 192.168.0.1"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 변경 사항을 적용합니다.
nmcli connection up <interface_name>
# nmcli connection up <interface_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow <
;interface_name>을 인터페이스 이름으로 바꿉니다.라우팅 테이블을 확인하여 경로가 성공적으로 추가되었는지 확인합니다.
ip route
# ip routeCopy to Clipboard Copied! Toggle word wrap Toggle overflow 첫 번째 서브넷의 각 컨트롤 플레인 노드에 대해 이전 단계를 반복합니다.
참고실제 인터페이스 이름 및 게이트웨이와 일치하도록 명령을 조정합니다.
첫 번째 서브넷과 통신하도록 두 번째 서브넷을 구성합니다.
다음 명령을 실행하여
root로 원격 컴퓨팅 노드에 로그인합니다.sudo su -
$ sudo su -Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네트워크 인터페이스의 이름을 가져옵니다.
nmcli dev status
# nmcli dev statusCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 게이트웨이를 통해 첫 번째 서브넷(
10.0.0.0)에 경로를 추가합니다.nmcli connection modify <interface_name> +ipv4.routes "10.0.0.0/24 via <gateway>"
# nmcli connection modify <interface_name> +ipv4.routes "10.0.0.0/24 via <gateway>"Copy to Clipboard Copied! Toggle word wrap Toggle overflow <
;interface_name>을 인터페이스 이름으로 바꿉니다. 을 실제 게이트웨이의 IP 주소로 바꿉니다.예제
nmcli connection modify eth0 +ipv4.routes "10.0.0.0/24 via 10.0.0.1"
# nmcli connection modify eth0 +ipv4.routes "10.0.0.0/24 via 10.0.0.1"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 변경 사항을 적용합니다.
nmcli connection up <interface_name>
# nmcli connection up <interface_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow <
;interface_name>을 인터페이스 이름으로 바꿉니다.다음 명령을 실행하여 라우팅 테이블을 확인하여 경로가 성공적으로 추가되었는지 확인합니다.
ip route
# ip routeCopy to Clipboard Copied! Toggle word wrap Toggle overflow 두 번째 서브넷의 각 compute 노드에 대해 이전 단계를 반복합니다.
참고실제 인터페이스 이름 및 게이트웨이와 일치하도록 명령을 조정합니다.
네트워크를 구성한 후 연결을 테스트하여 원격 노드가 컨트롤 플레인 노드에 도달할 수 있고 컨트롤 플레인 노드가 원격 노드에 도달할 수 있는지 확인합니다.
첫 번째 서브넷의 컨트롤 플레인 노드에서 다음 명령을 실행하여 두 번째 서브넷의 원격 노드를 ping합니다.
ping <remote_node_ip_address>
$ ping <remote_node_ip_address>Copy to Clipboard Copied! Toggle word wrap Toggle overflow ping에 성공하면 첫 번째 서브넷의 컨트롤 플레인 노드가 두 번째 서브넷의 원격 노드에 연결할 수 있습니다. 응답이 수신되지 않으면 네트워크 구성을 검토하고 노드에 대한 절차를 반복합니다.
두 번째 서브넷의 원격 노드에서 다음 명령을 실행하여 첫 번째 서브넷의 컨트롤 플레인 노드를 ping합니다.
ping <control_plane_node_ip_address>
$ ping <control_plane_node_ip_address>Copy to Clipboard Copied! Toggle word wrap Toggle overflow ping에 성공하면 두 번째 서브넷의 원격 컴퓨팅 노드가 첫 번째 서브넷의 컨트롤 플레인에 도달할 수 있습니다. 응답이 수신되지 않으면 네트워크 구성을 검토하고 노드에 대한 절차를 반복합니다.
3.8. OpenShift Container Platform 설치 프로그램 검색 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램의 stable-4.x 버전과 선택한 아키텍처를 사용하여 일반적으로 사용 가능한 OpenShift Container Platform 버전을 배포합니다.
export VERSION=stable-4.16
$ export VERSION=stable-4.16
export RELEASE_ARCH=<architecture>
$ export RELEASE_ARCH=<architecture>
export RELEASE_IMAGE=$(curl -s https://mirror.openshift.com/pub/openshift-v4/$RELEASE_ARCH/clients/ocp/$VERSION/release.txt | grep 'Pull From: quay.io' | awk -F ' ' '{print $3}')
$ export RELEASE_IMAGE=$(curl -s https://mirror.openshift.com/pub/openshift-v4/$RELEASE_ARCH/clients/ocp/$VERSION/release.txt | grep 'Pull From: quay.io' | awk -F ' ' '{print $3}')
3.9. OpenShift Container Platform 설치 프로그램 추출 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램을 가져온 후 다음 단계로 압축을 풉니다.
프로세스
환경 변수를 설정합니다.
export cmd=openshift-baremetal-install
$ export cmd=openshift-baremetal-installCopy to Clipboard Copied! Toggle word wrap Toggle overflow export pullsecret_file=~/pull-secret.txt
$ export pullsecret_file=~/pull-secret.txtCopy to Clipboard Copied! Toggle word wrap Toggle overflow export extract_dir=$(pwd)
$ export extract_dir=$(pwd)Copy to Clipboard Copied! Toggle word wrap Toggle overflow oc바이너리를 가져옵니다.curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc
$ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - ocCopy to Clipboard Copied! Toggle word wrap Toggle overflow 설치 프로그램 압축을 풉니다.
sudo cp oc /usr/local/bin
$ sudo cp oc /usr/local/binCopy to Clipboard Copied! Toggle word wrap Toggle overflow oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}$ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}Copy to Clipboard Copied! Toggle word wrap Toggle overflow sudo cp openshift-baremetal-install /usr/local/bin
$ sudo cp openshift-baremetal-install /usr/local/binCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.10. 선택 사항: RHCOS 이미지 캐시 생성 링크 복사링크가 클립보드에 복사되었습니다!
이미지 캐싱을 사용하려면 부트스트랩 VM에서 클러스터 노드를 프로비저닝하는 데 사용하는 RHCOS(Red Hat Enterprise Linux CoreOS) 이미지를 다운로드해야 합니다. 이미지 캐싱은 선택 사항이지만 대역폭이 제한된 네트워크에서 설치 프로그램을 실행할 때 특히 유용합니다.
올바른 이미지가 릴리스 페이로드에 있으므로 설치 프로그램에 더 이상 clusterOSImage RHCOS 이미지가 필요하지 않습니다.
대역폭이 제한된 네트워크에서 설치 프로그램을 실행하고 RHCOS 이미지 다운로드가 15~20분 이상 걸리는 경우 설치 프로그램이 시간 초과됩니다. 이러한 경우 웹 서버에서 이미지를 캐시할 수 있습니다.
HTTPD 서버에 대해 TLS를 활성화하는 경우 클라이언트에서 신뢰하는 기관에서 루트 인증서에 서명했는지 확인하고 OpenShift Container Platform Hub 및 spoke 클러스터와 HTTPD 서버 간의 신뢰할 수 있는 인증서 체인을 확인해야 합니다. 신뢰할 수 없는 인증서로 구성된 서버를 사용하면 이미지가 이미지 생성 서비스로 다운로드되지 않습니다. 신뢰할 수 없는 HTTPS 서버 사용은 지원되지 않습니다.
이미지가 포함된 컨테이너를 설치합니다.
프로세스
podman을 설치합니다.sudo dnf install -y podman
$ sudo dnf install -y podmanCopy to Clipboard Copied! Toggle word wrap Toggle overflow RHCOS 이미지 캐싱에 사용할 방화벽 포트
8080을 엽니다.sudo firewall-cmd --add-port=8080/tcp --zone=public --permanent
$ sudo firewall-cmd --add-port=8080/tcp --zone=public --permanentCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo firewall-cmd --reload
$ sudo firewall-cmd --reloadCopy to Clipboard Copied! Toggle word wrap Toggle overflow bootstraposimage를 저장할 디렉터리를 만듭니다.mkdir /home/kni/rhcos_image_cache
$ mkdir /home/kni/rhcos_image_cacheCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로 생성된 디렉터리에 적절한 SELinux 컨텍스트를 설정합니다.
sudo semanage fcontext -a -t httpd_sys_content_t "/home/kni/rhcos_image_cache(/.*)?"
$ sudo semanage fcontext -a -t httpd_sys_content_t "/home/kni/rhcos_image_cache(/.*)?"Copy to Clipboard Copied! Toggle word wrap Toggle overflow sudo restorecon -Rv /home/kni/rhcos_image_cache/
$ sudo restorecon -Rv /home/kni/rhcos_image_cache/Copy to Clipboard Copied! Toggle word wrap Toggle overflow 설치 프로그램이 부트스트랩 VM에 배포할 RHCOS 이미지의 URI를 가져옵니다.
export RHCOS_QEMU_URI=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk.location')
$ export RHCOS_QEMU_URI=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk.location')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 설치 프로그램이 부트스트랩 VM에 배포할 이미지의 이름을 가져옵니다.
export RHCOS_QEMU_NAME=${RHCOS_QEMU_URI##*/}$ export RHCOS_QEMU_NAME=${RHCOS_QEMU_URI##*/}Copy to Clipboard Copied! Toggle word wrap Toggle overflow 부트스트랩 VM에 배포된 RHCOS 이미지의 SHA 해시를 가져옵니다.
export RHCOS_QEMU_UNCOMPRESSED_SHA256=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk["uncompressed-sha256"]')
$ export RHCOS_QEMU_UNCOMPRESSED_SHA256=$(/usr/local/bin/openshift-baremetal-install coreos print-stream-json | jq -r --arg ARCH "$(arch)" '.architectures[$ARCH].artifacts.qemu.formats["qcow2.gz"].disk["uncompressed-sha256"]')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이미지를 다운로드하여
/home/kni/rhcos_image_cache디렉터리에 배치합니다.curl -L ${RHCOS_QEMU_URI} -o /home/kni/rhcos_image_cache/${RHCOS_QEMU_NAME}$ curl -L ${RHCOS_QEMU_URI} -o /home/kni/rhcos_image_cache/${RHCOS_QEMU_NAME}Copy to Clipboard Copied! Toggle word wrap Toggle overflow SELinux 유형이 새 파일의
httpd_sys_content_t인지 확인합니다.ls -Z /home/kni/rhcos_image_cache
$ ls -Z /home/kni/rhcos_image_cacheCopy to Clipboard Copied! Toggle word wrap Toggle overflow Pod를 생성합니다.
podman run -d --name rhcos_image_cache \ -v /home/kni/rhcos_image_cache:/var/www/html \ -p 8080:8080/tcp \ registry.access.redhat.com/ubi9/httpd-24
$ podman run -d --name rhcos_image_cache \1 -v /home/kni/rhcos_image_cache:/var/www/html \ -p 8080:8080/tcp \ registry.access.redhat.com/ubi9/httpd-24Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
rhcos_image_cache라는 이름의 캐싱 웹 서버를 생성합니다. 이 Pod는 배포를 위해install-config.yaml파일에서bootstrapOSImage이미지를 제공합니다.
bootstrapOSImage구성을 생성합니다.export BAREMETAL_IP=$(ip addr show dev baremetal | awk '/inet /{print $2}' | cut -d"/" -f1)$ export BAREMETAL_IP=$(ip addr show dev baremetal | awk '/inet /{print $2}' | cut -d"/" -f1)Copy to Clipboard Copied! Toggle word wrap Toggle overflow export BOOTSTRAP_OS_IMAGE="http://${BAREMETAL_IP}:8080/${RHCOS_QEMU_NAME}?sha256=${RHCOS_QEMU_UNCOMPRESSED_SHA256}"$ export BOOTSTRAP_OS_IMAGE="http://${BAREMETAL_IP}:8080/${RHCOS_QEMU_NAME}?sha256=${RHCOS_QEMU_UNCOMPRESSED_SHA256}"Copy to Clipboard Copied! Toggle word wrap Toggle overflow echo " bootstrapOSImage=${BOOTSTRAP_OS_IMAGE}"$ echo " bootstrapOSImage=${BOOTSTRAP_OS_IMAGE}"Copy to Clipboard Copied! Toggle word wrap Toggle overflow platform.baremetal아래의install-config.yaml파일에 필요한 구성을 추가합니다.platform: baremetal: bootstrapOSImage: <bootstrap_os_image>platform: baremetal: bootstrapOSImage: <bootstrap_os_image>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;bootstrap_os_image>를$BOOTSTRAP_OS_IMAGE값으로 바꿉니다.
자세한 내용은 " install-config.yaml 파일 구성" 섹션을 참조하십시오.
3.11. 사용자 관리 로드 밸런서의 서비스 링크 복사링크가 클립보드에 복사되었습니다!
기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 사용하도록 OpenShift Container Platform 클러스터를 구성할 수 있습니다.
사용자 관리 로드 밸런서 구성은 벤더의 로드 밸런서에 따라 다릅니다.
이 섹션의 정보와 예제는 지침용으로만 사용됩니다. 벤더의 로드 밸런서에 대한 자세한 내용은 벤더 설명서를 참조하십시오.
Red Hat은 사용자 관리 로드 밸런서에 대해 다음 서비스를 지원합니다.
- Ingress 컨트롤러
- OpenShift API
- OpenShift MachineConfig API
사용자 관리 로드 밸런서에 대해 이러한 서비스 중 하나 또는 모두를 구성할지 여부를 선택할 수 있습니다. Ingress 컨트롤러 서비스만 구성하는 것은 일반적인 구성 옵션입니다. 각 서비스를 더 잘 이해하려면 다음 다이어그램을 참조하십시오.
그림 3.2. OpenShift Container Platform 환경에서 작동하는 Ingress 컨트롤러를 보여주는 네트워크 워크플로의 예
그림 3.3. OpenShift Container Platform 환경에서 작동하는 OpenShift API를 보여주는 네트워크 워크플로우의 예
그림 3.4. OpenShift Container Platform 환경에서 작동하는 OpenShift MachineConfig API를 보여주는 네트워크 워크플로우의 예
사용자 관리 로드 밸런서에 대해 지원되는 구성 옵션은 다음과 같습니다.
- 노드 선택기를 사용하여 Ingress 컨트롤러를 특정 노드 세트에 매핑합니다. 이 세트의 각 노드에 고정 IP 주소를 할당하거나 DHCP(Dynamic Host Configuration Protocol)에서 동일한 IP 주소를 수신하도록 각 노드를 구성해야 합니다. 인프라 노드는 일반적으로 이러한 유형의 구성을 수신합니다.
서브넷의 모든 IP 주소를 대상으로 지정합니다. 이 구성은 로드 밸런서 대상을 재구성하지 않고 해당 네트워크 내에서 노드를 생성하고 삭제할 수 있으므로 유지 관리 오버헤드를 줄일 수 있습니다.
/27또는/28과 같은 작은 네트워크에 머신 세트를 사용하여 Ingress Pod를 배포하는 경우 로드 밸런서 대상을 단순화할 수 있습니다.작은 정보머신 구성 풀의 리소스를 확인하여 네트워크에 존재하는 모든 IP 주소를 나열할 수 있습니다.
OpenShift Container Platform 클러스터에 대한 사용자 관리 로드 밸런서를 구성하기 전에 다음 정보를 고려하십시오.
- 프런트 엔드 IP 주소의 경우 프런트 엔드 IP 주소, Ingress 컨트롤러의 로드 밸런서 및 API 로드 밸런서에 동일한 IP 주소를 사용할 수 있습니다. 이 기능에 대해서는 벤더의 설명서를 확인하십시오.
백엔드 IP 주소의 경우 사용자 관리 로드 밸런서의 수명 동안 OpenShift Container Platform 컨트롤 플레인 노드의 IP 주소가 변경되지 않아야 합니다. 다음 작업 중 하나를 완료하여 이 작업을 수행할 수 있습니다.
- 각 컨트롤 플레인 노드에 고정 IP 주소를 할당합니다.
- 노드가 DHCP 리스를 요청할 때마다 DHCP에서 동일한 IP 주소를 수신하도록 각 노드를 구성합니다. 공급 업체에 따라 DHCP 리스를 IP 예약 또는 정적 DHCP 할당의 형태로 될 수 있습니다.
- Ingress 컨트롤러 백엔드 서비스의 사용자 관리 로드 밸런서에서 Ingress 컨트롤러를 실행하는 각 노드를 수동으로 정의합니다. 예를 들어 Ingress 컨트롤러가 정의되지 않은 노드로 이동하는 경우 연결 중단이 발생할 수 있습니다.
3.11.1. 사용자 관리 로드 밸런서 구성 링크 복사링크가 클립보드에 복사되었습니다!
기본 로드 밸런서 대신 사용자 관리 로드 밸런서를 사용하도록 OpenShift Container Platform 클러스터를 구성할 수 있습니다.
사용자 관리 로드 밸런서를 구성하기 전에 "사용자 관리 로드 밸런서의 서비스" 섹션을 읽으십시오.
사용자 관리 로드 밸런서에 대해 구성할 서비스에 적용되는 다음 사전 요구 사항을 읽으십시오.
클러스터에서 실행되는 MetalLB는 사용자 관리 로드 밸런서로 작동합니다.
OpenShift API 사전 요구 사항
- 프런트 엔드 IP 주소를 정의했습니다.
TCP 포트 6443 및 22623은 로드 밸런서의 프런트 엔드 IP 주소에 노출됩니다. 다음 항목을 확인합니다.
- 포트 6443은 OpenShift API 서비스에 대한 액세스를 제공합니다.
- 포트 22623은 노드에 Ignition 시작 구성을 제공할 수 있습니다.
- 프런트 엔드 IP 주소와 포트 6443은 OpenShift Container Platform 클러스터 외부의 위치로 시스템의 모든 사용자가 연결할 수 있습니다.
- 프런트 엔드 IP 주소와 포트 22623은 OpenShift Container Platform 노드에서만 연결할 수 있습니다.
- 로드 밸런서 백엔드는 포트 6443 및 22623의 OpenShift Container Platform 컨트롤 플레인 노드와 통신할 수 있습니다.
Ingress 컨트롤러 사전 요구 사항
- 프런트 엔드 IP 주소를 정의했습니다.
- TCP 포트 443 및 80은 로드 밸런서의 프런트 엔드 IP 주소에 노출됩니다.
- 프런트 엔드 IP 주소, 포트 80 및 포트 443은 OpenShift Container Platform 클러스터 외부에 있는 위치로 시스템의 모든 사용자가 연결할 수 있습니다.
- 프런트 엔드 IP 주소, 포트 80 및 포트 443은 OpenShift Container Platform 클러스터에서 작동하는 모든 노드에 연결할 수 있습니다.
- 로드 밸런서 백엔드는 포트 80, 443, 1936에서 Ingress 컨트롤러를 실행하는 OpenShift Container Platform 노드와 통신할 수 있습니다.
상태 점검 URL 사양의 사전 요구 사항
서비스를 사용할 수 없거나 사용할 수 없는지 결정하는 상태 점검 URL을 설정하여 대부분의 로드 밸런서를 구성할 수 있습니다. OpenShift Container Platform은 OpenShift API, 머신 구성 API 및 Ingress 컨트롤러 백엔드 서비스에 대한 이러한 상태 점검을 제공합니다.
다음 예제에서는 이전에 나열된 백엔드 서비스의 상태 점검 사양을 보여줍니다.
Kubernetes API 상태 점검 사양의 예
Path: HTTPS:6443/readyz Healthy threshold: 2 Unhealthy threshold: 2 Timeout: 10 Interval: 10
Path: HTTPS:6443/readyz
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 10
Interval: 10
Machine Config API 상태 점검 사양의 예
Path: HTTPS:22623/healthz Healthy threshold: 2 Unhealthy threshold: 2 Timeout: 10 Interval: 10
Path: HTTPS:22623/healthz
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 10
Interval: 10
Ingress 컨트롤러 상태 점검 사양의 예
Path: HTTP:1936/healthz/ready Healthy threshold: 2 Unhealthy threshold: 2 Timeout: 5 Interval: 10
Path: HTTP:1936/healthz/ready
Healthy threshold: 2
Unhealthy threshold: 2
Timeout: 5
Interval: 10
프로세스
포트 6443, 22623, 443 및 80의 로드 밸런서에서 클러스터에 액세스할 수 있도록 HAProxy Ingress 컨트롤러를 구성합니다. 필요에 따라 HAProxy 구성에 있는 여러 서브넷의 IP 주소 또는 단일 서브넷의 IP 주소를 지정할 수 있습니다.
나열된 서브넷이 있는 HAProxy 구성 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 나열된 여러 서브넷이 있는 HAProxy 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow curlCLI 명령을 사용하여 사용자 관리 로드 밸런서 및 해당 리소스가 작동하는지 확인합니다.다음 명령을 실행하고 응답을 관찰하여 Kubernetes API 서버 리소스에서 클러스터 머신 구성 API에 액세스할 수 있는지 확인합니다.
curl https://<loadbalancer_ip_address>:6443/version --insecure
$ curl https://<loadbalancer_ip_address>:6443/version --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 응답으로 JSON 오브젝트가 표시됩니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 클러스터 머신 구성 API에 머신 구성 서버 리소스에 액세스할 수 있는지 확인합니다.
curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure
$ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
HTTP/1.1 200 OK Content-Length: 0
HTTP/1.1 200 OK Content-Length: 0Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 포트 80의 Ingress 컨트롤러 리소스에서 컨트롤러에 액세스할 수 있는지 확인합니다.
curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>
$ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
HTTP/1.1 302 Found content-length: 0 location: https://console-openshift-console.apps.ocp4.private.opequon.net/ cache-control: no-cache
HTTP/1.1 302 Found content-length: 0 location: https://console-openshift-console.apps.ocp4.private.opequon.net/ cache-control: no-cacheCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 포트 443의 Ingress 컨트롤러 리소스에서 컨트롤러에 액세스할 수 있는지 확인합니다.
curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>
$ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
사용자 관리 로드 밸런서의 프런트 엔드 IP 주소를 대상으로 하도록 클러스터의 DNS 레코드를 구성합니다. 로드 밸런서를 통해 클러스터 API 및 애플리케이션의 DNS 서버로 레코드를 업데이트해야 합니다.
수정된 DNS 레코드 예
<load_balancer_ip_address> A api.<cluster_name>.<base_domain> A record pointing to Load Balancer Front End
<load_balancer_ip_address> A api.<cluster_name>.<base_domain> A record pointing to Load Balancer Front EndCopy to Clipboard Copied! Toggle word wrap Toggle overflow <load_balancer_ip_address> A apps.<cluster_name>.<base_domain> A record pointing to Load Balancer Front End
<load_balancer_ip_address> A apps.<cluster_name>.<base_domain> A record pointing to Load Balancer Front EndCopy to Clipboard Copied! Toggle word wrap Toggle overflow 중요DNS 전파는 각 DNS 레코드를 사용할 수 있을 때까지 약간의 시간이 걸릴 수 있습니다. 각 레코드를 검증하기 전에 각 DNS 레코드가 전파되는지 확인합니다.
OpenShift Container Platform 클러스터가 사용자 관리 로드 밸런서를 사용하려면 클러스터의
install-config.yaml파일에 다음 구성을 지정해야 합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
type매개변수에 대해UserManaged를 설정하여 클러스터의 사용자 관리 로드 밸런서를 지정합니다. 매개변수의 기본값은 기본 내부 로드 밸런서를 나타내는OpenShiftManagedDefault입니다.openshift-kni-infra네임스페이스에 정의된 서비스의 경우 사용자 관리 로드 밸런서는coredns서비스를 클러스터의 Pod에 배포할 수 있지만keepalived및haproxy서비스를 무시합니다.- 2
- 사용자 관리 로드 밸런서를 지정할 때 필수 매개변수입니다. Kubernetes API가 사용자 관리 로드 밸런서와 통신할 수 있도록 사용자 관리 로드 밸런서의 공용 IP 주소를 지정합니다.
- 3
- 사용자 관리 로드 밸런서를 지정할 때 필수 매개변수입니다. 사용자 관리 로드 밸런서에서 클러스터의 인그레스 트래픽을 관리할 수 있도록 사용자 관리 로드 밸런서의 공용 IP 주소를 지정합니다.
검증
curlCLI 명령을 사용하여 사용자 관리 로드 밸런서 및 DNS 레코드 구성이 작동하는지 확인합니다.다음 명령을 실행하고 출력을 관찰하여 클러스터 API에 액세스할 수 있는지 확인합니다.
curl https://api.<cluster_name>.<base_domain>:6443/version --insecure
$ curl https://api.<cluster_name>.<base_domain>:6443/version --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 응답으로 JSON 오브젝트가 표시됩니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 클러스터 머신 구성에 액세스할 수 있는지 확인합니다.
curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure
$ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
HTTP/1.1 200 OK Content-Length: 0
HTTP/1.1 200 OK Content-Length: 0Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 포트의 각 클러스터 애플리케이션에 액세스할 수 있는지 확인합니다.
curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure
$ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하고 출력을 관찰하여 포트 443에서 각 클러스터 애플리케이션에 액세스할 수 있는지 확인합니다.
curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure
$ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecureCopy to Clipboard Copied! Toggle word wrap Toggle overflow 구성이 올바르면 명령의 출력에 다음 응답이 표시됩니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.12. DHCP를 통해 클러스터 노드의 호스트 이름 설정 링크 복사링크가 클립보드에 복사되었습니다!
RHCOS(Red Hat Enterprise Linux CoreOS) 시스템에서 NetworkManager 는 호스트 이름을 설정합니다. 기본적으로 DHCP는 권장되는 방법인 NetworkManager 에 호스트 이름을 제공합니다. NetworkManager 는 다음과 같은 경우 역방향 DNS 조회를 통해 호스트 이름을 가져옵니다.
- DHCP에서 호스트 이름을 제공하지 않는 경우
- 커널 인수를 사용하여 호스트 이름을 설정하는 경우
- 다른 방법을 사용하여 호스트 이름을 설정하는 경우
역방향 DNS 조회는 노드에서 네트워크를 초기화한 후 수행되며 NetworkManager 가 호스트 이름을 설정하는 데 걸리는 시간을 늘릴 수 있습니다. 다른 시스템 서비스는 NetworkManager 에서 호스트 이름을 설정하기 전에 시작하여 해당 서비스가 localhost 와 같은 기본 호스트 이름을 사용하도록 할 수 있습니다.
DHCP를 사용하여 각 클러스터 노드의 호스트 이름을 제공하여 호스트 이름을 설정하는 데 지연을 방지할 수 있습니다. 또한 DHCP를 통해 호스트 이름을 설정하면 DNS 분할 수평 구현 환경에서 수동으로 DNS 레코드 이름 구성 오류를 바이패스할 수 있습니다.
3.13. install-config.yaml 파일 구성 링크 복사링크가 클립보드에 복사되었습니다!
3.13.1. install-config.yaml 파일 구성 링크 복사링크가 클립보드에 복사되었습니다!
install-config.yaml 파일에는 몇 가지 추가 정보가 필요합니다. 대부분의 정보는 설치 프로그램과 결과 클러스터를 완전히 관리할 수 있는 하드웨어에 대해 충분히 알려줍니다.
올바른 이미지가 릴리스 페이로드에 있으므로 설치 프로그램에 더 이상 clusterOSImage RHCOS 이미지가 필요하지 않습니다.
install-config.yaml을 설정합니다.pullSecret및sshKey를 포함하여 환경과 일치하도록 적절한 변수를 변경합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- OpenShift Container Platform 클러스터의 일부인 컴퓨팅 노드 수를 기반으로 컴퓨팅 머신을 확장합니다.
replicas값에 유효한 옵션은0및2보다 크거나 같은 정수입니다. 복제본 수를0으로 설정하여 3개의 컨트롤 플레인 시스템만 포함하는 3-노드 클러스터를 배포합니다. 3-노드 클러스터는 테스트, 개발 및 프로덕션에 사용할 수 있는 더 작고 리소스 효율이 높은 클러스터입니다. 컴퓨팅 노드가 하나뿐인 클러스터를 설치할 수 없습니다. - 2
- 고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우 부트스트랩 VM의 고정 IP 주소를 지정하도록
bootstrapExternalStaticIP구성 설정을 설정해야 합니다. - 3
- 고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우
부트스트랩ExternalStaticGateway구성 설정을 설정하여 부트스트랩 VM의 게이트웨이 IP 주소를 지정해야 합니다. - 4
- 고정 IP 주소가 있는 클러스터를 배포할 때 베어 메탈 네트워크에 DHCP 서버가 없는 경우 부트스트랩 VM의 DNS 주소를 지정하도록
bootstrapExternalStaticDNS구성 설정을 설정해야 합니다. - 5
- 자세한 옵션은 BMC 주소 지정 섹션을 참조하십시오.
- 6
- 설치 디스크 드라이브의 경로를 설정하려면 디스크의 커널 이름을 입력합니다. 예:
/dev/sda.중요디스크 검색 순서가 보장되지 않으므로 디스크의 커널 이름은 여러 디스크가 있는 시스템의 부팅 옵션 간에 변경될 수 있습니다. 예를 들어
/dev/sda는/dev/sdb가 되고 그 반대의 경우도 마찬가지입니다. 이 문제를 방지하려면 WWN(World Wide Name) 또는/dev/disk/by-path/디스크와 같은 영구 디스크 속성을 사용해야 합니다. 스토리지 위치에/dev/disk/by-path/<device_path> 링크를 사용하는 것이 좋습니다. 디스크 WWN을 사용하려면deviceName매개변수를wwnWithExtension매개변수로 바꿉니다. 사용하는 매개변수에 따라 다음 값 중 하나를 입력합니다.-
디스크 이름입니다. 예를 들어
/dev/sda또는/dev/disk/by-path/. -
디스크 WWN. 예를 들어
"0x64cd98fde100024684cf3034da5c2"입니다. 16진수 값이 아닌 문자열 값으로 사용되도록 디스크 WWN 값을 따옴표 내에 입력해야 합니다.
rootDeviceHints매개변수에 대한 이러한 요구 사항을 충족하지 않으면 다음과 같은 오류가 발생할 수 있습니다.ironic-inspector inspection failed: No disks satisfied root device hints
ironic-inspector inspection failed: No disks satisfied root device hintsCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
디스크 이름입니다. 예를 들어
참고OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서
apiVIP및ingressVIP구성 설정에 대해 IPv4 주소 또는 IPv6 주소만 허용했습니다. OpenShift Container Platform 4.12 이상에서는 이러한 구성 설정이 더 이상 사용되지 않습니다. 대신apiVIPs및ingressVIPs구성 설정에서 목록 형식을 사용하여 IPv4 주소, IPv6 주소 또는 두 IP 주소 형식을 모두 지정합니다.클러스터 구성을 저장할 디렉터리를 생성합니다.
mkdir ~/clusterconfigs
$ mkdir ~/clusterconfigsCopy to Clipboard Copied! Toggle word wrap Toggle overflow install-config.yaml파일을 새 디렉터리에 복사합니다.cp install-config.yaml ~/clusterconfigs
$ cp install-config.yaml ~/clusterconfigsCopy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼졌는지 확인합니다.
ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off
$ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power offCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이전 배포에서 남은 경우 이전 부트스트랩 리소스를 제거합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.13.2. 추가 install-config 매개 변수 링크 복사링크가 클립보드에 복사되었습니다!
install-config.yaml 파일의 필수 매개 변수 hosts 매개 변수 및 bmc 매개 변수는 다음 표를 참조하십시오.
| 매개 변수 | 기본 | 설명 |
|---|---|---|
|
|
클러스터의 도메인 이름입니다. 예: | |
|
|
|
노드의 부팅 모드입니다. 옵션은 |
|
|
부트스트랩 노드의 정적 네트워크 DNS입니다. 베어 메탈 네트워크에 DHCP(Dynamic Host Configuration Protocol) 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다. 이 값을 설정하지 않으면 설치 프로그램은 | |
|
| 부트스트랩 VM의 고정 IP 주소입니다. 베어 메탈 네트워크에 DHCP 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다. | |
|
| 부트스트랩 VM에 대한 게이트웨이의 고정 IP 주소입니다. 베어 메탈 네트워크에 DHCP 서버가 없는 경우 고정 IP 주소가 있는 클러스터를 배포할 때 이 값을 설정해야 합니다. | |
|
|
| |
|
|
| |
metadata:
name:
|
OpenShift Container Platform 클러스터에 지정되는 이름입니다. 예: | |
networking:
machineNetwork:
- cidr:
|
외부 네트워크의 공개 CIDR (Classless Inter-Domain Routing)입니다. 예: | |
compute: - name: worker
| OpenShift Container Platform 클러스터에는 노드가 없는 경우에도 컴퓨팅 노드에 이름을 제공해야 합니다. | |
compute:
replicas: 2
| replicas는 OpenShift Container Platform 클러스터의 컴퓨팅 노드 수를 설정합니다. | |
controlPlane:
name: master
| OpenShift Container Platform 클러스터에는 컨트롤 플레인 노드의 이름이 필요합니다. | |
controlPlane:
replicas: 3
| replicas는 OpenShift Container Platform 클러스터의 일부로 포함된 컨트롤 플레인 노드 수를 설정합니다. | |
|
|
provisioning 네트워크에 연결된 노드의 네트워크 인터페이스 이름입니다. OpenShift Container Platform 4.9 이상 릴리스의 경우 | |
|
| 플랫폼 구성없이 머신 풀에 사용되는 기본 설정입니다. | |
|
| (선택 사항) Kubernetes API 통신의 가상 IP 주소입니다.
기본 이름이 올바르게 확인되도록 참고
OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서 | |
|
|
|
|
|
| (선택 사항) Ingress 트래픽의 가상 IP 주소입니다.
기본 이름이 올바르게 확인되도록 참고
OpenShift Container Platform 4.12 이전에는 클러스터 설치 프로그램에서 |
| 매개 변수 | 기본 | 설명 |
|---|---|---|
|
|
| provisioning 네트워크에서 노드의 IP 범위를 정의합니다. |
|
|
| 프로비저닝에 사용할 네트워크의 CIDR입니다. 이 옵션은 provisioning 네트워크에서 기본 주소 범위를 사용하지 않는 경우 필요합니다. |
|
|
|
프로비저닝 서비스가 실행되는 클러스터 내의 IP 주소입니다. 기본값은 provisioning 서브넷의 세 번째 IP 주소입니다. 예: |
|
|
|
설치 프로그램이 컨트롤 플레인 (마스터) 노드를 배포하는 동안 프로비저닝 서비스가 실행되는 부트스트랩 VM의 IP 주소입니다. 기본값은 provisioning 서브넷의 두 번째 IP 주소입니다. 예를 들면 |
|
|
| 베어 메탈 네트워크에 연결된 하이퍼바이저의 베어 메탈 브리지의 이름입니다. |
|
|
|
provisioning 네트워크에 연결된 |
|
|
클러스터의 호스트 아키텍처를 정의합니다. 유효한 값은 | |
|
| 플랫폼 구성없이 머신 풀에 사용되는 기본 설정입니다. | |
|
|
부트스트랩 노드의 기본 운영 체제 이미지를 재정의하는 URL입니다. URL에는 이미지의 SHA-256 해시가 포함되어 있어야합니다. 예: | |
|
|
| |
|
| 이 매개 변수를 환경 내에서 사용되는 적절한 HTTP 프록시로 설정합니다. | |
|
| 이 매개 변수를 환경 내에서 사용되는 적절한 HTTPS 프록시로 설정합니다. | |
|
| 이 매개 변수를 환경 내 프록시 사용에 대한 적절한 예외 목록으로 설정합니다. |
3.13.2.1. 호스트 링크 복사링크가 클립보드에 복사되었습니다!
hosts 매개 변수는 클러스터를 빌드하는 데 사용되는 별도의 베어 메탈 자산 목록입니다.
| 이름 | 기본 | 설명 |
|---|---|---|
|
|
세부 정보와 연결할 | |
|
|
베어 메탈 노드의 역할입니다. | |
|
| 베이스 보드 관리 컨트롤러에 대한 연결 세부 정보입니다. 자세한 내용은 BMC 주소 지정 섹션을 참조하십시오. | |
|
|
호스트가 provisioning 네트워크에 사용하는 NIC의 MAC 주소입니다. ironic은 참고 provisioning 네트워크를 비활성화한 경우 호스트에서 유효한 MAC 주소를 제공해야 합니다. | |
|
| 이 선택적 매개 변수를 설정하여 호스트의 네트워크 인터페이스를 구성합니다. 자세한 내용은 "(선택 사항) 호스트 네트워크 인터페이스 구성을 참조하십시오. |
3.13.3. BMC 주소 지정 링크 복사링크가 클립보드에 복사되었습니다!
대부분의 벤더는 IPMI(Intelligent Platform Management Interface)를 사용하여 BMC(Baseboard Management Controller) 주소 지정을 지원합니다. IPMI는 통신을 암호화하지 않습니다. 보안 또는 전용 관리 네트워크를 통해 데이터 센터 내에서 사용하기에 적합합니다. 공급 업체에 문의하여 Redfish 네트워크 부팅을 지원하는지 확인합니다. Redfish는 통합, 하이브리드 IT 및 소프트웨어 정의 데이터 센터 (SDDC)를 위한 간편한 보안 관리 기능을 제공합니다. Redfish는 사람이 읽을 수 있고 머신을 사용할 수 있으며 일반적인 인터넷 및 웹 서비스 표준을 활용하여 최신 툴 체인에 직접 정보를 노출합니다. 하드웨어에서 Redfish 네트워크 부팅을 지원하지 않는 경우 IPMI를 사용합니다.
노드가 Registering 상태인 동안 설치 중에 BMC 주소를 수정할 수 있습니다. 노드가 Registering 상태를 벗어나면 BMC 주소를 수정해야 하는 경우 Ironic에서 노드의 연결을 해제하고 BareMetalHost 리소스를 편집하고 노드를 Ironic에 다시 연결해야 합니다. 자세한 내용은 BareMetalHost 리소스 편집 섹션을 참조하십시오.
3.13.3.1. IPMI 링크 복사링크가 클립보드에 복사되었습니다!
IPMI를 사용하는 호스트는 ipmi://<out-of-band-ip>:<port> 주소 형식을 사용하며 지정되지 않은 경우 기본적으로 포트 623으로 설정됩니다. 다음 예제는 install-config.yaml 파일 내의 IPMI 설정을 보여줍니다.
BMC 주소 지정에 IPMI를 사용하여 PXE 부팅 시 provisioning 네트워크가 필요합니다. provisioning 네트워크없이 PXE 부팅 호스트를 사용할 수 없습니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다. 자세한 내용은 "HPE iLO용 BMC 주소 지정" 섹션의 "HPE iLO용 Redfish 가상 미디어" 또는 "Dell iDRAC용 BMC 주소 지정" 섹션의 "Dell iDRAC용 Redfish 가상 미디어"를 참조하십시오.
3.13.3.2. Redfish 네트워크 부팅 링크 복사링크가 클립보드에 복사되었습니다!
Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.
3.13.4. Redfish API 지원 확인 링크 복사링크가 클립보드에 복사되었습니다!
Redfish API를 사용하여 설치할 때 설치 프로그램은 베어 메탈에서 설치 관리자 프로비저닝 인프라를 사용할 때 BMC(Baseboard Management Controller)에서 여러 Redfish 끝점을 호출합니다. Redfish를 사용하는 경우 설치 전에 BMC가 모든 Redfish API를 지원하는지 확인합니다.
프로세스
다음 명령을 실행하여 BMC의 IP 주소 또는 호스트 이름을 설정합니다.
export SERVER=<ip_address>
$ export SERVER=<ip_address>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;ip_address>를 BMC의 IP 주소 또는 호스트 이름으로 바꿉니다.
다음 명령을 실행하여 시스템의 ID를 설정합니다.
export SystemID=<system_id>
$ export SystemID=<system_id>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- <
;system_id>를 시스템 ID로 바꿉니다. 예를 들어System.Embedded.1또는1. 자세한 내용은 다음 벤더별 BMC 섹션을 참조하십시오.
Redfish API 목록
다음 명령을 실행하여 지원
전원을 켭니다.curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "On"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset$ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "On"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.ResetCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
전원지원을 확인합니다.curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "ForceOff"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset$ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "ForceOff"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.ResetCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
pxe를 사용하는 임시 부팅 구현을 확인합니다.curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "pxe", "BootSourceOverrideEnabled": "Once"}}$ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "pxe", "BootSourceOverrideEnabled": "Once"}}Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 레거시 또는
UEFI를 사용하는펌웨어부팅 모드를 설정하는 상태를 확인합니다.curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideMode":"UEFI"}}$ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideMode":"UEFI"}}Copy to Clipboard Copied! Toggle word wrap Toggle overflow
Redfish 가상 미디어 API 목록
다음 명령을 실행하여
cd또는dvd를 사용하는 임시 부팅 장치를 설정하는 기능을 확인합니다.curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "cd", "BootSourceOverrideEnabled": "Once"}}'$ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "cd", "BootSourceOverrideEnabled": "Once"}}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 가상 미디어는 하드웨어에 따라
POST또는PATCH를 사용할 수 있습니다. 다음 명령 중 하나를 실행하여 가상 미디어를 마운트하는 기능을 확인합니다.curl -u $USER:$PASS -X POST -H "Content-Type: application/json" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'$ curl -u $USER:$PASS -X POST -H "Content-Type: application/json" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'$ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: <ETAG>" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow
Redfish API의 PowerOn 및 PowerOff 명령은 Redfish 가상 미디어 API와 동일합니다. 일부 하드웨어에서는 Managers/$ManagerID 대신 Systems/$SystemID 아래의 VirtualMedia 리소스만 찾을 수 있습니다. VirtualMedia 리소스의 경우 UserName 및 Password 필드는 선택 사항입니다.
HTTPS 및 HTTP 는 TransferProtocolTypes 에서 지원되는 유일한 매개변수 유형입니다.
3.13.5. Dell iDRAC용 BMC 주소 지정 링크 복사링크가 클립보드에 복사되었습니다!
각 bmc 항목의 주소 구성 설정은 URL 체계의 컨트롤러 유형과 네트워크의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다. 각 bmc 항목의 사용자 이름 구성은 Administrator 권한이 있는 사용자를 지정해야 합니다.
Dell 하드웨어의 경우 Red Hat은 통합 iDRAC(Dell Remote Access Controller) 가상 미디어, Redfish 네트워크 부팅 및 IPMI를 지원합니다.
3.13.5.1. Dell iDRAC의 BMC 주소 형식 링크 복사링크가 클립보드에 복사되었습니다!
| 프로토콜 | 주소 형식 |
|---|---|
| iDRAC 가상 미디어 |
|
| Redfish 네트워크 부팅 |
|
| IPMI |
|
Redfish 가상 미디어의 프로토콜로 idrac-virtualmedia를 사용합니다. redfish-virtualmedia는 Dell 하드웨어에서 작동하지 않습니다. Dell의 idrac-virtualmedia는 Dell의 OEM 확장 기능과 함께 Redfish 표준을 사용합니다.
자세한 내용은 다음 섹션을 참조하십시오.
3.13.5.2. Dell iDRAC 용 Redfish 가상 미디어 링크 복사링크가 클립보드에 복사되었습니다!
Dell 서버의 Redfish 가상 미디어의 경우 address 설정에서 idrac-virtualmedia://를 사용합니다. redfish-virtualmedia://를 사용하는 것은 작동하지 않습니다.
idrac-virtualmedia://를 Redfish 가상 미디어의 프로토콜로 사용합니다. idrac -virtualmedia:// 프로토콜은 Ironic의 idrac 하드웨어 유형 및 Redfish 프로토콜에 해당하므로 redfish-virtualmedia://를 사용하면 Dell 하드웨어에서 작동하지 않습니다. Dell의 idrac-virtualmedia:// 프로토콜은 Dell의 OEM 확장에 Redfish 표준을 사용합니다. Ironic은 WSMAN 프로토콜로 idrac 유형도 지원합니다. 따라서 Dell 하드웨어에서 가상 미디어와 함께 Redfish를 사용하도록 선택할 때 예기치 않은 동작을 방지하려면 idrac-virtualmedia://를 지정해야 합니다.
다음 예는 install-config.yaml 파일 내에서 iDRAC 가상 미디어를 사용하는 방법을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다.
OpenShift Container Platform 클러스터 노드에 iDRAC 콘솔을 통해 AutoAttach 가 활성화되어 있는지 확인합니다. 메뉴 경로는 구성 → 가상 미디어 → 연결 모드 → 자동 연결 입니다.
다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.
3.13.5.3. iDRAC 용 Redfish 네트워크 부팅 링크 복사링크가 클립보드에 복사되었습니다!
Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS(transport layer security)를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관 인증서를 사용하는 것이 좋지만 자체 서명된 인증서를 사용하는 경우 bmc 구성에 disableCertificateVerification:True 를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.
펌웨어 버전 04.40.00.00 이 있는 Dell iDRAC 9에는 알려진 문제가 있으며 베어 메탈 배포 시 설치 관리자 프로비저닝 설치를 위한 5.xx 시리즈를 포함한 모든 릴리스가 있습니다. 가상 콘솔 플러그인은 기본적으로 eHTML5로 설정되어 InsertVirtualMedia 워크플로에 문제가 발생하는 향상된 HTML5 버전입니다. 이 문제를 방지하려면 플러그인을 HTML5를 사용하도록 설정합니다. 메뉴 경로는 구성 → 가상 콘솔 → 플러그인 유형 → HTML5 입니다.
OpenShift Container Platform 클러스터 노드에 iDRAC 콘솔을 통해 AutoAttach 가 활성화되어 있는지 확인합니다. 메뉴 경로는 구성 → 가상 미디어 → 연결 모드 → 자동 연결입니다 .
3.13.6. HPE iLO용 BMC 주소 지정 링크 복사링크가 클립보드에 복사되었습니다!
각 bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.
- 1
address구성 설정은 프로토콜을 지정합니다.
HPE iLO(integrated Lights Out)의 경우 Red Hat은 Redfish 가상 미디어, Redfish 네트워크 부팅 및 IPMI를 지원합니다.
| 프로토콜 | 주소 형식 |
|---|---|
| RedFish 가상 미디어 |
|
| Redfish 네트워크 부팅 |
|
| IPMI |
|
자세한 내용은 다음 섹션을 참조하십시오.
3.13.6.1. HPE iLO용 Redfish 가상 미디어 링크 복사링크가 클립보드에 복사되었습니다!
HPE 서버용 Redfish 가상 미디어를 활성화하려면 address 설정에서 redfish-virtualmedia://를 사용합니다. 다음 예제는 install-config.yaml 파일 내에서 Redfish 가상 미디어를 사용하는 방법을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.
Ironic은 가상 미디어에서 iLO4를 지원하지 않으므로 iLO4를 실행하는 9세대 시스템에서 Redfish 가상 미디어가 지원되지 않습니다.
3.13.6.2. HPE iLO용 Redfish 네트워크 부팅 링크 복사링크가 클립보드에 복사되었습니다!
Redfish를 활성화하려면 redfish:// 또는 redfish+http://를 사용하여 TLS를 비활성화합니다. 설치 프로그램에는 호스트 이름 또는 IP 주소와 시스템 ID 경로가 모두 필요합니다. 다음 예제는 install-config.yaml 파일 내의 Redfish 설정을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내의 disableCertificateVerification:True 설정 매개 변수를 사용하는 Redfish 설정을 보여줍니다.
3.13.7. Fujitsu iRMC용 BMC 주소 지정 링크 복사링크가 클립보드에 복사되었습니다!
각 bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.
- 1
address구성 설정은 프로토콜을 지정합니다.
Fujitsu 하드웨어의 경우 Red Hat은 통합된 iRMC(Remote Management Controller) 및 IPMI를 지원합니다.
| 프로토콜 | 주소 형식 |
|---|---|
| iRMC |
|
| IPMI |
|
iRMC
Fujitsu 노드는 irmc://<out-of-band-ip>를 사용할 수 있으며 기본값은 포트 443 입니다. 다음 예제는 install-config.yaml 파일 내의 iRMC 설정을 보여줍니다.
현재 Fujitsu는 베어 메탈에 설치 관리자 프로비저닝 설치를 위해 iRMC S5 펌웨어 버전 3.05P 이상을 지원합니다.
3.13.8. Cisco CIMC용 BMC 주소 지정 링크 복사링크가 클립보드에 복사되었습니다!
각 bmc 항목의 address 필드는 URL 체계의 컨트롤러 유형 및 네트워크에서의 위치를 포함하여 OpenShift Container Platform 클러스터 노드에 연결하기 위한 URL입니다.
- 1
address구성 설정은 프로토콜을 지정합니다.
Cisco UCSX-210C-M6 하드웨어의 경우 Red Hat은 Cisco CIMC(Integrated Management Controller)를 지원합니다.
| 프로토콜 | 주소 형식 |
|---|---|
| RedFish 가상 미디어 |
|
Cisco UCSX-210C-M6 하드웨어에 Redfish 가상 미디어를 활성화하려면 address 설정에서 redfish-virtualmedia:// 를 사용합니다. 다음 예제는 install-config.yaml 파일 내에서 Redfish 가상 미디어를 사용하는 방법을 보여줍니다.
대역 외 관리 주소에 대한 인증 기관의 인증서를 사용하는 것이 좋지만 자체 서명 된 인증서를 사용하는 경우 bmc 설정에 disableCertificateVerification:True를 포함해야 합니다. 다음 예제는 install-config.yaml 파일 내에서 disableCertificateVerification:True 설정 매개 변수를 사용하여 Redfish 설정을 보여줍니다.
3.13.9. 루트 장치 팁 링크 복사링크가 클립보드에 복사되었습니다!
rootDeviceHints 매개 변수를 사용하면 설치 프로그램이 RHCOS (Red Hat Enterprise Linux CoreOS) 이미지를 특정 장치에 프로비저닝할 수 있습니다. 설치 프로그램은 장치를 검색한 순서대로 검사하고 검색된 값을 팁과 비교합니다. 설치 프로그램은 팁과 일치하는 첫 번째 검색된 장치를 사용합니다. 이 설정은 여러 팁을 결합할 수 있지만 장치는 설치 프로그램이이를 선택할 수 있도록 모든 팁과 일치해야 합니다.
| 서브 필드 | 설명 |
|---|---|
|
|
Linux 장치 이름(예: 참고
스토리지 위치에 팁은 실제 값과 정확히 일치해야 합니다. |
|
|
|
|
| 공급 업체별 장치 식별자가 포함된 문자열. 팁은 실제 값의 하위 문자열입니다. |
|
| 장치의 공급 업체 또는 제조업체 이름이 포함된 문자열입니다. 팁은 실제 값의 하위 문자열입니다. |
|
| 장치 일련 번호가 포함된 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다. |
|
| 장치의 최소 크기 (기가 바이트)를 나타내는 정수입니다. |
|
| 고유 저장소 식별자를 포함하는 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다. |
|
| 공급 업체 확장이 추가된 고유 한 저장소 식별자가 포함된 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다. |
|
| 고유 공급 업체 저장소 식별자를 포함하는 문자열입니다. 팁은 실제 값과 정확히 일치해야 합니다. |
|
| 장치가 회전 디스크 여야하는지 (true) 아닌지 (false)를 나타내는 부울 값입니다. |
사용 예
3.13.10. 선택 사항: 프록시 설정 링크 복사링크가 클립보드에 복사되었습니다!
프록시를 사용하여 OpenShift Container Platform 클러스터를 배포하려면 install-config.yaml 파일을 다음과 같이 변경합니다.
다음은 값을 포함하는 noProxy의 예입니다.
noProxy: .example.com,172.22.0.0/24,10.10.0.0/24
noProxy: .example.com,172.22.0.0/24,10.10.0.0/24
프록시가 활성화된 상태에서 해당 키 / 값 쌍에 적절한 프록시 값을 설정합니다.
주요 고려 사항:
-
프록시에 HTTPS 프록시가 없는 경우
httpsProxy값을https://에서http://로 변경합니다. -
프로비저닝 네트워크를 사용하는 경우 이를
noProxy설정에 포함하십시오. 그렇지 않으면 설치 프로그램이 실패합니다. -
모든 프록시 설정을 프로버저너 노드 내에서 환경 변수로 설정합니다. 예를 들어,
HTTP_PROXY,https_proxy,NO_PROXY가 포함됩니다.
IPv6로 프로비저닝할 때 noProxy 설정에서 CIDR 주소 블록을 정의할 수 없습니다. 각 주소를 별도로 정의해야 합니다.
3.13.11. 선택 사항: provisioning 네트워크없이 배포 링크 복사링크가 클립보드에 복사되었습니다!
provisioning 네트워크없이 OpenShift Container Platform 클러스터를 배포하려면 install-config.yaml 파일을 다음과 같이 변경하십시오.
- 1
- 필요한 경우
provisioningNetwork구성 설정을 추가하고Disabled로 설정합니다.
provisioning 네트워크는 PXE 부팅에 필요합니다. provisioning 네트워크없이 배포하는 경우 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어 BMC 주소 지정 옵션을 사용해야 합니다. 자세한 내용은 "HPE iLO용 BMC 주소 지정" 섹션의 "HPE iLO용 Redfish 가상 미디어" 또는 "Dell iDRAC용 BMC 주소 지정" 섹션의 "Dell iDRAC용 Redfish 가상 미디어"를 참조하십시오.
3.13.12. 듀얼 스택 네트워킹을 사용하여 IP 주소 지정 배포 링크 복사링크가 클립보드에 복사되었습니다!
부트스트랩 가상 머신(VM)의 듀얼 스택 네트워킹을 사용하여 IP 주소 지정을 배포할 때 부트스트랩 VM은 단일 IP 버전으로 작동합니다.
다음 예제는 DHCP용입니다. DHCP 기반 듀얼 스택 클러스터는 1일 차부터 각각 하나의 IPv4 및 하나의 IPv6 가상 IP 주소(VIP)를 사용하여 배포할 수 있습니다.
고정 IP 주소로 클러스터를 배포하려면 부트스트랩 VM, API 및 Ingress VIP의 IP 주소를 구성해야 합니다. install-config 에 설정된 고정 IP를 사용하여 듀얼 스택을 구성하려면 API 및 수신에 각각 하나의 VIP가 필요합니다. 배포 후 보조 VIP를 추가합니다.
OpenShift Container Platform 클러스터의 듀얼 스택 네트워킹의 경우 클러스터 노드에 대해 IPv4 및 IPv6 주소 끝점을 구성할 수 있습니다. 클러스터 노드에 대한 IPv4 및 IPv6 주소 끝점을 구성하려면 install-config.yaml 파일에서 machineNetwork,clusterNetwork 및 serviceNetwork 구성 설정을 편집합니다. 각 설정에는 각각 두 개의 CIDR 항목이 있어야 합니다. IPv4 제품군을 기본 주소 제품군으로 사용하는 클러스터의 경우 먼저 IPv4 설정을 지정합니다. IPv6 제품군을 기본 주소 제품군으로 사용하는 클러스터의 경우 먼저 IPv6 설정을 지정합니다.
클러스터 노드의 IPv4 및 IPv6 주소 끝점을 포함하는 NMState YAML 구성 파일의 예
베어 메탈 플랫폼의 install-config.yaml 파일의 networkConfig 섹션에 NMState 구성을 지정한 경우 interfaces.wait-ip: ipv4+ipv6 을 NMState YAML 파일에 추가하여 클러스터가 듀얼 스택 네트워크에 배포되지 않도록 하는 문제를 해결합니다.
wait-ip 매개변수를 포함하는 NMState YAML 구성 파일의 예
IPv4 및 IPv6 주소를 사용하는 애플리케이션의 클러스터에 인터페이스를 제공하려면 Ingress VIP 및 API VIP 서비스에 대한 IPv4 및 IPv6 가상 IP(VIP) 주소 끝점을 구성합니다. IPv4 및 IPv6 주소 끝점을 구성하려면 install-config.yaml 파일에서 apiVIPs 및 ingressVIPs 구성 설정을 편집합니다. apiVIPs 및 ingressVIPs 구성 설정은 목록 형식을 사용합니다. 목록 순서는 각 서비스의 기본 및 보조 VIP 주소를 나타냅니다.
듀얼 스택 네트워킹 구성이 있는 클러스터의 경우 IPv4 및 IPv6 주소를 동일한 인터페이스에 할당해야 합니다.
3.13.13. 선택 사항: 호스트 네트워크 인터페이스 구성 링크 복사링크가 클립보드에 복사되었습니다!
설치하기 전에 install-config.yaml 파일에서 networkConfig 구성 설정을 설정하여 NMState를 사용하여 호스트 네트워크 인터페이스를 구성할 수 있습니다.
이 기능의 가장 일반적인 사용 사례는 베어 메탈 네트워크에서 고정 IP 주소를 지정하는 것이지만 스토리지 네트워크와 같은 다른 네트워크도 구성할 수 있습니다. 이 기능은 VLAN, VXLAN, 브리지, 본딩, 경로, MTU 및 DNS 확인자 설정과 같은 기타 NMState 기능을 지원합니다.
클러스터의 DNS 확인자 설정에서 지원되지 않는 rotate 옵션을 설정하지 마십시오. 옵션은 내부 API의 DNS 확인 기능을 중단합니다.
사전 요구 사항
-
고정 IP 주소를 사용하여 각 노드에 유효한 호스트 이름으로
PTRDNS 레코드를 구성합니다. -
NMState CLI(
nmstate)를 설치합니다.
provisioning 네트워크를 사용하는 경우 Ironic에서 dnsmasq 툴을 사용하여 구성합니다. 완전히 정적 배포를 수행하려면 가상 미디어를 사용해야 합니다.
프로세스
선택 사항: 설치 프로그램에서 NMState YAML 구문을 확인하지 않기 때문에
install-config.yaml파일에 구문을 포함하기 전에nmstatectl gc로 NMState 구문을 테스트하는 것이 좋습니다.참고YAML 구문의 오류로 인해 네트워크 구성을 적용하지 못할 수 있습니다. 또한 검증된 YAML 구문을 유지 관리하는 것은 배포 후 또는 클러스터를 확장할 때 Kubernetes NMState를 사용하여 변경 사항을 적용할 때 유용합니다.
NMState YAML 파일을 생성합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- <
nic1_name> , <ip_address> , <dns_ip_address> , <next_hop_ip_address> 및 <next_hop_nic1_name>을 적절한 값으로 바꿉니다.
다음 명령을 실행하여 구성 파일을 테스트합니다.
nmstatectl gc <nmstate_yaml_file>
$ nmstatectl gc <nmstate_yaml_file>Copy to Clipboard Copied! Toggle word wrap Toggle overflow &
lt;nmstate_yaml_file>을 구성 파일 이름으로 바꿉니다.
install-config.yaml파일 내의 호스트에 NMState 구성을 추가하여networkConfig구성 설정을 사용합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 중요클러스터를 배포한 후에는
install-config.yaml파일의networkConfig구성 설정을 수정하여 호스트 네트워크 인터페이스를 변경할 수 없습니다. 배포 후 Kubernetes NMState Operator를 사용하여 호스트 네트워크 인터페이스를 변경합니다.
3.13.14. 서브넷에 대한 호스트 네트워크 인터페이스 구성 링크 복사링크가 클립보드에 복사되었습니다!
엣지 컴퓨팅 시나리오의 경우 엣지에 더 가까운 컴퓨팅 노드를 찾는 것이 유용할 수 있습니다. 서브넷에서 원격 노드를 찾으려면 컨트롤 플레인 서브넷 및 로컬 컴퓨팅 노드에 사용한 것과 다른 네트워크 세그먼트 또는 서브넷을 원격 노드에 사용할 수 있습니다. 엣지의 대기 시간을 줄이고 에지 컴퓨팅 시나리오의 서브넷을 설정하여 확장성을 향상시킬 수 있습니다.
기본 로드 밸런서를 사용하는 경우 OpenShiftManagedDefault 및 OpenShift Container Platform 클러스터에 원격 노드를 추가하는 경우 모든 컨트롤 플레인 노드를 동일한 서브넷에서 실행해야 합니다. 둘 이상의 서브넷을 사용하는 경우 매니페스트를 사용하여 컨트롤 플레인 노드에서 실행되도록 Ingress VIP를 구성할 수도 있습니다. 자세한 내용은 "컨트롤 플레인에서 실행할 네트워크 구성 요소 구성"을 참조하십시오.
"네트워크 간 통신 설정" 섹션에 설명된 대로 원격 노드의 다른 네트워크 세그먼트 또는 서브넷을 설정한 경우 작업자가 고정 IP 주소, 본딩 또는 기타 고급 네트워킹을 사용하는 경우 machineNetwork 구성 설정에서 서브넷을 지정해야 합니다. 각 원격 노드의 networkConfig 매개변수에 노드 IP 주소를 설정할 때 고정 IP 주소를 사용할 때 컨트롤 플레인 노드가 포함된 서브넷의 게이트웨이 및 DNS 서버도 지정해야 합니다. 이렇게 하면 원격 노드가 컨트롤 플레인이 포함된 서브넷에 도달할 수 있으며 컨트롤 플레인에서 네트워크 트래픽을 수신할 수 있습니다.
여러 서브넷이 있는 클러스터를 배포하려면 원격 노드가 로컬 프로비저닝 네트워크에 액세스할 수 없기 때문에 redfish-virtualmedia 또는 idrac-virtualmedia 와 같은 가상 미디어를 사용해야 합니다.
프로세스
고정 IP 주소를 사용할 때
install-config.yaml파일에서machineNetwork에 서브넷을 추가합니다.networking: machineNetwork: - cidr: 10.0.0.0/24 - cidr: 192.168.0.0/24 networkType: OVNKubernetes
networking: machineNetwork: - cidr: 10.0.0.0/24 - cidr: 192.168.0.0/24 networkType: OVNKubernetesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 고정 IP 주소 또는 본딩과 같은 고급 네트워킹을 사용할 때 NMState 구문을 사용하여 각 엣지 컴퓨팅 노드의
networkConfig매개변수에 게이트웨이 및 DNS 구성을 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.13.15. 선택 사항: 듀얼 스택 네트워크에서 SLAAC의 주소 생성 모드 구성 링크 복사링크가 클립보드에 복사되었습니다!
SLAAC(상태 비저장 주소 자동 구성)를 사용하는 이중 스택 클러스터의 경우 ipv6.addr-gen-mode 네트워크 설정에 전역 값을 지정해야 합니다. NMState를 사용하여 이 값을 설정하여 RAM 디스크 및 클러스터 구성 파일을 구성할 수 있습니다. 이러한 위치에서 일관된 ipv6.addr-gen-mode 를 구성하지 않으면 IPv6 주소 불일치가 클러스터의 CSR 리소스와 BareMetalHost 리소스 간에 발생할 수 있습니다.
사전 요구 사항
-
NMState CLI(
nmstate)를 설치합니다.
프로세스
선택 사항: 설치 프로그램에서 NMState YAML 구문을 확인하지 않기 때문에
nmstatectl gc명령을 사용하여 NMState YAML 구문을 테스트하는 것이 좋습니다.install-config.yaml파일에 포함하기 전에는 NMState YAML 구문을 확인하지 않습니다.NMState YAML 파일을 생성합니다.
interfaces: - name: eth0 ipv6: addr-gen-mode: <address_mode>interfaces: - name: eth0 ipv6: addr-gen-mode: <address_mode>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;address_mode>를 클러스터의 IPv6 주소에 필요한 주소 생성 모드로 바꿉니다. 유효한 값은eui64,stable-privacy또는random입니다.
다음 명령을 실행하여 구성 파일을 테스트합니다.
nmstatectl gc <nmstate_yaml_file>
$ nmstatectl gc <nmstate_yaml_file>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;nmstate_yaml_file>을 테스트 구성 파일의 이름으로 바꿉니다.
install-config.yaml 파일 내의
hosts.networkConfig섹션에 NMState 구성을 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;address_mode>를 클러스터의 IPv6 주소에 필요한 주소 생성 모드로 바꿉니다. 유효한 값은eui64,stable-privacy또는random입니다.
3.13.16. 듀얼 포트 NIC에 대한 호스트 네트워크 인터페이스 구성 링크 복사링크가 클립보드에 복사되었습니다!
설치하기 전에 install-config.yaml 파일에서 networkConfig 구성 설정을 설정하여 NMState를 사용하여 듀얼 포트 네트워크 인터페이스 컨트롤러(NIC)를 지원하여 호스트 네트워크 인터페이스를 구성할 수 있습니다.
SR-IOV 장치에 대한 NIC 파티셔닝 활성화와 관련된 Day 1 작업을 지원하는 것은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 다음 링크를 참조하십시오.
OpenShift Virtualization에서는 다음 본딩 모드만 지원합니다.
-
mode=1 active-backup
-
mode=2 balance-xor
-
mode=4 802.3ad
사전 요구 사항
-
고정 IP 주소를 사용하여 각 노드에 유효한 호스트 이름으로
PTRDNS 레코드를 구성합니다. -
NMState CLI(
nmstate)를 설치합니다.
YAML 구문의 오류로 인해 네트워크 구성을 적용하지 못할 수 있습니다. 또한 검증된 YAML 구문을 유지 관리하는 것은 배포 후 또는 클러스터를 확장할 때 Kubernetes NMState를 사용하여 변경 사항을 적용할 때 유용합니다.
프로세스
install-config.yaml파일 내의 호스트에networkConfig필드에 NMState 구성을 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
networkConfig필드에는 호스트의 네트워크 구성에 대한 정보가 있으며,인터페이스,dns-resolver,경로를 포함한 하위 필드가 있습니다.- 2
interfaces필드는 호스트에 정의된 네트워크 인터페이스의 배열입니다.- 3
- 인터페이스의 이름입니다.
- 4
- 인터페이스 유형입니다. 이 예제에서는 이더넷 인터페이스를 생성합니다.
- 5
- 반드시 필요하지 않은 경우 물리적 기능(PF)의 DHCP를 비활성화하려면 이 값을 'false'로 설정합니다.
- 6
- 인스턴스화할 SR-IOV 가상 기능(VF) 수로 설정합니다.
- 7
- 이 값을
up으로 설정합니다. - 8
- 본딩에 연결된 VF의 IPv4 주소를 비활성화하려면 이를
false로 설정합니다. - 9
- VF에 대해 최소 전송 속도(Mbps)를 설정합니다. 이 샘플 값은 100Mbps의 속도를 설정합니다.
- 이 값은 최대 전송 속도보다 작거나 같아야 합니다.
-
Intel NIC는
min-tx-rate매개변수를 지원하지 않습니다. 자세한 내용은 BZ#1772847 에서 참조하십시오.
- 10
- VF에 대해 최대 전송 속도(Mbps)를 설정합니다. 이 샘플 값은 200Mbps의 속도를 설정합니다.
- 11
- 필요한 본딩 모드를 설정합니다.
- 12
- 본딩 인터페이스의 기본 포트를 설정합니다. 본딩은 기본 장치를 본딩 인터페이스의 첫 번째 장치로 사용합니다. 본딩은 실패하는 경우가 아니면 기본 장치 인터페이스를 종료하지 않습니다. 이 설정은 특히 본딩 인터페이스의 특정 NIC가 더 빨라서 더 큰 부하를 처리할 수 있는 경우 유용합니다. 이 설정은 본딩 인터페이스가 active-backup 모드(mode 1)인 경우에만 유효합니다.
- 13
- 본딩 인터페이스의 고정 IP 주소를 설정합니다. 노드 IP 주소입니다.
- 14
bond0을 기본 경로의 게이트웨이로 설정합니다.중요클러스터를 배포한 후에는
install-config.yaml파일의networkConfig구성 설정을 변경하여 호스트 네트워크 인터페이스를 변경할 수 없습니다. 배포 후 Kubernetes NMState Operator를 사용하여 호스트 네트워크 인터페이스를 변경합니다.
3.13.17. 여러 클러스터 노드 구성 링크 복사링크가 클립보드에 복사되었습니다!
동일한 설정으로 OpenShift Container Platform 클러스터 노드를 동시에 구성할 수 있습니다. 여러 클러스터 노드를 구성하면 각 노드에 대한 중복 정보가 install-config.yaml 파일에 추가됩니다. 이 파일에는 클러스터의 여러 노드에 동일한 구성을 적용하는 특정 매개변수가 포함되어 있습니다.
컴퓨팅 노드는 컨트롤러 노드와 별도로 구성됩니다. 그러나 두 노드 유형의 구성은 install-config.yaml 파일에서 강조 표시된 매개 변수를 사용하여 다중 노드 구성을 활성화합니다. 다음 예와 같이 networkConfig 매개변수를 BOND 로 설정합니다.
여러 클러스터 노드의 구성은 설치 관리자 프로비저닝 인프라에 대한 초기 배포에만 사용할 수 있습니다.
3.13.18. 선택 사항: 관리형 Secure Boot 구성 링크 복사링크가 클립보드에 복사되었습니다!
redfish, redfish-virtualmedia, 또는 idrac-virtualmedia와 같은 Redfish BMC 주소를 사용하여 설치 관리자 프로비저닝 클러스터를 배포할 때 관리형 Secure Boot를 활성화할 수 있습니다. 관리형 Secure Boot를 활성화하려면 각 노드에 bootMode 구성 설정을 추가합니다.
예제
노드가 관리형 Secure Boot를 지원할 수 있는지 확인하려면 "사전 요구 사항"의 "노드 구성"을 참조하십시오. 노드가 관리형 Secure Boot를 지원하지 않는 경우 "노드 구성" 섹션의 "수동으로 Secure Boot의 노드 구성"을 참조하십시오. Secure Boot를 수동으로 구성하려면 Redfish 가상 미디어가 필요합니다.
IPMI는 Secure Boot 관리 기능을 제공하지 않으므로 Red Hat은 IPMI에 Secure Boot를 지원하지 않습니다.
3.14. 매니페스트 구성 파일 링크 복사링크가 클립보드에 복사되었습니다!
3.14.1. OpenShift Container Platform 매니페스트 만들기 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 매니페스트를 만듭니다.
./openshift-baremetal-install --dir ~/clusterconfigs create manifests
$ ./openshift-baremetal-install --dir ~/clusterconfigs create manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow INFO Consuming Install Config from target directory WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated
INFO Consuming Install Config from target directory WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regeneratedCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.14.2. 선택사항: 연결이 끊긴 클러스터의 NTP 구성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform은 클러스터 노드에 chrony Network Time Protocol(NTP) 서비스를 설치합니다.
OpenShift Container Platform 노드는 올바로 실행되려면 날짜와 시간에 동의해야 합니다. 컴퓨팅 노드가 컨트롤 플레인 노드의 NTP 서버에서 날짜와 시간을 검색할 때 라우팅 가능한 네트워크에 연결되지 않은 클러스터를 설치 및 실행할 수 있으므로 상위 계층 NTP 서버에 액세스할 수 없습니다.
프로세스
다음 명령을 사용하여 설치 호스트에 Butane을 설치합니다.
sudo dnf -y install butane
$ sudo dnf -y install butaneCopy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 노드에 대한
chrony.conf파일의 콘텐츠를 포함하여 Butane 구성,99-master-chrony-conf-override.bu를 만듭니다.참고Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.
Butane 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
<cluster-name>을 클러스터 이름으로 바꾸고<domain>을 정규화된 도메인 이름으로 교체해야 합니다.
Butane을 사용하여 컨트롤 플레인 노드에 전달할 구성이 포함된
MachineConfig파일99-master-chrony-conf-override.yaml을 생성합니다.butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml
$ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 노드의 NTP 서버를 참조하는 컴퓨팅 노드의
chrony.conf파일의 내용을 포함하여 Butane 구성99-worker-chrony-conf-override.bu를 만듭니다.Butane 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
<cluster-name>을 클러스터 이름으로 바꾸고<domain>을 정규화된 도메인 이름으로 교체해야 합니다.
Butane을 사용하여 작업자 노드로 전달할 구성이 포함된
MachineConfig개체 파일99-worker-chrony-conf-override.yaml을 생성합니다.butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml
$ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.14.3. 컨트롤 플레인에서 실행되도록 네트워크 구성 요소 구성 링크 복사링크가 클립보드에 복사되었습니다!
컨트롤 플레인 노드에서 독점적으로 실행되도록 네트워킹 구성 요소를 구성할 수 있습니다. 기본적으로 OpenShift Container Platform에서는 머신 구성 풀의 모든 노드가 ingressVIP 가상 IP 주소를 호스팅할 수 있습니다. 그러나 일부 환경에서는 컨트롤 플레인 노드의 별도의 서브넷에 컴퓨팅 노드를 배포합니다. 이 경우 컨트롤 플레인 노드에서 실행되도록 ingressVIP 가상 IP 주소를 구성해야 합니다.
별도의 서브넷에 원격 노드를 배포할 때 컨트롤 플레인 노드에 독점적으로 ingressVIP 가상 IP 주소를 배치해야 합니다.
프로세스
install-config.yaml파일을 저장하는 디렉터리로 변경합니다.cd ~/clusterconfigs
$ cd ~/clusterconfigsCopy to Clipboard Copied! Toggle word wrap Toggle overflow manifests하위 디렉터리로 전환합니다.cd manifests
$ cd manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow cluster-network-avoid-workers-99-config.yaml이라는 파일을 생성합니다.touch cluster-network-avoid-workers-99-config.yaml
$ touch cluster-network-avoid-workers-99-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 편집기에서
cluster-network-avoid-workers-99-config.yaml파일을 열고 Operator 구성을 설명하는 CR(사용자 정의 리소스)을 입력합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이 매니페스트는 컨트롤 플레인 노드에
ingressVIP가상 IP 주소를 배치합니다. 또한 이 매니페스트는 컨트롤 플레인 노드에 다음 프로세스를 배포합니다.-
openshift-ingress-operator -
keepalived
-
-
cluster-network-avoid-workers-99-config.yaml파일을 저장합니다. manifests/cluster-ingress-default-ingresscontroller.yaml파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
manifests디렉터리를 백업하는 것이 좋습니다. 설치 프로그램은 클러스터를 생성할 때manifests/디렉터리를 삭제합니다. mastersSchedulable필드를true로 설정하여 컨트롤 플레인 노드를 예약할 수 있도록cluster-scheduler-02-config.yml매니페스트를 수정합니다. 기본적으로 컨트롤 플레인 노드는 예약할 수 없습니다. 예를 들면 다음과 같습니다.sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml
$ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.ymlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고이 절차를 완료한 후 컨트롤 플레인 노드를 예약할 수 없는 경우 클러스터 배포가 실패합니다.
3.14.4. 선택 사항: 컴퓨팅 노드에 라우터 배포 링크 복사링크가 클립보드에 복사되었습니다!
설치 중에 설치 프로그램은 컴퓨팅 노드에 라우터 Pod를 배포합니다. 기본적으로 설치 프로그램은 두 개의 라우터 Pod를 설치합니다. 배포된 클러스터에 OpenShift Container Platform 클러스터 내의 서비스에 대한 외부 트래픽 로드를 처리하기 위해 추가 라우터가 필요한 경우 yaml 파일을 생성하여 적절한 수의 라우터 복제본을 설정할 수 있습니다.
컴퓨팅 노드가 하나만 있는 클러스터를 배포하는 것은 지원되지 않습니다. 라우터 복제본을 수정하면 하나의 컴퓨팅 노드로 배포할 때 성능이 저하된 상태의 문제를 해결할 수 있지만, 클러스터는 Ingress API의 고가용성이 손실되며 프로덕션 환경에 적합하지 않습니다.
기본적으로 설치 프로그램은 두 개의 라우터를 배포합니다. 클러스터에 컴퓨팅 노드가 없는 경우 설치 프로그램은 기본적으로 컨트롤 플레인 노드에 두 개의 라우터를 배포합니다.
프로세스
router-replicas.yaml파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고<num-of-router-pods>를 적절한 값으로 바꿉니다. 하나의 컴퓨팅 노드로만 작업하는 경우replicas:1로 설정합니다. 컴퓨팅 노드를 3개 이상 사용하여 작업하는 경우 필요에 따라replicas:를 기본값2에서 늘릴 수 있습니다.router-replicas.yaml파일을clusterconfigs/openshift디렉터리에 저장하고 복사합니다.cp ~/router-replicas.yaml clusterconfigs/openshift/99_router-replicas.yaml
$ cp ~/router-replicas.yaml clusterconfigs/openshift/99_router-replicas.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.14.5. 선택 사항: BIOS 구성 링크 복사링크가 클립보드에 복사되었습니다!
다음 절차에서는 설치 프로세스 중에 BIOS를 구성합니다.
프로세스
- 매니페스트를 생성합니다.
노드에 해당하는
BareMetalHost리소스 파일을 수정합니다.vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml
$ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow BareMetalHost리소스의spec섹션에 BIOS 구성을 추가합니다.spec: firmware: simultaneousMultithreadingEnabled: true sriovEnabled: true virtualizationEnabled: truespec: firmware: simultaneousMultithreadingEnabled: true sriovEnabled: true virtualizationEnabled: trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고Red Hat은 세 가지 BIOS 구성을 지원합니다. BMC 유형
irmc가 있는 서버만 지원됩니다. 다른 유형의 서버는 현재 지원되지 않습니다.- 클러스터를 생성합니다.
3.14.6. 선택 사항: RAID 구성 링크 복사링크가 클립보드에 복사되었습니다!
다음 절차에서는 설치 프로세스 중에 BMC(Baseboard Management Controller)를 사용하여 독립 디스크(RAID)의 중복 배열을 구성합니다.
노드에 대한 하드웨어 RAID를 구성하려면 노드에 RAID 컨트롤러가 지원되는지 확인합니다. OpenShift Container Platform 4.16은 소프트웨어 RAID를 지원하지 않습니다.
| vendor | BMC 및 프로토콜 | 펌웨어 버전 | RAID 수준 |
|---|---|---|---|
| Fujitsu | iRMC | 해당 없음 | 0, 1, 5, 6, 10 |
| Dell | Redfish를 사용하는 iDRAC | 버전 6.10.30.20 이상 | 0, 1, 5 |
프로세스
- 매니페스트를 생성합니다.
노드에 해당하는
BareMetalHost리소스를 수정합니다.vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml
$ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고다음 예제에서는 OpenShift Container Platform 4.16이 소프트웨어 RAID를 지원하지 않기 때문에 하드웨어 RAID 구성을 사용합니다.
특정 RAID 구성을
spec섹션에 추가한 경우 노드에서준비단계에서 원래 RAID 구성을 삭제하고 RAID에서 지정된 구성을 수행합니다. 예를 들면 다음과 같습니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
level은 필수 필드이며 다른 필드는 선택적 필드입니다.
spec섹션에 빈 RAID 구성을 추가한 경우 빈 구성으로 인해 노드가준비단계에서 원래 RAID 구성을 삭제하지만 새 구성을 수행하지 않습니다. 예를 들면 다음과 같습니다.spec: raid: hardwareRAIDVolumes: []spec: raid: hardwareRAIDVolumes: []Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
spec섹션에raid필드를 추가하지 않으면 원래 RAID 구성이 삭제되지 않으며 새 구성은 수행되지 않습니다.
- 클러스터를 생성합니다.
3.14.7. 선택사항: 노드에서 스토리지 구성 링크 복사링크가 클립보드에 복사되었습니다!
MCO(Machine Config Operator)에서 관리하는 MachineConfig 오브젝트를 생성하여 OpenShift Container Platform 노드의 운영 체제를 변경할 수 있습니다.
MachineConfig 사양에는 처음 부팅할 때 머신을 구성하기 위한 ignition 구성이 포함되어 있습니다. 이 config 오브젝트는 OpenShift Container Platform 시스템에서 실행되는 파일, systemd 서비스 및 기타 운영 체제 기능을 수정하는 데 사용할 수 있습니다.
프로세스
ignition config를 사용하여 노드에서 스토리지를 구성합니다. 다음 MachineSet 매니페스트 예제에서는 기본 노드의 장치에 파티션을 추가하는 방법을 보여줍니다. 이 예에서는 설치 전에 매니페스트를 적용하여 기본 노드에 크기가 16GiB인 recovery 라는 파티션을 만듭니다.
custom-partitions.yaml파일을 생성하고 파티션 레이아웃이 포함된MachineConfig오브젝트를 포함합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow custom-partitions.yaml파일을clusterconfigs/openshift디렉터리에 저장하고 복사합니다.cp ~/<MachineConfig_manifest> ~/clusterconfigs/openshift
$ cp ~/<MachineConfig_manifest> ~/clusterconfigs/openshiftCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.15. 연결이 끊긴 레지스트리 생성 링크 복사링크가 클립보드에 복사되었습니다!
설치 레지스트리의 로컬 사본을 사용하여 OpenShift Container Platform 클러스터를 설치해야하는 경우가 있습니다. 이는 클러스터 노드가 인터넷에 액세스할 수 없는 네트워크에 있기 때문에 네트워크 효율성을 향상시키기 위한 것일 수 있습니다.
로컬 또는 미러링된 레지스트리 사본에는 다음이 필요합니다.
- 레지스트리 노드의 인증서. 자체 서명된 인증서를 사용할 수 있습니다.
- 시스템의 컨테이너가 제공할 웹 서버입니다.
- 인증서 및 로컬 저장소 정보를 포함하는 업데이트된 풀 시크릿.
레지스트리 노드에 연결되지 않은 레지스트리를 만드는 것은 선택 사항입니다. 레지스트리 노드에 연결이 끊긴 레지스트리를 생성해야 하는 경우 다음 하위 섹션을 모두 완료해야 합니다.
3.15.1. 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
3.15.2. 미러링된 레지스트리를 호스팅할 레지스트리 노드 준비 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈에서 미러링된 레지스트리를 호스팅하기 전에 다음 단계를 완료해야 합니다.
프로세스
레지스트리 노드에서 방화벽 포트를 엽니다.
sudo firewall-cmd --add-port=5000/tcp --zone=libvirt --permanent
$ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt --permanentCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo firewall-cmd --add-port=5000/tcp --zone=public --permanent
$ sudo firewall-cmd --add-port=5000/tcp --zone=public --permanentCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo firewall-cmd --reload
$ sudo firewall-cmd --reloadCopy to Clipboard Copied! Toggle word wrap Toggle overflow 레지스트리 노드에 필요한 패키지를 설치합니다.
sudo yum -y install python3 podman httpd httpd-tools jq
$ sudo yum -y install python3 podman httpd httpd-tools jqCopy to Clipboard Copied! Toggle word wrap Toggle overflow 리포지토리 정보가 보관될 디렉터리 구조를 생성합니다.
sudo mkdir -p /opt/registry/{auth,certs,data}$ sudo mkdir -p /opt/registry/{auth,certs,data}Copy to Clipboard Copied! Toggle word wrap Toggle overflow
3.15.3. 연결이 끊긴 레지스트리의 OpenShift Container Platform 이미지 저장소 미러링 링크 복사링크가 클립보드에 복사되었습니다!
연결이 끊긴 레지스트리의 OpenShift Container Platform 이미지 저장소를 미러링하려면 다음 단계를 완료합니다.
사전 요구 사항
- 미러 호스트가 인터넷에 액세스할 수 있습니다.
- 네트워크가 제한된 환경에서 사용할 미러 레지스트리를 설정하고 설정한 인증서 및 인증 정보에 액세스할 수 있습니다.
- Red Hat OpenShift Cluster Manager에서 풀 시크릿 을 다운로드하여 미러 저장소에 대한 인증을 포함하도록 수정했습니다.
프로세스
- OpenShift Container Platform 다운로드 페이지를 확인하여 설치할 OpenShift Container Platform 버전을 확인하고 Repository Tags 페이지에서 해당 태그를 지정합니다.
필요한 환경 변수를 설정합니다.
릴리스 버전을 내보냅니다.
OCP_RELEASE=<release_version>
$ OCP_RELEASE=<release_version>Copy to Clipboard Copied! Toggle word wrap Toggle overflow <release_version>에 대해 설치할 OpenShift Container Platform 버전에 해당하는 태그를 지정합니다 (예:4.5.4).로컬 레지스트리 이름 및 호스트 포트를 내보냅니다.
LOCAL_REGISTRY='<local_registry_host_name>:<local_registry_host_port>'
$ LOCAL_REGISTRY='<local_registry_host_name>:<local_registry_host_port>'Copy to Clipboard Copied! Toggle word wrap Toggle overflow <local_registry_host_name>의 경우 미러 저장소의 레지스트리 도메인 이름을 지정하고<local_registry_host_port>의 경우 콘텐츠를 제공하는데 사용되는 포트를 지정합니다.로컬 저장소 이름을 내보냅니다.
LOCAL_REPOSITORY='<local_repository_name>'
$ LOCAL_REPOSITORY='<local_repository_name>'Copy to Clipboard Copied! Toggle word wrap Toggle overflow <local_repository_name>의 경우 레지스트리에 작성할 저장소 이름 (예:ocp4/openshift4)을 지정합니다.미러링할 저장소 이름을 내보냅니다.
PRODUCT_REPO='openshift-release-dev'
$ PRODUCT_REPO='openshift-release-dev'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 프로덕션 환경의 릴리스의 경우
openshift-release-dev를 지정해야 합니다.레지스트리 풀 시크릿의 경로를 내보냅니다.
LOCAL_SECRET_JSON='<path_to_pull_secret>'
$ LOCAL_SECRET_JSON='<path_to_pull_secret>'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 생성한 미러 레지스트리에 대한 풀 시크릿의 절대 경로 및 파일 이름을
<path_to_pull_secret>에 지정합니다.릴리스 미러를 내보냅니다.
RELEASE_NAME="ocp-release"
$ RELEASE_NAME="ocp-release"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 프로덕션 환경의 릴리스의 경우
ocp-release를 지정해야 합니다.클러스터의 아키텍처 유형을 내보냅니다.
ARCHITECTURE=<cluster_architecture>
$ ARCHITECTURE=<cluster_architecture>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
x86_64,aarch64,s390x또는ppc64le과 같은 클러스터의 아키텍처를 지정합니다.
미러링된 이미지를 호스트할 디렉터리의 경로를 내보냅니다.
REMOVABLE_MEDIA_PATH=<path>
$ REMOVABLE_MEDIA_PATH=<path>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 초기 슬래시 (/) 문자를 포함하여 전체 경로를 지정합니다.
미러 레지스트리에 버전 이미지를 미러링합니다.
미러 호스트가 인터넷에 액세스할 수 없는 경우 다음 작업을 수행합니다.
- 이동식 미디어를 인터넷에 연결된 시스템에 연결합니다.
미러링할 이미지 및 설정 매니페스트를 확인합니다.
oc adm release mirror -a ${LOCAL_SECRET_JSON} \ --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \ --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \ --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE} --dry-run$ oc adm release mirror -a ${LOCAL_SECRET_JSON} \ --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \ --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \ --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE} --dry-runCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
이전 명령의 출력에서 전체
imageContentSources섹션을 기록합니다. 미러에 대한 정보는 미러링된 저장소에 고유하며 설치 중에imageContentSources섹션을install-config.yaml파일에 추가해야 합니다. 이동식 미디어의 디렉터리에 이미지를 미러링합니다.
oc adm release mirror -a ${LOCAL_SECRET_JSON} --to-dir=${REMOVABLE_MEDIA_PATH}/mirror quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE}$ oc adm release mirror -a ${LOCAL_SECRET_JSON} --to-dir=${REMOVABLE_MEDIA_PATH}/mirror quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE}Copy to Clipboard Copied! Toggle word wrap Toggle overflow 미디어를 네트워크가 제한된 환경으로 가져와서 이미지를 로컬 컨테이너 레지스트리에 업로드합니다.
oc image mirror -a ${LOCAL_SECRET_JSON} --from-dir=${REMOVABLE_MEDIA_PATH}/mirror "file://openshift/release:${OCP_RELEASE}*" ${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}$ oc image mirror -a ${LOCAL_SECRET_JSON} --from-dir=${REMOVABLE_MEDIA_PATH}/mirror "file://openshift/release:${OCP_RELEASE}*" ${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
REMOVABLE_MEDIA_PATH의 경우 이미지를 미러링 할 때 지정한 것과 동일한 경로를 사용해야 합니다.
로컬 컨테이너 레지스트리가 미러 호스트에 연결된 경우 다음 작업을 수행합니다.
다음 명령을 사용하여 릴리스 이미지를 로컬 레지스트리에 직접 푸시합니다.
oc adm release mirror -a ${LOCAL_SECRET_JSON} \ --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \ --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \ --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}$ oc adm release mirror -a ${LOCAL_SECRET_JSON} \ --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \ --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \ --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령은 요약된 릴리스 정보를 가져오며, 명령 출력에는 클러스터를 설치할 때 필요한
imageContentSources데이터가 포함됩니다.이전 명령의 출력에서 전체
imageContentSources섹션을 기록합니다. 미러에 대한 정보는 미러링된 저장소에 고유하며 설치 중에imageContentSources섹션을install-config.yaml파일에 추가해야 합니다.참고미러링 프로세스 중에 이미지 이름이 Quay.io에 패치되고 podman 이미지는 부트스트랩 가상 머신의 레지스트리에 Quay.io를 표시합니다.
미러링된 콘텐츠를 기반으로 설치 프로그램을 생성하려면 콘텐츠를 추출하여 릴리스 배포에 고정합니다.
미러 호스트가 인터넷에 액세스할 수 없는 경우 다음 명령을 실행합니다.
oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"$ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 로컬 컨테이너 레지스트리가 미러 호스트에 연결된 경우 다음 명령을 실행합니다.
oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}"$ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 중요선택한 OpenShift Container Platform 버전에 올바른 이미지를 사용하려면 미러링된 콘텐츠에서 설치 프로그램을 배포해야 합니다.
인터넷이 연결된 컴퓨터에서 이 단계를 수행해야 합니다.
연결이 끊긴 환경에 있는 경우
--image플래그를 must-gather의 일부로 사용하여 페이로드 이미지를 가리킵니다.
설치 프로그램에서 제공하는 인프라를 사용하는 클러스터의 경우 다음 명령을 실행합니다.
openshift-baremetal-install
$ openshift-baremetal-installCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.15.4. 연결이 끊긴 레지스트리를 사용하도록 install-config.yaml 파일을 수정 링크 복사링크가 클립보드에 복사되었습니다!
프로비저너 노드에서 install-config.yaml 파일은 pull-secret-update.txt 파일에서 새로 생성된 풀 시크릿(pull-secret)을 사용해야 합니다. install-config.yaml 파일에는 연결되지 않은 레지스트리 노드 인증서 및 레지스트리 정보도 포함되어야합니다.
프로세스
install-config.yaml파일에 연결이 끊긴 레지스트리 노드의 인증서를 추가합니다.echo "additionalTrustBundle: |" >> install-config.yaml
$ echo "additionalTrustBundle: |" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 인증서는
"additionalTrustBundle:|"뒤에 있어야 하며 보통 두 개의 공백으로 적절하게 들여 쓰기합니다.sed -e 's/^/ /' /opt/registry/certs/domain.crt >> install-config.yaml
$ sed -e 's/^/ /' /opt/registry/certs/domain.crt >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 레지스트리의 미러 정보를
install-config.yaml파일에 추가합니다.echo "imageContentSources:" >> install-config.yaml
$ echo "imageContentSources:" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow echo "- mirrors:" >> install-config.yaml
$ echo "- mirrors:" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow echo " - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
$ echo " - registry.example.com:5000/ocp4/openshift4" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.echo " source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
$ echo " source: quay.io/openshift-release-dev/ocp-release" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow echo "- mirrors:" >> install-config.yaml
$ echo "- mirrors:" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow echo " - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
$ echo " - registry.example.com:5000/ocp4/openshift4" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.echo " source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml
$ echo " source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.16. 설치 확인 체크리스트 링크 복사링크가 클립보드에 복사되었습니다!
- ❏ OpenShift Container Platform 설치 프로그램이 검색되었습니다.
- ❏ OpenShift Container Platform 설치 프로그램이 추출되었습니다.
-
❏
install-config.yaml의 필수 매개 변수가 설정되었습니다. -
❏
install-config.yaml의hosts매개 변수가 구성되었습니다. -
❏
install-config.yaml의bmc매개 변수가 구성되었습니다. -
❏
bmcaddress필드에 구성된 값에 대한 규칙이 적용되었습니다. - OpenShift Container Platform 매니페스트를 생성했습니다.
- Cryostat (선택 사항) 컴퓨팅 노드에 라우터를 배포했습니다.
- Cryostat (선택 사항) 연결이 끊긴 레지스트리를 생성합니다.
- 사용 중인 경우 연결이 끊긴 레지스트리 설정을 검증합니다.
4장. 클러스터 설치 링크 복사링크가 클립보드에 복사되었습니다!
4.1. 이전 설치 정리 링크 복사링크가 클립보드에 복사되었습니다!
이전 배포에 실패한 경우 OpenShift Container Platform을 다시 배포하기 전에 실패한 시도에서 아티팩트를 제거합니다.
프로세스
다음 명령을 사용하여 OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원을 끕니다.
ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off
$ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power offCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 스크립트를 사용하여 이전 배포 시도에서 남아 있는 경우 이전 부트스트랩 리소스를 모두 제거합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 사용하여 이전 설치에서 생성한 아티팩트를 삭제합니다.
cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \ .openshift_install.log .openshift_install_state.json
$ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \ .openshift_install.log .openshift_install_state.jsonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 사용하여 OpenShift Container Platform 매니페스트를 다시 생성합니다.
./openshift-baremetal-install --dir ~/clusterconfigs create manifests
$ ./openshift-baremetal-install --dir ~/clusterconfigs create manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.2. OpenShift Container Platform 설치 프로그램을 통해 클러스터 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 설치 프로그램을 실행합니다.
./openshift-baremetal-install --dir ~/clusterconfigs --log-level debug create cluster
$ ./openshift-baremetal-install --dir ~/clusterconfigs --log-level debug create cluster
4.3. 설치 진행 상황 링크 복사링크가 클립보드에 복사되었습니다!
배포 프로세스 중에 설치 디렉터리 폴더의 .openshift_install.log 로그 파일에 tail 명령을 실행하여 설치의 전체 상태를 확인할 수 있습니다.
tail -f /path/to/install-dir/.openshift_install.log
$ tail -f /path/to/install-dir/.openshift_install.log
4.4. 고정 IP 주소 구성 확인 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 노드의 DHCP 예약에서 무한 리스를 지정하는 경우 설치 프로그램이 노드를 성공적으로 프로비저닝한 후 디스패치 스크립트에서 노드의 네트워크 구성을 확인합니다. 스크립트에서 네트워크 구성에 무한 DHCP 리스가 포함되어 있음을 확인하면 DHCP 리스의 IP 주소를 고정 IP 주소로 사용하여 새 연결을 생성합니다.
클러스터에 있는 다른 노드의 프로비저닝이 진행되는 동안 디스패치 스크립트는 성공적으로 프로비저닝된 노드에서 실행될 수 있습니다.
네트워크 구성이 제대로 작동하는지 확인합니다.
프로세스
- 노드의 네트워크 인터페이스 구성을 확인합니다.
- DHCP 서버를 끄고 OpenShift Container Platform 노드를 재부팅하고 네트워크 구성이 제대로 작동하는지 확인합니다.
5장. 설치 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
5.1. 설치 프로그램 워크플로 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
설치 환경의 문제를 해결하기 전에 베어 메탈에서 설치 관리자 프로비저닝 설치의 전체 흐름을 이해하는 것이 중요합니다. 다음 다이어그램은 환경에 대한 단계별 분석과 함께 문제 해결 흐름을 보여줍니다.
워크 플로우 1/4은 install-config.yaml 파일에 오류가 있거나 RHCOS (Red Hat Enterprise Linux CoreOS) 이미지에 액세스할 수 없는 경우 문제 해결의 워크 플로우를 보여줍니다. 문제 해결 제안 사항은 install-config.yaml 문제 해결을 참조하십시오.
워크 플로우 2/4는 부트스트랩 VM 문제, 클러스터 노드를 부팅할 수 없는 부트스트랩 VM 및 로그 검사에 대한 문제 해결 워크 플로우를 보여줍니다. provisioning 네트워크없이 OpenShift Container Platform 클러스터를 설치할 때 이 워크플로가 적용되지 않습니다.
워크 플로우 3/4 는 PXE 부팅이 아닌 클러스터 노드에 대한 문제 해결 워크 플로우를 보여줍니다. Redfish 가상 미디어를 사용하여 설치하는 경우 각 노드는 노드를 배포하기 위해 설치 프로그램의 최소 펌웨어 요구 사항을 충족해야 합니다. 자세한 내용은 사전 요구 사항 섹션에서 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항을 참조하십시오.
워크 플로우 4/4 는 액세스할 수 없는 API 에서 검증된 설치 까지의 문제 해결 워크 플로우를 보여줍니다.
5.2. install-config.yaml 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
install-config.yaml 설정 파일은 OpenShift Container Platform 클러스터의 일부인 모든 노드를 나타냅니다. 이 파일에는 apiVersion, baseDomain, imageContentSources 및 가상 IP 주소로 구성되지만 이에 국한되지 않는 필수 옵션이 포함되어 있습니다. OpenShift Container Platform 클러스터 배포 초기에 오류가 발생하면 install-config.yaml 구성 파일에 오류가 있을 수 있습니다.
프로세스
- YAML-tips의 지침을 사용합니다.
- syntax-check를 사용하여 YAML 구문이 올바른지 확인합니다.
RHCOS (Red Hat Enterprise Linux CoreOS) QEMU 이미지가 올바르게 정의되어 있고
install-config.yaml에서 제공되는 URL을 통해 액세스할 수 있는지 확인합니다. 예를 들면 다음과 같습니다.curl -s -o /dev/null -I -w "%{http_code}\n" http://webserver.example.com:8080/rhcos-44.81.202004250133-0-qemu.<architecture>.qcow2.gz?sha256=7d884b46ee54fe87bbc3893bf2aa99af3b2d31f2e19ab5529c60636fbd0f1ce7$ curl -s -o /dev/null -I -w "%{http_code}\n" http://webserver.example.com:8080/rhcos-44.81.202004250133-0-qemu.<architecture>.qcow2.gz?sha256=7d884b46ee54fe87bbc3893bf2aa99af3b2d31f2e19ab5529c60636fbd0f1ce7Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력이
200이면 부트스트랩 VM 이미지를 저장하는 웹 서버의 유효한 응답이 있습니다.
5.3. 부트스트랩 VM 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 설치 프로그램은 OpenShift Container Platform 클러스터 노드 프로비저닝을 처리하는 부트스트랩 노드 가상 머신을 생성합니다.
프로세스
설치 프로그램을 트리거한 후 약 10~15분 정도 후에
virsh명령을 사용하여 부트스트랩 VM이 작동하는지 확인합니다.sudo virsh list
$ sudo virsh listCopy to Clipboard Copied! Toggle word wrap Toggle overflow Id Name State -------------------------------------------- 12 openshift-xf6fq-bootstrap running
Id Name State -------------------------------------------- 12 openshift-xf6fq-bootstrap runningCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고부트스트랩 VM의 이름은 항상 클러스터 이름으로 시작하여 그 뒤에 임의의 문자 집합이 있고 "bootstrap"이라는 단어로 끝납니다.
부트스트랩 VM이 10-15 분 후에 실행되지 않는 경우 다음 명령을 실행하여 시스템에서
libvirtd가 실행되고 있는지 확인합니다.systemctl status libvirtd
$ systemctl status libvirtdCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 부트스트랩 VM이 작동하는 경우 해당 VM에 로그인합니다.
virsh console명령을 사용하여 부트스트랩 VM의 IP 주소를 찾습니다.sudo virsh console example.com
$ sudo virsh console example.comCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 중요provisioning네트워크없이 OpenShift Container Platform 클러스터를 배포하는 경우172.22.0.2와 같은 개인 IP 주소가 아닌 공용 IP 주소를 사용해야 합니다.IP 주소를 가져온 후
ssh명령을 사용하여 부트스트랩 VM에 로그인합니다.참고이전 단계의 콘솔 출력에서
ens3에서 제공되는 IPv6 IP 주소 또는ens4에서 제공되는 IPv4 IP를 사용할 수 있습니다.ssh core@172.22.0.2
$ ssh core@172.22.0.2Copy to Clipboard Copied! Toggle word wrap Toggle overflow
부트스트랩 VM에 성공적으로 로그인하지 못한 경우 다음 시나리오 중 하나가 발생했을 가능성이 있습니다.
-
172.22.0.0/24네트워크에 연결할 수 없습니다. 프로비저너와provisioning네트워크 브리지 간의 네트워크 연결을 확인합니다. 이 문제는provisioning네트워크를 사용하는 경우 발생할 수 있습니다. -
공용 네트워크를 통해 부트스트랩 VM에 연결할 수 없습니다.
baremetal네트워크에서 SSH를 시도할 때provisioner호스트, 특히baremetal네트워크 브리지의 연결을 확인합니다. -
Permission denied (publickey, password, keyboard-interactive)문제가 발생했습니다. 부트스트랩 VM에 액세스하려고하면Permission denied오류가 발생할 수 있습니다. VM에 로그인하려는 사용자의 SSH 키가install-config.yaml파일에 설정되어 있는지 확인합니다.
5.3.1. 부트스트랩 VM은 클러스터 노드를 부팅할 수 없습니다. 링크 복사링크가 클립보드에 복사되었습니다!
배포 중에 부트스트랩 VM이 클러스터 노드를 부팅하지 못하여 VM이 RHCOS 이미지로 노드를 프로비저닝하지 못할 수 있습니다. 이 시나리오는 다음과 같은 이유로 발생할 수 있습니다.
-
install-config.yaml파일 관련 문제 - baremetal 네트워크를 사용할 때 대역 외 네트워크 액세스 문제
이 문제를 확인하기 위해 ironic과 관련된 세 가지 컨테이너를 사용할 수 있습니다.
-
Ironic -
ironic-inspector
프로세스
부트스트랩 VM에 로그인합니다.
ssh core@172.22.0.2
$ ssh core@172.22.0.2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 컨테이너 로그를 확인하려면 다음을 실행합니다.
sudo podman logs -f <container_name>
[core@localhost ~]$ sudo podman logs -f <container_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow <
;container_name>을ironic또는ironic-inspector중 하나로 바꿉니다. 컨트롤 플레인 노드가 PXE에서 부팅되지 않는 문제가 발생하면ironicpod를 확인합니다.ironicpod에는 IPMI를 통해 노드에 로그인을 시도하기 때문에 클러스터 노드를 부팅하려는 시도에 대한 정보가 포함되어 있습니다.
가능한 이유
배포가 시작되면 클러스터 노드가 ON 상태 일 수 있습니다.
해결책
IPMI를 통해 설치를 시작하기 전에 OpenShift Container Platform 클러스터 노드의 전원을 끄십시오.
ipmitool -I lanplus -U root -P <password> -H <out_of_band_ip> power off
$ ipmitool -I lanplus -U root -P <password> -H <out_of_band_ip> power off
5.3.2. 로그 검사 링크 복사링크가 클립보드에 복사되었습니다!
RHCOS 이미지를 다운로드하거나 액세스하는 데 문제가 발생하면 먼저 install-config.yaml 구성 파일에서 URL이 올바른지 확인합니다.
RHCOS 이미지를 호스팅하는 내부 웹 서버의 예
bootstrapOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-qemu.<architecture>.qcow2.gz?sha256=9d999f55ff1d44f7ed7c106508e5deecd04dc3c06095d34d36bf1cd127837e0c clusterOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-openstack.<architecture>.qcow2.gz?sha256=a1bda656fa0892f7b936fdc6b6a6086bddaed5dafacedcd7a1e811abb78fe3b0
bootstrapOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-qemu.<architecture>.qcow2.gz?sha256=9d999f55ff1d44f7ed7c106508e5deecd04dc3c06095d34d36bf1cd127837e0c
clusterOSImage: http://<ip:port>/rhcos-43.81.202001142154.0-openstack.<architecture>.qcow2.gz?sha256=a1bda656fa0892f7b936fdc6b6a6086bddaed5dafacedcd7a1e811abb78fe3b0
coreos-downloader 컨테이너는 install-config.yaml 구성 파일에서 지정하는 외부 quay.io 레지스트리 또는 웹 서버 또는 외부 quay.io 레지스트리에서 리소스를 다운로드합니다. coreos-downloader 컨테이너가 실행 중인지 확인하고 필요에 따라 로그를 검사합니다.
프로세스
부트스트랩 VM에 로그인합니다.
ssh core@172.22.0.2
$ ssh core@172.22.0.2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 부트스트랩 VM 내에서
coreos-downloader컨테이너의 상태를 확인합니다.sudo podman logs -f coreos-downloader
[core@localhost ~]$ sudo podman logs -f coreos-downloaderCopy to Clipboard Copied! Toggle word wrap Toggle overflow 부트스트랩 VM이 이미지의 URL에 액세스할 수 없는 경우
curl명령을 사용하여 VM이 이미지에 액세스할 수 있는지 확인합니다.배포 단계에서 모든 컨테이너가 시작되었는지 여부를 나타내는
bootkube로그를 검사하려면 다음을 실행합니다.journalctl -xe
[core@localhost ~]$ journalctl -xeCopy to Clipboard Copied! Toggle word wrap Toggle overflow journalctl -b -f -u bootkube.service
[core@localhost ~]$ journalctl -b -f -u bootkube.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow dnsmasq,mariadb,httpd및ironic를 포함한 모든 Pod가 실행 중인지 확인합니다.sudo podman ps
[core@localhost ~]$ sudo podman psCopy to Clipboard Copied! Toggle word wrap Toggle overflow Pod에 문제가 있는 경우 문제가있는 컨테이너의 로그를 확인합니다.
ironic서비스의 로그를 확인하려면 다음 명령을 실행합니다.sudo podman logs ironic
[core@localhost ~]$ sudo podman logs ironicCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.5. 클러스터를 초기화하지 못한 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램은 Cluster Version Operator를 사용하여 OpenShift Container Platform 클러스터의 모든 구성 요소를 생성합니다. 설치 프로그램이 클러스터를 초기화하지 못하면 ClusterVersion 및 ClusterOperator 오브젝트에서 가장 중요한 정보를 검색할 수 있습니다.
프로세스
다음 명령을 실행하여
ClusterVersion오브젝트를 검사합니다.oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion -o yaml$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion -o yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 조건을 확인합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion version \ -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion version \ -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 가장 중요한 조건 중 일부는
Failing,Available,Progressing입니다.출력 예
Available True Done applying 4.1.1 Failing False Progressing False Cluster version is 4.0.0-0.alpha-2019-02-26-194020 RetrievedUpdates False Unable to retrieve available updates: unknown version 4.1.1
Available True Done applying 4.1.1 Failing False Progressing False Cluster version is 4.0.0-0.alpha-2019-02-26-194020 RetrievedUpdates False Unable to retrieve available updates: unknown version 4.1.1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ClusterOperator오브젝트를 검사합니다.oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 명령은 클러스터 Operator의 상태를 반환합니다.
출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 개별 클러스터 Operator를 검사합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> -oyaml$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> -oyaml1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;operator>를 클러스터 Operator의 이름으로 바꿉니다. 이 명령은 클러스터 Operator가Available상태를 얻지 못했거나Failed상태에 있는 이유를 식별하는 데 유용합니다.
출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 클러스터 Operator의 상태 조건을 가져오려면 다음 명령을 실행합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> \ -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> \ -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow &
lt;operator>를 위의 Operator 중 하나의 이름으로 바꿉니다.출력 예
Available True Successfully rolled out the stack Progressing False Failing False
Available True Successfully rolled out the stack Progressing False Failing FalseCopy to Clipboard Copied! Toggle word wrap Toggle overflow 클러스터 Operator가 소유한 오브젝트 목록을 검색하려면 다음 명령을 실행합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator kube-apiserver \ -o=jsonpath='{.status.relatedObjects}'oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator kube-apiserver \ -o=jsonpath='{.status.relatedObjects}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
[map[resource:kubeapiservers group:operator.openshift.io name:cluster] map[group: name:openshift-config resource:namespaces] map[group: name:openshift-config-managed resource:namespaces] map[group: name:openshift-kube-apiserver-operator resource:namespaces] map[group: name:openshift-kube-apiserver resource:namespaces]]
[map[resource:kubeapiservers group:operator.openshift.io name:cluster] map[group: name:openshift-config resource:namespaces] map[group: name:openshift-config-managed resource:namespaces] map[group: name:openshift-kube-apiserver-operator resource:namespaces] map[group: name:openshift-kube-apiserver resource:namespaces]]Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.6. 콘솔 URL을 가져오지 못하는 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램은 openshift-console 네임스페이스 내에서 [route][route-object] 를 사용하여 OpenShift Container Platform 콘솔의 URL을 검색합니다. 설치 프로그램이 콘솔에 대한 URL을 검색하지 못하면 다음 절차를 사용하십시오.
프로세스
다음 명령을 실행하여 콘솔 라우터가
Available또는Failing상태에 있는지 확인합니다.oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator console -oyaml$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator console -oyamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 콘솔 URL을 수동으로 검색합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get route console -n openshift-console \ -o=jsonpath='{.spec.host}' console-openshift-console.apps.adahiya-1.devcluster.openshift.com$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get route console -n openshift-console \ -o=jsonpath='{.spec.host}' console-openshift-console.apps.adahiya-1.devcluster.openshift.comCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.7. kubeconfig에 수신 인증서를 추가하지 못한 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램은 기본 수신 인증서를 ${INSTALL_DIR}/auth/kubeconfig 의 신뢰할 수 있는 클라이언트 인증 기관 목록에 추가합니다. 설치 프로그램이 kubeconfig 파일에 Ingress 인증서를 추가하지 못하면 클러스터에서 인증서를 검색하여 추가할 수 있습니다.
프로세스
다음 명령을 사용하여 클러스터에서 인증서를 검색합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get configmaps default-ingress-cert \ -n openshift-config-managed -o=jsonpath='{.data.ca-bundle\.crt}'$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get configmaps default-ingress-cert \ -n openshift-config-managed -o=jsonpath='{.data.ca-bundle\.crt}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
${INSTALL_DIR}/auth/kubeconfig파일의client-certificate-authority-data필드에 인증서를 추가합니다.
5.8. 클러스터 노드에 대한 SSH 액세스 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
보안을 강화하기 위해 기본적으로 클러스터 외부에서 클러스터에 SSH를 수행할 수 없습니다. 그러나 프로비저너 노드에서 컨트롤 플레인 및 작업자 노드에 액세스할 수 있습니다. 프로비저너 노드에서 클러스터 노드에 SSH를 수행할 수 없는 경우 노드가 부트스트랩 VM에서 대기 중일 수 있습니다. 컨트롤 플레인 노드는 부트스트랩 VM에서 부팅 구성을 검색하고 부팅 구성을 검색하지 않으면 성공적으로 부팅할 수 없습니다.
프로세스
- 노드에 대한 물리적 액세스 권한이 있는 경우 콘솔 출력을 확인하여 성공적으로 부팅되었는지 확인합니다. 노드가 부팅 구성을 계속 검색하는 경우 부트스트랩 VM에 문제가 있을 수 있습니다.
-
install-config.yaml파일에서sshKey: '<ssh_pub_key>'설정을 구성해야 합니다. 여기서 <ssh_pub_key>는 프로비저너 노드에서kni사용자의 공개 키입니다.
5.9. 클러스터 노드는 PXE 부팅 불가능 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 클러스터 노드가 PXE 부팅을 하지 않는 경우 PXE 부팅이 되지 않는 클러스터 노드에서 다음 검사를 실행합니다. 이 절차는 provisioning 네트워크없이 OpenShift Container Platform 클러스터를 설치할 때 적용되지 않습니다.
프로세스
-
provisioning네트워크에 대한 네트워크 연결을 확인하십시오. -
provisioning네트워크의 NIC에서 PXE가 활성화되어 있고 다른 모든 NIC에 대해 PXE가 비활성화되어 있는지 확인합니다. install-config.yaml구성 파일에provisioning네트워크에 연결된 NIC의rootDeviceHints매개변수 및 부팅 MAC 주소가 포함되어 있는지 확인합니다. 예를 들면 다음과 같습니다.컨트롤 플레인 노드 설정
bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC
bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NICCopy to Clipboard Copied! Toggle word wrap Toggle overflow 작업자 노드 설정
bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC
bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NICCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.10. 설치 시 작업자 노드가 생성되지 않음 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로그램은 작업자 노드를 직접 프로비저닝하지 않습니다. 대신 Machine API Operator는 지원되는 플랫폼에서 노드를 확장 및 축소합니다. 클러스터의 인터넷 연결 속도에 따라 작업자 노드가 15~20분 후에 생성되지 않는 경우 Machine API Operator를 조사합니다.
프로세스
다음 명령을 실행하여 Machine API Operator를 확인합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \ --namespace=openshift-machine-api get deployments$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \ --namespace=openshift-machine-api get deploymentsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 환경에
${INSTALL_DIR}이 설정되어 있지 않은 경우 값을 설치 디렉터리의 이름으로 교체합니다.출력 예
NAME READY UP-TO-DATE AVAILABLE AGE cluster-autoscaler-operator 1/1 1 1 86m cluster-baremetal-operator 1/1 1 1 86m machine-api-controllers 1/1 1 1 85m machine-api-operator 1/1 1 1 86m
NAME READY UP-TO-DATE AVAILABLE AGE cluster-autoscaler-operator 1/1 1 1 86m cluster-baremetal-operator 1/1 1 1 86m machine-api-controllers 1/1 1 1 85m machine-api-operator 1/1 1 1 86mCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 머신 컨트롤러 로그를 확인합니다.
oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \ --namespace=openshift-machine-api logs deployments/machine-api-controllers \ --container=machine-controller$ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \ --namespace=openshift-machine-api logs deployments/machine-api-controllers \ --container=machine-controllerCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.11. Cluster Network Operator 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
Cluster Network Operator는 네트워킹 구성 요소를 배포합니다. 컨트롤 플레인 노드가 시작된 후 설치 프로그램이 부트스트랩 컨트롤 플레인을 제거하기 전에 설치 프로세스 초기에 실행됩니다. 이 Operator의 문제는 설치 프로그램 문제를 나타낼 수 있습니다.
프로세스
다음 명령을 실행하여 네트워크 구성이 있는지 확인합니다.
oc get network -o yaml cluster
$ oc get network -o yaml clusterCopy to Clipboard Copied! Toggle word wrap Toggle overflow 존재하지 않는 경우 설치 프로그램이 이를 생성하지 않았습니다. 이유를 확인하려면 다음 명령을 실행합니다.
openshift-install create manifests
$ openshift-install create manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 매니페스트를 검토하여 설치 프로그램에서 네트워크 구성을 생성하지 않은 이유를 확인합니다.
다음 명령을 입력하여 네트워크가 실행 중인지 확인합니다.
oc get po -n openshift-network-operator
$ oc get po -n openshift-network-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.12. BMC를 사용하여 새 베어 메탈 호스트를 찾을 수 없음 링크 복사링크가 클립보드에 복사되었습니다!
경우에 따라 설치 프로그램에서 새 베어 메탈 호스트를 검색하고 원격 가상 미디어 공유를 마운트할 수 없기 때문에 오류를 발행할 수 없습니다.
예를 들면 다음과 같습니다.
이 경우 알 수 없는 인증 기관이 있는 가상 미디어를 사용하는 경우 이 오류를 방지하기 위해 알 수 없는 인증 기관을 신뢰하도록 BMC(Baseboard Management Controller) 원격 파일 공유 설정을 구성할 수 있습니다.
이 확인은 Dell iDRAC 9 및 펌웨어 버전 5.10.50이 있는 OpenShift Container Platform 4.11에서 테스트되었습니다.
5.13. 클러스터에 참여할 수 없는 작업자 노드 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자 프로비저닝 클러스터는 api-int.<cluster_name>.<base_domain > URL에 대한 DNS 항목을 포함하는 DNS 서버와 함께 배포됩니다. 클러스터 내의 노드가 외부 또는 업스트림 DNS 서버를 사용하여 api-int.<cluster_name>.<base_domain > URL을 확인하면 작업자 노드가 클러스터에 참여하지 못할 수 있습니다. 클러스터의 모든 노드가 도메인 이름을 확인할 수 있는지 확인합니다.
프로세스
DNS A/AAAA 또는 CNAME 레코드를 추가하여 내부적으로 API 로드 밸런서를 식별합니다. 예를 들어 dnsmasq를 사용하는 경우
dnsmasq.conf구성 파일을 수정합니다.sudo nano /etc/dnsmasq.conf
$ sudo nano /etc/dnsmasq.confCopy to Clipboard Copied! Toggle word wrap Toggle overflow address=/api-int.<cluster_name>.<base_domain>/<IP_address> address=/api-int.mycluster.example.com/192.168.1.10 address=/api-int.mycluster.example.com/2001:0db8:85a3:0000:0000:8a2e:0370:7334
address=/api-int.<cluster_name>.<base_domain>/<IP_address> address=/api-int.mycluster.example.com/192.168.1.10 address=/api-int.mycluster.example.com/2001:0db8:85a3:0000:0000:8a2e:0370:7334Copy to Clipboard Copied! Toggle word wrap Toggle overflow 내부적으로 API 로드 밸런서를 식별하는 DNS PTR 레코드를 추가합니다. 예를 들어 dnsmasq를 사용하는 경우
dnsmasq.conf구성 파일을 수정합니다.sudo nano /etc/dnsmasq.conf
$ sudo nano /etc/dnsmasq.confCopy to Clipboard Copied! Toggle word wrap Toggle overflow ptr-record=<IP_address>.in-addr.arpa,api-int.<cluster_name>.<base_domain> ptr-record=10.1.168.192.in-addr.arpa,api-int.mycluster.example.com
ptr-record=<IP_address>.in-addr.arpa,api-int.<cluster_name>.<base_domain> ptr-record=10.1.168.192.in-addr.arpa,api-int.mycluster.example.comCopy to Clipboard Copied! Toggle word wrap Toggle overflow DNS 서버를 다시 시작합니다. 예를 들어 dnsmasq를 사용하는 경우 다음 명령을 실행합니다.
sudo systemctl restart dnsmasq
$ sudo systemctl restart dnsmasqCopy to Clipboard Copied! Toggle word wrap Toggle overflow
이 레코드는 클러스터 내의 모든 노드에서 확인할 수 있어야 합니다.
5.14. 이전 설치 정리 링크 복사링크가 클립보드에 복사되었습니다!
이전 배포에 실패한 경우 OpenShift Container Platform을 다시 배포하기 전에 실패한 시도에서 아티팩트를 제거합니다.
프로세스
다음 명령을 사용하여 OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원을 끕니다.
ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off
$ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power offCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 스크립트를 사용하여 이전 배포 시도에서 남아 있는 경우 이전 부트스트랩 리소스를 모두 제거합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 사용하여 이전 설치에서 생성한 아티팩트를 삭제합니다.
cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \ .openshift_install.log .openshift_install_state.json
$ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \ .openshift_install.log .openshift_install_state.jsonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 사용하여 OpenShift Container Platform 매니페스트를 다시 생성합니다.
./openshift-baremetal-install --dir ~/clusterconfigs create manifests
$ ./openshift-baremetal-install --dir ~/clusterconfigs create manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.15. 레지스트리 생성 문제 링크 복사링크가 클립보드에 복사되었습니다!
비 연결 레지스트리를 만들 때 레지스트리 미러링을 시도하는 경우 "User Not Authorized" 오류가 발생할 수 있습니다. 이 오류는 기존 pull-secret.txt 파일에 새 인증을 추가할 수 없는 경우 발생할 수 있습니다.
프로세스
인증이 성공했는지 확인합니다.
/usr/local/bin/oc adm release mirror \ -a pull-secret-update.json --from=$UPSTREAM_REPO \ --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \ --to=$LOCAL_REG/$LOCAL_REPO$ /usr/local/bin/oc adm release mirror \ -a pull-secret-update.json --from=$UPSTREAM_REPO \ --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \ --to=$LOCAL_REG/$LOCAL_REPOCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고설치 이미지 미러링에 사용되는 변수의 출력 예:
UPSTREAM_REPO=${RELEASE_IMAGE} LOCAL_REG=<registry_FQDN>:<registry_port> LOCAL_REPO='ocp4/openshift4'UPSTREAM_REPO=${RELEASE_IMAGE} LOCAL_REG=<registry_FQDN>:<registry_port> LOCAL_REPO='ocp4/openshift4'Copy to Clipboard Copied! Toggle word wrap Toggle overflow RELEASE_IMAGE및VERSION의 값은 OpenShift 설치 환경 설정 섹션의 OpenShift 설치 프로그램 가져오기 단계에서 설정됩니다.레지스트리를 미러링 후 연결이 끊긴 환경에서 이에 액세스할 수 있는지 확인합니다.
curl -k -u <user>:<password> https://registry.example.com:<registry_port>/v2/_catalog {"repositories":["<Repo_Name>"]}$ curl -k -u <user>:<password> https://registry.example.com:<registry_port>/v2/_catalog {"repositories":["<Repo_Name>"]}Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.16. 기타 문제 링크 복사링크가 클립보드에 복사되었습니다!
5.16.1. runtime network not ready 오류 해결 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 배포 후 다음과 같은 오류가 발생할 수 있습니다.
`runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: Missing CNI default network`
`runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: Missing CNI default network`
Cluster Network Operator는 설치 프로그램에서 생성된 특수 오브젝트에 대한 응답으로 네트워킹 구성 요소를 배포합니다. 컨트롤 플레인 (마스터) 노드가 시작된 후 부트스트랩 컨트롤 플레인이 중지되기 전에 설치 프로세스 초기에 실행됩니다. 컨트롤 플레인 (마스터) 노드를 가져오는 데 긴 지연 또는 apiserver 통신 문제와 같은 미묘한 설치 프로그램 문제를 나타낼 수 있습니다.
프로세스
openshift-network-operator네임 스페이스에서 Pod를 검사합니다.oc get all -n openshift-network-operator
$ oc get all -n openshift-network-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow NAME READY STATUS RESTARTS AGE pod/network-operator-69dfd7b577-bg89v 0/1 ContainerCreating 0 149m
NAME READY STATUS RESTARTS AGE pod/network-operator-69dfd7b577-bg89v 0/1 ContainerCreating 0 149mCopy to Clipboard Copied! Toggle word wrap Toggle overflow provisioner노드에서 네트워크 구성이 존재하는지 확인합니다.kubectl get network.config.openshift.io cluster -oyaml
$ kubectl get network.config.openshift.io cluster -oyamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 존재하지 않는 경우 설치 프로그램이 이를 생성하지 않았습니다. 설치 프로그램이 생성하지 않은 이유를 확인하려면 다음을 실행합니다.
openshift-install create manifests
$ openshift-install create manifestsCopy to Clipboard Copied! Toggle word wrap Toggle overflow network-operator가 실행되고 있는지 확인합니다.kubectl -n openshift-network-operator get pods
$ kubectl -n openshift-network-operator get podsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 로그를 검색합니다.
kubectl -n openshift-network-operator logs -l "name=network-operator"
$ kubectl -n openshift-network-operator logs -l "name=network-operator"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 3 개 이상의 컨트롤 플레인 (마스터) 노드가 있는 고가용성 클러스터에서 Operator는 리더의 선택을 실행하고 다른 Operator는 절전 모드로 전환합니다. 자세한 내용은 Troubleshooting을 참조하십시오.
클러스터를 배포한 후 다음과 같은 오류 메시지가 표시될 수 있습니다.
No disk found with matching rootDeviceHints
No disk found with matching rootDeviceHints
rootDeviceHints 오류 메시지와 일치하는 No disk found 를 해결하기 위해 임시 해결 방법은 rootDeviceHints 를 minSizeGigabytes: 300 로 변경하는 것입니다.
rootDeviceHints 설정을 변경한 후 CoreOS를 부팅한 다음 다음 명령을 사용하여 디스크 정보를 확인합니다.
udevadm info /dev/sda
$ udevadm info /dev/sda
DL360keygen 10 서버를 사용하는 경우 /dev/sda 장치 이름이 할당될 수 있는 SD 카드 슬롯이 있다는 점에 유의하십시오. 서버에 SD 카드가 없으면 충돌이 발생할 수 있습니다. 서버의 BIOS 설정에서 SD 카드 슬롯이 비활성화되어 있는지 확인합니다.
minSizeGigabytes 해결방법이 요구 사항을 충족하지 않는 경우 rootDeviceHints 를 /dev/sda 로 되돌려야 할 수 있습니다. 이러한 변경을 통해 ironic 이미지를 성공적으로 부팅할 수 있습니다.
이 문제를 해결하기 위한 대체 방법은 디스크의 직렬 ID를 사용하는 것입니다. 그러나 직렬 ID를 찾는 것은 어려울 수 있으며 구성 파일을 읽을 수 없게 만들 수 있습니다. 이 경로를 선택하는 경우 이전에 문서화한 명령을 사용하여 직렬 ID를 수집하여 구성에 통합해야 합니다.
5.16.3. DHCP를 통해 올바른 IPv6 주소를 얻지 못하는 클러스터 노드 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 노드가 DHCP를 통해 올바른 IPv6 주소를 얻지 못하는 경우 다음을 확인합니다.
- 예약 된 IPv6 주소가 DHCP 범위 밖에 있는지 확인합니다.
DHCP 서버의 IP 주소 예약에서 예약에 올바른 DHCP 고유 식별자 (DUID)가 지정되어 있는지 확인합니다. 예를 들면 다음과 같습니다.
# This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]
# This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 경로 알림 (Route Announcement)이 제대로 작동하는지 확인합니다.
- DHCP 서버가 IP 주소 범위를 제공하는 데 필요한 인터페이스에서 수신하고 있는지 확인합니다.
5.16.4. DHCP를 통해 올바른 호스트 이름을 얻지 못하는 클러스터 노드 링크 복사링크가 클립보드에 복사되었습니다!
IPv6 배포 중에 클러스터 노드는 DHCP를 통해 호스트 이름을 검색해야 합니다. 경우에 따라 NetworkManager가 호스트 이름을 즉시 할당하지 않을 수 있습니다. 컨트롤 플레인 (마스터) 노드는 다음과 같은 오류를 보고할 수 있습니다.
Failed Units: 2 NetworkManager-wait-online.service nodeip-configuration.service
Failed Units: 2
NetworkManager-wait-online.service
nodeip-configuration.service
이 오류는 클러스터 노드가 DHCP 서버에서 호스트 이름을 받지 않고 부팅되었을 가능성이 있음을 나타냅니다. 이로 인해 kubelet이 localhost.localdomain 호스트 이름으로 부팅됩니다. 이 문제를 해결하려면 노드가 호스트 이름을 업데이트하도록 합니다.
프로세스
hostname을 검색합니다.hostname
[core@master-X ~]$ hostnameCopy to Clipboard Copied! Toggle word wrap Toggle overflow 호스트 이름이
localhost인 경우 다음 단계를 진행합니다.참고여기서
X는 컨트롤 플레인 노드 번호입니다.클러스터 노드가 DHCP 임대를 갱신하도록 합니다.
sudo nmcli con up "<bare_metal_nic>"
[core@master-X ~]$ sudo nmcli con up "<bare_metal_nic>"Copy to Clipboard Copied! Toggle word wrap Toggle overflow &
lt;bare_metal_nic>을baremetal네트워크에 해당하는 유선 연결로 바꿉니다.hostname다시 확인하십시오.hostname
[core@master-X ~]$ hostnameCopy to Clipboard Copied! Toggle word wrap Toggle overflow 호스트 이름이 여전히
localhost.localdomain인 경우NetworkManager를 다시 시작합니다.sudo systemctl restart NetworkManager
[core@master-X ~]$ sudo systemctl restart NetworkManagerCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
호스트 이름이 여전히
localhost.localdomain인 경우 몇 분 기다린 후 다시 확인하십시오. 호스트 이름이localhost.localdomain으로 남아 있으면 이전 단계를 반복합니다. nodeip-configuration서비스를 다시 시작합니다.sudo systemctl restart nodeip-configuration.service
[core@master-X ~]$ sudo systemctl restart nodeip-configuration.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 서비스는 올바른 호스트 이름 참조를 사용하여
kubelet서비스를 재구성합니다.이전 단계에서 kubelet이 변경되었으므로 단위 파일 정의를 다시 로드하십시오.
sudo systemctl daemon-reload
[core@master-X ~]$ sudo systemctl daemon-reloadCopy to Clipboard Copied! Toggle word wrap Toggle overflow kubelet서비스를 다시 시작합니다.sudo systemctl restart kubelet.service
[core@master-X ~]$ sudo systemctl restart kubelet.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow kubelet이 올바른 호스트 이름으로 부팅되었는지 확인합니다.sudo journalctl -fu kubelet.service
[core@master-X ~]$ sudo journalctl -fu kubelet.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow
클러스터 가동 후 (예: 클러스터를 다시 시작) 클러스터 노드가 DHCP를 통해 올바른 호스트 이름을 얻지 못하는 경우 클러스터에 csr은 보류 처리됩니다. csr을 승인 하지 마십시오. 그렇지 않으면 다른 문제가 발생할 수 있습니다.
CSR 처리
클러스터에서 CSR을 가져옵니다.
oc get csr
$ oc get csrCopy to Clipboard Copied! Toggle word wrap Toggle overflow 보류중인
CSR에Subject Name: localhost.localdomain이 포함되어 있는지 확인합니다.oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -text$ oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -textCopy to Clipboard Copied! Toggle word wrap Toggle overflow Subject Name: localhost.localdomain이 포함된 모든csr을 제거합니다.oc delete csr <wrong_csr>
$ oc delete csr <wrong_csr>Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.16.5. 루트가 엔드 포인트에 도달하지 않음 링크 복사링크가 클립보드에 복사되었습니다!
설치 프로세스 중에 VRRP (Virtual Router Redundancy Protocol) 충돌이 발생할 수 있습니다. 특정 클러스터 이름을 사용하여 클러스터 배포의 일부였던 이전에 사용된 OpenShift Container Platform 노드가 여전히 실행 중이지만 동일한 클러스터 이름을 사용하는 현재 OpenShift Container Platform 클러스터 배포의 일부가 아닌 경우 이러한 충돌이 발생할 수 있습니다. 예를 들어 클러스터는 클러스터 이름 openshift를 사용하여 3 개의 컨트롤 플레인 (마스터) 노드와 3 개의 작업자 노드를 배포합니다. 나중에 다른 설치에서 동일한 클러스터 이름 openshift를 사용하지만 이 재배포에서는 3 개의 컨트롤 플레인 (마스터) 노드 만 설치하여 이전 배포의 작업자 노드 3 개를 ON 상태로 유지합니다. 이로 인해 VRID (Virtual Router Identifier) 충돌 및 VRRP 충돌이 발생할 수 있습니다.
루트를 가져옵니다.
oc get route oauth-openshift
$ oc get route oauth-openshiftCopy to Clipboard Copied! Toggle word wrap Toggle overflow 서비스 엔드 포인트를 확인합니다.
oc get svc oauth-openshift
$ oc get svc oauth-openshiftCopy to Clipboard Copied! Toggle word wrap Toggle overflow NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE oauth-openshift ClusterIP 172.30.19.162 <none> 443/TCP 59m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE oauth-openshift ClusterIP 172.30.19.162 <none> 443/TCP 59mCopy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 (마스터) 노드에서 서비스에 연결을 시도합니다.
curl -k https://172.30.19.162
[core@master0 ~]$ curl -k https://172.30.19.162Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow provisioner노드에서authentication-operator오류를 식별합니다.oc logs deployment/authentication-operator -n openshift-authentication-operator
$ oc logs deployment/authentication-operator -n openshift-authentication-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"Copy to Clipboard Copied! Toggle word wrap Toggle overflow
해결책
- 모든 배포의 클러스터 이름이 고유한지 확인하여 충돌이 발생하지 않도록합니다.
- 동일한 클러스터 이름을 사용하는 클러스터 배포의 일부가 아닌 잘못된 노드 모두를 종료합니다. 그렇지 않으면 OpenShift Container Platform 클러스터의 인증 pod가 정상적으로 시작되지 않을 수 있습니다.
5.16.6. Firstboot 동안 Ignition 실패 링크 복사링크가 클립보드에 복사되었습니다!
Firstboot 중에 Ignition 설정이 실패할 수 있습니다.
프로세스
Ignition 설정이 실패한 노드에 연결합니다.
Failed Units: 1 machine-config-daemon-firstboot.service
Failed Units: 1 machine-config-daemon-firstboot.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow machine-config-daemon-firstboot서비스를 다시 시작합니다.sudo systemctl restart machine-config-daemon-firstboot.service
[core@worker-X ~]$ sudo systemctl restart machine-config-daemon-firstboot.serviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.16.7. NTP가 동기화되지 않음 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 클러스터를 배포하려면 클러스터 노드 간의 NTP 시계가 동기화되어야합니다. 동기화된 시계가 없으면 시간 차이가 2 초보다 크면 클럭 드리프트로 인해 배포 실패할 수 있습니다.
프로세스
클러스터 노드의
AGE차이를 확인하십시오. 예를 들면 다음과 같습니다.oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow NAME STATUS ROLES AGE VERSION master-0.cloud.example.com Ready master 145m v1.29.4 master-1.cloud.example.com Ready master 135m v1.29.4 master-2.cloud.example.com Ready master 145m v1.29.4 worker-2.cloud.example.com Ready worker 100m v1.29.4
NAME STATUS ROLES AGE VERSION master-0.cloud.example.com Ready master 145m v1.29.4 master-1.cloud.example.com Ready master 135m v1.29.4 master-2.cloud.example.com Ready master 145m v1.29.4 worker-2.cloud.example.com Ready worker 100m v1.29.4Copy to Clipboard Copied! Toggle word wrap Toggle overflow 클럭 드리프트로 인한 일관성없는 시간 지연을 확인하십시오. 예를 들면 다음과 같습니다.
oc get bmh -n openshift-machine-api
$ oc get bmh -n openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow master-1 error registering master-1 ipmi://<out_of_band_ip>
master-1 error registering master-1 ipmi://<out_of_band_ip>Copy to Clipboard Copied! Toggle word wrap Toggle overflow sudo timedatectl
$ sudo timedatectlCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow
기존 클러스터에서 클럭 드리프트 처리
노드에 전송할
chrony.conf파일의 내용을 포함하여 Butane 구성 파일을 만듭니다. 다음 예제에서99-master-chrony.bu를 생성하여 파일을 컨트롤 플레인 노드에 추가합니다. 작업자 노드의 파일을 변경하거나 작업자 역할에 대해 이 절차를 반복할 수 있습니다.참고Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;NTP_server>를 NTP 서버의 IP 주소로 바꿉니다.
Butane을 사용하여 노드에 전달할 구성이 포함된
MachineConfig파일99-master-chrony.yaml을 생성합니다.butane 99-master-chrony.bu -o 99-master-chrony.yaml
$ butane 99-master-chrony.bu -o 99-master-chrony.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow MachineConfig오브젝트를 적용합니다.oc apply -f 99-master-chrony.yaml
$ oc apply -f 99-master-chrony.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow System clock synchronized값이 yes 인지 확인하십시오.sudo timedatectl
$ sudo timedatectlCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 배포 전에 클럭 동기화를 설정하려면 매니페스트 파일을 생성하고이 파일을
openshift디렉터리에 추가합니다. 예를 들면 다음과 같습니다.cp chrony-masters.yaml ~/clusterconfigs/openshift/99_masters-chrony-configuration.yaml
$ cp chrony-masters.yaml ~/clusterconfigs/openshift/99_masters-chrony-configuration.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 그런 다음 계속해서 클러스터를 만듭니다.
5.17. 설치 확인 링크 복사링크가 클립보드에 복사되었습니다!
설치 후 설치 프로그램이 노드와 Pod를 성공적으로 배포했는지 확인합니다.
프로세스
OpenShift Container Platform 클러스터 노드가 적절하게 설치되면
STATUS열에Ready상태가 표시됩니다.oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow NAME STATUS ROLES AGE VERSION master-0.example.com Ready master,worker 4h v1.29.4 master-1.example.com Ready master,worker 4h v1.29.4 master-2.example.com Ready master,worker 4h v1.29.4
NAME STATUS ROLES AGE VERSION master-0.example.com Ready master,worker 4h v1.29.4 master-1.example.com Ready master,worker 4h v1.29.4 master-2.example.com Ready master,worker 4h v1.29.4Copy to Clipboard Copied! Toggle word wrap Toggle overflow 설치 프로그램이 모든 pod를 성공적으로 배포했는지 확인합니다. 다음 명령은 아직 실행 중이거나 출력의 일부로 완료된 모든 pod를 제거합니다.
oc get pods --all-namespaces | grep -iv running | grep -iv complete
$ oc get pods --all-namespaces | grep -iv running | grep -iv completeCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6장. 설치 프로그램에서 제공하는 설치 후 구성 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자 프로비저닝 클러스터를 성공적으로 배포한 후 다음 설치 후 절차를 고려하십시오.
6.1. 선택사항: 연결이 끊긴 클러스터의 NTP 구성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform은 클러스터 노드에 chrony Network Time Protocol(NTP) 서비스를 설치합니다. 다음 절차에 따라 컨트롤 플레인 노드에서 NTP 서버를 구성하고 배포 후 컴퓨팅 노드를 컨트롤 플레인 노드의 NTP 클라이언트로 구성합니다.
OpenShift Container Platform 노드는 올바로 실행되려면 날짜와 시간에 동의해야 합니다. 컴퓨팅 노드가 컨트롤 플레인 노드의 NTP 서버에서 날짜와 시간을 검색할 때 라우팅 가능한 네트워크에 연결되지 않은 클러스터를 설치 및 실행할 수 있으므로 상위 계층 NTP 서버에 액세스할 수 없습니다.
프로세스
다음 명령을 사용하여 설치 호스트에 Butane을 설치합니다.
sudo dnf -y install butane
$ sudo dnf -y install butaneCopy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 노드에 대한
chrony.conf파일의 콘텐츠를 포함하여 Butane 구성,99-master-chrony-conf-override.bu를 만듭니다.참고Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.
Butane 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
<cluster-name>을 클러스터 이름으로 바꾸고<domain>을 정규화된 도메인 이름으로 교체해야 합니다.
Butane을 사용하여 컨트롤 플레인 노드에 전달할 구성이 포함된
MachineConfig파일99-master-chrony-conf-override.yaml을 생성합니다.butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml
$ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 노드의 NTP 서버를 참조하는 컴퓨팅 노드의
chrony.conf파일의 내용을 포함하여 Butane 구성99-worker-chrony-conf-override.bu를 만듭니다.Butane 구성의 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
<cluster-name>을 클러스터 이름으로 바꾸고<domain>을 정규화된 도메인 이름으로 교체해야 합니다.
Butane을 사용하여 작업자 노드로 전달할 구성이 포함된
MachineConfig개체 파일99-worker-chrony-conf-override.yaml을 생성합니다.butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml
$ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 99-master-chrony-conf-override.yaml정책을 컨트롤 플레인 노드에 적용합니다.oc apply -f 99-master-chrony-conf-override.yaml
$ oc apply -f 99-master-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
machineconfig.machineconfiguration.openshift.io/99-master-chrony-conf-override created
machineconfig.machineconfiguration.openshift.io/99-master-chrony-conf-override createdCopy to Clipboard Copied! Toggle word wrap Toggle overflow 99-worker-chrony-conf-override.yaml정책을 컴퓨팅 노드에 적용합니다.oc apply -f 99-worker-chrony-conf-override.yaml
$ oc apply -f 99-worker-chrony-conf-override.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
machineconfig.machineconfiguration.openshift.io/99-worker-chrony-conf-override created
machineconfig.machineconfiguration.openshift.io/99-worker-chrony-conf-override createdCopy to Clipboard Copied! Toggle word wrap Toggle overflow 적용된 NTP 설정 상태를 확인합니다.
oc describe machineconfigpool
$ oc describe machineconfigpoolCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2. 설치 후 프로비저닝 네트워크 활성화 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 클러스터에 지원되는 설치 프로그램 및 설치 관리자 프로비저닝 설치는 provisioning 네트워크 없이 클러스터를 배포하는 기능을 제공합니다. 이 기능은 개념 증명 클러스터 또는 각 노드의 베이스보드 관리 컨트롤러를 baremetal 네트워크를 통해 라우팅할 수 있는 Redfish 가상 미디어 전용 배포와 같은 시나리오에 적합합니다.
CVO(Cluster Baremetal Operator)를 사용하여 설치 후 provisioning 네트워크를 활성화할 수 있습니다.
사전 요구 사항
- 모든 작업자 및 컨트롤 플레인 노드에 연결된 전용 물리적 네트워크가 있어야 합니다.
- 태그가 지정되지 않은 기본 물리적 네트워크를 분리해야 합니다.
-
provisioningNetwork구성 설정이Managed로 설정된 경우 네트워크에 DHCP 서버가 있을 수 없습니다. -
OpenShift Container Platform 4.10에서
provisioningInterface설정을 생략하여bootMACAddress구성 설정을 사용할 수 있습니다.
프로세스
-
provisioningInterface설정을 설정할 때 먼저 클러스터 노드의 프로비저닝 인터페이스 이름을 확인합니다. 예를 들어eth0또는eno1입니다. -
클러스터 노드의
provisioning네트워크 인터페이스에서 PXE(Preboot eXecution Environment)를 활성화합니다. provisioning 네트워크의 현재 상태를 검색하여
provisioningCR(사용자 정의 리소스) 파일에 저장합니다.oc get provisioning -o yaml > enable-provisioning-nw.yaml
$ oc get provisioning -o yaml > enable-provisioning-nw.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 프로비저닝 CR 파일을 수정합니다.
vim ~/enable-provisioning-nw.yaml
$ vim ~/enable-provisioning-nw.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 아래로 스크롤하여
provisioningNetwork구성 설정으로 이동한 후Disabled에서Managed로 변경합니다. 그런 다음provisioningNetwork설정 후provisioningIP,provisioningNetworkCIDR,provisioningDHCPRange,provisioningInterface및watchAllNameSpaces구성 설정을 추가합니다. 각 설정에 적절한 값을 제공합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
provisioningNetwork는Managed,Unmanaged또는Disabled중 하나입니다.Managed로 설정하면 Metal3에서 프로비저닝 네트워크를 관리하고 CBO는 구성된 DHCP 서버를 사용하여 Metal3 pod를 배포합니다.Unmanaged로 설정하면 시스템 관리자가 DHCP 서버를 수동으로 구성합니다.- 2
provisioningIP는 DHCP 서버와 ironic에서 네트워크를 프로비저닝하는 데 사용하는 고정 IP 주소입니다. 이 고정 IP 주소는provisioning서브넷 내에 있어야 하며 DHCP 범위 외부에 있어야 합니다. 이 설정을 구성하는 경우provisioning네트워크가Disabled인 경우에도 유효한 IP 주소가 있어야 합니다. 고정 IP 주소는 metal3 pod에 바인딩됩니다. metal3 pod에 장애가 발생하여 다른 서버로 이동하는 경우 고정 IP 주소도 새 서버로 이동합니다.- 3
- CIDR(Classless Inter-Domain Routing) 주소입니다. 이 설정을 구성하는 경우
provisioning네트워크가Disabled인 경우에도 유효한 CIDR 주소가 있어야 합니다. 예:192.168.0.1/24 - 4
- DHCP 범위입니다. 이 설정은
Managed프로비저닝 네트워크에만 적용할 수 있습니다.provisioning네트워크가Disabled인 경우 이 구성 설정을 생략합니다. 예:192.168.0.64, 192.168.0.253. - 5
- 클러스터 노드의
provisioning인터페이스의 NIC 이름입니다.provisioningInterface설정은Managed및Unmanaged프로비저닝 네트워크에만 적용할 수 있습니다.provisioning네트워크가Disabled인 경우provisioningInterface구성 설정을 생략합니다. 대신bootMACAddress구성 설정을 사용하려면provisioningInterface구성 설정을 생략합니다. - 6
- metal3가 기본
openshift-machine-api네임스페이스 이외의 네임스페이스를 감시하도록 하려면 이 설정을true로 설정합니다. 기본값은false입니다.
- 프로비저닝 CR 파일에 변경 사항을 저장합니다.
프로비저닝 CR 파일을 클러스터에 적용합니다.
oc apply -f enable-provisioning-nw.yaml
$ oc apply -f enable-provisioning-nw.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.3. 사용자 지정 br-ex 브리지를 포함하는 매니페스트 오브젝트 생성 링크 복사링크가 클립보드에 복사되었습니다!
사용자 지정 br-ex 브리지가 포함된 매니페스트 오브젝트를 생성하는 다음 사용 사례를 고려하십시오.
-
OVS(Open vSwitch) 또는 OVN-Kubernetes
br-ex브리지 네트워크 변경과 같은 브릿지를 사후 설치하려고 합니다.configure-ovs.sh쉘 스크립트는 브리지를 사후 설치하도록 지원하지 않습니다. - 호스트 또는 서버 IP 주소에 사용 가능한 인터페이스와 다른 인터페이스에 브리지를 배포하려고 합니다.
-
configure-ovs.sh쉘 스크립트에서 사용할 수 없는 고급 구성을 브리지에 설정하려고 합니다. 이러한 구성에 스크립트를 사용하면 브리지가 여러 네트워크 인터페이스를 연결하고 인터페이스 간 데이터 전달을 용이하게 할 수 있습니다.
사전 요구 사항
-
대체 방법을 사용하여
configure-ovs를 사용하여 사용자 지정br-ex를 설정합니다. - Kubernetes NMState Operator가 설치되어 있어야 합니다.
프로세스
NodeNetworkConfigurationPolicy(NNCP) CR을 생성하고 사용자 지정br-ex브리지 네트워크 구성을 정의합니다.br-exNNCP CR에는 네트워크의 OVN-Kubernetes masquerade IP 주소와 서브넷이 포함되어야 합니다. 예제 NNCP CR에는ipv4.address.ip및ipv6.address.ip매개변수에 기본값이 포함되어 있습니다.ipv4.address.ip,ipv6.address.ip또는 두 매개변수 모두에서 masquerade IP 주소를 설정할 수 있습니다.중요설치 후 작업에서는 사용자 지정된
br-ex브리지의 기본 IP 주소를 변경할 수 없습니다. 단일 스택 클러스터 네트워크를 듀얼 스택 클러스터 네트워크로 변환하려면 NNCP CR에서 보조 IPv6 주소를 추가하거나 변경할 수 있지만 기존 기본 IP 주소는 변경할 수 없습니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음과 같습니다.
metadata.name- 정책 이름입니다.
interfaces.name- 인터페이스 이름입니다.
interfaces.type- 이더넷 유형입니다.
interfaces.state- 생성 후 인터페이스에 요청되는 상태입니다.
ipv4.enabled- 이 예에서는 IPv4 및 IPv6을 비활성화합니다.
port.name- 브리지가 연결된 노드 NIC입니다.
address.ip- 는 기본 IPv4 및 IPv6 IP 주소를 표시합니다. 네트워크의 masquerade IPv4 및 IPv6 IP 주소를 설정해야 합니다.
auto-route-metric-
매개변수를
48으로 설정하여br-ex기본 경로가 항상 우선 순위가 가장 높은지(가장 낮은 메트릭)인지 확인합니다. 이 구성은NetworkManager서비스에서 자동으로 구성하는 다른 인터페이스와의 라우팅 충돌을 방지합니다.
다음 단계
-
컴퓨팅 노드를 확장하여 사용자 지정
br-ex브리지가 포함된 매니페스트 오브젝트를 클러스터에 있는 각 컴퓨팅 노드에 적용합니다. 자세한 내용은 추가 리소스 섹션의 "클러스터 확장"을 참조하십시오.
6.4. 사용자 지정 br-ex 브리지로 중단 변경 링크 복사링크가 클립보드에 복사되었습니다!
특정 상황에서는 계획된 유지 관리 또는 네트워크 구성 업데이트를 위해 br-ex 브릿지를 중단해야 할 수 있습니다. br-ex 브리지는 워크로드의 모든 외부 네트워크 트래픽의 게이트웨이이므로 브릿지에 대한 모든 변경으로 외부 네트워크에서 pod 및 가상 머신(VM)의 연결을 일시적으로 해제할 수 있습니다.
다음 절차에서는 예를 사용하여 클러스터 워크로드 실행에 미치는 영향을 최소화하는 br-ex 브릿지를 중단하는 것을 보여줍니다.
클러스터의 모든 노드가 br-ex 브리지 변경 사항을 수신하려면 클러스터를 재부팅해야 합니다. 기존 MachineConfig 오브젝트를 편집해도 재부팅 작업이 강제 적용되지 않으므로 클러스터에 대한 재부팅 작업을 강제 적용하려면 추가 MachineConfig 오브젝트를 생성해야 합니다.
Red Hat은 노드의 IP 주소 변경을 postintallation 작업으로 지원하지 않습니다.
사전 요구 사항
-
br-ex브리지를 포함하는 매니페스트 오브젝트를 생성했습니다. -
br-ex브리지가 구성된 클러스터를 배포했습니다.
프로세스
br-ex브리지 네트워크 인터페이스를 사용자 정의하기 위해 클러스터 설치 중에 생성한 NMState 구성 파일을 변경합니다.중요MachineConfig오브젝트를 저장하기 전에 변경된 매개변수 값을 확인합니다. 잘못된 값을 입력하고 파일을 저장하면 파일을 원래 상태로 복구할 수 없으며 클러스터의 네트워킹 기능에 영향을 미칩니다.base64명령을 사용하여 다음 명령을 입력하여 NMState 구성의 내용을 다시 인코딩합니다.base64 -w0 <nmstate_configuration>.yml
$ base64 -w0 <nmstate_configuration>.yml1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- &
lt;nmstate_configuration>을 NMState 리소스 YAML 파일의 이름으로 바꿉니다.
-
클러스터 설치 중에 생성한
MachineConfig매니페스트 파일을 업데이트하고 사용자 지정된br-ex브리지 네트워크 인터페이스를 다시 정의합니다. 다음 명령을 입력하여
MachineConfig오브젝트의 업데이트를 클러스터에 적용합니다.oc apply -f <machine_config>.yml
$ oc apply -f <machine_config>.ymlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 베어
MachineConfig오브젝트를 생성하지만 파일을 구성하지 마십시오.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 입력하여 베어
MachineConfig오브젝트 구성을 클러스터에 적용하여 재부팅 작업을 시작합니다.oc apply -f <bare_machine_config>.yml
$ oc apply -f <bare_machine_config>.ymlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 클러스터의 각 노드에 다음 명령을 입력하여 재부팅이 완료되었음을 나타내는
Ready상태가 있는지 확인합니다.oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 입력하여 베어
MachineConfig오브젝트를 삭제합니다.oc delete machineconfig <machine_config_name>
$ oc delete machineconfig <machine_config_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
nmstatectl툴을 사용하여 다음 명령을 실행하여br-ex브리지 인터페이스의 구성을 확인합니다. 이 툴은MachineConfig오브젝트를 배포한 위치가 아닌br-ex브리지 인터페이스를 실행하는 노드를 확인합니다.sudo nmstatectl show br-ex
$ sudo nmstatectl show br-exCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7장. 클러스터 확장 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자 프로비저닝 OpenShift Container Platform 클러스터를 배포한 후 다음 절차를 사용하여 작업자 노드 수를 확장할 수 있습니다. 가능한 각 작업자 노드가 사전 요구 사항을 충족하는지 확인합니다.
RedFish Virtual Media를 사용하여 클러스터를 구성하려면 최소 펌웨어 요구 사항을 충족해야 합니다. RedFish Virtual Media를 사용하여 클러스터를 설정할 때 추가 세부 사항은 사전 요구 사항 섹션에서 가상 미디어를 사용하여 설치를 위한 펌웨어 요구 사항을 참조하십시오.
7.1. 베어 메탈 노드 준비 링크 복사링크가 클립보드에 복사되었습니다!
클러스터를 확장하려면 노드에 관련 IP 주소를 제공해야 합니다. 이 작업은 정적 구성 또는 DHCP(Dynamic Host Configuration Protocol) 서버를 사용하여 수행할 수 있습니다. DHCP 서버를 사용하여 클러스터를 확장하는 경우 각 노드에 DHCP 예약이 있어야 합니다.
일부 관리자는 각 노드의 IP 주소가 DHCP 서버에서 일정하게 유지되도록 고정 IP 주소를 사용하는 것을 선호합니다. NMState를 사용하여 고정 IP 주소를 구성하려면 자세한 내용은 "OpenShift 설치를 위한 환경 설정" 섹션의 "선택 사항: install-config.yaml 파일에서 호스트 네트워크 인터페이스 구성"을 참조하십시오.
베어 메탈 노드를 준비하려면 프로비저너 노드에서 다음 절차를 실행해야 합니다.
프로세스
oc바이너리를 가져옵니다.curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - oc
$ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - ocCopy to Clipboard Copied! Toggle word wrap Toggle overflow sudo cp oc /usr/local/bin
$ sudo cp oc /usr/local/binCopy to Clipboard Copied! Toggle word wrap Toggle overflow - BMC(Baseboard Management Controller)를 사용하여 베어 메탈 노드의 전원을 끄고 꺼졌는지 확인합니다.
베어 메탈 노드의 베이스 보드 관리 컨트롤러의 사용자 이름 및 암호를 검색합니다. 그런 다음 사용자 이름과 암호에서
base64문자열을 생성합니다.echo -ne "root" | base64
$ echo -ne "root" | base64Copy to Clipboard Copied! Toggle word wrap Toggle overflow echo -ne "password" | base64
$ echo -ne "password" | base64Copy to Clipboard Copied! Toggle word wrap Toggle overflow 베어 메탈 노드에 대한 구성 파일을 생성합니다. 정적 구성 또는 DHCP 서버를 사용 중인지에 따라 다음 예제
bmh.yaml파일 중 하나를 사용하여 YAML의 값을 사용자 환경과 일치시킵니다.vim bmh.yaml
$ vim bmh.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 정적 구성
bmh.yaml:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 새로 생성된 노드의 네트워크 인터페이스를 구성하려면 네트워크 구성이 포함된 시크릿의 이름을 지정합니다.
nmstate구문을 따라 노드의 네트워크 구성을 정의합니다. NMState 구문 구성에 대한 자세한 내용은 install-config.yaml 파일에서 "선택 사항: 호스트 네트워크 인터페이스 구성"을 참조하십시오. - 2 10 13 16
- 베어 메탈 노드의 작업자 번호에 대한
<num>을name필드,credentialsName필드,preprovisioningNetworkDataName필드로 바꿉니다. - 3
- NMState YAML 구문을 추가하여 호스트 인터페이스를 구성합니다.
- 4
- 선택 사항:
nmstate를 사용하여 네트워크 인터페이스를 구성하고 인터페이스를 비활성화하려면 다음과 같이 IP 주소가enabled: false로 설정된state: up을 설정합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 5 6 7 8 9
- <
nic1_name> , <ip_address> , <dns_ip_address> , <next_hop_ip_address> 및 <next_hop_nic1_name>을 적절한 값으로 바꿉니다. - 11 12
- <
base64_of_uid> 및 <base64_of_pwd>를 사용자 이름과 암호의 base64 문자열로 바꿉니다. - 14
- &
lt;nic1_mac_address>를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다. 추가 BMC 구성 옵션은 "BMC 주소 지정" 섹션을 참조하십시오. - 15
<protocol>을 IPMI, RedFish 또는 기타와 같은 BMC 프로토콜로 바꿉니다. <bmc_url>을 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 URL로 바꿉니다.- 17
- 인증서 검증을 건너뛰려면
disableCertificateVerification을 true로 설정합니다. - 18 19
- &
lt;bmc_username> 및 <bmc_password>를 BMC 사용자 이름 및 암호 문자열로 바꿉니다. - 20
- 선택 사항:
루트 장치 힌트를 지정하는 경우 <root_device_hint>를 장치 경로로 바꿉니다. - 21
- 선택 사항: 새로 생성된 노드에 대한 네트워크 인터페이스를 구성한 경우 BareMetalHost CR의
preprovisioningNetworkDataName에 네트워크 구성 시크릿 이름을 제공합니다.
DHCP 구성
bmh.yaml:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1 4 7
- 베어 메탈 노드의 작업자 번호에 대한
<num>을name필드,credentialsName필드,preprovisioningNetworkDataName필드로 바꿉니다. - 2 3
- <
base64_of_uid> 및 <base64_of_pwd>를 사용자 이름과 암호의 base64 문자열로 바꿉니다. - 5
- &
lt;nic1_mac_address>를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다. 추가 BMC 구성 옵션은 "BMC 주소 지정" 섹션을 참조하십시오. - 6
<protocol>을 IPMI, RedFish 또는 기타와 같은 BMC 프로토콜로 바꿉니다. <bmc_url>을 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 URL로 바꿉니다.- 8
- 인증서 검증을 건너뛰려면
disableCertificateVerification을 true로 설정합니다. - 9 10
- &
lt;bmc_username> 및 <bmc_password>를 BMC 사용자 이름 및 암호 문자열로 바꿉니다. - 11
- 선택 사항:
루트 장치 힌트를 지정하는 경우 <root_device_hint>를 장치 경로로 바꿉니다. - 12
- 선택 사항: 새로 생성된 노드에 대한 네트워크 인터페이스를 구성한 경우 BareMetalHost CR의
preprovisioningNetworkDataName에 네트워크 구성 시크릿 이름을 제공합니다.
참고기존 베어 메탈 노드의 MAC 주소가 프로비저닝하려는 베어 메탈 호스트의 MAC 주소와 일치하면 Ironic 설치가 실패합니다. 호스트 등록, 검사, 정리 또는 기타 Ironic 단계가 실패하면 Bare Metal Operator에서 설치를 지속적으로 다시 시도합니다. 자세한 내용은 "호스트 중복 MAC 주소 진단"을 참조하십시오.
베어 메탈 노드를 생성합니다.
oc -n openshift-machine-api create -f bmh.yaml
$ oc -n openshift-machine-api create -f bmh.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
secret/openshift-worker-<num>-network-config-secret created secret/openshift-worker-<num>-bmc-secret created baremetalhost.metal3.io/openshift-worker-<num> created
secret/openshift-worker-<num>-network-config-secret created secret/openshift-worker-<num>-bmc-secret created baremetalhost.metal3.io/openshift-worker-<num> createdCopy to Clipboard Copied! Toggle word wrap Toggle overflow 여기서
<num>은 작업자 번호입니다.베어 메탈 노드의 전원을 켜고 검사합니다.
oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 여기서
<num>은 작업자 노드 번호입니다.출력 예
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> available true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> available trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고작업자 노드가 클러스터에 참여할 수 있도록
machineset오브젝트를BareMetalHost오브젝트 수로 스케일링합니다. 노드를 수동 또는 자동으로 확장할 수 있습니다. 노드를 자동으로 확장하려면machineset에metal3.io/autoscale-to-hosts주석을 사용합니다.
7.2. 베어 메탈 컨트롤 플레인 노드 교체 링크 복사링크가 클립보드에 복사되었습니다!
설치 관리자 프로비저닝 OpenShift Container Platform 컨트롤 플레인 노드를 교체하려면 다음 절차를 사용하십시오.
기존 컨트롤 플레인 호스트에서 BareMetalHost 오브젝트 정의를 재사용하는 경우 external Provisioned 필드를 true 로 설정하지 마십시오.
OpenShift Container Platform 설치 프로그램에서 프로비저닝한 경우 기존 컨트롤 플레인 BareMetalHost 오브젝트의 external Provisioned 플래그가 true 로 설정될 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. etcd 백업이 수행되었습니다.
중요문제가 발생할 경우 클러스터를 복원할 수 있도록 이 절차를 수행하기 전에 etcd 백업을 수행하십시오. etcd 백업에 대한 자세한 내용은 추가 리소스 섹션을 참조하십시오.
프로세스
Bare Metal Operator를 사용할 수 있는지 확인합니다.
oc get clusteroperator baremetal
$ oc get clusteroperator baremetalCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE baremetal 4.16 True False False 3d15h
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE baremetal 4.16 True False False 3d15hCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이전
BareMetalHost및Machine오브젝트를 제거합니다.oc delete bmh -n openshift-machine-api <host_name>
$ oc delete bmh -n openshift-machine-api <host_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow oc delete machine -n openshift-machine-api <machine_name>
$ oc delete machine -n openshift-machine-api <machine_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow &
lt;host_name>을 호스트 이름으로 바꾸고 <machine_name>을 머신 이름으로 바꿉니다. 시스템 이름은CONSUMER필드에 표시됩니다.BareMetalHost및Machine오브젝트를 제거한 후 머신 컨트롤러에서Node오브젝트를 자동으로 삭제합니다.새로운
BareMetalHost오브젝트와 시크릿을 생성하여 BMC 인증 정보를 저장합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1 4 6
이름필드에서 베어 메탈 노드의 컨트롤 플레인 번호와>을 바꿉니다.credentialsName필드에 <num- 2
- &
lt;base64_of_uid>를 사용자 이름의base64문자열로 바꿉니다. - 3
- &
lt;base64_of_pwd>를 암호의base64문자열로 바꿉니다. - 5
- &
lt;protocol>을 redfish ,,redfish-virtualmediaidrac-virtualmedia등과 같은 BMC 프로토콜로 바꿉니다. <bmc_ip>를 베어 메탈 노드의 베이스 보드 관리 컨트롤러의 IP 주소로 바꿉니다. 추가 BMC 구성 옵션은 추가 리소스 섹션의 "BMC 주소 지정"을 참조하십시오. - 7
- &
lt;NIC1_mac_address>를 베어 메탈 노드의 첫 번째 NIC의 MAC 주소로 바꿉니다.
검사가 완료되면
BareMetalHost오브젝트가 생성되고 프로비저닝할 수 있습니다.사용 가능한
BareMetalHost오브젝트를 확인합니다.oc get bmh -n openshift-machine-api
$ oc get bmh -n openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 컨트롤 플레인 노드에는
MachineSet오브젝트가 없으므로 대신Machine오브젝트를 생성해야 합니다. 다른 컨트롤 플레인Machine오브젝트에서providerSpec을 복사할 수 있습니다.Machine오브젝트를 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow BareMetalHost오브젝트를 보려면 다음 명령을 실행합니다.oc get bmh -A
$ oc get bmh -ACopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow RHCOS 설치 후
BareMetalHost가 클러스터에 추가되었는지 확인합니다.oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고새 컨트롤 플레인 노드를 교체한 후 새 노드에서 실행중인 etcd pod는
crashloopback상태입니다. 자세한 내용은 추가 리소스 섹션의 " 비정상 etcd 멤버 교체"를 참조하십시오.
7.3. 가상 네트워크에서 가상 미디어를 사용하여 배포 준비 링크 복사링크가 클립보드에 복사되었습니다!
provisioning 네트워크가 활성화되어 있고 baremetal 네트워크에서 가상 미디어를 사용하여 클러스터를 확장하려면 다음 절차를 사용하십시오.
사전 요구 사항
-
baremetal네트워크와provisioning네트워크가 있는 기존 클러스터가 있습니다.
프로세스
provisioningCR(사용자 정의 리소스)을 편집하여baremetal네트워크에서 가상 미디어를 사용하여 배포할 수 있습니다.oc edit provisioning
oc edit provisioningCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
provisioningCR에virtualœViaExternalNetwork: true를 추가합니다.
이미지 URL이 있는 경우 API VIP 주소를 사용하도록
머신 세트를편집합니다. 이 단계는 4.9 이전 버전에 설치된 클러스터에만 적용됩니다.oc edit machineset
oc edit machinesetCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow
7.4. 클러스터에서 새 호스트를 프로비저닝할 때 중복된 MAC 주소 진단 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 있는 기존 베어 메탈 노드의 MAC 주소가 클러스터에 추가하려는 베어 메탈 호스트의 MAC 주소와 일치하는 경우 베어 메탈 Operator는 기존 노드와 호스트를 연결합니다. 호스트 등록, 검사, 정리 또는 기타 Ironic 단계가 실패하면 Bare Metal Operator에서 설치를 지속적으로 다시 시도합니다. 실패한 베어 메탈 호스트에 대한 등록 오류가 표시됩니다.
openshift-machine-api 네임스페이스에서 실행 중인 베어 메탈 호스트를 검사하여 중복된 MAC 주소를 진단할 수 있습니다.
사전 요구 사항
- OpenShift Container Platform 클러스터를 베어 메탈에 설치합니다.
-
OpenShift Container Platform CLI
oc를 설치합니다. -
cluster-admin권한이 있는 사용자로 로그인합니다.
프로세스
프로비저닝에 실패하는 베어 메탈 호스트에 기존 노드와 동일한 MAC 주소가 있는지 확인하려면 다음을 수행하십시오.
openshift-machine-api네임스페이스에서 베어 메탈 호스트를 실행합니다.oc get bmh -n openshift-machine-api
$ oc get bmh -n openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 장애가 발생한 호스트의 상태에 대한 자세한 정보를 보려면 다음 명령을 실행하여
<bare_metal_host_name>을 호스트 이름으로 교체합니다.oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yaml
$ oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
7.5. 베어 메탈 노드 프로비저닝 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 노드를 프로비저닝하려면 프로비저너 노드에서 다음 절차를 실행해야 합니다.
프로세스
베어 메탈 노드를 프로비저닝하기 전에
STATE가available한 지 확인합니다.oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 여기서
<num>은 작업자 노드 번호입니다.NAME STATE ONLINE ERROR AGE openshift-worker available true 34h
NAME STATE ONLINE ERROR AGE openshift-worker available true 34hCopy to Clipboard Copied! Toggle word wrap Toggle overflow 작업자 노드 수를 계산합니다.
oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 컴퓨팅 머신 세트를 가져옵니다.
oc get machinesets -n openshift-machine-api
$ oc get machinesets -n openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow NAME DESIRED CURRENT READY AVAILABLE AGE ... openshift-worker-0.example.com 1 1 1 1 55m openshift-worker-1.example.com 1 1 1 1 55m
NAME DESIRED CURRENT READY AVAILABLE AGE ... openshift-worker-0.example.com 1 1 1 1 55m openshift-worker-1.example.com 1 1 1 1 55mCopy to Clipboard Copied! Toggle word wrap Toggle overflow 작업자 노드 수를 하나씩 늘립니다.
oc scale --replicas=<num> machineset <machineset> -n openshift-machine-api
$ oc scale --replicas=<num> machineset <machineset> -n openshift-machine-apiCopy to Clipboard Copied! Toggle word wrap Toggle overflow <num>을 새 작업자 노드 수로 바꿉니다. <machineset>를 이전 단계의 컴퓨팅 머신 세트 이름으로 바꿉니다.베어 메탈 노드 상태를 확인합니다.
oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 여기서
<num>은 작업자 노드 번호입니다. STATE가ready상태에서provisioning으로 변경됩니다.NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioning openshift-worker-<num>-65tjz true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioning openshift-worker-<num>-65tjz trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow provisioning상태는 OpenShift Container Platform 클러스터가 노드를 프로비저닝할 때까지 유지됩니다. 이 작업을 수행하는 데 30분 이상 걸릴 수 있습니다. 노드를 프로비저닝하면 상태가provisioned로 변경됩니다.NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioned openshift-worker-<num>-65tjz true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioned openshift-worker-<num>-65tjz trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow 프로비저닝이 완료되면 베어 메탈 노드가 준비되었는지 확인합니다.
oc get nodes
$ oc get nodesCopy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow kubelet도 확인할 수 있습니다.
ssh openshift-worker-<num>
$ ssh openshift-worker-<num>Copy to Clipboard Copied! Toggle word wrap Toggle overflow [kni@openshift-worker-<num>]$ journalctl -fu kubelet
[kni@openshift-worker-<num>]$ journalctl -fu kubeletCopy to Clipboard Copied! Toggle word wrap Toggle overflow
Legal Notice
링크 복사링크가 클립보드에 복사되었습니다!
Copyright © 2025 Red Hat
OpenShift documentation is licensed under the Apache License 2.0 (https://www.apache.org/licenses/LICENSE-2.0).
Modified versions must remove all Red Hat trademarks.
Portions adapted from https://github.com/kubernetes-incubator/service-catalog/ with modifications by Red Hat.
Red Hat, Red Hat Enterprise Linux, the Red Hat logo, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.