15장. 호스트된 컨트롤 플레인 네트워킹
네트워크 설정을 구성하여 호스트된 컨트롤 플레인으로 최적의 성능을 보장합니다. 이러한 설정에는 컨트롤 플레인 워크로드, 컴퓨팅 노드, 관리 클러스터 및 호스팅된 클러스터에 대한 내부 서브넷 및 프록시 지원이 포함됩니다.
15.1. 호스팅된 컨트롤 플레인에 대한 네트워킹 개요 링크 복사링크가 클립보드에 복사되었습니다!
적절한 네트워크 설계는 호스팅된 컨트롤 플레인의 성능, 자동화 및 보안을 보장할 수 있습니다. 네트워크 구성은 필요한 세그먼트와 클라우드 공급자, 에이전트 플랫폼의 베어 메탈 또는 OpenShift Virtualization과 같이 사용하는 공급자에 따라 다릅니다.
예를 들어 OpenShift Virtualization에서 호스팅되는 컨트롤 플레인의 경우 Pod 네트워크를 사용하고 외부 네트워크를 VM에 브리징하는 등 다양한 네트워크 구성으로 NodePool 가상 머신(VM)을 생성할 수 있습니다. 네트워크 대기 시간 및 처리량은 컨트롤 플레인 통신, 워크로드 트래픽 및 스토리지 액세스를 보장하는 중요한 요소입니다. 전용 물리적 네트워크 어댑터를 사용하면 모든 구성 요소에 대해 적절한 처리량과 짧은 대기 시간을 보장할 수 있습니다.
15.1.1. 컨트롤 플레인 및 데이터 플레인 네트워킹 고려 사항 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인에 대한 네트워킹 구성을 고려할 때 컨트롤 플레인 및 데이터 플레인의 구조를 기억합니다.
- 컨트롤 플레인
컨트롤 플레인에는 전용 네임스페이스의 관리 클러스터에서 실행되는 Pod가 포함됩니다. Pod는 호스팅된 컨트롤 플레인
kube-apiserver구성 요소, OAuth, Ignition 서버 및 Konnectivity 서비스를 노출합니다. 호스트된 클러스터 노드는 데이터 플레인 네트워크를 통해 해당 서비스에 액세스하므로 방화벽이 있는 경우에도 데이터 플레인 네트워크에서 서비스에 연결할 수 있어야 합니다.관리 클러스터 호스트 다른 컨트롤 플레인 및 해당 서비스는 네트워크를 통해 노출됩니다. API의 네트워크 분할은 현재 지원되지 않습니다.
- 데이터 플레인
데이터 플레인에는 워크로드 및 애플리케이션이 실행되는 컴퓨팅, 스토리지 및 네트워킹이 포함됩니다. 컴퓨팅 노드가 최소 2개 이상 있습니다.
예를 들어 데이터 플레인에는 OpenShift Virtualization에서 호스팅되는 베어 메탈 서버 또는 VM으로 표시되는 컴퓨팅 노드가 포함됩니다. OpenShift Virtualization의 경우 관리 클러스터에서 다양한 데이터 플레인을 호스팅할 수 있습니다. 베어 메탈 서버 또는 외부 OpenShift Virtualization 클러스터의 경우 외부 인프라로 데이터 플레인을 호스팅할 수 있습니다.
다음 조건이 true인 경우 일부 VLAN 기반 네트워크 분할이 가능합니다.
- 구성된 모든 VLAN은 트래픽을 API, OAuth, Ignition 서버 및 Konnectivity 서비스의 끝점으로 라우팅할 수 있습니다.
- 호스트된 클러스터 사용자는 API 및 OAuth에 액세스할 수 있습니다.
데이터 플레인의 호스팅된 클러스터의 노드 풀은 Konnectivity, Ignition, OAuth와 같은 컨트롤 플레인에서 실행되는 구성 요소에 따라 달라집니다. 기본적으로
Routeendpoint 게시 전략을 사용하여 이러한 구성 요소를 설치하고 기본 Ingress 컨트롤러에 승인합니다. 이 구성 요소는 종종 관리 클러스터의 기본 네트워크에 설치됩니다. 보조 네트워크에서 이 구현을 분할하려면 컨트롤 플레인과 데이터 플레인 간에 여러 네트워크 흐름을 변경해야 합니다.
15.1.2. 호스트된 컨트롤 플레인에 대한 DHCP 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
DHCP(Dynamic Host Configuration Protocol)의 요구 사항은 플랫폼 공급자에 따라 다릅니다.
- 베어 메탈 공급자의 경우 동적 또는 수동 IP 분할을 사용할 수 있으므로 DHCP 서버는 필수가 아닙니다. 동일한 노드에 항상 동일한 IP 주소가 있는지 확인합니다.
- OpenShift Virtualization의 경우 동적 IP 할당이 유일한 옵션이므로 DHCP 서버가 필수입니다.
15.2. 호스팅된 클러스터의 네트워크 격리 링크 복사링크가 클립보드에 복사되었습니다!
동일한 관리 클러스터를 공유하는 여러 호스팅된 클러스터에 대해 별도의 보안 환경을 제공하기 위해 특정 네트워크 및 VM(가상 머신) 격리 수준으로 호스팅 클러스터를 구성할 수 있습니다.
호스트 클러스터의 경우 네트워크 격리 수준에는 컨테이너 기반 격리, VM 기반 격리 및 물리적 격리가 포함됩니다.
- 컨테이너 기반 격리
- 컨테이너 기반 격리를 사용하면 공유 컴퓨팅 노드를 사용하며 정책, 네임스페이스, 제어 그룹 또는 SELinux 경계에 따라 격리를 적용합니다. 컨트롤 플레인 구성 요소는 각 호스팅된 클러스터에 자체 VM 또는 서버를 제공하는 것이 아니라 Kubernetes 또는 Linux 메커니즘으로 격리된 관리 클러스터에서 포드로 실행됩니다. 각 컨트롤 플레인은 default-deny 네트워킹 및 정의된 트래픽만 허용하는 네트워크 정책이 있는 전용 네임스페이스에서 실행됩니다. Pod는 각 네임스페이스에 대해 고유한 식별자(UID) 범위가 지정된 restricted 보안 컨텍스트 제약 조건을 사용합니다.
- VM 기반 격리
VM 기반 격리를 사용하면 VM 내부에서 호스트된 컨트롤 플레인 Pod를 실행합니다(예: OpenShift Virtualization). 이러한 유형의 격리는 다중 테넌트 관리 클러스터에 대해 컨테이너 기반 격리를 통해 VM 기반 격리가 필요한 경우 유용합니다. 관리 클러스터를 공유하는 호스트 클러스터 간에 하이퍼바이저 경계를 추가합니다. 컨트롤 플레인 Pod는 전용 VM에 고정됩니다.
VM 기반 격리를 수행하려면 각 컨트롤 플레인에 전용 노드가 있는 "공유 없음" 접근 방식을 따릅니다. VM 컴퓨팅 노드를 "shared-nothing" 주석과 함께 사용하여 특정 호스팅 컨트롤 플레인에 전용할 수 있도록 관리 클러스터는 VM의 OpenShift Container Platform 클러스터여야 합니다. 호스트된 컨트롤 플레인은 동일한 관리 클러스터에 있는 다른 호스팅 클러스터의 컨트롤 플레인과 커널 공간을 공유하지 않습니다.
- 물리적 격리
-
물리적 격리를 사용하면 "공유 방지" 접근 방식도 따릅니다. 특정 호스트 클러스터의 노드는 테인트되고 특정
hypershift.openshift.io/hosted-cluster값으로 레이블이 지정됩니다. 보안은 호스트된 클러스터 전체에서 네트워크 정책 및 물리적 네트워크 액세스 제어 목록(ACL)을 사용해야 합니다.
자세한 내용은 "Control Plane isolation" 및 "호스트된 클러스터 워크로드 검색"을 참조하십시오.
15.2.1. 컨트롤 플레인 격리 링크 복사링크가 클립보드에 복사되었습니다!
호스트된 컨트롤 플레인을 구성하여 네트워크 트래픽 또는 컨트롤 플레인 Pod를 분리할 수 있습니다.
호스트된 각 컨트롤 플레인은 전용 Kubernetes 네임스페이스에서 실행되도록 할당됩니다. 기본적으로 Kubernetes 네임스페이스는 모든 네트워크 트래픽을 거부합니다.
다음 네트워크 트래픽은 Kubernetes CNI(Container Network Interface)에서 강제 적용하는 네트워크 정책을 통해 허용됩니다.
- 동일한 네임스페이스(Intra-tenant)의 수신 pod-to-pod 통신
-
테넌트의 호스트된
kube-apiserverPod에 포트 6443의 수신 -
network.openshift.io/policy-group: 모니터링 라벨을 사용하여 관리 클러스터 Kubernetes 네임스페이스의 메트릭 스크랩을 모니터링할 수 있습니다.
15.2.1.1. 컨트롤 플레인 Pod 격리 링크 복사링크가 클립보드에 복사되었습니다!
네트워크 정책 외에도 각 호스팅된 컨트롤 플레인 포드는 restricted 보안 컨텍스트 제약 조건을 사용하여 실행됩니다. 이 정책은 모든 호스트 기능에 대한 액세스를 거부하고 고객 컨트롤 플레인을 호스팅하는 각 네임스페이스에 고유하게 할당된 SELinux 컨텍스트(UID)를 사용하여 Pod를 실행해야 합니다.
이 정책은 다음 제약 조건을 확인합니다.
- Pod는 권한으로 실행할 수 없습니다.
- Pod는 호스트 디렉터리 볼륨을 마운트할 수 없습니다.
- Pod는 사전 할당된 UID 범위에서 사용자로 실행해야 합니다.
- Pod는 사전 할당된 MCS(Multi-Category Security) 라벨을 사용하여 실행해야 합니다.
- Pod는 호스트 네트워크 네임스페이스에 액세스할 수 없습니다.
- Pod는 호스트 네트워크 포트를 노출할 수 없습니다.
- Pod는 호스트 PID 네임스페이스에 액세스할 수 없습니다.
-
기본적으로 Pod는
KILL,MKNOD,SETUID및SETGID와 같은 Linux 기능을 삭제합니다.
각 관리 클러스터 작업자 노드에서 kubelet 및 crio 와 같은 관리 구성 요소는 호스팅된 컨트롤 플레인을 지원하는 Pod의 SELinux 컨텍스트에 액세스할 수 없는 SELinux 레이블로 보호됩니다.
다음 SELinux 레이블은 주요 프로세스 및 소켓에 사용됩니다.
kubelet-
system_u:system_r:unconfined_service_t:s0 crio-
system_u:system_r:container_runtime_t:s0 crio.sock-
system_u:object_r:container_var_run_t:s0 <bx id="1" />-
system_u:system_r:container_t:s0:c14,c24
물리적 또는 VM(가상 머신) 격리를 달성하려면 각 컨트롤 플레인에 전용 노드가 있는 "공유-nothing" 접근 방식을 사용해야 합니다. 특정 호스트 클러스터의 노드는 테인트되고 특정 hypershift.openshift.io/hosted-cluster 값으로 레이블이 지정됩니다. 보안은 호스트된 클러스터 전체에서 네트워크 정책 및 물리적 네트워크 액세스 제어 목록(ACL)을 사용해야 합니다.
15.3. 호스팅된 컨트롤 플레인에 대한 방화벽, 포트 및 서비스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽, 포트 및 서비스 요구 사항을 충족하는지 확인합니다.
15.3.1. 베어 메탈 방화벽, 포트 및 서비스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽, 포트 및 서비스 요구 사항을 충족해야 합니다.
서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.
방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
허브 클러스터에 프록시 구성이 있는 경우 모든 호스팅 클러스터 API 끝점을 프록시 오브젝트의 no 필드에 추가하여 호스팅된 클러스터 API 엔드포인트에 연결할 수 있는지 확인합니다. 자세한 내용은 "클러스터 전체 프록시 구성"을 참조하십시오.
Proxy
호스팅된 컨트롤 플레인은 베어 메탈에 다음 서비스를 노출합니다.
APIServer-
APIServer서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
OAuthServer-
OAuthServer서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우OAuthServer서비스에 방화벽 규칙을 사용합니다.
-
Konnectivity-
Konnectivity서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
Konnectivity에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여Konnectivity서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된NodePort를 사용하여 노출됩니다. - 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
-
Ignition-
Ignition서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우Ignition서비스에 방화벽 규칙을 사용합니다.
-
베어 메탈에는 다음 서비스가 필요하지 않습니다.
-
OVNSbDb -
OIDC
15.3.2. OpenShift Virtualization 방화벽 및 포트 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족하는지 확인합니다.
kube-apiserver서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간의 통신을 위해 수신 액세스가 필요합니다.-
NodePort게시 전략을 사용하는 경우kube-apiserver서비스에 할당된 노드 포트가 노출되어 있는지 확인합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
-
NodePort게시 전략을 사용하는 경우ignition-server및Oauth-server설정에 방화벽 규칙을 사용합니다. 호스팅된 클러스터에서 양방향 통신을 허용하도록 역방향 터널을 설정하는
konnectivity에이전트에는 포트 6443의 클러스터 API 서버 주소에 대한 송신 액세스가 필요합니다. 이 송신 액세스를 사용하면 에이전트가kube-apiserver서비스에 도달할 수 있습니다.- 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
- 기본 6443 포트를 변경하는 경우 해당 변경 사항을 반영하도록 규칙을 조정합니다.
- 클러스터에서 실행되는 워크로드에 필요한 모든 포트를 열어야 합니다.
- 방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오.
- 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
15.3.3. 베어 메탈이 아닌 에이전트 시스템에 대한 방화벽, 포트 및 서비스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족해야 합니다.
서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.
방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
호스팅된 컨트롤 플레인은 베어 메탈이 아닌 에이전트 시스템에 다음 서비스를 노출합니다.
APIServer-
APIServer서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
OAuthServer-
OAuthServer서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우OAuthServer서비스에 방화벽 규칙을 사용합니다.
-
Konnectivity-
Konnectivity서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
Konnectivity에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여Konnectivity서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된NodePort를 사용하여 노출됩니다. - 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
-
Ignition-
Ignition서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우Ignition서비스에 방화벽 규칙을 사용합니다.
-
베어 메탈이 아닌 에이전트 머신에는 다음 서비스가 필요하지 않습니다.
-
OVNSbDb -
OIDC
15.3.4. 방화벽 구성 예 링크 복사링크가 클립보드에 복사되었습니다!
경로 서비스 게시를 사용하는 AWS 배포의 일반적인 호스팅 컨트롤 플레인에 대한 방화벽 구성의 예를 검토합니다.
- Ingress 규칙
-
포트
6443/TCP: Kubernetes API 서버, 컴퓨팅 노드 및 외부 클라이언트 -
포트
443/TCP: 컴퓨팅 노드의 Ignition 또는 Konnectivity 경로용 OpenShift 라우터
-
포트
- 송신 규칙
-
포트
443/TCP: HTTPS, 컨테이너 레지스트리, 경로 및 외부 서비스에 대해 -
포트
6443/TCP: Management cluster API, to management cluster -
포트
53/TCP 및 UDP: DNS, DNS 서버
-
포트
Route 서비스 게시 대신 NodePort 또는 LoadBalancer 서비스 게시를 사용하는 경우 다음 규칙이 적용됩니다.
-
포트
8091/TCP: 컴퓨팅 노드의 Konnectivity 서버 -
포트
8443/TCP: Ignition 프록시, 부트스트랩 프로세스 중 컴퓨팅 노드의,NodePort게시 전략만 -
포트
9090/TCP: Ignition 서버, 부트스트랩 프로세스 중에 컴퓨팅 노드의 Ignition 서버,NodePort게시 전략만 가능
15.4. 호스트된 컨트롤 플레인에 대한 수신 및 송신 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
네트워크 포트를 열어 관리 클러스터, 호스팅된 컨트롤 플레인 구성 요소 및 컴퓨팅 노드 간의 통신을 활성화합니다. 호스팅된 컨트롤 플레인에서 나가는 트래픽에 대해 호스트된 컨트롤 플레인 및 송신 포트로 들어오는 트래픽을 수신 포트로 분류합니다.
15.4.1. 호스트된 컨트롤 플레인에 대한 수신 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
Ingress 포트는 호스팅된 컨트롤 플레인에 대한 들어오는 트래픽을 포함합니다. 관리 클러스터, 호스팅된 컨트롤 플레인 구성 요소 및 컴퓨팅 노드 간의 통신에 올바른 포트가 열려 있는지 확인합니다.
다음 표에서는 모든 플랫폼에서 호스팅되는 컨트롤 플레인으로 들어오는 트래픽의 포트를 자세히 설명합니다.
| 포트 | 프로토콜 | Service | 설명 | 코드 참조 |
|---|---|---|---|---|
|
| TCP | Kubernetes API 서버 |
|
|
|
| TCP | Ignition 서버 |
부트스트랩 프로세스, | - |
서비스 게시 전략에 따라 추가 포트가 결정됩니다. Ignition 프록시 및 Konnectivity 서비스는 다음 서비스 게시 전략 중 하나를 통해 노출됩니다.
경로- 이 설정은 OpenShift Container Platform의 기본값입니다. 트래픽은 포트 443의 OpenShift 라우터를 통해 이동합니다. 표준 HTTPS 이후에는 추가 방화벽 규칙이 필요하지 않습니다.
NodePort- 포트 8091(Konnectivity) 및 포트 8443(Ignition Proxy)에는 직접 액세스가 필요합니다.
LoadBalancer- 클라우드 로드 밸런서를 통해 8091(Konnectivity) 포트를 사용하려면 직접 액세스가 필요합니다.
다음 표에서는 각 플랫폼과 관련된 수신 포트 구성을 자세히 설명합니다.
| 플랫폼 | 포트 | Service | 설명 | 코드 참조 |
|---|---|---|---|---|
| agent |
| Ignition 프록시 |
ignition 콘텐츠 전달을 위한 HTTPS 프록시( |
|
| agent |
| 에이전트 CAPI 상태 프로브 | 에이전트 플랫폼 CAPI 공급자의 상태 점검 끝점 |
|
| agent |
| 에이전트 CAPI 메트릭 | 에이전트 플랫폼 CAPI 공급자의 메트릭 끝점 ( localhost에만 바인딩) |
|
| AWS |
| CAPI 상태 점검 | AWS CAPI 공급자의 상태 및 준비 상태 프로브 끝점 |
|
| 에이전트 플랫폼이 없는 베어 메탈 |
| Ignition 프록시 |
ignition 콘텐츠 전달을 위한 HTTPS 프록시( | - |
| KubeVirt |
| CAPI 상태 점검 | 상태 및 준비 상태 프로브 끝점 |
|
| RHOSP(기술 프리뷰) |
| CAPI 상태 점검 | 상태 및 준비 상태 프로브 끝점 |
|
| RHOSP(기술 프리뷰) |
| ORC 상태 점검 | OpenStack Resource Controller의 상태 및 준비 상태 프로브 끝점 |
|
다음 표에서는 프라이빗 클러스터의 수신 포트 구성을 자세히 설명합니다(예: AWS의 경우).
| 포트 | Service | 설명 | 코드 참조 |
|---|---|---|---|
|
| 프라이빗 라우터 HTTP | 개인 라우터를 통한 HTTP 트래픽 |
|
|
| 프라이빗 라우터 HTTPS | 개인 라우터를 통한 HTTPS 트래픽 |
|
15.4.2. 호스팅된 컨트롤 플레인에 대한 송신 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
송신 포트는 호스팅된 컨트롤 플레인에서 나가는 트래픽을 포함합니다. 관리 클러스터, 호스팅된 컨트롤 플레인 구성 요소 및 컴퓨팅 노드 간의 통신에 올바른 포트가 열려 있는지 확인합니다.
다음 표에서는 모든 플랫폼에서 호스팅된 컨트롤 플레인에서 나가는 트래픽에 액세스할 수 있어야 하는 포트를 자세히 설명합니다.
| 포트 | 프로토콜 | Service | 목적 |
|---|---|---|---|
|
| TCP | HTTPS |
OLM 이미지, |
|
| TCP | Kubernetes API 서버 | 관리 클러스터 API와 통신 |
|
| TCP 및 UDP | DNS | 표준 DNS 쿼리 |
컴퓨팅 노드에는 여러 호스팅 컨트롤 플레인 서비스에 대한 아웃 바운드 네트워크 액세스가 필요합니다. 다음 표에서는 컴퓨팅 노드에 대한 송신 요구 사항을 자세히 설명합니다.
| 포트 | 프로토콜 | Service | 목적 | 필요한 경우 |
|---|---|---|---|---|
|
| TCP | HTTPS |
| Always |
|
| TCP | Kubernetes API 서버 | 클러스터 관리 및 kubelet 통신 | Always |
|
| TCP | Konnectivity 서버 | 컨트롤 플레인 액세스를 위한 역방향 터널 설정 |
|
|
| TCP | Ignition 프록시 | 부트스트랩 구성 검색 |
에이전트 플랫폼 또는 베어 메탈에만 |
|
| TCP 및 UDP | DNS | 이름 확인 | Always |
15.4.3. 베어 메탈의 호스트 클러스터에서 수신 처리 링크 복사링크가 클립보드에 복사되었습니다!
모든 OpenShift Container Platform 클러스터에는 일반적으로 연결된 외부 DNS 레코드가 있는 기본 애플리케이션 Ingress 컨트롤러가 있습니다.
예를 들어 기본 도메인 krnl.es 를 사용하여 example 이라는 호스팅 클러스터를 생성하는 경우 와일드카드 도메인 *.apps.example.krnl.es 를 라우팅할 수 있을 것으로 예상할 수 있습니다.
*.apps 도메인의 로드 밸런서 및 와일드카드 DNS 레코드를 설정하려면 호스팅된 클러스터에서 다음 작업을 수행합니다.
절차
MetalLB Operator에 대한 구성이 있는 YAML 파일을 생성하여 MetalLB를 배포합니다.
apiVersion: v1 kind: Namespace metadata: name: metallb labels: openshift.io/cluster-monitoring: "true" annotations: workload.openshift.io/allowed: management --- apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: metallb-operator-operatorgroup namespace: metallb --- apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: metallb-operator namespace: metallb spec: channel: "stable" name: metallb-operator source: redhat-operators sourceNamespace: openshift-marketplace-
파일을
metallb-operator-config.yaml로 저장합니다. 다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f metallb-operator-config.yamlOperator가 실행되면 MetalLB 인스턴스를 생성합니다.
MetalLB 인스턴스에 대한 구성이 있는 YAML 파일을 생성합니다.
apiVersion: metallb.io/v1beta1 kind: MetalLB metadata: name: metallb namespace: metallb-
파일을
metallb-instance-config.yaml로 저장합니다. 다음 명령을 입력하여 MetalLB 인스턴스를 생성합니다.
$ oc apply -f metallb-instance-config.yaml
단일 IP 주소를 사용하여
IPAddressPool리소스를 만듭니다. 이 IP 주소는 클러스터 노드에서 사용하는 네트워크와 동일한 서브넷에 있어야 합니다.다음 예와 유사한 내용을 사용하여
ipaddresspool.yaml과 같은 파일을 생성합니다.apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: namespace: metallb name: <ip_address_pool_name> spec: addresses: - <ingress_ip>-<ingress_ip> autoAssign: false-
metadata.name은IPAddressPool리소스 이름을 지정합니다. -
spec.addresses는 사용자 환경의 IP 주소를 지정합니다. 예:192.168.122.23.
-
다음 명령을 입력하여 IP 주소 풀에 대한 구성을 적용합니다.
$ oc apply -f ipaddresspool.yaml
L2 광고를 생성합니다.
다음 예와 유사한 내용을 사용하여
l2advertisement.yaml과 같은 파일을 생성합니다.apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: <l2_advertisement_name> namespace: metallb spec: ipAddressPools: - <ip_address_pool_name>-
metadata.name은L2Advertisement리소스 이름을 지정합니다. -
spec.ipAddressPools는IPAddressPool리소스 이름을 지정합니다.
-
다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f l2advertisement.yaml
LoadBalancer유형의 서비스를 생성한 후 MetalLB는 서비스에 대한 외부 IP 주소를 추가합니다.metallb-loadbalancer-service.yaml이라는 YAML 파일을 생성하여 Ingress 트래픽을 Ingress 배포로 라우팅하는 새 로드 밸런서 서비스를 구성합니다.kind: Service apiVersion: v1 metadata: annotations: metallb.io/address-pool: ingress-public-ip name: metallb-ingress namespace: openshift-ingress spec: ports: - name: http protocol: TCP port: 80 targetPort: 80 - name: https protocol: TCP port: 443 targetPort: 443 selector: ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default type: LoadBalancer-
metallb-loadbalancer-service.yaml파일을 저장합니다. 다음 명령을 입력하여 YAML 구성을 적용합니다.
$ oc apply -f metallb-loadbalancer-service.yaml다음 명령을 입력하여 OpenShift Container Platform 콘솔에 연결합니다.
$ curl -kI https://console-openshift-console.apps.example.krnl.es출력 예
HTTP/1.1 200 OKclusterversion및clusteroperator값을 확인하여 모든 항목이 실행 중인지 확인합니다. 다음 명령을 실행합니다.$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co출력 예
NAME VERSION AVAILABLE PROGRESSING SINCE STATUS clusterversion.config.openshift.io/version 5.x.y True False 3m32s Cluster version is 5.x.y NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE clusteroperator.config.openshift.io/console 5.x.y True False False 3m50s clusteroperator.config.openshift.io/ingress 5.x.y True False False 53m&
lt;5.x.y>를 사용하려는 지원되는 OpenShift Container Platform 버전(예:5.0.0-multi)으로 바꿉니다.
15.5. 호스팅된 클러스터의 내부 OVN IPv4 서브넷 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터에서는 라우팅 충돌을 피하거나 네트워크 아키텍처를 사용자 지정하거나 가상 프라이빗 클라우드(VPC) 피어를 활성화하도록 내부 OVN 서브넷을 구성할 수 있습니다.
- CIDR 충돌 방지
-
100.88.0.0/16 및 100.64.0.0/16의 기본 OVN 내부 서브넷을 사용하는 다른 VPC와 AWS 클러스터에서 Red Hat OpenShift Service를 호스팅하는 VPC를 연결합니다.
kubevirt호스팅 클러스터 충돌을 방지하기 위해 HyperShift Operator는 OVN join 서브넷을100.64.0.0/16또는100.65.0.0/16대신100.66.0.0/16으로 설정합니다. OVN 게이트웨이 라우터의 기본 CIDR(Classless inter-domain routing)은100.64.0.0/16입니다. UDN(사용자 정의 네트워크) 가입 서브넷의 기본 CIDR은100.65.0.0/16입니다. - 네트워크 아키텍처 사용자 정의
- 회사 네트워크 정책과 일치하도록 내부 OVN 서브넷을 구성합니다.
- VPC 피어링 활성화
- 기본 서브넷이 피어링된 네트워크와 충돌하는 환경에서 호스팅된 클러스터를 배포합니다.
OVN-internal 서브넷을 구성하려면 다음 두 가지 OVN-Kubernetes 내부 서브넷 구성 옵션을 노출합니다.
internalJoinSubnet-
조인 네트워크에 OVN-Kubernetes에서 사용하는 내부 서브넷(기본값:
100.64.0.0/16) internalTransitSwitchSubnet-
OVN 상호 연결 아키텍처의 분산 전송 스위치에 사용되는 내부 서브넷(기본값:
100.88.0.0/16)
호스팅된 클러스터를 생성하는 동안 기존 호스팅 클러스터에서 내부 OVN 서브넷을 구성하거나 서브넷을 구성할 수 있습니다.
사전 요구 사항
- 호스팅된 클러스터 버전은 OpenShift Container Platform 4.20 이상이어야 합니다.
-
네트워크 유형의 경우 호스팅된 클러스터는
networkType: OVNKubernetes를 사용해야 합니다. 사용자 지정 서브넷은 다음 서브넷과 겹치지 않아야 합니다.
- 머신 CIDR
- 서비스 CIDR
- 클러스터 네트워크 CIDR
- 인프라의 기타 네트워크
절차
호스트 클러스터를 생성하는 동안 내부 OVN 서브넷을 구성하려면 호스팅된 클러스터의 구성 파일에 다음 섹션이 포함됩니다.
apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: <hosted_cluster_name> namespace: <hosted_control_plane_namespace> spec: networking: networkType: OVNKubernetes machineCIDR: 10.0.0.0/16 serviceCIDR: 172.30.0.0/16 clusterNetwork: - cidr: 10.128.0.0/14 operatorConfiguration: clusterNetworkOperator: ovnKubernetesConfig: ipv4: internalJoinSubnet: "100.99.0.0/16" internalTransitSwitchSubnet: "100.69.0.0/16"다음과 같습니다.
메타데이터- 호스팅된 클러스터의 이름과 호스팅된 컨트롤 플레인 네임스페이스의 이름을 지정합니다.
spec.operatorConfiguration.clusterNetworkOperator.ovnKubernetesConfig.ipv4-
사용할 서브넷을 지정합니다. 이 섹션의 두 서브넷 필드는 모두
192.168.1.0/24와 같은 유효한 IPv4 CIDR 표기법에 있어야 합니다. 접두사 범위는/0에서/30사이이며, 포함됩니다. 첫 번째 옥텟은 0일 수 없으며 문자열 길이는 9-18자여야 합니다. 서브넷 필드는 동일한 값을 사용할 수 없습니다. 서브넷은 클러스터의 노드당 하나의 IP 주소를 수용할 수 있을 만큼 충분히 커야 합니다. 서브넷 크기를 계획할 때 향후 클러스터 증가를 고려하십시오. 이러한 필드를 생략하면internalJoinSubnet필드의 기본값은100.64.0.0/16이며internalTransitSwitchSubnet필드의 기본값은100.88.0.0/16입니다.
호스트 클러스터 생성에 대한 자세한 내용은 "CLI를 사용하여 호스트 클러스터 생성"을 참조하십시오.
기존 호스팅 클러스터에서 내부 OVN 서브넷을 구성하려면 다음 명령을 입력합니다.
$ oc patch hostedcluster <hosted_cluster_name> \ -n <hosted_control_plane_namespace> \ --type=merge \ -p '{ "spec": { "operatorConfiguration": { "clusterNetworkOperator": { "ovnKubernetesConfig": { "ipv4": { "internalJoinSubnet": "100.99.0.0/16", "internalTransitSwitchSubnet": "100.69.0.0/16" } } } } } }'다음과 같습니다.
spec.operatorConfiguration.clusterNetworkOperator.ovnKubernetesConfig.ipv4사용할 서브넷을 지정합니다. 이 섹션의 두 서브넷 필드는 모두
192.168.1.0/24와 같은 유효한 IPv4 CIDR 표기법에 있어야 합니다. 접두사 범위는/0에서/30사이이며, 포함됩니다. 첫 번째 옥텟은 0일 수 없으며 문자열 길이는 9-18자여야 합니다. 서브넷 필드는 동일한 값을 사용할 수 없습니다. 서브넷은 클러스터의 노드당 하나의 IP 주소를 수용할 수 있을 만큼 충분히 커야 합니다. 서브넷 크기를 계획할 때 향후 클러스터 증가를 고려하십시오. 이러한 필드를 생략하면internalJoinSubnet필드의 기본값은100.64.0.0/16이며internalTransitSwitchSubnet필드의 기본값은100.88.0.0/16입니다.중요기존 호스트 클러스터를 변경하면
ovnkube-nodeDaemonSet이 롤아웃되고 컴퓨팅 노드의 OVN 구성 요소가 다시 시작됩니다. 이 과정에서 네트워크 중단이 짧아질 수 있습니다.
검증
다음 명령을 입력하여 호스팅 구성이 올바른지 확인합니다.
$ oc get hostedcluster <hosted_cluster_name> -n <hosted_control_plane_namespace> \ -o jsonpath='{.spec.operatorConfiguration.clusterNetworkOperator.ovnKubernetesConfig}' | jq .출력 예
{ "ipv4": { "internalJoinSubnet": "100.99.0.0/16", "internalTransitSwitchSubnet": "100.69.0.0/16" } }호스팅된 클러스터에서 Network Operator 구성을 확인합니다.
다음 명령을 입력하여 호스팅 클러스터 kubeconfig 파일을 추출합니다.
$ oc extract secret/<hosted_cluster_name>-admin-kubeconfig \ -n <hosted_control_plane_namespace> --to=- > <hosted_cluster_kubeconfig_file>다음 명령을 입력하여 Network Operator 구성을 확인합니다.
$ oc get network.operator.openshift.io cluster \ --kubeconfig=<hosted_cluster_kubeconfig_file> \ -o jsonpath='{.spec.defaultNetwork.ovnKubernetesConfig.ipv4}' | jq .출력 예
{ "internalJoinSubnet": "100.99.0.0/16", "internalTransitSwitchSubnet": "100.69.0.0/16" }
다음 단계를 완료하여 테스트 Pod 2개를 생성합니다.
노드 1에서 다음 예와 같이 Pod 1을 생성합니다.
kind: Pod apiVersion: v1 metadata: name: "<pod_1>" namespace: "<hosted_control_plane_namespace>" labels: name: <pod_name> spec: securityContext: runAsNonRoot: true seccompProfile: type: RuntimeDefault containers: - image: "<image_url>" name: <pod_name> securityContext: allowPrivilegeEscalation: false capabilities: drop: ["ALL"] nodeName: "${NODE1}"노드 2에서 다음 예와 같이 Pod 2를 생성합니다.
kind: Pod apiVersion: v1 metadata: name: "<pod_2>" namespace: "<hosted_control_plane_namespace>" labels: name: <pod_name> spec: securityContext: runAsNonRoot: true seccompProfile: type: RuntimeDefault containers: - image: "<image_url>" name: <pod_name> securityContext: allowPrivilegeEscalation: false capabilities: drop: ["ALL"] nodeName: "${NODE2}"
다음 예와 같이 두 Pod를 모두 백업하는 테스트 서비스를 생성합니다.
kind: Service apiVersion: v1 metadata: name: "<test_service_name" namespace: "<hosted_control_plane_namespace>" labels: name: test-service spec: internalTrafficPolicy: "Cluster" externalTrafficPolicy: "" ipFamilyPolicy: "SingleStack" ports: - name: http port: <service_test_port_number> protocol: "TCP" targetPort: 8080 selector: name: "<pod_name>" type: "ClusterIP"OVN pod가 실행 중인지 확인합니다.
다음 명령을 실행합니다.
$ oc rollout status daemonset/ovnkube-node \ -n openshift-ovn-kubernetes \ --kubeconfig=<hosted_cluster_kubeconfig_file> \ --timeout=5m다음 명령을 실행합니다.
$ oc get pods -n openshift-ovn-kubernetes --kubeconfig=<hosted_cluster_kubeconfig_file>모든
ovnkube-nodePod는실행중이어야 하며 모든 컨테이너가 준비되어야 합니다.
다음 명령을 입력하여 변경 사항이 Network Operator에 동기화되었는지 확인합니다.
$ oc get network.operator.openshift.io/cluster \ -ojsonpath='{.spec.defaultNetwork.ovnKubernetesConfig.ipv4}' \ --kubeconfig=<clusters-hostedclustername> | jq .Pod 2의 IP 주소를 가져와서 Pod 1에서 전송합니다.
다음 명령을 실행합니다.
$ pod2_ip=oc get pod -n e2e-test-networking-ovnkubernetes-xxt8s <pod_2> -o=jsonpath={.status.podIPs[0].ip}다음 명령을 실행합니다.
$ oc exec <pod_1> -- /bin/sh -x -c curl --connect-timeout 5 -s <pod2_ip>:8080
서비스 IP 주소를 가져오고 서비스에서 Pod를 외부에서 방문할 수 있는지 확인합니다.
다음 명령을 실행합니다.
$ SERVICE_IP=oc get service test-service-o=jsonpath={.spec.clusterIPs[0]}다음 명령을 실행합니다.
$ oc exec <pod_1> -- /bin/sh -x -c curl --connect-timeout 5 -s $SERVICE_IP:<service_test_port_number>
15.6. 호스팅된 컨트롤 플레인에 대한 프록시 지원 링크 복사링크가 클립보드에 복사되었습니다!
컨트롤 플레인 워크로드, 컴퓨팅 노드, 관리 클러스터 및 호스팅된 클러스터에 최적의 성능을 위해 필요한 액세스 권한이 있도록 프록시 지원을 구성할 수 있습니다.
독립 실행형 OpenShift Container Platform에서 프록시 지원의 주요 목적은 클러스터의 워크로드가 HTTP 또는 HTTPS 프록시를 사용하여 외부 서비스에 액세스하고, 구성된 경우 NO_PROXY 설정을 준수하고 프록시용으로 구성된 신뢰 번들을 수락하도록 하는 것입니다.
호스팅된 컨트롤 플레인에서 프록시 지원에는 독립 실행형 OpenShift Container Platform의 사용 사례 이외의 사용 사례가 포함됩니다.
15.6.1. 외부 서비스에 액세스해야 하는 컨트롤 플레인 워크로드 링크 복사링크가 클립보드에 복사되었습니다!
컨트롤 플레인에서 실행되는 Operator는 호스팅된 클러스터에 대해 구성된 프록시를 통해 외부 서비스에 액세스해야 합니다. 프록시는 일반적으로 데이터 플레인을 통해서만 액세스할 수 있습니다.
컨트롤 플레인 워크로드는 다음과 같습니다.
- Control Plane Operator는 OAuth 서버 구성을 생성할 때 특정 ID 공급자에서 끝점을 검증하고 가져와야 합니다.
- OAuth 서버에는 LDAP가 아닌 ID 공급자 액세스 권한이 필요합니다.
- OpenShift API 서버는 이미지 레지스트리 메타데이터 가져오기를 처리합니다.
- Ingress Operator는 외부 카나리아 경로를 검증하려면 액세스할 수 있어야 합니다.
-
DNS(Domain Name Service) 프로토콜이 예상대로 작동하도록 하려면 TCP(Transmission Control Protocol) 및 UDP(User Datagram Protocol)에서 방화벽 포트
53을 열어야 합니다.
호스팅된 클러스터에서는 컨트롤 플레인 Operator, Ingress Operator, OAuth 서버 및 OpenShift API 서버 Pod에서 시작된 트래픽을 데이터 플레인을 통해 구성된 프록시로 보낸 다음 최종 대상으로 보내야 합니다.
예를 들어 프록시 액세스가 필요한 레지스트리에서 OpenShift 이미지 스트림을 가져오는 경우와 같이 호스팅된 클러스터가 제로 컴퓨팅 노드로 감소하면 일부 작업을 수행할 수 없습니다.
15.6.2. Ignition 엔드포인트에 액세스해야 하는 컴퓨팅 노드 링크 복사링크가 클립보드에 복사되었습니다!
컴퓨팅 노드에 ignition 엔드포인트에 액세스하는 데 프록시가 필요한 경우 컴퓨팅 노드에 구성된 user-data stub에서 프록시를 구성해야 합니다.
시스템이 Ignition URL에 액세스하는 데 프록시가 필요한 경우 프록시 구성이 스텁에 포함됩니다.
스텁은 다음 예와 유사합니다.
{"ignition":{"config":{"merge":[{"httpHeaders":[{"name":"Authorization","value":"Bearer ..."},{"name":"TargetConfigVersionHash","value":"a4c1b0dd"}],"source":"https://ignition.controlplanehost.example.com/ignition","verification":{}}],"replace":{"verification":{}}},"proxy":{"httpProxy":"http://proxy.example.org:3128", "httpsProxy":"https://proxy.example.org:3129", "noProxy":"host.example.org"},"security":{"tls":{"certificateAuthorities":[{"source":"...","verification":{}}]}},"timeouts":{},"version":"3.2.0"},"passwd":{},"storage":{},"systemd":{}}
15.6.3. API 서버에 액세스해야 하는 컴퓨팅 노드 링크 복사링크가 클립보드에 복사되었습니다!
컨트롤 플레인 통신의 경우 호스팅되는 컨트롤 플레인은 172.20.0.1에서 수신 대기하고 트래픽을 API 서버로 전달하는 각 컴퓨팅 노드에서 로컬 프록시를 사용합니다. API 서버에 액세스하는 데 외부 프록시가 필요한 경우 로컬 프록시는 트래픽을 전달합니다.
프록시가 필요하지 않은 경우 호스팅되는 컨트롤 플레인은 TCP를 통해서만 패킷을 전달하는 로컬 프록시에 haproxy 를 사용합니다. 프록시가 필요한 경우 호스팅되는 컨트롤 플레인은 사용자 정의 프록시, control-plane-operator-kubernetes-default-proxy 를 사용하여 외부 프록시를 통해 트래픽을 보냅니다.
이 사용 사례는 AWS의 Red Hat OpenShift Service가 아닌 자체 관리형 호스팅 컨트롤 플레인과 관련이 있습니다.
15.6.4. 외부 액세스가 필요한 관리 클러스터 링크 복사링크가 클립보드에 복사되었습니다!
HyperShift Operator에는 관리 클러스터의 OpenShift 글로벌 프록시 구성을 모니터링하고 자체 배포에서 프록시 환경 변수를 설정하는 컨트롤러가 있습니다.
외부 액세스가 필요한 컨트롤 플레인 배포는 관리 클러스터의 프록시 환경 변수를 사용하여 구성됩니다.
15.6.5. 보조 네트워크가 있고 기본 pod 네트워크가 없는 프록시 및 호스팅 클러스터로 관리 클러스터 링크 복사링크가 클립보드에 복사되었습니다!
관리 클러스터가 프록시 구성을 사용하고 보조 네트워크를 사용하여 호스팅된 클러스터를 구성하지만 기본 pod 네트워크를 연결하지 않는 경우 보조 네트워크의 CIDR을 프록시 구성에 추가합니다.
특히 관리 클러스터의 프록시 구성의 noProxy 섹션에 보조 네트워크의 CIDR을 추가해야 합니다. 그렇지 않으면 Kubernetes API 서버가 프록시를 통해 일부 API 요청을 라우팅합니다. 호스팅된 클러스터 구성에서 보조 네트워크의 CIDR이 noProxy 섹션에 자동으로 추가됩니다.