3.5. 베어 메탈, IBM Power 또는 IBM Z에서 다중 아키텍처 컴퓨팅 머신으로 클러스터 생성
베어 메탈(x86_64
또는 aarch64
), IBM Power® (ppc64le
), 또는 IBM Z® (s390x
)에서 다중 아키텍처 컴퓨팅 머신이 있는 클러스터를 생성하려면 이러한 플랫폼 중 하나에 기존 단일 아키텍처 클러스터가 있어야 합니다. 플랫폼의 설치 절차를 따르십시오.
- 베어 메탈에 사용자 프로비저닝 클러스터 설치 그런 다음 베어 메탈의 OpenShift Container Platform 클러스터에 64비트 ARM 컴퓨팅 머신을 추가할 수 있습니다.
-
IBM Power®에 클러스터 설치. 그런 다음 IBM Power®의 OpenShift Container Platform 클러스터에
x86_64
컴퓨팅 머신을 추가할 수 있습니다. -
IBM Z® 및 IBM® LinuxONE에 클러스터 설치 그런 다음 IBM Z® 및 IBM® LinuxONE의 OpenShift Container Platform 클러스터에
x86_64
컴퓨팅 머신을 추가할 수 있습니다.
베어 메탈 설치 관리자 프로비저닝 인프라 및 Bare Metal Operator는 초기 클러스터 설정 중에 보조 아키텍처 노드 추가를 지원하지 않습니다. 초기 클러스터 설정 후에만 보조 아키텍처 노드를 수동으로 추가할 수 있습니다.
클러스터에 컴퓨팅 노드를 추가하려면 먼저 다중 아키텍처 페이로드를 사용하는 클러스터로 클러스터를 업그레이드해야 합니다. 다중 아키텍처 페이로드로 마이그레이션하는 방법에 대한 자세한 내용은 다중 아키텍처 컴퓨팅 머신이 있는 클러스터로 마이그레이션 을 참조하십시오.
다음 절차에서는 ISO 이미지 또는 네트워크 PXE 부팅을 사용하여 RHCOS 컴퓨팅 머신을 생성하는 방법을 설명합니다. 이를 통해 클러스터에 노드를 추가하고 다중 아키텍처 컴퓨팅 머신이 있는 클러스터를 배포할 수 있습니다.
보조 아키텍처 노드를 클러스터에 추가하기 전에 Multiarch Tuning Operator를 설치하고 ClusterPodPlacementConfig
오브젝트를 배포하는 것이 좋습니다. 자세한 내용은 Multiarch Tuning Operator를 사용하여 다중 아키텍처 클러스터에서 워크로드 관리를 참조하십시오.
3.5.1. 클러스터 호환성 확인
다른 아키텍처의 컴퓨팅 노드를 클러스터에 추가하려면 먼저 클러스터가 다중 아키텍처 호환인지 확인해야 합니다.
사전 요구 사항
-
OpenShift CLI(
oc
)를 설치합니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여 클러스터에서 아키텍처 페이로드를 사용하는지 확인할 수 있습니다.
$ oc adm release info -o jsonpath="{ .metadata.metadata}"
검증
다음 출력이 표시되면 클러스터에서 다중 아키텍처 페이로드를 사용하고 있습니다.
{ "release.openshift.io/architecture": "multi", "url": "https://access.redhat.com/errata/<errata_version>" }
그런 다음 클러스터에 다중 아키텍처 컴퓨팅 노드 추가를 시작할 수 있습니다.
다음 출력이 표시되면 클러스터에서 다중 아키텍처 페이로드를 사용하지 않습니다.
{ "url": "https://access.redhat.com/errata/<errata_version>" }
중요클러스터가 다중 아키텍처 컴퓨팅 머신을 지원하도록 클러스터를 마이그레이션하려면 다중 아키텍처 컴퓨팅 머신이 있는 클러스터로 마이그레이션 절차를 따르십시오.
3.5.2. ISO 이미지를 사용하여 RHCOS 머신 생성
ISO 이미지를 사용하여 머신을 생성함으로써 베어 메탈 클러스터에 대해 더 많은 Red Hat Enterprise Linux CoreOS (RHCOS) 컴퓨팅 머신을 생성할 수 있습니다.
사전 요구 사항
- 클러스터의 컴퓨팅 머신에 대한 Ignition 구성 파일의 URL을 가져옵니다. 설치 중에 이 파일은 HTTP 서버에 업로드되어 있어야 합니다.
-
OpenShift CLI(
oc
)가 설치되어 있어야 합니다.
프로세스
다음 명령을 실행하여 클러스터에서 Ignition 구성 파일을 추출합니다.
$ oc extract -n openshift-machine-api secret/worker-user-data-managed --keys=userData --to=- > worker.ign
-
클러스터에서 내보낸
worker.ign
Ignition 구성 파일을 HTTP 서버로 업로드합니다. 해당 파일의 URL을 기록해 둡니다. Ignition 파일을 URL에서 사용할 수 있는지 확인할 수 있습니다. 다음 예제에서는 컴퓨팅 노드에 대한 Ignition 구성 파일을 가져옵니다.
$ curl -k http://<HTTP_server>/worker.ign
다음 명령으로 실행하여 새 머신을 부팅하기 위해 ISO 이미지에 액세스할 수 있습니다.
RHCOS_VHD_ORIGIN_URL=$(oc -n openshift-machine-config-operator get configmap/coreos-bootimages -o jsonpath='{.data.stream}' | jq -r '.architectures.<architecture>.artifacts.metal.formats.iso.disk.location')
ISO 파일을 사용하여 추가 컴퓨팅 머신에 RHCOS를 설치합니다. 클러스터를 설치하기 전에 머신을 만들 때 사용한 것과 동일한 방법을 사용합니다.
- ISO 이미지를 디스크에 굽고 직접 부팅합니다.
- LOM 인터페이스에서 ISO 리디렉션을 사용합니다.
옵션을 지정하거나 라이브 부팅 시퀀스를 중단하지 않고 RHCOS ISO 이미지를 부팅합니다. 설치 프로그램이 RHCOS 라이브 환경에서 쉘 프롬프트로 부팅될 때까지 기다립니다.
참고RHCOS 설치 부팅 프로세스를 중단하여 커널 인수를 추가할 수 있습니다. 그러나 이 ISO 절차에서는 커널 인수를 추가하는 대신 다음 단계에 설명된 대로
coreos-installer
명령을 사용해야 합니다.coreos-installer
명령을 실행하고 설치 요구 사항을 충족하는 옵션을 지정합니다. 최소한 노드 유형에 대한 Ignition 구성 파일과 설치할 장치를 가리키는 URL을 지정해야 합니다.$ sudo coreos-installer install --ignition-url=http://<HTTP_server>/<node_type>.ign <device> --ignition-hash=sha512-<digest> 12
참고TLS를 사용하는 HTTPS 서버를 통해 Ignition 구성 파일을 제공하려는 경우
coreos-installer
를 실행하기 전에 내부 인증 기관(CA)을 시스템 신뢰 저장소에 추가할 수 있습니다.다음 예제에서는
/dev/sda
장치에 부트스트랩 노드 설치를 초기화합니다. 부트스트랩 노드의 Ignition 구성 파일은 IP 주소 192.168.1.2가 있는 HTTP 웹 서버에서 가져옵니다.$ sudo coreos-installer install --ignition-url=http://192.168.1.2:80/installation_directory/bootstrap.ign /dev/sda --ignition-hash=sha512-a5a2d43879223273c9b60af66b44202a1d1248fc01cf156c46d4a79f552b6bad47bc8cc78ddf0116e80c59d2ea9e32ba53bc807afbca581aa059311def2c3e3b
머신 콘솔에서 RHCOS 설치 진행률을 모니터링합니다.
중요OpenShift Container Platform 설치를 시작하기 전에 각 노드에서 성공적으로 설치되었는지 확인합니다. 설치 프로세스를 관찰하면 발생할 수 있는 RHCOS 설치 문제의 원인을 파악하는 데 도움이 될 수 있습니다.
- 계속해서 클러스터에 추가 컴퓨팅 머신을 만듭니다.
3.5.3. PXE 또는 iPXE 부팅을 통해 RHCOS 머신 생성
PXE 또는 iPXE 부팅을 사용하여 베어 메탈 클러스터에 대해 추가 Red Hat Enterprise Linux CoreOS (RHCOS) 컴퓨팅 머신을 생성할 수 있습니다.
사전 요구 사항
- 클러스터의 컴퓨팅 머신에 대한 Ignition 구성 파일의 URL을 가져옵니다. 설치 중에 이 파일은 HTTP 서버에 업로드되어 있어야 합니다.
-
클러스터 설치 중에 HTTP 서버에 업로드 한 RHCOS ISO 이미지, 압축된 메탈 BIOS,
kernel
및initramfs
파일의 URL을 가져옵니다. - 설치 중에 OpenShift Container Platform 클러스터에 대한 머신을 생성하는 데 사용한 PXE 부팅 인프라에 액세스할 수 있습니다. RHCOS가 설치된 후 로컬 디스크에서 머신을 부팅해야합니다.
-
UEFI를 사용하는 경우 OpenShift Container Platform 설치 중에 수정 한
grub.conf
파일에 액세스할 수 있습니다.
프로세스
RHCOS 이미지의 PXE 또는 iPXE가 올바르게 설치되었는지 확인합니다.
PXE의 경우:
DEFAULT pxeboot TIMEOUT 20 PROMPT 0 LABEL pxeboot KERNEL http://<HTTP_server>/rhcos-<version>-live-kernel-<architecture> 1 APPEND initrd=http://<HTTP_server>/rhcos-<version>-live-initramfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/worker.ign coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img 2
- 1
- HTTP 서버에 업로드한 라이브
kernel
파일의 위치를 지정합니다. - 2
- HTTP 서버에 업로드한 RHCOS 파일의 위치를 지정합니다.
initrd
매개변수 값은initramfs
파일의 위치이고coreos.inst.ignition_url
매개변수 값은 작업자 Ignition 설정 파일의 위치이며coreos.live.rootfs_url
매개 변수 값은 라이브rootfs
파일의 위치입니다.coreos.inst.ignition_url
및coreos.live.rootfs_url
매개변수는 HTTP 및 HTTPS만 지원합니다.
참고이 구성은 그래픽 콘솔이 있는 시스템에서 직렬 콘솔 액세스를 활성화하지 않습니다. 다른 콘솔을 구성하려면
APPEND
행에 하나 이상의console=
인수를 추가합니다. 예를 들어console=tty0 console=ttyS0
을 추가하여 첫 번째 PC 직렬 포트를 기본 콘솔로 설정하고 그래픽 콘솔을 보조 콘솔로 설정합니다. 자세한 내용은 Red Hat Enterprise Linux에서 직렬 터미널 및/또는 콘솔 설정 방법을 참조하십시오.iPXE (
x86_64
+aarch64
)의 경우:kernel http://<HTTP_server>/rhcos-<version>-live-kernel-<architecture> initrd=main coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/worker.ign 1 2 initrd --name main http://<HTTP_server>/rhcos-<version>-live-initramfs.<architecture>.img 3 boot
- 1
- HTTP 서버에 업로드한 RHCOS 파일의 위치를 지정합니다.
kernel
매개변수 값은커널
파일의 위치이며initrd=main
인수는 UEFI 시스템에서 부팅하는 데 필요하며coreos.live.rootfs_url
매개변수 값은rootfs
파일의 위치이며coreos.inst.ignition_url
매개변수 값은 작업자 Ignition 구성 파일의 위치입니다. - 2
- NIC를 여러 개 사용하는 경우
ip
옵션에 단일 인터페이스를 지정합니다. 예를 들어,eno1
라는 NIC에서 DHCP를 사용하려면ip=eno1:dhcp
를 설정하십시오. - 3
- HTTP 서버에 업로드한
initramfs
파일의 위치를 지정합니다.
참고이 구성은 그래픽 콘솔이 있는 머신에서 직렬 콘솔 액세스를 활성화하지 않습니다. 다른 콘솔을 구성하려면
kernel
행에 하나 이상의console=
인수를 추가합니다. 예를 들어console=tty0 console=ttyS0
을 추가하여 첫 번째 PC 직렬 포트를 기본 콘솔로 설정하고 그래픽 콘솔을 보조 콘솔로 설정합니다. 자세한 내용은 How does one set up a serial terminal and/or console in Red Hat Enterprise Linux? 및 "Enabling the serial console for PXE and ISO installation" 섹션을 참조하십시오.참고aarch64
아키텍처에서 CoreOSkernel
을 부팅하려면IMAGE_GZIP
옵션이 활성화된 iPXE 빌드 버전을 사용해야 합니다. iPXE의IMAGE_GZIP
옵션을 참조하십시오.aarch64
에서 PXE ( UEFI 및 GRUB를 두 번째 단계로 사용)의 경우 :menuentry 'Install CoreOS' { linux rhcos-<version>-live-kernel-<architecture> coreos.live.rootfs_url=http://<HTTP_server>/rhcos-<version>-live-rootfs.<architecture>.img coreos.inst.install_dev=/dev/sda coreos.inst.ignition_url=http://<HTTP_server>/worker.ign 1 2 initrd rhcos-<version>-live-initramfs.<architecture>.img 3 }
- 1
- HTTP/TFTP 서버에 업로드한 RHCOS 파일의 위치를 지정합니다.
kernel
매개변수 값은 TFTP 서버의파일의 위치입니다.
coreos.live.rootfs_url
매개변수 값은rootfs
파일의 위치이며coreos.inst.ignition_url
매개변수 값은 HTTP Server의 작업자 Ignition 구성 파일의 위치입니다. - 2
- NIC를 여러 개 사용하는 경우
ip
옵션에 단일 인터페이스를 지정합니다. 예를 들어,eno1
라는 NIC에서 DHCP를 사용하려면ip=eno1:dhcp
를 설정하십시오. - 3
- TFTP 서버에 업로드한
initramfs
파일의 위치를 지정합니다.
- PXE 또는 iPXE 인프라를 사용하여 클러스터에 필요한 컴퓨팅 머신을 만듭니다.
3.5.4. 시스템의 인증서 서명 요청 승인
클러스터에 시스템을 추가하면 추가한 시스템별로 보류 중인 인증서 서명 요청(CSR)이 두 개씩 생성됩니다. 이러한 CSR이 승인되었는지 확인해야 하며, 필요한 경우 이를 직접 승인해야 합니다. 클라이언트 요청을 먼저 승인한 다음 서버 요청을 승인해야 합니다.
사전 요구 사항
- 클러스터에 시스템을 추가했습니다.
프로세스
클러스터가 시스템을 인식하는지 확인합니다.
$ oc get nodes
출력 예
NAME STATUS ROLES AGE VERSION master-0 Ready master 63m v1.30.3 master-1 Ready master 63m v1.30.3 master-2 Ready master 64m v1.30.3
출력에 생성된 모든 시스템이 나열됩니다.
참고이전 출력에는 일부 CSR이 승인될 때까지 컴퓨팅 노드(작업자 노드라고도 함)가 포함되지 않을 수 있습니다.
보류 중인 CSR을 검토하고 클러스터에 추가한 각 시스템에 대해
Pending
또는Approved
상태의 클라이언트 및 서버 요청이 표시되는지 확인합니다.$ oc get csr
출력 예
NAME AGE REQUESTOR CONDITION csr-8b2br 15m system:serviceaccount:openshift-machine-config-operator:node-bootstrapper Pending csr-8vnps 15m system:serviceaccount:openshift-machine-config-operator:node-bootstrapper Pending ...
예에서는 두 시스템이 클러스터에 참여하고 있습니다. 목록에는 승인된 CSR이 더 많이 나타날 수도 있습니다.
CSR이 승인되지 않은 경우, 추가된 시스템에 대한 모든 보류 중인 CSR이
Pending
상태로 전환된 후 클러스터 시스템의 CSR을 승인합니다.참고CSR은 교체 주기가 자동으로 만료되므로 클러스터에 시스템을 추가한 후 1시간 이내에 CSR을 승인하십시오. 한 시간 내에 승인하지 않으면 인증서가 교체되고 각 노드에 대해 두 개 이상의 인증서가 표시됩니다. 이러한 인증서를 모두 승인해야 합니다. 클라이언트 CSR이 승인되면 Kubelet은 인증서에 대한 보조 CSR을 생성하므로 수동 승인이 필요합니다. 그러면 Kubelet에서 동일한 매개변수를 사용하여 새 인증서를 요청하는 경우 인증서 갱신 요청은
machine-approver
에 의해 자동으로 승인됩니다.참고베어 메탈 및 기타 사용자 프로비저닝 인프라와 같이 머신 API를 사용하도록 활성화되지 않는 플랫폼에서 실행되는 클러스터의 경우 CSR(Kubelet service Certificate Request)을 자동으로 승인하는 방법을 구현해야 합니다. 요청이 승인되지 않으면 API 서버가 kubelet에 연결될 때 서비스 인증서가 필요하므로
oc exec
,oc rsh
,oc logs
명령을 성공적으로 수행할 수 없습니다. Kubelet 엔드 포인트에 연결하는 모든 작업을 수행하려면 이 인증서 승인이 필요합니다. 이 방법은 새 CSR을 감시하고 CSR이system:node
또는system:admin
그룹의node-bootstrapper
서비스 계정에 의해 제출되었는지 확인하고 노드의 ID를 확인합니다.개별적으로 승인하려면 유효한 CSR 각각에 대해 다음 명령을 실행하십시오.
$ oc adm certificate approve <csr_name> 1
- 1
<csr_name>
은 현재 CSR 목록에 있는 CSR의 이름입니다.
보류 중인 CSR을 모두 승인하려면 다음 명령을 실행하십시오.
$ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve
참고일부 Operator는 일부 CSR이 승인될 때까지 사용할 수 없습니다.
이제 클라이언트 요청이 승인되었으므로 클러스터에 추가한 각 머신의 서버 요청을 검토해야 합니다.
$ oc get csr
출력 예
NAME AGE REQUESTOR CONDITION csr-bfd72 5m26s system:node:ip-10-0-50-126.us-east-2.compute.internal Pending csr-c57lv 5m26s system:node:ip-10-0-95-157.us-east-2.compute.internal Pending ...
나머지 CSR이 승인되지 않고
Pending
상태인 경우 클러스터 머신의 CSR을 승인합니다.개별적으로 승인하려면 유효한 CSR 각각에 대해 다음 명령을 실행하십시오.
$ oc adm certificate approve <csr_name> 1
- 1
<csr_name>
은 현재 CSR 목록에 있는 CSR의 이름입니다.
보류 중인 CSR을 모두 승인하려면 다음 명령을 실행하십시오.
$ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve
모든 클라이언트 및 서버 CSR이 승인된 후 머신은
Ready
상태가 됩니다. 다음 명령을 실행하여 확인합니다.$ oc get nodes
출력 예
NAME STATUS ROLES AGE VERSION master-0 Ready master 73m v1.30.3 master-1 Ready master 73m v1.30.3 master-2 Ready master 74m v1.30.3 worker-0 Ready worker 11m v1.30.3 worker-1 Ready worker 11m v1.30.3
참고머신이
Ready
상태로 전환하는 데 서버 CSR의 승인 후 몇 분이 걸릴 수 있습니다.
추가 정보