3장. 가상화된 컨트롤 플레인을 위한 환경 준비
가상화된 컨트롤 플레인 클러스터를 배포하기 전에 호스팅 클러스터 환경을 준비합니다. 여기에는 KubeVirt Redfish 설치 및 구성 및 컨트롤 플레인 VM 생성이 포함됩니다.
3.1. KubeVirt Redfish 설치 링크 복사링크가 클립보드에 복사되었습니다!
일련의 CR(사용자 정의 리소스)을 적용하여 OpenShift Virtualization 클러스터에 KubeVirt Redfish를 설치합니다. 이러한 CR은 Redfish API를 통해 VM을 노출하는 데 필요한 네임스페이스, 권한, 구성 및 배포를 생성합니다.
사전 요구 사항
- OpenShift Virtualization이 설치된 OpenShift Container Platform 클러스터가 있어야 합니다.
-
OpenShift CLI(
oc)를 설치합니다. -
cluster-admin권한이 있는 사용자로 OpenShift Container Platform에 로그인했습니다.
절차
다음 예와 같은 콘텐츠로 YAML 파일을 생성하여 KubeVirt Redfish의
네임스페이스CR을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f namespace.yaml다음 예와 같은 콘텐츠로 YAML 파일을 생성하여
ServiceAccountCR을 생성합니다.apiVersion: v1 kind: ServiceAccount metadata: name: kubevirt-redfish namespace: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: rbac다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f serviceaccount.yaml다음 예와 같은 콘텐츠로 YAML 파일을 생성하여 필요한 권한으로
ClusterRoleCR을 생성합니다.apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: kubevirt-redfish-role labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: rbac rules: - apiGroups: ["kubevirt.io"] resources: ["virtualmachines", "virtualmachineinstances"] verbs: ["get", "list", "watch", "update", "patch"] - apiGroups: ["kubevirt.io"] resources: ["virtualmachines/status", "virtualmachineinstances/status"] verbs: ["get", "list", "watch", "patch"] - apiGroups: ["kubevirt.io"] resources: ["virtualmachines/restart", "virtualmachines/start", "virtualmachines/stop"] verbs: ["create"] - apiGroups: ["subresources.kubevirt.io"] resources: ["virtualmachineinstances/pause", "virtualmachineinstances/unpause"] verbs: ["create", "update"] - apiGroups: [""] resources: ["pods", "services", "configmaps", "secrets"] verbs: ["get", "list", "watch", "create", "update", "delete"] - apiGroups: [""] resources: ["namespaces"] verbs: ["get", "list"] - apiGroups: ["cdi.kubevirt.io"] resources: ["datavolumes", "volumeimportsources"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] - apiGroups: [""] resources: ["persistentvolumeclaims"] verbs: ["get", "list", "create", "update", "patch", "delete", "watch"] - apiGroups: ["storage.k8s.io"] resources: ["storageclasses"] verbs: ["get", "list"]다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f clusterrole.yaml다음 예와 같은 콘텐츠를 사용하여 YAML 파일을 생성하여
ClusterRoleBindingCR을 생성합니다.apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: kubevirt-redfish-binding labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: rbac roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: kubevirt-redfish-role subjects: - kind: ServiceAccount name: kubevirt-redfish namespace: kubevirt-redfish다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f clusterrolebinding.yamlRedfish API가 특정 VM을 관리할 수 있도록
SecretCR을 생성합니다.Linux 터미널에서 다음 명령을 실행하여 Redfish API의
bcrypt해시된 암호를 생성합니다.$ htpasswd -nbB "" '<password>' | cut -d: -f2<password>는 Redfish API에 사용할 암호입니다.출력은 $
2a$,로 시작하는$2b$또는$2y$bcrypt해시 암호입니다.참고이전 기술 프리뷰 릴리스에서는 일반 텍스트 암호가 사용되었습니다. 보안을 개선하기 위해
bcrypt해시된 암호를 사용합니다.
다음 예와 같은 콘텐츠가 포함된 구성이 포함된
SecretCR을 생성합니다. 환경에 맞게config.yaml섹션을 편집합니다.apiVersion: v1 kind: Secret metadata: name: kubevirt-redfish-secret namespace: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: config type: Opaque stringData: config.yaml: | server: host: "0.0.0.0" port: 8443 tls: enabled: false system_id_convention: "enhanced" chassis: - name: "<chassis_name>" namespace: "<vm_namespace>" service_account: "kubevirt-redfish" vm_selector: labels: redfish-enabled: "true" authentication: users: - username: "admin" password: hash: "<bcrypt_password>" chassis: ["<chassis_name>"] datavolume: storage_class: "<storage_class>" storage_size: "3Gi"다음과 같습니다.
system_id_convention-
Redfish 시스템 ID의 형식을 지정합니다. 권장되는 설정은 <
namespace>.<vm-name> 형식을 사용하도록향상되었습니다.레거시설정은 <vm-name>만 사용합니다. chassis-
VM이 배포된 네임스페이스를 지정합니다. <
chassis_name>을 이 섀시 구성의 이름으로 바꾸고 <vm_namespace>를 VM이 포함된 네임스페이스로 바꿉니다.vm_selector레이블은 Redfish를 통해 노출되는 네임스페이스의 VM을 식별합니다. 라벨이 일치하는 VM만 표시됩니다. 동일한 네임스페이스에 다양한 VM 하위 집합을 노출하도록 여러 섀시 항목을 구성할 수 있습니다. 각각 다른 인증 사용자가 있습니다. 인증-
Redfish API에 대한 요청을 확인하는 데 필요한 사용자 이름과 암호를 지정합니다. &
lt;bcrypt_password>를 생성한bcrypt해시된 암호로 바꿉니다. datavolume-
가상 미디어 작업에 대한 스토리지를 지정합니다. kubevirt Redfish는 이 스토리지를 사용하여 데이터 볼륨을 생성하고, 설치 ISO를 해당 볼륨으로 다운로드한 다음, 해당 볼륨을 가상 미디어로 VM에 연결합니다. &
lt;storage_class>를 호스팅 클러스터의 모든 노드에서 액세스할 수 있는 공유 스토리지 위치를 가리키는 스토리지 클래스로 바꿉니다. 이 볼륨에 LVM Storage와 같은 노드 로컬 스토리지 클래스를 사용하지 마십시오. 스토리지 옵션에 대한 자세한 내용은 "가상화 컨트롤 플레인의 사전 요구 사항 "에서 스토리지 요구 사항을 참조하십시오.
다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f secret.yaml주의이
SecretCR에 정의된 인증 정보를 사용하면 OpenShift Container Platform 권한과 관계없이 KubeVirt Redfish를 통해 노출되는 VM에 대한 전체 관리 제어가 가능합니다.다음 예와 같은 콘텐츠를 사용하여 YAML 파일을 생성하여
DeploymentCR을 생성합니다.apiVersion: apps/v1 kind: Deployment metadata: name: kubevirt-redfish namespace: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server spec: replicas: 1 selector: matchLabels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server template: metadata: labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server spec: serviceAccountName: kubevirt-redfish securityContext: runAsNonRoot: true containers: - name: kubevirt-redfish image: registry.redhat.io/container-native-virtualization/kubevirt-redfish-rhel9:v5.0 imagePullPolicy: Always ports: - name: http containerPort: 8443 protocol: TCP env: - name: CONFIG_PATH value: "/app/config/config.yaml" - name: LOG_LEVEL value: "info" resources: requests: memory: "512Mi" cpu: "100m" limits: memory: "2Gi" cpu: "500m" livenessProbe: httpGet: path: /redfish/v1/ port: 8443 scheme: HTTP initialDelaySeconds: 30 periodSeconds: 10 readinessProbe: httpGet: path: /redfish/v1/ port: 8443 scheme: HTTP initialDelaySeconds: 5 periodSeconds: 5 securityContext: runAsNonRoot: true allowPrivilegeEscalation: false capabilities: drop: - ALL volumeMounts: - name: config-volume mountPath: /app/config readOnly: true volumes: - name: config-volume secret: secretName: kubevirt-redfish-secret다음과 같습니다.
-
image필드는 KubeVirt Redfish 컨테이너 이미지를 지정합니다.
-
다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f deployment.yaml다음 예와 같은 콘텐츠로 YAML 파일을 생성하여
ServiceCR을 생성합니다.apiVersion: v1 kind: Service metadata: name: kubevirt-redfish namespace: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server spec: type: ClusterIP ports: - name: http port: 8443 targetPort: 8443 protocol: TCP selector: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f service.yaml다음 예와 같은 콘텐츠로 YAML 파일을 생성하여 외부에서 Redfish API를 노출하도록
RouteCR을 생성합니다.apiVersion: route.openshift.io/v1 kind: Route metadata: name: kubevirt-redfish namespace: kubevirt-redfish labels: app.kubernetes.io/name: kubevirt-redfish app.kubernetes.io/component: server spec: port: targetPort: http to: kind: Service name: kubevirt-redfish weight: 100 tls: termination: edge insecureEdgeTerminationPolicy: Redirect다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f route.yaml
검증
다음 명령을 실행하여 포드가 실행 중인지 확인합니다.
$ oc get pods -n kubevirt-redfish출력 예
NAME READY STATUS RESTARTS AGE kubevirt-redfish-587cd94988-xthml 1/1 Running 0 2m다음 명령을 실행하여 경로 호스트 이름을 가져옵니다.
$ oc get route kubevirt-redfish -n kubevirt-redfish -o jsonpath='{.spec.host}'다음 명령을 실행하여 Redfish 끝점을 테스트합니다.
$ curl -sk -u "admin:<password>" https://<route_hostname>/redfish/v1/성공적인 응답은 Redfish 서비스 루트를 사용하여 JSON을 반환합니다.
{ "@odata.id": "/redfish/v1", "@odata.type": "#ServiceRoot.v1_0_0.ServiceRoot", "Id": "RootService", "Name": "Root Service", "Systems": { "@odata.id": "/redfish/v1/Systems" } }
3.2. 컨트롤 플레인 VM 생성 링크 복사링크가 클립보드에 복사되었습니다!
가상화된 컨트롤 플레인 클러스터의 컨트롤 플레인 노드가 될 호스팅 클러스터에서 VM을 생성합니다.
사전 요구 사항
- kubevirt Redfish가 호스팅 클러스터에 설치 및 구성되어 있습니다.
- 호스팅 클러스터에는 VM 간에 계층 2 연결을 제공하도록 구성된 네트워크가 있습니다.
- 호스팅 클러스터에 LVM(Logical Volume Manager) 스토리지가 설치되어 있습니다.
절차
다음 예와 같은 콘텐츠로 YAML 파일을 생성하여 각 컨트롤 플레인 노드에
VirtualMachineCR을 생성합니다.apiVersion: kubevirt.io/v1 kind: VirtualMachine metadata: name: control-plane-0 namespace: <vm_namespace> labels: redfish-enabled: "true" vcp-cluster: <cluster_name> spec: runStrategy: Halted dataVolumeTemplates: - metadata: name: control-plane-0-disk spec: source: blank: {} storage: accessModes: - ReadWriteOnce volumeMode: Block resources: requests: storage: 120Gi storageClassName: <storage_class> template: metadata: labels: redfish-enabled: "true" vcp-cluster: <cluster_name> spec: evictionStrategy: None affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchLabels: vcp-cluster: <cluster_name> topologyKey: kubernetes.io/hostname readinessProbe: guestAgentPing: {} initialDelaySeconds: 120 periodSeconds: 20 timeoutSeconds: 10 failureThreshold: 3 successThreshold: 3 domain: rebootPolicy: Terminate cpu: cores: 8 memory: guest: 16Gi devices: disks: - name: rootdisk disk: bus: virtio - name: cloudinitdisk disk: bus: virtio interfaces: - name: default macAddress: "52:54:00:00:00:01" bridge: {} networks: - name: default multus: networkName: <network_attachment_definition> volumes: - name: rootdisk dataVolume: name: control-plane-0-disk - name: cloudinitdisk cloudInitNoCloud: userData: | #cloud-config hostname: control-plane-0 user: core다음과 같습니다.
-
<vm_namespace>는 VM의 네임스페이스를 지정합니다. KubeVirt Redfish 섀시 구성에 지정된 네임스페이스와 일치해야 합니다. -
Redfish 사용: "true"는 예제 레이블입니다. 레이블은 KubeVirt Redfish 구성의vm_selector레이블과 일치하여 Redfish API를 통해 VM을 노출해야 합니다. VM과 KubeVirt Redfish 구성에서 동일한 라벨을 사용하는 한 모든 레이블과 레이블을 사용할 수 있습니다. -
vCP-cluster: <cluster_name>은 VM이 속한 대상 클러스터를 식별합니다. <cluster_name>을 대상 클러스터 이름으로 바꿉니다. 이 레이블은 유사성 방지 규칙 및 Pod 중단 예산에서 단일 대상 클러스터로 작업 범위를 지정하는 데 사용됩니다. 이는 호스팅 클러스터가 여러 대상 클러스터에 대해 VM을 실행하는 경우 중요합니다. -
evictionStrategy: None을 사용하면 노드 드레이닝 작업 중에 호스팅 클러스터가 컨트롤 플레인 VM을 실시간 마이그레이션하지 않습니다. 가상화된 컨트롤 플레인 VM에서는 실시간 마이그레이션이 지원되지 않습니다. -
affinity.podAntiAffinity는 컨트롤 플레인 VM을 다른 물리적 노드에 분배하여 단일 노드 장애가 하나의 VM에만 영향을 미칩니다. 라벨 선택기는vcp-cluster레이블을 사용하여 동일한 대상 클러스터에 속하는 VM에 대한 유사성 방지 범위를 지정합니다. -
readinessProbe.guestAgentPing은 VM 내부의 QEMU 게스트 에이전트가 응답했는지 확인합니다. 호스팅 클러스터는 이 프로브를 사용하여 다른 VM에 영향을 주는 작업을 허용하기 전에 VM이 정상인지 확인합니다. -
RunStrategy: Halted는 처음에 VM의 전원을 꺼야 함을 나타냅니다. 설치는 Redfish API를 사용하여 전원을 켭니다. rebootPolicy: Terminate는 Redfish API 부팅 덮어쓰기 작업에 필요한 재부팅 동작을 지정합니다. 부팅 미디어가 변경될 때 VM이 완전히 종료되는지 확인합니다.참고RebootPolicy기능 게이트는VirtualMachineCR 사양에서rebootPolicy필드를 활성화합니다. OpenShift Virtualization 5.0에서는 이 기능 게이트가 기본적으로 활성화되어 있습니다.가상화된 컨트롤 플레인 클러스터를 배포할 때
rebootPolicy: Terminate구성이 필요합니다.-
cores: 8및guest: 16Gi는 컨트롤 플레인 노드에 권장되는 최소 리소스를 지정합니다. -
dataVolumeTemplates는 VM에 대한 빈 루트 디스크를 생성합니다.120Gi값은 컨트롤 플레인 VM 스토리지 요구 사항과 일치합니다. -
<storage_class>는 호스팅 클러스터의 LVM 스토리지StorageClass를 지정합니다(예:lvms-vg1). -
macaddress는 VM 네트워크 인터페이스의 고정 MAC 주소를 지정합니다. 설치 구성에서bootMACAddress필드에 이 동일한 주소를 사용합니다. 각 컨트롤 플레인 VM에 고유한 MAC 주소를 할당합니다. -
<network_attachment_definition>은 호스팅 클러스터에 구성된NetworkAttachmentDefinition의 이름을 지정합니다. 모든 컨트롤 플레인 VM은 동일한 L2 네트워크 세그먼트를 공유해야 합니다. 일반적인 옵션에는 localnet, Linux 브리지 또는 OVN 계층 2 네트워크가 포함됩니다.
-
다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f control-plane-0.yaml동일한 사양을 사용하여
control-plane-1및control-plane-2에 대한 추가 VM을 생성하고 각 VM에 대한metadata.name,dataVolumeTemplates[].metadata.name,macAddress, cloud-init호스트 이름을조정합니다.호스트 클러스터가 한 번에 둘 이상의 컨트롤 플레인 VM을 제거하지 않도록
PodDisruptionBudget을 생성합니다.apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: vcp-control-plane-pdb namespace: <vm_namespace> spec: minAvailable: 2 selector: matchLabels: vcp-cluster: <cluster_name>다음과 같습니다.
-
minAvailable: 2에서는 노드 드레이닝 작업 중에 두 개 이상의 컨트롤 플레인 VM이 계속 실행되도록 하여etcd쿼럼을 유지합니다.VirtualMachineInstance컨트롤러에서 Kubernetes scale 하위 리소스를 구현하지 않으므로maxUnavailable대신minAvailable을 사용해야 합니다.maxUnavailable이 있는 PDB는 VM에 대해 예상되는 Pod 수를 확인할 수 없으므로 모든 제거를 차단합니다. -
라벨 선택기는
vcp-cluster레이블을 사용하여 동일한 대상 클러스터에 속하는 VM에 대한 예산 범위를 지정합니다.
-
다음 명령을 실행하여 리소스를 적용합니다.
$ oc apply -f vcp-control-plane-pdb.yaml
검증
다음 명령을 실행하여 VM이 생성되고 전원이 꺼졌는지 확인합니다.
$ oc get vm -n <vm_namespace><vm_namespace>는 VM의 네임스페이스입니다.출력 예
NAME AGE STATUS READY control-plane-0 1m Stopped False control-plane-1 1m Stopped False control-plane-2 1m Stopped False
Redfish API를 쿼리하여 KubeVirt Redfish에서 VM을 검색할 수 있는지 확인합니다.
$ curl -sk -u "<username>:<password>" \ https://<kubevirt_redfish_route>/redfish/v1/Systems