10.18. 高级虚拟机管理

流程

1. 通过编辑 VirtualMachine 清单来为虚拟机设置限值。例如：

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     name: with-limits
   spec:
     running: false
     template:
       spec:
         domain:
   # ...
           resources:
             requests:
               memory: 128Mi
             limits:
               memory: 256Mi  1

   1

   这个配置被支持，因为 limits.memory 值至少比 requests.memory 的值大 100Mi。

2. 保存 VirtualMachine 清单。

流程

1. 运行以下命令打开 HyperConverged CR：

   $ oc edit hco -n openshift-cnv kubevirt-hyperconverged

2. 按照以下示例所示，编辑 spec.certConfig 字段。要避免系统过载，请确保所有值都大于或等于 10 分钟。将所有值显示为符合 golang ParseDuration 格式的字符串。

   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   metadata:
    name: kubevirt-hyperconverged
    namespace: openshift-cnv
   spec:
     certConfig:
       ca:
         duration: 48h0m0s
         renewBefore: 24h0m0s 1
       server:
         duration: 24h0m0s  2
         renewBefore: 12h0m0s  3

   1

   ca.renewBefore 的值必须小于或等于 ca.duration 的值。

   2

   server.duration 的值必须小于或等于 ca.duration 的值。

   3

   server.renewBefore 的值必须小于或等于 server.duration 的值。

3. 将 YAML 文件应用到集群。

流程

1. 编辑或创建 VirtualMachine 清单文件。使用 spec.firmware.bootloader 小节来配置 UEFI 模式：

   使用安全引导活跃在 UEFI 模式中引导

   apiversion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     labels:
       special: vm-secureboot
     name: vm-secureboot
   spec:
     template:
       metadata:
         labels:
           special: vm-secureboot
       spec:
         domain:
           devices:
             disks:
             - disk:
                 bus: virtio
               name: containerdisk
           features:
             acpi: {}
             smm:
               enabled: true 1
           firmware:
             bootloader:
               efi:
                 secureBoot: true 2
   ...

   1

   OpenShift Virtualization 需要为 UEFI 模式的安全引导启用系统管理模式(SMM)。

   2

   使用 UEFI 模式时，OpenShift Virtualization 支持带有或不进行安全引导的虚拟机。如果启用了安全引导，则需要 UEFI 模式。但是，可以在不使用安全引导的情况下启用 UEFI 模式。

2. 运行以下命令，将清单应用到集群：

   $ oc create -f <file_name>.yaml

流程

1. 在集群上配置 PXE 网络：

   1. 为 PXE 网络 pxe-net-conf 创建网络附加定义文件：

      apiVersion: "k8s.cni.cncf.io/v1"
      kind: NetworkAttachmentDefinition
      metadata:
        name: pxe-net-conf
      spec:
        config: '{
          "cniVersion": "0.3.1",
          "name": "pxe-net-conf",
          "plugins": [
            {
              "type": "cnv-bridge",
              "bridge": "br1",
              "vlan": 1 1
            },
            {
              "type": "cnv-tuning" 2
            }
          ]
        }'

      1

      可选： VLAN 标签。

      2

      cnv-tuning 插件为自定义 MAC 地址提供支持。

      注意

      虚拟机实例将通过所请求的 VLAN 的访问端口附加到网桥 br1。

2. 使用您在上一步中创建的文件创建网络附加定义：

   $ oc create -f pxe-net-conf.yaml

3. 编辑虚拟机实例配置文件以包括接口和网络的详情。

   1. 如果 PXE 服务器需要，请指定网络和 MAC 地址。如果未指定 MAC 地址，则会自动分配一个值。

      请确保 bootOrder 设置为 1，以便该接口先启动。在本例中，该接口连接到了名为 <pxe-net> 的网络中：

      interfaces:
      - masquerade: {}
        name: default
      - bridge: {}
        name: pxe-net
        macAddress: de:00:00:00:00:de
        bootOrder: 1

      注意

      启动顺序对于接口和磁盘全局通用。

   2. 为磁盘分配一个启动设备号，以确保置备操作系统后能够正确启动。

      将磁盘 bootOrder 值设置为 2：

      devices:
        disks:
        - disk:
            bus: virtio
          name: containerdisk
          bootOrder: 2

   3. 指定网络连接到之前创建的网络附加定义。在这种情况下，<pxe-net> 连接到名为 <pxe-net-conf> 的网络附加定义：

      networks:
      - name: default
        pod: {}
      - name: pxe-net
        multus:
          networkName: pxe-net-conf

4. 创建虚拟机实例：

   $ oc create -f vmi-pxe-boot.yaml

1. 等待虚拟机实例运行：

   $ oc get vmi vmi-pxe-boot -o yaml | grep -i phase
     phase: Running

2. 使用 VNC 查看虚拟机实例：

   $ virtctl vnc vmi-pxe-boot

3. 查看启动屏幕，验证 PXE 启动是否成功。

4. 登录虚拟机实例：

   $ virtctl console vmi-pxe-boot

5. 验证虚拟机上的接口和 MAC 地址，并验证连接到网桥的接口是否具有指定的 MAC 地址。在本例中，我们使用了 eth1 进行 PXE 启动，无需 IP 地址。另一接口 eth0 从 OpenShift Container Platform 获取 IP 地址。

   $ ip addr

流程

1. 在虚拟机配置中，把 resources.requests.memory 和 memory.hugepages.pageSize 参数添加到 spec.domain。以下配置片段适用于请求总计 4Gi 内存的虚拟机，页面大小为 1Gi:

   kind: VirtualMachine
   ...
   spec:
     domain:
       resources:
         requests:
           memory: "4Gi" 1
       memory:
         hugepages:
           pageSize: "1Gi" 2
   ...

   1

   为虚拟机请求的总内存量。这个值必须可以被按页大小整除。

   2

   每个巨页的大小。x86_64 架构的有效值为 1Gi 和 2Mi。页面大小必须小于请求的内存。

2. 应用虚拟机配置：

   $ oc apply -f <virtual_machine>.yaml

流程

1. 在 OpenShift Container Platform 控制台中，从侧边菜单中点 Virtualization VirtualMachines。
2. 选择虚拟机以打开 VirtualMachine 详情页面。
3. 在 Scheduling 选项卡中，点 Dedicated Resources 旁边的铅笔图标。
4. 选择 Schedule this workload with dedicated resources (guaranteed policy)。
5. 点 Save。

流程

1. 在 OpenShift Container Platform web 控制台中，从侧边菜单中点 Virtualization VirtualMachines。
2. 选择您要为其分配该设备的虚拟机。

3. 在 Details 标签页中，点 GPU 设备。

   如果将 vGPU 设备添加为主机设备，则无法使用 VNC 控制台访问该设备。

4. 点 Add GPU 设备，输入名称并从设备名称列表中选择 设备。
5. 点击 Save。
6. 点 YAML 选项卡，验证 hostDevices 部分中的新设备是否已添加到集群配置中。

流程

1. 创建包含以下内容的 YAML 文件：

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     labels:
       kubevirt.io/vm: vm2-rhel84-watchdog
     name: <vm-name>
   spec:
     running: false
     template:
       metadata:
        labels:
           kubevirt.io/vm: vm2-rhel84-watchdog
       spec:
         domain:
           devices:
             watchdog:
               name: <watchdog>
               i6300esb:
                 action: "poweroff" 1
   ...

   1

   指定 watchdog 操作（poweroff、reset 或 shutdown）。

   上面的示例使用 poweroff 操作配置 RHEL8 虚拟机上的 i6300esb watchdog 设备，并将设备公开为 /dev/watchdog。

   现在，watchdog 二进制文件可以使用这个设备。

2. 运行以下命令，将 YAML 文件应用到集群：

   $ oc apply -f <file_name>.yaml

1. 运行以下命令来验证虚拟机是否已连接到 watchdog 设备：

   $ lspci | grep watchdog -i

2. 运行以下命令之一以确认 watchdog 处于活跃状态：

   • 触发内核 panic：

     # echo c > /proc/sysrq-trigger

   • 终止 watchdog 服务：

     # pkill -9 watchdog

流程

1. 作为 root 用户，安装 watchdog 软件包和依赖项：

   # yum install watchdog

2. 在 /etc/watchdog.conf 文件中取消注释以下行，并保存更改：

   #watchdog-device = /dev/watchdog

3. 在引导时启用 watchdog 服务：

   # systemctl enable --now watchdog.service

流程

1. 通过编辑 HyperConverged 自定义资源(CR) 来定义新的 storageClassName。

   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
   spec:
     dataImportCronTemplates:
     - metadata:
         name: rhel8-image-cron
       spec:
         template:
           spec:
             storageClassName: <appropriate_class_name>
   ...

2. 运行以下命令设置新的默认存储类：

   $ oc patch storageclass <current_default_storage_class> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

   $ oc patch storageclass <appropriate_storage_class> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

流程

1. 使用以下命令打开 HyperConverged CR 进行编辑：

   $ oc edit -n openshift-cnv HyperConverged

2. 编辑 HyperConverged CR，在 dataImportCronTemplates 部分添加适当的模板和引导源。例如：

   CentOS 7 中的示例

   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
   spec:
     dataImportCronTemplates:
     - metadata:
         name: centos7-image-cron
         annotations:
           cdi.kubevirt.io/storage.bind.immediate.requested: "true" 1
       spec:
         schedule: "0 */12 * * *" 2
         template:
           spec:
             source:
               registry: 3
                 url: docker://quay.io/containerdisks/centos:7-2009
             storage:
               resources:
                 requests:
                   storage: 10Gi
         managedDataSource: centos7 4
         retentionPolicy: "None" 5

   1

   对于将 volumeBindingMode 设置为 WaitForFirstConsumer 的存储类来说，这个注解是必需的。

   2

   以 cron 格式指定的作业调度计划。

   3

   用于从 registry 源创建数据卷。使用默认 pod pullMethod 而不是 节点 pullMethod，这基于 节点 docker 缓存。当 registry 镜像通过 Container.Image 可用时，节点 docker 缓存很有用，但 CDI 导入程序没有授权访问它。

   4

   要使自定义镜像被检测到为可用的引导源，镜像的 managedDataSource 的名称必须与模板的 DataSource 的名称匹配，它在 VM 模板 YAML 文件中的 spec.dataVolumeTemplates.spec.sourceRef.name 下找到。

   5

   在删除 cron 作业时，使用 All 来保留数据卷和数据源。删除 cron 作业时，使用 None 删除数据卷和数据源。

流程

1. 使用 oc get 命令列出 HyperConverged CR 中的 dataImportChronTemplates。

2. 验证引导源的状态。

   输出示例

   ...
   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   ...
   spec:
     ...
   status: 1
     ...
     dataImportCronTemplates: 2
     - metadata:
         annotations:
           cdi.kubevirt.io/storage.bind.immediate.requested: "true"
         name: centos-7-image-cron
       spec:
         garbageCollect: Outdated
         managedDataSource: centos7
         schedule: 55 8/12 * * *
         template:
           metadata: {}
           spec:
             source:
               registry:
                 url: docker://quay.io/containerdisks/centos:7-2009
             storage:
               resources:
                 requests:
                   storage: 30Gi
           status: {}
       status:
         commonTemplate: true 3
       ...
     - metadata:
         annotations:
           cdi.kubevirt.io/storage.bind.immediate.requested: "true"
         name: user-defined-dic
       spec:
         garbageCollect: Outdated
         managedDataSource: user-defined-centos-stream8
         schedule: 55 8/12 * * *
         template:
           metadata: {}
           spec:
             source:
               registry:
                 pullMethod: node
                 url: docker://quay.io/containerdisks/centos-stream:8
             storage:
               resources:
                 requests:
                   storage: 30Gi
           status: {}
       status: {} 4
   ...

   1

   HyperConverged CR 的 status 字段。

   2

   dataImportCronTemplates 字段，它列出所有定义的引导源。

   3

   表示系统定义的引导源。

   4

   表示用户定义的引导源。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。

2. 为 Kube Descheduler Operator 创建所需的命名空间。

   1. 进行 Administration Namespaces，点 Create Namespace。
   2. 在 Name 字段中输入 openshift-kube-descheduler-operator，在 Labels 字段中输入 openshift.io/cluster-monitoring=true 来启用 descheduler 指标，然后点击 Create。

3. 安装 Kube Descheduler Operator。

   1. 进入 Operators OperatorHub。
   2. 在过滤框中输入 Kube Descheduler Operator。
   3. 选择 Kube Descheduler Operator 并点 Install。
   4. 在 Install Operator 页面中，选择 A specific namespace on the cluster。从下拉菜单中选择 openshift-kube-descheduler-operator 。
   5. 将 Update Channel 和 Approval Strategy 的值调整为所需的值。
   6. 点击 Install。

4. 创建 descheduler 实例。

   1. 在 Operators Installed Operators 页面中，点 Kube Descheduler Operator。
   2. 选择 Kube Descheduler 标签页并点 Create KubeDescheduler。

   3. 根据需要编辑设置。

      1. 要驱除 pod 而不是模拟驱除，请将 Mode 字段更改为 Automatic。

      2. 展开 Profiles 部分，再选择 DevPreviewLongLifecycle。AffinityAndTaints 配置集默认为启用。

         重要

         当前仅适用于 OpenShift Virtualization 的配置集是 DevPreviewLongLifecycle。

流程

1. 在启动虚拟机前，将 descheduler.alpha.kubernetes.io/evict 注解添加到 VirtualMachine CR:

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   spec:
     template:
       metadata:
         annotations:
           descheduler.alpha.kubernetes.io/evict: "true"

2. 如果您还没有在安装过程中在 web 控制台中设置 DevPreviewLongLifecycle 配置集，请在 KubeDescheduler 对象的 spec.profile 部分指定 DevPreviewLongLifecycle ：

   apiVersion: operator.openshift.io/v1
   kind: KubeDescheduler
   metadata:
     name: cluster
     namespace: openshift-kube-descheduler-operator
   spec:
     deschedulingIntervalSeconds: 3600
     profiles:
     - DevPreviewLongLifecycle
     mode: Predictive 1

   1

   默认情况下，descheduler 不会驱除 pod。要驱除 pod，请将 mode 设置为 Automatic。