14.3. 监控

1. 创建服务帐户、角色和 rolebindings，以便为延迟检查提供集群访问权限。
2. 创建配置映射以提供运行检查并存储结果的输入。
3. 创建用于运行检查的作业。
4. 查看配置映射中的结果。
5. 可选： 要重新运行检查，请删除现有的配置映射和作业，然后创建新的配置映射和作业。
6. 完成后，删除延迟检查资源。

流程

1. 为延迟检查创建一个 ServiceAccount、Role 和 RoleBinding 清单：

   例 14.1. 角色清单文件示例

   ---
   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: vm-latency-checkup-sa
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: kubevirt-vm-latency-checker
   rules:
   - apiGroups: ["kubevirt.io"]
     resources: ["virtualmachineinstances"]
     verbs: ["get", "create", "delete"]
   - apiGroups: ["subresources.kubevirt.io"]
     resources: ["virtualmachineinstances/console"]
     verbs: ["get"]
   - apiGroups: ["k8s.cni.cncf.io"]
     resources: ["network-attachment-definitions"]
     verbs: ["get"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kubevirt-vm-latency-checker
   subjects:
   - kind: ServiceAccount
     name: vm-latency-checkup-sa
   roleRef:
     kind: Role
     name: kubevirt-vm-latency-checker
     apiGroup: rbac.authorization.k8s.io
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: kiagnose-configmap-access
   rules:
   - apiGroups: [ "" ]
     resources: [ "configmaps" ]
     verbs: ["get", "update"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kiagnose-configmap-access
   subjects:
   - kind: ServiceAccount
     name: vm-latency-checkup-sa
   roleRef:
     kind: Role
     name: kiagnose-configmap-access
     apiGroup: rbac.authorization.k8s.io

2. 应用 ServiceAccount、Role 和 RoleBinding 清单：

   $ oc apply -n <target_namespace> -f <latency_sa_roles_rolebinding>.yaml 1

   1

   <target_namespace> 是要运行检查的命名空间。这必须是 NetworkAttachmentDefinition 对象所在的现有命名空间。

3. 创建包含检查的输入参数的 ConfigMap 清单：

   输入配置映射示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kubevirt-vm-latency-checkup-config
   data:
     spec.timeout: 5m
     spec.param.networkAttachmentDefinitionNamespace: <target_namespace>
     spec.param.networkAttachmentDefinitionName: "blue-network" 1
     spec.param.maxDesiredLatencyMilliseconds: "10" 2
     spec.param.sampleDurationSeconds: "5" 3
     spec.param.sourceNode: "worker1" 4
     spec.param.targetNode: "worker2" 5

   1

   NetworkAttachmentDefinition 对象的名称。

   2

   可选：虚拟机之间所需最大延迟（以毫秒为单位）。如果测量的延迟超过这个值，则检查会失败。

   3

   可选：延迟检查的持续时间，以秒为单位。

   4

   可选：指定时，延迟从此节点测量到目标节点。如果指定了源节点，spec.param.targetNode 字段将无法为空。

   5

   可选：指定时，延迟从源节点测量到这个节点。

4. 应用目标命名空间中的配置映射清单：

   $ oc apply -n <target_namespace> -f <latency_config_map>.yaml

5. 创建一个 Job 清单以运行检查：

   任务清单示例

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: kubevirt-vm-latency-checkup
   spec:
     backoffLimit: 0
     template:
       spec:
         serviceAccountName: vm-latency-checkup-sa
         restartPolicy: Never
         containers:
           - name: vm-latency-checkup
             image: registry.redhat.io/container-native-virtualization/vm-network-latency-checkup-rhel9:v4.13.0
             securityContext:
               allowPrivilegeEscalation: false
               capabilities:
                 drop: ["ALL"]
               runAsNonRoot: true
               seccompProfile:
                 type: "RuntimeDefault"
             env:
               - name: CONFIGMAP_NAMESPACE
                 value: <target_namespace>
               - name: CONFIGMAP_NAME
                 value: kubevirt-vm-latency-checkup-config
               - name: POD_UID
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.uid

6. 应用 Job 清单：

   $ oc apply -n <target_namespace> -f <latency_job>.yaml

7. 等待作业完成：

   $ oc wait job kubevirt-vm-latency-checkup -n <target_namespace> --for condition=complete --timeout 6m

8. 运行以下命令，检查延迟检查的结果。如果测量的最大延迟大于 spec.param.maxDesiredLatencyMilliseconds 属性的值，则检查会失败并返回错误。

   $ oc get configmap kubevirt-vm-latency-checkup-config -n <target_namespace> -o yaml

   输出配置映射（成功）示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kubevirt-vm-latency-checkup-config
     namespace: <target_namespace>
   data:
     spec.timeout: 5m
     spec.param.networkAttachmentDefinitionNamespace: <target_namespace>
     spec.param.networkAttachmentDefinitionName: "blue-network"
     spec.param.maxDesiredLatencyMilliseconds: "10"
     spec.param.sampleDurationSeconds: "5"
     spec.param.sourceNode: "worker1"
     spec.param.targetNode: "worker2"
     status.succeeded: "true"
     status.failureReason: ""
     status.completionTimestamp: "2022-01-01T09:00:00Z"
     status.startTimestamp: "2022-01-01T09:00:07Z"
     status.result.avgLatencyNanoSec: "177000"
     status.result.maxLatencyNanoSec: "244000" 1
     status.result.measurementDurationSec: "5"
     status.result.minLatencyNanoSec: "135000"
     status.result.sourceNode: "worker1"
     status.result.targetNode: "worker2"

   1

   以纳秒为单位的最大测量延迟。

9. 可选： 要在检查失败时查看详细作业日志，请使用以下命令：

   $ oc logs job.batch/kubevirt-vm-latency-checkup -n <target_namespace>

10. 运行以下命令删除之前创建的作业和配置映射：

    $ oc delete job -n <target_namespace> kubevirt-vm-latency-checkup

    $ oc delete config-map -n <target_namespace> kubevirt-vm-latency-checkup-config

11. 可选：如果您不计划运行另一个检查，请删除角色清单：

    $ oc delete -f <latency_sa_roles_rolebinding>.yaml

1. 为 DPDK 检查创建服务帐户、角色和角色绑定，以及用于流量生成器 pod 的服务帐户。
2. 为流量生成器 pod 创建安全性上下文约束资源。
3. 创建配置映射以提供运行检查并存储结果的输入。
4. 创建用于运行检查的作业。
5. 查看配置映射中的结果。
6. 可选： 要重新运行检查，请删除现有的配置映射和作业，然后创建新的配置映射和作业。
7. 完成后，删除 DPDK 检查资源。

流程

1. 为 DPDK 检查和流量生成器 pod 创建 ServiceAccount、Role 和 RoleBinding 清单：

   例 14.2. 服务帐户、角色和 rolebinding 清单文件示例

   ---
   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: dpdk-checkup-sa
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: kiagnose-configmap-access
   rules:
     - apiGroups: [ "" ]
       resources: [ "configmaps" ]
       verbs: [ "get", "update" ]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kiagnose-configmap-access
   subjects:
     - kind: ServiceAccount
       name: dpdk-checkup-sa
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: kiagnose-configmap-access
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: kubevirt-dpdk-checker
   rules:
     - apiGroups: [ "kubevirt.io" ]
       resources: [ "virtualmachineinstances" ]
       verbs: [ "create", "get", "delete" ]
     - apiGroups: [ "subresources.kubevirt.io" ]
       resources: [ "virtualmachineinstances/console" ]
       verbs: [ "get" ]
     - apiGroups: [ "" ]
       resources: [ "pods" ]
       verbs: [ "create", "get", "delete" ]
     - apiGroups: [ "" ]
       resources: [ "pods/exec" ]
       verbs: [ "create" ]
     - apiGroups: [ "k8s.cni.cncf.io" ]
       resources: [ "network-attachment-definitions" ]
       verbs: [ "get" ]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: kubevirt-dpdk-checker
   subjects:
     - kind: ServiceAccount
       name: dpdk-checkup-sa
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: kubevirt-dpdk-checker
   ---
   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: dpdk-checkup-traffic-gen-sa

2. 应用 ServiceAccount、Role 和 RoleBinding 清单：

   $ oc apply -n <target_namespace> -f <dpdk_sa_roles_rolebinding>.yaml

3. 为流量生成器 pod 创建 SecurityContextConstraints 清单：

   安全性上下文约束清单示例

   apiVersion: security.openshift.io/v1
   kind: SecurityContextConstraints
   metadata:
     name: dpdk-checkup-traffic-gen
   allowHostDirVolumePlugin: true
   allowHostIPC: false
   allowHostNetwork: false
   allowHostPID: false
   allowHostPorts: false
   allowPrivilegeEscalation: false
   allowPrivilegedContainer: false
   allowedCapabilities:
   - IPC_LOCK
   - NET_ADMIN
   - NET_RAW
   - SYS_RESOURCE
   defaultAddCapabilities: null
   fsGroup:
     type: RunAsAny
   groups: []
   readOnlyRootFilesystem: false
   requiredDropCapabilities: null
   runAsUser:
     type: RunAsAny
   seLinuxContext:
     type: RunAsAny
   seccompProfiles:
   - runtime/default
   - unconfined
   supplementalGroups:
     type: RunAsAny
   users:
   - system:serviceaccount:dpdk-checkup-ns:dpdk-checkup-traffic-gen-sa

4. 应用 SecurityContextConstraints 清单：

   $ oc apply -f <dpdk_scc>.yaml

5. 创建包含检查的输入参数的 ConfigMap 清单：

   输入配置映射示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: dpdk-checkup-config
   data:
     spec.timeout: 10m
     spec.param.networkAttachmentDefinitionName: <network_name> 1
     spec.param.trafficGeneratorRuntimeClassName: <runtimeclass_name> 2
     spec.param.trafficGeneratorImage: "quay.io/kiagnose/kubevirt-dpdk-checkup-traffic-gen:v0.1.1" 3
     spec.param.vmContainerDiskImage: "quay.io/kiagnose/kubevirt-dpdk-checkup-vm:v0.1.1" 4

   1

   NetworkAttachmentDefinition 对象的名称。

   2

   流量生成器 pod 使用的 RuntimeClass 资源。

   3

   流量生成器的容器镜像。在本例中，镜像是从上游 Project Quay Container Registry 中拉取的。

   4

   虚拟机的容器磁盘镜像。在本例中，镜像是从上游 Project Quay Container Registry 中拉取的。

6. 应用目标命名空间中的 ConfigMap 清单：

   $ oc apply -n <target_namespace> -f <dpdk_config_map>.yaml

7. 创建一个 Job 清单以运行检查：

   任务清单示例

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: dpdk-checkup
   spec:
     backoffLimit: 0
     template:
       spec:
         serviceAccountName: dpdk-checkup-sa
         restartPolicy: Never
         containers:
           - name: dpdk-checkup
             image: registry.redhat.io/container-native-virtualization/kubevirt-dpdk-checkup-rhel9:v4.13.0
             imagePullPolicy: Always
             securityContext:
               allowPrivilegeEscalation: false
               capabilities:
                 drop: ["ALL"]
               runAsNonRoot: true
               seccompProfile:
                 type: "RuntimeDefault"
             env:
               - name: CONFIGMAP_NAMESPACE
                 value: <target-namespace>
               - name: CONFIGMAP_NAME
                 value: dpdk-checkup-config
               - name: POD_UID
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.uid

8. 应用 Job 清单：

   $ oc apply -n <target_namespace> -f <dpdk_job>.yaml

9. 等待作业完成：

   $ oc wait job dpdk-checkup -n <target_namespace> --for condition=complete --timeout 10m

10. 运行以下命令，查看检查的结果：

    $ oc get configmap dpdk-checkup-config -n <target_namespace> -o yaml

    输出配置映射（成功）示例

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: dpdk-checkup-config
    data:
      spec.timeout: 1h2m
      spec.param.NetworkAttachmentDefinitionName: "mlx-dpdk-network-1"
      spec.param.trafficGeneratorRuntimeClassName: performance-performance-zeus10
      spec.param.trafficGeneratorImage: "quay.io/kiagnose/kubevirt-dpdk-checkup-traffic-gen:v0.1.1"
      spec.param.vmContainerDiskImage: "quay.io/kiagnose/kubevirt-dpdk-checkup-vm:v0.1.1"
      status.succeeded: true
      status.failureReason: " "
      status.startTimestamp: 2022-12-21T09:33:06+00:00
      status.completionTimestamp: 2022-12-21T11:33:06+00:00
      status.result.actualTrafficGeneratorTargetNode: worker-dpdk1
      status.result.actualDPDKVMTargetNode: worker-dpdk2
      status.result.dropRate: 0

11. 运行以下命令删除之前创建的作业和配置映射：

    $ oc delete job -n <target_namespace> dpdk-checkup

    $ oc delete config-map -n <target_namespace> dpdk-checkup-config

12. 可选：如果您不计划运行另一个检查，请删除 ServiceAccount、Role 和 RoleBinding 清单：

    $ oc delete -f <dpdk_sa_roles_rolebinding>.yaml

流程

1. 创建 Service YAML 文件。在以下示例中，该文件名为 node-exporter-service.yaml。

   kind: Service
   apiVersion: v1
   metadata:
     name: node-exporter-service 1
     namespace: dynamation 2
     labels:
       servicetype: metrics 3
   spec:
     ports:
       - name: exmet 4
         protocol: TCP
         port: 9100 5
         targetPort: 9100 6
     type: ClusterIP
     selector:
       monitor: metrics 7

   1

   从虚拟机公开指标的 node-exporter 服务。

   2

   创建服务的命名空间。

   3

   服务的标签。ServiceMonitor 使用此标签来匹配此服务。

   4

   提供给通过端口 9100 为 ClusterIP 服务公开指标的端口的名称。

   5

   node-exporter-service 用来侦听请求的目标端口。

   6

   配置有 monitor 标签的虚拟机的 TCP 端口号。

   7

   用于与虚拟机的 pod 匹配的标签。在本例中，任何具有标签 monitor，值为 metrics 的虚拟机的 pod 将被匹配。

2. 创建 node-exporter 服务：

   $ oc create -f node-exporter-service.yaml

流程

1. 登录虚拟机。

2. 使用应用到 node-exporter 文件的目录的路径，将 node-exporter 文件下载到虚拟机。

   $ wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz

3. 提取可执行文件并将其放置在 /usr/bin 目录中。

   $ sudo tar xvf node_exporter-1.3.1.linux-amd64.tar.gz \
       --directory /usr/bin --strip 1 "*/node_exporter"

4. 在此目录路径中创建 node_exporter.service 文件： /etc/systemd/system。此 systemd 服务文件在虚拟机重启时运行 node-exporter 服务。

   [Unit]
   Description=Prometheus Metrics Exporter
   After=network.target
   StartLimitIntervalSec=0
   
   [Service]
   Type=simple
   Restart=always
   RestartSec=1
   User=root
   ExecStart=/usr/bin/node_exporter
   
   [Install]
   WantedBy=multi-user.target

5. 启用并启动 systemd 服务。

   $ sudo systemctl enable node_exporter.service
   $ sudo systemctl start node_exporter.service

流程

1. 编辑虚拟机配置文件的模板 spec。在本例中，标签 monitor 具有值 metrics。

   spec:
     template:
       metadata:
         labels:
           monitor: metrics

2. 停止并重启虚拟机，以创建具有与 monitor 标签给定标签名称的新 pod。

流程

1. 为 ServiceMonitor 资源配置创建一个 YAML 文件。在本例中，服务监控器与带有标签 metrics 的任意服务匹配，每 30 秒对 exmet 端口进行查询。

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: node-exporter-metrics-monitor
     name: node-exporter-metrics-monitor 1
     namespace: dynamation 2
   spec:
     endpoints:
     - interval: 30s 3
       port: exmet 4
       scheme: http
     selector:
       matchLabels:
         servicetype: metrics

   1

   ServiceMonitor 的名称。

   2

   创建 ServiceMonitor 的命名空间。

   3

   要查询端口的时间间隔。

   4

   每 30 秒查询的端口名称

2. 为 node-exporter 服务创建 ServiceMonitor 配置。

   $ oc create -f node-exporter-metrics-monitor.yaml

1. 为虚拟机配置 watchdog 设备。
2. 在客户机上安装 watchdog 代理。

流程

1. 在虚拟机配置文件中包括客户机代理 ping 探测的详情。例如：

   客户机代理 ping 探测示例

   # ...
   spec:
     readinessProbe:
       guestAgentPing: {} 1
       initialDelaySeconds: 120 2
       periodSeconds: 20 3
       timeoutSeconds: 10 4
       failureThreshold: 3 5
       successThreshold: 3 6
   # ...

   1

   客户机代理 ping 探测以连接到虚拟机。

   2

   可选： VM 启动客户机代理探测前的时间（以秒为单位）。

   3

   可选：执行探测之间的延迟（以秒为单位）。默认延迟为 10 秒。这个值必须大于 timeoutSeconds。

   4

   可选：在不活跃的时间（以秒为单位）超过这个值时探测会超时，且假定 VM 失败。默认值为 1。这个值必须小于 periodSeconds。

   5

   可选：探测允许失败的次数。默认值为 3。在进行了指定数量的尝试后，pod 被标记为 Unready。

   6

   可选：探测在失败后必须报告成功的次数，才被视为成功。默认值为 1。

2. 运行以下命令来创建虚拟机：

   $ oc create -f <file_name>.yaml