6.3. OVN-Kubernetes 故障排除

流程

1. 运行以下命令，查看 ovnkube-node 就绪度探测的详情：

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-node \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   Copy to Clipboard Toggle word wrap

   ovnkube-node pod 中的北向和南向数据库容器的就绪度探测会检查数据库和 ovnkube-controller 容器的健康状态。

   ovnkube-node pod 中的 ovnkube-controller 容器有一个就绪度探测来验证 OVN-Kubernetes CNI 配置文件是否存在，这代表 pod 没有运行，或者没有准备好接受配置 pod 的请求。

2. 使用以下命令，显示命名空间的所有事件，包括探测失败：

   $ oc get events -n openshift-ovn-kubernetes

   Copy to Clipboard Toggle word wrap

3. 仅显示特定 pod 的事件：

   $ oc describe pod ovnkube-node-9lqfk -n openshift-ovn-kubernetes

   Copy to Clipboard Toggle word wrap

4. 显示集群网络 Operator 的消息和状态：

   $ oc get co/network -o json | jq '.status.conditions[]'

   Copy to Clipboard Toggle word wrap

5. 运行以下脚本，显示 ovnkube-node pod 中每个容器的 就绪状态 ：

   $ for p in $(oc get pods --selector app=ovnkube-node -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   Copy to Clipboard Toggle word wrap
   注意

   预期的是所有容器状态都报告为 true。就绪度探测失败，将状态设置为 false。

流程 (UI)

1. 在 Administrator 视角中，选择 Observe Alerting。在此视角中，Alerting UI 有三个主要页面，即 Alerts、Silences 和 Alerting Rules 页面。
2. 选择 Observe Alerting Alerting Rules 来查看 OVN-Kubernetes 警报的规则。

流程

1. 运行以下命令，查看活动或触发警报：

   1. 运行以下命令设置警报管理器路由环境变量：

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令，将 $ALERT_MANAGER 替换为 Alertmanager 实例的 URL，向警报管理器路由 API 发出 curl 请求：

      $ curl -s -k -H "Authorization: Bearer $(oc create token prometheus-k8s -n openshift-monitoring)" https://$ALERT_MANAGER/api/v1/alerts | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

      Copy to Clipboard Toggle word wrap

2. 运行以下命令来查看警报规则：

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

   Copy to Clipboard Toggle word wrap

流程

1. 查看特定 pod 的日志：

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   其中：

   -f

   可选：指定输出是否遵循要写到日志中的内容。

   <pod_name>

   指定 pod 的名称。

   <container_name>

   可选：指定容器的名称。当 pod 具有多个容器时，您必须指定容器名称。

   <namespace>

   指定 pod 运行的命名空间。

   例如：

   $ oc logs ovnkube-node-5dx44 -n openshift-ovn-kubernetes

   Copy to Clipboard Toggle word wrap

   $ oc logs -f ovnkube-node-5dx44 -c ovnkube-controller -n openshift-ovn-kubernetes

   Copy to Clipboard Toggle word wrap

   输出的日志文件内容。

2. 检查 ovnkube-node pod 中所有容器的最新条目：

   $ for p in $(oc get pods --selector app=ovnkube-node -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

   Copy to Clipboard Toggle word wrap

3. 使用以下命令，查看 ovnkube-node pod 中每个容器的最后 5 行：

   $ oc logs -l app=ovnkube-node -n openshift-ovn-kubernetes --all-containers --tail 5

   Copy to Clipboard Toggle word wrap

流程

1. 在 OpenShift Container Platform 控制台中，导航到 Workloads Pods，或通过您要调查的资源导航到 pod。
2. 从下拉菜单中选择 openshift-ovn-kubernetes 项目。
3. 点您要调查的 pod 的名称。
4. 点 Logs。默认情况下，ovnkube-master 显示与 northd 容器关联的日志。
5. 使用向下下拉菜单选择每个容器的日志。

流程

1. 要列出当前的 PodNetworkConnectivityCheck 对象，请输入以下命令：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

   Copy to Clipboard Toggle word wrap

2. 使用以下命令查看每个连接对象的最新成功：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

   Copy to Clipboard Toggle word wrap

3. 使用以下命令查看每个连接对象的最新故障：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

   Copy to Clipboard Toggle word wrap

4. 使用以下命令查看每个连接对象的最新中断：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   Copy to Clipboard Toggle word wrap

   连接检查控制器也会将来自这些检查的指标记录到 Prometheus 中。

5. 运行以下命令来查看所有指标：

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

   Copy to Clipboard Toggle word wrap

6. 查看源 pod 和 openshift api 服务之间的延迟，持续 5 分钟：

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

   Copy to Clipboard Toggle word wrap

流程

1. 要使用 OVS 抽样功能启用 OVNObservability，请输入以下命令在名为 cluster 的 FeatureGate CR 中启用 TechPreviewNoUpgrade 功能集：

   $ oc patch --type=merge --patch '{"spec": {"featureSet": "TechPreviewNoUpgrade"}}' featuregate/cluster

   Copy to Clipboard Toggle word wrap

   输出示例

   featuregate.config.openshift.io/cluster patched

   Copy to Clipboard Toggle word wrap

2. 输入以下命令确认启用了 OVNObservability 功能：

   $ oc get featuregate cluster -o yaml

   Copy to Clipboard Toggle word wrap

   输出示例

     featureGates:
   # ...
       enabled:
       - name: OVNObservability

   Copy to Clipboard Toggle word wrap

3. 输入以下命令，获取命名空间中的 pod 列表，在其中创建了其中一个相关网络 API。请注意 pod 的 NODE 名称，因为以下步骤中使用它们。

   $ oc get pods -n <namespace> -o wide

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME              READY   STATUS    RESTARTS   AGE     IP            NODE                                       NOMINATED NODE   READINESS GATES
   destination-pod   1/1     Running   0          53s     10.131.0.23   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>           <none>
   source-pod        1/1     Running   0          56s     10.131.0.22   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>           <none>

   Copy to Clipboard Toggle word wrap

4. 输入以下命令获取 OVN-Kubernetes pod 列表，并找到共享与上一步中的 pod 相同的 NODE 的 pod：

   $ oc get pods -n openshift-ovn-kubernetes -o wide

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME
   ...                             READY   STATUS    RESTARTS      AGE   IP           NODE                                       NOMINATED NODE
   ovnkube-node-jzn5b              8/8     Running   1 (34m ago)   37m   10.0.128.2   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>
   ...

   Copy to Clipboard Toggle word wrap

5. 输入以下命令在 ovnkube-node pod 中打开 bash shell：

   $ oc exec -it <pod_name> -n openshift-ovn-kubernetes -- bash

   Copy to Clipboard Toggle word wrap

6. 在 ovnkube-node pod 中，您可以运行 ovnkube-observ -add-ovs-collector 脚本来显示使用 OVS 收集器的网络事件。例如：

   # /usr/bin/ovnkube-observ -add-ovs-collector

   Copy to Clipboard Toggle word wrap

   输出示例

   ...
   2024/12/02 19:41:41.327584 OVN-K message: Allowed by default allow from local node policy, direction ingress
   2024/12/02 19:41:41.327593 src=10.131.0.2, dst=10.131.0.6
   
   2024/12/02 19:41:41.327692 OVN-K message: Allowed by default allow from local node policy, direction ingress
   2024/12/02 19:41:41.327715 src=10.131.0.6, dst=10.131.0.2
   ...

   Copy to Clipboard Toggle word wrap

7. 您可以通过带有 -filter-src-ip 标志和 pod 的 IP 地址输入以下命令来根据类型（如源 pod）过滤内容。例如：

   # /usr/bin/ovnkube-observ -add-ovs-collector -filter-src-ip <pod_ip_address>

   Copy to Clipboard Toggle word wrap

   输出示例

   ...
   Found group packets, id 14
   2024/12/10 16:27:12.456473 OVN-K message: Allowed by admin network policy allow-egress-group1, direction Egress
   2024/12/10 16:27:12.456570 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:14.484421 OVN-K message: Allowed by admin network policy allow-egress-group1, direction Egress
   2024/12/10 16:27:14.484428 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:12.457222 OVN-K message: Allowed by network policy test:allow-ingress-from-specific-pod, direction Ingress
   2024/12/10 16:27:12.457228 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:12.457288 OVN-K message: Allowed by network policy test:allow-ingress-from-specific-pod, direction Ingress
   2024/12/10 16:27:12.457299 src=10.131.0.22, dst=10.131.0.23
   ...

   Copy to Clipboard Toggle word wrap

   有关可以使用 /usr/bin/ovnkube-observ 传递的标记的完整列表，请参阅 "OVN-Kubernetes 网络流量带有 OVS sampling 标记"。