19.3. OVN-Kubernetes のトラブルシューティング

手順

1. 次のコマンドを実行して、ovnkube-node readiness プローブの詳細を確認します。

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-node \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-node Pod 内のノースバウンドおよびサウスバウンドのデータベースコンテナーの Readiness プローブは、データベースと ovnkube-controller コンテナーの正常性をチェックします。

   ovnkube-node Pod の ovnkube-controller コンテナーには、OVN-Kubernetes CNI 設定ファイルの存在を確認するための readiness プローブがあります。この設定ファイルがない場合、Pod が実行中でないか、Pod を設定するリクエストを受け入れる準備ができていません。

2. 次のコマンドを使用して、プローブの失敗を含む namespace のすべてのイベントを表示します。

   $ oc get events -n openshift-ovn-kubernetes

3. 特定の Pod のみのイベントを表示します。

   $ oc describe pod ovnkube-node-9lqfk -n openshift-ovn-kubernetes

4. クラスターネットワーク Operator からのメッセージとステータスを表示します。

   $ oc get co/network -o json | jq '.status.conditions[]'

5. 次のスクリプトを実行して、ovnkube-node Pod 内の各コンテナーの ready ステータスを表示します。

   $ for p in $(oc get pods --selector app=ovnkube-node -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   注記

   すべてのコンテナーのステータスが true として報告されることが期待されます。readiness プローブが失敗すると、ステータスが false に設定されます。

手順 (UI)

1. Administrator パースペクティブで、Observe Alerting を選択します。このパースペクティブのアラート UI の主なページには、Alerts、Silences、および Alerting Rules という 3 つのページがあります。
2. Observe Alerting Alerting Rules を選択して、OVN-Kubernetes アラートのルールを表示します。

手順

1. 次のコマンドを実行して、アクティブまたは発生中のアラートを表示します。

   1. 次のコマンドを実行して、アラートマネージャーのルート環境変数を設定します。

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

   2. 以下のコマンドを実行してアラートマネージャールート API に curl リクエストを実行します。$ALERT_MANAGER は、Alertmanager インスタンスの URL に置き換えます。

      $ curl -s -k -H "Authorization: Bearer $(oc create token prometheus-k8s -n openshift-monitoring)" https://$ALERT_MANAGER/api/v1/alerts | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

2. 次のコマンドを実行して、アラートルールを表示します。

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

手順

1. 特定の Pod のログを表示します。

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   ここでは、以下のようになります。

   -f

   オプション: ログに書き込まれている内容に沿って出力することを指定します。

   <pod_name>

   Pod の名前を指定します。

   <container_name>

   オプション: コンテナーの名前を指定します。Pod に複数のコンテナーがある場合、コンテナー名を指定する必要があります。

   <namespace>

   Pod が実行されている namespace を指定します。

   以下に例を示します。

   $ oc logs ovnkube-node-5dx44 -n openshift-ovn-kubernetes

   $ oc logs -f ovnkube-node-5dx44 -c ovnkube-controller -n openshift-ovn-kubernetes

   ログファイルの内容が出力されます。

2. ovnkube-node Pod 内のすべてのコンテナーの最新のエントリーを調べます。

   $ for p in $(oc get pods --selector app=ovnkube-node -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

3. 次のコマンドを使用して、ovnkube-node Pod 内のすべてのコンテナーのすべてのログの最後の 5 行を表示します。

   $ oc logs -l app=ovnkube-node -n openshift-ovn-kubernetes --all-containers --tail 5

手順

1. OpenShift Container Platform コンソールで Workloads Pods に移動するか、調査するリソースから Pod に移動します。
2. ドロップダウンメニューから openshift-ovn-kubernetes プロジェクトを選択します。
3. 調査する Pod の名前をクリックします。
4. Logs をクリックします。ovnkube-master のデフォルトでは、northd コンテナーに関連付けられたログが表示されます。
5. ドロップダウンメニューを使用して、各コンテナーのログを順番に選択します。

手順

1. 現在の PodNetworkConnectivityCheck オブジェクトをリスト表示するには、以下のコマンドを入力します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

2. 次のコマンドを使用して、各接続オブジェクトの最新の成功を表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

3. 次のコマンドを使用して、各接続オブジェクトの最新のエラーを表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

4. 次のコマンドを使用して、各接続オブジェクトの最新の停止を表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   接続チェックコントローラーは、これらのチェックからのメトリクスも Prometheus に記録します。

5. 次のコマンドを実行して、すべてのメトリクスを表示します。

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

6. 過去 5 分間のソース Pod と openshift api サービス間のレイテンシーを表示します。

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

手順

1. OVS サンプリング機能を使用して OVNObservability を有効にするには、次のコマンドを入力して、cluster という名前の FeatureGate CR で TechPreviewNoUpgrade 機能セットを有効にします。

   $ oc patch --type=merge --patch '{"spec": {"featureSet": "TechPreviewNoUpgrade"}}' featuregate/cluster

   出力例

   featuregate.config.openshift.io/cluster patched

2. 次のコマンドを入力して、OVNObservability 機能が有効になっていることを確認します。

   $ oc get featuregate cluster -o yaml

   出力例

     featureGates:
   # ...
       enabled:
       - name: OVNObservability

3. 次のコマンドを入力して、関連するネットワーク API の 1 つを作成した namespace 内の Pod のリストを取得します。次の手順で使用するために、Pod の NODE 名をメモします。

   $ oc get pods -n <namespace> -o wide

   出力例

   NAME              READY   STATUS    RESTARTS   AGE     IP            NODE                                       NOMINATED NODE   READINESS GATES
   destination-pod   1/1     Running   0          53s     10.131.0.23   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>           <none>
   source-pod        1/1     Running   0          56s     10.131.0.22   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>           <none>

4. 次のコマンドを入力して、OVN-Kubernetes Pod のリストを取得し、前の手順の Pod と同じ NODE を共有する Pod を見つけます。

   $ oc get pods -n openshift-ovn-kubernetes -o wide

   出力例

   NAME
   ...                             READY   STATUS    RESTARTS      AGE   IP           NODE                                       NOMINATED NODE
   ovnkube-node-jzn5b              8/8     Running   1 (34m ago)   37m   10.0.128.2   ci-ln-1gqp7b2-72292-bb9dv-worker-a-gtmpc   <none>
   ...

5. 次のコマンドを入力して、ovnkube-node Pod 内で bash シェルを開きます。

   $ oc exec -it <pod_name> -n openshift-ovn-kubernetes -- bash

6. ovnkube-node Pod 内では、ovnkube-observ -add-ovs-collector スクリプトを実行し、OVS コレクターを使用してネットワークイベントを表示できます。以下に例を示します。

   # /usr/bin/ovnkube-observ -add-ovs-collector

   出力例

   ...
   2024/12/02 19:41:41.327584 OVN-K message: Allowed by default allow from local node policy, direction ingress
   2024/12/02 19:41:41.327593 src=10.131.0.2, dst=10.131.0.6
   
   2024/12/02 19:41:41.327692 OVN-K message: Allowed by default allow from local node policy, direction ingress
   2024/12/02 19:41:41.327715 src=10.131.0.6, dst=10.131.0.2
   ...

7. -filter-src-ip フラグと Pod の IP アドレスを指定して次のコマンドを入力すると、ソース Pod などのタイプ別にコンテンツをフィルタリングできます。以下に例を示します。

   # /usr/bin/ovnkube-observ -add-ovs-collector -filter-src-ip <pod_ip_address>

   出力例

   ...
   Found group packets, id 14
   2024/12/10 16:27:12.456473 OVN-K message: Allowed by admin network policy allow-egress-group1, direction Egress
   2024/12/10 16:27:12.456570 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:14.484421 OVN-K message: Allowed by admin network policy allow-egress-group1, direction Egress
   2024/12/10 16:27:14.484428 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:12.457222 OVN-K message: Allowed by network policy test:allow-ingress-from-specific-pod, direction Ingress
   2024/12/10 16:27:12.457228 src=10.131.0.22, dst=10.131.0.23
   
   2024/12/10 16:27:12.457288 OVN-K message: Allowed by network policy test:allow-ingress-from-specific-pod, direction Ingress
   2024/12/10 16:27:12.457299 src=10.131.0.22, dst=10.131.0.23
   ...

   /usr/bin/ovnkube-observ で渡すことができるフラグの完全なリストについては、「OVS サンプリングフラグを持つ OVN-Kubernetes ネットワークトラフィック」を参照してください。