25.3. OVN-Kubernetes 문제 해결

프로세스

1. 다음 명령을 실행하여 ovnkube-master 준비 상태 프로브의 세부 정보를 검토합니다.

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-master Pod의 northbound 및 southbound 데이터베이스 컨테이너에 대한 준비 상태 프로브는 데이터베이스를 호스팅하는 Raft 클러스터의 상태를 확인합니다.

2. 다음 명령을 실행하여 ovnkube-node 준비 상태 프로브의 세부 정보를 검토합니다.

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-node Pod의 ovnkube-node 컨테이너에는 ovn-kubernetes CNI 구성 파일이 있는지 확인하기 위한 준비 상태 프로브가 있으며 Pod가 실행 중이 아니거나 Pod 구성 요청을 수락할 준비가 되어 있지 않음을 나타냅니다.

3. 다음 명령을 사용하여 네임스페이스에 대한 프로브 오류를 포함하여 모든 이벤트를 표시합니다.

   $ oc get events -n openshift-ovn-kubernetes

4. 이 Pod에만 대한 이벤트를 표시합니다.

   $ oc describe pod ovnkube-master-tp2z8 -n openshift-ovn-kubernetes

5. 클러스터 네트워크 Operator의 메시지 및 상태를 표시합니다.

   $ oc get co/network -o json | jq '.status.conditions[]'

6. 다음 스크립트를 실행하여 ovnkube-master Pod에서 각 컨테이너의 준비 상태를 표시합니다.

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   참고

   모든 컨테이너 상태가 true 로 보고될 것으로 예상합니다. 준비 상태 프로브가 실패하면 상태가 false 로 설정됩니다.

프로세스(UI)

1. 관리자 관점에서 모니터링 경고를 선택합니다. 이 관점에서 경고 UI의 세 가지 주요 페이지는 경고, 음소거 및 경고 규칙 페이지입니다.
2. 모니터링 경고 경고 규칙을 선택하여 OVN -Kubernetes 경고 규칙을 확인합니다.

프로세스

1. 다음 명령을 실행하여 활성 또는 실행 경고를 확인합니다.

   1. 다음 명령을 실행하여 경고 관리자 경로 환경 변수를 설정합니다.

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

   2. 다음 명령을 실행하여 특정 필드를 요청하는 올바른 권한 부여 세부 정보를 사용하여 경고 관리자 경로 API에 curl 요청을 실행합니다.

      $ curl -s -k -H "Authorization: Bearer \
      $(oc create token prometheus-k8s -n openshift-monitoring)" \
      https://$ALERT_MANAGER/api/v1/alerts \
      | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

2. 다음 명령을 실행하여 경고 규칙을 확인합니다.

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

프로세스

1. 특정 Pod의 로그를 확인합니다.

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   다음과 같습니다.

   -f

   선택 사항: 출력에서 로그에 기록되는 내용을 따르도록 지정합니다.

   <pod_name>

   pod 이름을 지정합니다.

   <container_name>

   선택 사항: 컨테이너의 이름을 지정합니다. Pod에 여러 컨테이너가 있는 경우 컨테이너 이름을 지정해야 합니다.

   <namespace>

   Pod가 실행 중인 네임스페이스를 지정합니다.

   예를 들면 다음과 같습니다.

   $ oc logs ovnkube-master-7h4q7 -n openshift-ovn-kubernetes

   $ oc logs -f ovnkube-master-7h4q7 -n openshift-ovn-kubernetes -c ovn-dbchecker

   로그 파일의 내용이 출력됩니다.

2. ovnkube-master Pod의 모든 컨테이너에서 최신 항목을 검사합니다.

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

3. 다음 명령을 사용하여 ovnkube-master Pod의 모든 컨테이너에 있는 모든 로그의 마지막 5행을 확인합니다.

   $ oc logs -l app=ovnkube-master -n openshift-ovn-kubernetes --all-containers --tail 5

프로세스

1. OpenShift Container Platform 콘솔에서 워크로드 Pod로 이동하거나 조사하려는 리소스를 통해 Pod로 이동합니다.
2. 드롭다운 메뉴에서 openshift-ovn-kubernetes 프로젝트를 선택합니다.
3. 조사할 Pod 이름을 클릭합니다.
4. 로그를 클릭합니다. 기본적으로 ovnkube-master 의 경우 northd 컨테이너와 연결된 로그가 표시됩니다.
5. 다운 다운 메뉴를 사용하여 각 컨테이너의 로그를 차례로 선택합니다.

프로세스

1. 현재 PodNetworkConnectivityCheck 오브젝트를 나열하려면 다음 명령을 입력합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

2. 다음 명령을 사용하여 각 연결 오브젝트의 최신 성공 상태를 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

3. 다음 명령을 사용하여 각 연결 오브젝트의 최근 실패를 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

4. 다음 명령을 사용하여 각 연결 오브젝트의 최근 중단을 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   연결 확인 컨트롤러는 이러한 확인 지표의 메트릭도 Prometheus에 기록합니다.

5. 다음 명령을 실행하여 모든 메트릭을 확인합니다.

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

6. 최근 5분 동안 소스 Pod와 openshift api 서비스 간 대기 시간을 확인합니다.

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'