24.4. ovnkube-trace를 사용하여 Openflow 추적

프로세스

1. 다음 명령을 사용하여 pod 변수를 생성합니다.

   $  POD=$(oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master -o name | head -1 | awk -F '/' '{print $NF}')

2. 로컬 호스트에서 다음 명령을 실행하여 ovnkube-master Pod에서 바이너리를 복사합니다.

   $  oc cp -n openshift-ovn-kubernetes $POD:/usr/bin/ovnkube-trace ovnkube-trace

3. 다음 명령을 실행하여 ovnkube-trace 를 실행할 수 있도록 설정합니다.

   $  chmod +x ovnkube-trace

4. 다음 명령을 실행하여 ovnkube-trace 에서 사용 가능한 옵션을 표시합니다.

   $  ./ovnkube-trace -help

   예상 출력

   I0111 15:05:27.973305  204872 ovs.go:90] Maximum command line arguments set to: 191102
   Usage of ./ovnkube-trace:
     -dst string
       	dest: destination pod name
     -dst-ip string
       	destination IP address (meant for tests to external targets)
     -dst-namespace string
       	k8s namespace of dest pod (default "default")
     -dst-port string
       	dst-port: destination port (default "80")
     -kubeconfig string
       	absolute path to the kubeconfig file
     -loglevel string
       	loglevel: klog level (default "0")
     -ovn-config-namespace string
       	namespace used by ovn-config itself
     -service string
       	service: destination service name
     -skip-detrace
       	skip ovn-detrace command
     -src string
       	src: source pod name
     -src-namespace string
       	k8s namespace of source pod (default "default")
     -tcp
       	use tcp transport protocol
     -udp
       	use udp transport protocol

   지원되는 명령줄 인수는 네임스페이스, 포드, 서비스와 같은 친숙한 Kubernetes 구조이므로 MAC 주소, 대상 노드의 IP 주소 또는 ICMP 유형을 찾을 필요가 없습니다.

   로그 수준은 다음과 같습니다.

   • 0 (최소 출력)
   • 2 ( 추적 명령 결과를 보여주는 더 자세한 출력)
   • 5 (디버그 출력)

프로세스

1. 다음 명령을 입력하여 default 네임스페이스에서 웹 서비스를 시작합니다.

   $ oc run web --namespace=default --image=nginx --labels="app=web" --expose --port=80

2. openshift-dns 네임스페이스에서 실행 중인 Pod를 나열합니다.

   oc get pods -n openshift-dns

   출력 예

   NAME                  READY   STATUS    RESTARTS   AGE
   dns-default-467qw     2/2     Running   0          49m
   dns-default-6prvx     2/2     Running   0          53m
   dns-default-fkqr8     2/2     Running   0          53m
   dns-default-qv2rg     2/2     Running   0          49m
   dns-default-s29vr     2/2     Running   0          49m
   dns-default-vdsbn     2/2     Running   0          53m
   node-resolver-6thtt   1/1     Running   0          53m
   node-resolver-7ksdn   1/1     Running   0          49m
   node-resolver-8sthh   1/1     Running   0          53m
   node-resolver-c5ksw   1/1     Running   0          50m
   node-resolver-gbvdp   1/1     Running   0          53m
   node-resolver-sxhkd   1/1     Running   0          50m

3. 다음 ovn-kube-trace 명령을 실행하여 DNS 확인이 작동하는지 확인합니다.

   $ ./ovnkube-trace \
     -src-namespace default \ 1
     -src web \ 2
     -dst-namespace openshift-dns \ 3
     -dst dns-default-467qw \ 4
     -udp -dst-port 53 \ 5
     -loglevel 0 6

   1

   소스 Pod의 네임스페이스

   2

   소스 Pod 이름

   3

   대상 Pod의 네임스페이스

   4

   대상 Pod 이름

   5

   udp 전송 프로토콜을 사용합니다. 53번 포트는 DNS 서비스에서 사용하는 포트입니다.

   6

   로그 수준을 1로 설정합니다(최소 이고 5은 디버그)

   예상 출력

   I0116 10:19:35.601303   17900 ovs.go:90] Maximum command line arguments set to: 191102
   ovn-trace source pod to destination pod indicates success from web to dns-default-467qw
   ovn-trace destination pod to source pod indicates success from dns-default-467qw to web
   ovs-appctl ofproto/trace source pod to destination pod indicates success from web to dns-default-467qw
   ovs-appctl ofproto/trace destination pod to source pod indicates success from dns-default-467qw to web
   ovn-detrace source pod to destination pod indicates success from web to dns-default-467qw
   ovn-detrace destination pod to source pod indicates success from dns-default-467qw to web

   ou nameserver는 배포된 포드에서 DNS 포트로의 성공을 나타내며, 다른 방향으로도 성공적으로 진행되었음을 나타냅니다. 따라서 내 웹 Pod가 코어 DNS에서 dns 확인을 수행하려는 경우 UDP 포트 53에서 양방향 트래픽이 지원됩니다.

프로세스

1. 모든 네임스페이스의 모든 Pod의 수신을 거부하는 거부별 정책을 정의하는 다음 YAML을 생성합니다. deny-by-default.yaml 파일에 YAML을 저장합니다.

   kind: NetworkPolicy
   apiVersion: networking.k8s.io/v1
   metadata:
     name: deny-by-default
     namespace: default
   spec:
     podSelector: {}
     ingress: []

2. 다음 명령을 입력하여 정책을 적용합니다.

   $ oc apply -f deny-by-default.yaml

   출력 예

   networkpolicy.networking.k8s.io/deny-by-default created

3. 다음 명령을 입력하여 default 네임스페이스에서 웹 서비스를 시작합니다.

   $ oc run web --namespace=default --image=nginx --labels="app=web" --expose --port=80

4. 다음 명령을 실행하여 prod 네임스페이스를 생성합니다.

   $ oc create namespace prod

5. 다음 명령을 실행하여 prod 네임스페이스에 레이블을 지정합니다.

   $ oc label namespace/prod purpose=production

6. 다음 명령을 실행하여 prod 네임스페이스에 l pine 이미지를 배포하고 쉘을 시작합니다.

   $ oc run test-6459 --namespace=prod --rm -i -t --image=alpine -- sh

7. 다른 터미널 세션을 엽니다.

8. 이 새 터미널 세션에서 ovn-trace 를 실행하여 기본 네임스페이스에서 실행되는 네임스페이스 prod 및 대상 Pod에서 실행되는 소스 Pod test-6459 간 통신 실패를 확인합니다.

   $ ./ovnkube-trace \
    -src-namespace prod \
    -src test-6459 \
    -dst-namespace default \
    -dst web \
    -tcp -dst-port 80 \
    -loglevel 0

   예상 출력

   I0116 14:20:47.380775   50822 ovs.go:90] Maximum command line arguments set to: 191102
   ovn-trace source pod to destination pod indicates failure from test-6459 to web

9. 다음 명령을 실행하여 실패 이유를 노출하려면 로그 수준을 2로 늘립니다.

   $ ./ovnkube-trace \
    -src-namespace prod \
    -src test-6459 \
    -dst-namespace default \
    -dst web \
    -tcp -dst-port 80 \
    -loglevel 2

   예상 출력

   ct_lb_mark /* default (use --ct to customize) */
   ------------------------------------------------
    3. ls_out_acl_hint (northd.c:6092): !ct.new && ct.est && !ct.rpl && ct_mark.blocked == 0, priority 4, uuid 32d45ad4
       reg0[8] = 1;
       reg0[10] = 1;
       next;
    4. ls_out_acl (northd.c:6435): reg0[10] == 1 && (outport == @a16982411286042166782_ingressDefaultDeny), priority 2000, uuid f730a887 1
       ct_commit { ct_mark.blocked = 1; };

   1

   기본 거부 정책이 설정되어 있기 때문에 Ingress 트래픽이 차단됩니다.

10. 특정 네임스페이스의 모든 Pod에서 레이블 purpose=production 을 사용하여 트래픽을 허용하는 정책을 생성합니다. web-allow-prod.yaml 파일에 YAML을 저장합니다.

    kind: NetworkPolicy
    apiVersion: networking.k8s.io/v1
    metadata:
      name: web-allow-prod
      namespace: default
    spec:
      podSelector:
        matchLabels:
          app: web
      policyTypes:
      - Ingress
      ingress:
      - from:
        - namespaceSelector:
            matchLabels:
              purpose: production

11. 다음 명령을 입력하여 정책을 적용합니다.

    $ oc apply -f web-allow-prod.yaml

12. ovnkube-trace 를 실행하여 다음 명령을 입력하여 트래픽이 허용되는지 확인합니다.

    $ ./ovnkube-trace \
     -src-namespace prod \
     -src test-6459 \
     -dst-namespace default \
     -dst web \
     -tcp -dst-port 80 \
     -loglevel 0

    예상 출력

    I0116 14:25:44.055207   51695 ovs.go:90] Maximum command line arguments set to: 191102
    ovn-trace source pod to destination pod indicates success from test-6459 to web
    ovn-trace destination pod to source pod indicates success from web to test-6459
    ovs-appctl ofproto/trace source pod to destination pod indicates success from test-6459 to web
    ovs-appctl ofproto/trace destination pod to source pod indicates success from web to test-6459
    ovn-detrace source pod to destination pod indicates success from test-6459 to web
    ovn-detrace destination pod to source pod indicates success from web to test-6459

13. 열린 쉘에서 다음 명령을 실행합니다.

     wget -qO- --timeout=2 http://web.default

    예상 출력

    <!DOCTYPE html>
    <html>
    <head>
    <title>Welcome to nginx!</title>
    <style>
    html { color-scheme: light dark; }
    body { width: 35em; margin: 0 auto;
    font-family: Tahoma, Verdana, Arial, sans-serif; }
    </style>
    </head>
    <body>
    <h1>Welcome to nginx!</h1>
    <p>If you see this page, the nginx web server is successfully installed and
    working. Further configuration is required.</p>
    
    <p>For online documentation and support please refer to
    <a href="http://nginx.org/">nginx.org</a>.<br/>
    Commercial support is available at
    <a href="http://nginx.com/">nginx.com</a>.</p>
    
    <p><em>Thank you for using nginx.</em></p>
    </body>
    </html>