5.5. 네트워크 추적 방법

프로세스

1. 다음 명령을 실행하여 일부 노드에서 호스트 네트워크에서 패킷 캡처를 실행합니다.

   $ oc adm must-gather \
       --dest-dir /tmp/captures \  <.>
       --source-dir '/tmp/tcpdump/' \  <.>
       --image registry.redhat.io/openshift4/network-tools-rhel8:latest \  <.>
       --node-selector 'node-role.kubernetes.io/worker' \  <.>
       --host-network=true \  <.>
       --timeout 30s \  <.>
       -- \
       tcpdump -i any \  <.>
       -w /tmp/tcpdump/%Y-%m-%dT%H:%M:%S.pcap -W 1 -G 300

   <.> --dest-dir 인수는 oc adm must-gather 가 클라이언트 머신의 /tmp/captures 와 관련된 디렉터리에 패킷 캡처를 저장하도록 지정합니다. 쓰기 가능한 디렉터리를 지정할 수 있습니다. <.> oc adm must-gather 가 시작되는 디버그 Pod에서 tcpdump 가 실행될 때 --source-dir 인수는 패킷 캡처가 Pod의 /tmp/tcpdump 디렉터리에 일시적으로 저장되도록 지정합니다. <.> --image 인수는 tcpdump 명령을 포함하는 컨테이너 이미지. <.> --node-selector 인수 및 예제 값은 작업자 노드에서 패킷 캡처를 수행하도록 지정합니다. 또는 단일 노드에서 패킷 캡처를 실행하도록 --node-name 인수를 지정할 수 있습니다. --node-selector 및 --node-name 인수를 모두 생략하면 패킷 캡처가 모든 노드에서 수행됩니다. <.> 패킷 캡처가 노드의 네트워크 인터페이스에서 수행되도록 --host-network=true 인수가 필요합니다. <.> --timeout 인수 및 값은 디버그 Pod를 30 초 동안 실행하기 위해 지정합니다. --timeout 인수와 기간을 지정하지 않으면 디버그 Pod가 10분 동안 실행됩니다. <.> tcpdump 명령의 -i any 인수는 모든 네트워크 인터페이스에서 패킷을 캡처하도록 지정합니다. 또는 네트워크 인터페이스 이름을 지정할 수 있습니다.

2. 네트워크 추적에서 패킷을 캡처하는 동안 네트워크 통신 문제를 트리거하는 웹 애플리케이션 액세스와 같은 작업을 수행합니다.

3. oc adm must-gather 가 Pod에서 클라이언트 머신으로 전송된 패킷 캡처 파일을 확인합니다.

   tmp/captures
   ├── event-filter.html
   ├── ip-10-0-192-217-ec2-internal  1
   │   └── registry-redhat-io-openshift4-network-tools-rhel8-sha256-bca...
   │       └── 2022-01-13T19:31:31.pcap
   ├── ip-10-0-201-178-ec2-internal  2
   │   └── registry-redhat-io-openshift4-network-tools-rhel8-sha256-bca...
   │       └── 2022-01-13T19:31:30.pcap
   ├── ip-...
   └── timestamp

   1 2

   패킷 캡처는 호스트 이름, 컨테이너 및 파일 이름을 식별하는 디렉터리에 저장됩니다. --node-selector 인수를 지정하지 않은 경우 호스트 이름의 디렉터리 수준이 없습니다.

프로세스

1. 클러스터 노드 목록을 가져옵니다.

   $ oc get nodes

2. 대상 노드에서 디버그 세션으로 들어갑니다. 이 단계는 <node_name>-debug라는 디버그 Pod를 인스턴스화합니다.

   $ oc debug node/my-cluster-node

3. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 루트 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트의 실행 경로에 포함된 바이너리를 실행할 수 있습니다.

   # chroot /host

4. chroot 환경 콘솔에서 노드의 인터페이스 이름을 가져옵니다.

   # ip ad

5. sosreport 를 실행하는 데 필요한 바이너리 및 플러그인이 포함된 toolbox 컨테이너를 시작합니다.

   # toolbox

   참고

   기존 toolbox Pod가 이미 실행 중인 경우 toolbox 명령은 'toolbox-' already exists를 출력합니다. Trying to start…​를 출력합니다. tcpdump 문제를 방지하려면 podman rm toolbox-에서 실행중인 toolbox 컨테이너를 제거하고 새 toolbox 컨테이너를 생성합니다.

6. 클러스터 노드에서 tcpdump 세션을 시작하고 출력을 캡처 파일로 리디렉션합니다. 이 예에서는 ens5를 인터페이스 이름으로 사용합니다.

   $ tcpdump -nn -s 0 -i ens5 -w /host/var/tmp/my-cluster-node_$(date +%d_%m_%Y-%H_%M_%S-%Z).pcap  1

   1

   toolbox 컨테이너가 호스트의 root 디렉토리를 /host에 마운트하기 때문에 tcpdump 캡처 파일의 경로는 chroot 환경 외부에 있습니다.

7. 노드의 특정 컨테이너에 tcpdump 캡처가 필요한 경우 다음 단계를 따르십시오.

   1. 대상 컨테이너 ID를 확인합니다. toolbox 컨테이너가 호스트의 root 디렉토리를 /host에 마운트하기 때문에 chroot host 명령은 이 단계에서 crictl 명령 보다 우선합니다.

      # chroot /host crictl ps

   2. 컨테이너의 프로세스 ID를 확인합니다. 이 예에서 컨테이너 ID는 a7fe32346b120입니다.

      # chroot /host crictl inspect --output yaml a7fe32346b120 | grep 'pid' | awk '{print $2}'

   3. 컨테이너에서 tcpdump 세션을 시작하고 출력을 캡처 파일로 리디렉션합니다. 이 예는 컨테이너의 프로세스 ID로 49,628을 사용하고 인터페이스 이름으로 ens5를 사용합니다. nsenter 명령은 대상 프로세스의 네임 스페이스를 입력하고 해당 네임 스페이스를 사용하여 명령을 실행합니다. 이 예에서 대상 프로세스는 컨테이너의 프로세스 ID이므로 tcpdump 명령은 호스트에서 컨테이너 네임 스페이스를 사용하여 실행됩니다.

      # nsenter -n -t 49628 -- tcpdump -nn -i ens5 -w /host/var/tmp/my-cluster-node-my-container_$(date +%d_%m_%Y-%H_%M_%S-%Z).pcap  1

      1

      toolbox 컨테이너가 호스트의 root 디렉토리를 /host에 마운트하기 때문에 tcpdump 캡처 파일의 경로는 chroot 환경 외부에 있습니다.

8. 분석을 위해 다음 방법 중 하나를 사용하여 tcpdump 캡처 파일을 Red Hat 지원팀에 제공합니다.

   • OpenShift Dedicated 클러스터에서 직접 기존 Red Hat 지원 케이스에 파일을 업로드합니다.

     1. toolbox 컨테이너 내에서 redhat-support-tool을 실행하여 기존 Red Hat 지원 케이스에 직접 파일을 첨부합니다. 이 예에서는 지원 사례 ID 01234567을 사용합니다.

        # redhat-support-tool addattachment -c 01234567 /host/var/tmp/my-tcpdump-capture-file.pcap 1

        1

        toolbox 컨테이너는 /host에 호스트의 root 디렉토리를 마운트합니다. redhat-support-tool 명령에 업로드할 파일을 지정할 때 /host/를 포함하여 toolbox 컨테이너의 root 디렉토리에서 절대 경로를 참조합니다.

   • 기존 Red Hat 지원 케이스에 파일을 업로드합니다.

     1. oc debug node/<node_name> 명령을 실행하여 sosreport 아카이브를 연결하고 출력을 파일로 리디렉션합니다. 이 명령은 이전 oc debug 세션을 종료했다고 가정합니다.

        $ oc debug node/my-cluster-node -- bash -c 'cat /host/var/tmp/my-tcpdump-capture-file.pcap' > /tmp/my-tcpdump-capture-file.pcap 1

        1

        디버그 컨테이너는 /host에 호스트의 root 디렉토리를 마운트합니다. 연결할 대상 파일을 지정할 때 /host를 포함하여 디버그 컨테이너의 root 디렉토리에서 절대 경로를 참조합니다.

     2. Red Hat 고객 포털 의 고객 지원 페이지에서 기존 지원 케이스로 이동합니다.
     3. Attach files를 선택하고 메시지에 따라 파일을 업로드합니다.

프로세스

1. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 루트 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트의 실행 경로에 포함된 바이너리를 실행할 수 있습니다.

   # chroot /host

2. toolbox 컨테이너를 시작합니다.

   # toolbox

3. wget과 같은 추가 패키지를 설치합니다.

   # dnf install -y <package_name>

프로세스

1. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 루트 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트의 실행 경로에 포함된 바이너리를 실행할 수 있습니다.

   # chroot /host

2. root 사용자 ID에 대한 홈 디렉터리에 .toolboxrc 파일을 생성합니다.

   # vi ~/.toolboxrc

   REGISTRY=quay.io                1
   IMAGE=fedora/fedora:33-x86_64   2
   TOOLBOX_NAME=toolbox-fedora-33  3

   1

   선택 사항: 대체 컨테이너 레지스트리를 지정합니다.

   2

   시작할 대체 이미지를 지정합니다.

   3

   선택 사항: toolbox 컨테이너의 대체 이름을 지정합니다.

3. 대체 이미지를 사용하여 toolbox 컨테이너를 시작합니다.

   # toolbox

   참고

   기존 toolbox Pod가 이미 실행 중인 경우 toolbox 명령은 'toolbox-' already exists를 출력합니다. Trying to start…​를 출력합니다. podman rm toolbox-에서 실행중인 toolbox 컨테이너를 제거하고 새 toolbox 컨테이너를 생성하여 sosreport 플러그인 문제를 방지합니다.