5.5. 网络追踪方法

流程

1. 运行以下命令，在某些节点上运行来自主机网络的数据包捕获：

   $ oc adm must-gather \
       --dest-dir /tmp/captures \  <.>
       --source-dir '/tmp/tcpdump/' \  <.>
       --image registry.redhat.io/openshift4/network-tools-rhel8:latest \  <.>
       --node-selector 'node-role.kubernetes.io/worker' \  <.>
       --host-network=true \  <.>
       --timeout 30s \  <.>
       -- \
       tcpdump -i any \  <.>
       -w /tmp/tcpdump/%Y-%m-%dT%H:%M:%S.pcap -W 1 -G 300

   <.> --dest-dir 参数指定 oc adm must-gather 将数据包捕获到相对于客户端机器上 /tmp/captures 的目录中。您可以指定任何可写目录。<.> 当 tcpdump 在 oc adm must-gather 启动时的 debug pod 中运行时，--source-dir 参数指定数据包捕获的临时存储在 pod 上的 /tmp/tcpdump 目录中。<.> The --image 参数指定包含 tcpdump 命令的容器镜像。<.> --node-selector 参数和示例值指定在 pod 上的 /tmp/tcpdump 目录中执行数据包捕获。作为替代方案，您可以指定 --node-name 参数而不是在单个节点上运行数据包捕获。如果省略 --node-selector 和 --node-name 参数，则数据包捕获将在所有节点上执行。<.> --host-network=true 参数是必需的，以便在节点的网络接口上执行数据包捕获。<.> --timeout 参数和值指定运行 debug pod 达到 30 秒。如果没有指定 --timeout 参数和持续时间，则 debug pod 会运行 10 分钟。<.> -i any 参数用于 tcpdump 命令，指定捕获所有网络接口上的数据包。作为替代方案，您可以指定网络接口名称。

2. 执行访问 Web 应用等操作，在网络追踪捕获数据包时触发网络通信问题。

3. 查看 oc adm must-gather 从 pod 传送到客户端机器的数据包捕获文件：

   tmp/captures
   ├── event-filter.html
   ├── ip-10-0-192-217-ec2-internal  1
   │   └── registry-redhat-io-openshift4-network-tools-rhel8-sha256-bca...
   │       └── 2022-01-13T19:31:31.pcap
   ├── ip-10-0-201-178-ec2-internal  2
   │   └── registry-redhat-io-openshift4-network-tools-rhel8-sha256-bca...
   │       └── 2022-01-13T19:31:30.pcap
   ├── ip-...
   └── timestamp

   1 2

   数据包捕获保存在可识别主机名、容器和文件名的目录中。如果您没有指定 --node-selector 参数，则主机名的目录级别不存在。

流程

1. 获取集群节点列表：

   $ oc get nodes

2. 在目标节点上进入一个 debug 会话。此步骤被实例化为一个名为 <node_name>-debug 的 debug pod:

   $ oc debug node/my-cluster-node

3. 将 /host 设为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件：

   # chroot /host

4. 在 chroot 环境控制台中获取节点接口名称：

   # ip ad

5. 启动 toolbox 容器，其中包括运行 sosreport 所需的二进制文件和插件：

   # toolbox

   注意

   如果一个已存在的 toolbox pod 已在运行，则 toolbox 命令会输出 'toolbox-' already exists.Trying to start…​.要避免 tcpdump 出现问题，请使用 podman rm toolbox- 删除正在运行的 toolbox 容器，并生成新 toolbox 容器。

6. 在集群节点中启动 tcpdump 会话，并将输出重定向到捕获文件中。这个示例使用 ens5 作为接口名称：

   $ tcpdump -nn -s 0 -i ens5 -w /host/var/tmp/my-cluster-node_$(date +%d_%m_%Y-%H_%M_%S-%Z).pcap  1

   1

   tcpdump 捕获文件路径在 chroot 环境之外，因为 toolbox 容器会在 /host 中挂载主机的根目录。

7. 如果节点上的特定容器需要 tcpdump 捕获，请按照以下步骤操作。

   1. 确定目标容器 ID。chroot host 命令先于这一步中的 crictl 命令，因为 toolbox 容器在 /host 中挂载主机的根目录：

      # chroot /host crictl ps

   2. 确定容器的进程 ID。在本例中，容器 ID 是 a7fe32346b120:

      # chroot /host crictl inspect --output yaml a7fe32346b120 | grep 'pid' | awk '{print $2}'

   3. 在容器上启动 tcpdump 会话，并将输出重定向到捕获文件中。本例使用 49628 作为容器的进程 ID，ens5 是接口名称。nsenter 命令进入目标进程的命名空间并在命名空间中运行命令。因为本例中的目标进程是一个容器的进程 ID，tcpdump 命令从主机在容器的命名空间中运行：

      # nsenter -n -t 49628 -- tcpdump -nn -i ens5 -w /host/var/tmp/my-cluster-node-my-container_$(date +%d_%m_%Y-%H_%M_%S-%Z).pcap  1

      1

      tcpdump 捕获文件路径在 chroot 环境之外，因为 toolbox 容器会在 /host 中挂载主机的根目录。

8. 使用以下方法之一向红帽支持提供 tcpdump 捕获文件进行分析。

   • 将文件直接从 OpenShift Dedicated 集群上传到现有红帽支持问题单中。

     1. 在 toolbox 容器内，运行 redhat-support-tool 将该文件直接附加到现有红帽支持问题单中。这个示例使用问题单 ID 01234567:

        # redhat-support-tool addattachment -c 01234567 /host/var/tmp/my-tcpdump-capture-file.pcap 1

        1

        toolbox 容器将主机的根目录挂载到 /host。当指定要通过 redhat-support-tool 命令上传的文件时，使用 toolbox 容器的根目录（包括 /host/ ）的绝对路径。

   • 将文件上传到现有红帽支持问题单中。

     1. 运行 oc debug node/<node_name> 命令调整 sosreport 归档，并将输出重定向到文件中。此命令假设您已退出以前的 oc debug 会话：

        $ oc debug node/my-cluster-node -- bash -c 'cat /host/var/tmp/my-tcpdump-capture-file.pcap' > /tmp/my-tcpdump-capture-file.pcap 1

        1

        debug 容器将主机的根目录挂载到 /host。在指定用于连接的目标文件时，引用 debug 容器的根目录的绝对路径，包括 /host。

     2. 在红帽客户门户网站的 Customer Support 页面中进入现有的支持问题单。
     3. 选择 Attach files 并按提示上传该文件。

流程

1. 将 /host 设为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件：

   # chroot /host

2. 启动 toolbox 容器：

   # toolbox

3. 安装额外的软件包，如 wget:

   # dnf install -y <package_name>

流程

1. 将 /host 设为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件：

   # chroot /host

2. 在 root 用户的主目录中，创建一个 .toolboxrc 文件：

   # vi ~/.toolboxrc

   REGISTRY=quay.io                1
   IMAGE=fedora/fedora:33-x86_64   2
   TOOLBOX_NAME=toolbox-fedora-33  3

   1

   可选：指定替代容器 registry。

   2

   指定要启动的替代镜像。

   3

   可选：指定 toolbox 容器的替代名称。

3. 使用备用镜像启动 toolbox 容器：

   # toolbox

   注意

   如果一个已存在的 toolbox pod 已在运行，则 toolbox 命令会输出 'toolbox-' already exists.Trying to start…​.使用 podman rm toolbox- 删除正在运行的 toolbox容器，并生成新的 toolbox 容器以避免 sosreport 插件出现问题。