7.5. ネットワーク関連の問題のトラブルシューティング

手順

1. /etc/default/nodeip-configuration ファイルにヒントファイルを追加します。たとえば、以下のようになります。

   NODEIP_HINT=192.0.2.1

   重要
   • 192.0.2.5 など、ノードの正確な IP アドレスをヒントとして使用しないでください。ノードの正確な IP アドレスを使用すると、ヒント IP アドレスを使用するノードが正しく設定できなくなります。
   • ヒントファイル内の IP アドレスは、正しいサブネットを決定するためにのみ使用されます。ヒントファイルに表示されるため、トラフィックを受信しません。

2. 次のコマンドを実行して、base-64 でエンコードされたコンテンツを生成します。

   $ echo -n 'NODEIP_HINT=192.0.2.1' | base64 -w0

   出力例

   Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==

3. クラスターをデプロイする前に、master ロールと worker ロールの両方のマシン設定マニフェストを作成して、ヒントを有効にします。

   99-nodeip-hint-master.yaml

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 99-nodeip-hint-master
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,<encoded_content> 1
           mode: 0644
           overwrite: true
           path: /etc/default/nodeip-configuration

   1

   <encoded_contents> を /etc/default/nodeip-configuration ファイルの base64 でエンコードされたコンテンツに置き換えます (例: Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==)。コンマの後およびエンコードされたコンテンツの前にスペースを入れることはできないことに注意してください。

   99-nodeip-hint-worker.yaml

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
    labels:
      machineconfiguration.openshift.io/role: worker
      name: 99-nodeip-hint-worker
   spec:
    config:
      ignition:
        version: 3.2.0
      storage:
        files:
        - contents:
            source: data:text/plain;charset=utf-8;base64,<encoded_content> 1
          mode: 0644
          overwrite: true
          path: /etc/default/nodeip-configuration

   1

   <encoded_contents> を /etc/default/nodeip-configuration ファイルの base64 でエンコードされたコンテンツに置き換えます (例: Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==)。コンマの後およびエンコードされたコンテンツの前にスペースを入れることはできないことに注意してください。

4. ~/clusterconfigs など、クラスター設定を保存するディレクトリーにマニフェストを保存します。
5. クラスターのデプロイ

1. 選択したマシン設定プールに基づいて、単一の順序でノードをドレインします。
2. 各ノードに Ignition 設定ファイルを挿入し、各ノードが追加の br-ex1 ブリッジネットワーク設定を受信するようにします。
3. br-ex の MAC アドレスが、br-ex がネットワーク接続に使用するインターフェイスの MAC アドレスと一致していることを確認します。
4. 新しいインターフェイス定義を参照する configure-ovs.sh シェルスクリプトを実行します。
5. br-ex と br-ex1 をホストノードに追加します。
6. ノードをスケジューリング対象に戻します。

手順

1. オプション: 次の手順を実行して、追加のブリッジ br-ex1 が使用できるインターフェイス接続を作成します。この手順の例では、新しいボンディングとその依存インターフェイスを作成する方法を示しています。これらはすべて、マシン設定マニフェストファイルで定義されています。追加のブリッジは、MachineConfig オブジェクトを使用して追加のボンディングインターフェイスを形成します。

   重要

   追加のインターフェイスを定義するために、Kubernetes NMState Operator や NodeNetworkConfigurationPolicy (NNCP) マニフェストファイルを使用しないでください。

   また、bond インターフェイスを定義するときには、追加のインターフェイスまたはサブインターフェイスが既存の br-ex OVN Kubernetes ネットワークデプロイメントで使用されていないことを確認してください。

   1. 次のインターフェイス定義ファイルを作成します。以下のファイルは、ホストノードが定義ファイルにアクセスできるように、マシン設定マニフェストファイルに追加されます。

      1 番目のインターフェイス定義ファイルの例 (eno1.config)

      [connection]
      id=eno1
      type=ethernet
      interface-name=eno1
      master=bond1
      slave-type=bond
      autoconnect=true
      autoconnect-priority=20

      2 番目のインターフェイス定義ファイルの例 (eno2.config)

      [connection]
      id=eno2
      type=ethernet
      interface-name=eno2
      master=bond1
      slave-type=bond
      autoconnect=true
      autoconnect-priority=20

      2 番目のボンディングインターフェイス定義ファイルの例 (bond1.config)

      [connection]
      id=bond1
      type=bond
      interface-name=bond1
      autoconnect=true
      connection.autoconnect-slaves=1
      autoconnect-priority=20
      
      [bond]
      mode=802.3ad
      miimon=100
      xmit_hash_policy="layer3+4"
      
      [ipv4]
      method=auto

   2. 次のコマンドを実行して、定義ファイルを Base64 でエンコードされた文字列に変換します。

      $ base64 <directory_path>/en01.config

      $ base64 <directory_path>/eno2.config

      $ base64 <directory_path>/bond1.config

2. 環境変数を準備します。<machine_role> を、worker などのノードロールに置き換え、<interface_name> を追加の br-ex ブリッジ名に置き換えます。

   $ export ROLE=<machine_role>

3. マシン設定マニフェストファイルで各インターフェイス定義を定義します。

   bond1、eno1、en02 の定義を追加したマシン設定ファイルの例

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: ${worker}
     name: 12-${ROLE}-sec-bridge-cni
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-bond1.conf>
           path: /etc/NetworkManager/system-connections/bond1.nmconnection
           filesystem: root
           mode: 0600
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-eno1.conf>
           path: /etc/NetworkManager/system-connections/eno1.nmconnection
           filesystem: root
           mode: 0600
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-eno2.conf>
           path: /etc/NetworkManager/system-connections/eno2.nmconnection
           filesystem: root
           mode: 0600
   # ...

4. ターミナルで次のコマンドを入力して、ネットワークプラグインを設定するためのマシン設定マニフェストファイルを作成します。

   $ oc create -f <machine_config_file_name>

5. OVN-Kubernetes ネットワークプラグインを使用して extra_bridge ファイルを作成し、ノード上に Open vSwitch (OVS) ブリッジ br-ex1 を作成します。このファイルは、ホストの /etc/ovnk/extra_bridge パスに保存します。ファイルには、ノードのプライマリー IP アドレスを保持する br-ex をサポートするデフォルトのインターフェイスではなく、追加のブリッジをサポートするインターフェイスの名前を記述する必要があります。

   追加のインターフェイスを参照する extra_bridge ファイル /etc/ovnk/extra_bridge の設定例

   bond1

6. クラスターで再起動されるノードで br-ex1 をホストする既存の静的インターフェイスを定義したマシン設定マニフェストファイルを作成します。

   br-ex1 をホストするインターフェイスとして bond1 を定義したマシン設定ファイルの例

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: ${worker}
     name: 12-worker-extra-bridge
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/ovnk/extra_bridge
             mode: 0420
             overwrite: true
             contents:
               source: data:text/plain;charset=utf-8,bond1
             filesystem: root

7. 選択したノードにマシン設定を適用します。

   $ oc create -f <machine_config_file_name>

8. オプション: /var/lib/ovnk/iface_default_hint リソースを作成するマシン設定ファイルを作成することにより、ノードの br-ex 選択ロジックをオーバーライドできます。

   注記

   このリソースには、br-ex がクラスター用に選択するインターフェイスの名前がリストされます。br-ex は、デフォルトで、ブート順序とマシンネットワーク内の IP アドレスサブネットに基づいて、ノードのプライマリーインターフェイスを選択します。マシンネットワークの設定によっては、ホストノードのデフォルトのインターフェイスまたはボンディングを引き続き br-ex が選択する必要があります。

   1. ホストノードに、デフォルトのインターフェイスをオーバーライドするためのマシン設定ファイルを作成します。

      重要

      このマシン設定ファイルは、br-ex 選択ロジックを変更する目的でのみ作成します。このファイルを使用してクラスター内の既存のノードの IP アドレスを変更することはサポートされていません。

      デフォルトのインターフェイスをオーバーライドするマシン設定ファイルの例

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfig
      metadata:
        labels:
          machineconfiguration.openshift.io/role: ${worker}
        name: 12-worker-br-ex-override
      spec:
        config:
          ignition:
            version: 3.2.0
          storage:
            files:
              - path: /var/lib/ovnk/iface_default_hint
                mode: 0420
                overwrite: true
                contents:
                  source: data:text/plain;charset=utf-8,bond0 1
                filesystem: root

      1

      マシン設定ファイルをノードに適用する前に、ノードに bond0 が存在することを確認します。

   2. クラスター内のすべての新しいノードに設定を適用する前に、ホストノードを再起動して、br-ex が目的のインターフェイスを選択し、br-ex1 で定義した新しいインターフェイスと競合しないことを検証します。

   3. クラスター内のすべての新しいノードにマシン設定ファイルを適用します。

      $ oc create -f <machine_config_file_name>

検証

1. クラスター内の exgw-ip-addresses ラベルを持つノードの IP アドレスを特定し、ノードがデフォルトのブリッジではなく追加のブリッジを使用していることを確認します。

   $ oc get nodes -o json | grep --color exgw-ip-addresses

   出力例

   "k8s.ovn.org/l3-gateway-config":
      \"exgw-ip-address\":\"172.xx.xx.yy/24\",\"next-hops\":[\"xx.xx.xx.xx\"],

2. ホストノードのネットワークインターフェイス名を確認して、ターゲットノードに追加のブリッジが存在することを確認します。

   $ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep mtu | grep br-ex"

   出力例

   Starting pod/worker-1-debug ...
   To use host binaries, run `chroot /host`
   # ...
   5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
   6: br-ex1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000

3. オプション: /var/lib/ovnk/iface_default_hint を使用する場合は、br-ex の MAC アドレスが、選択したプライマリーインターフェイスの MAC アドレスと一致していることを確認します。

   $ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep -A1 -E 'br-ex|bond0'

   br-ex のプライマリーインターフェイスが bond0 であることを示す出力例

   Starting pod/worker-1-debug ...
   To use host binaries, run `chroot /host`
   # ...
   sh-5.1# ip a | grep -A1 -E 'br-ex|bond0'
   2: bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
       link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff
   --
   5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff
       inet 10.xx.xx.xx/21 brd 10.xx.xx.255 scope global dynamic noprefixroute br-ex

手順

1. ノードのデバッグ Pod を起動します。

   $ oc debug node/<node_name>

2. /host をデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の /host にホストからのルートファイルシステムをマウントします。ルートディレクトリーを /host に変更すると、ホストファイルシステムからのバイナリーを実行できます。

   # chroot /host

3. OVS モジュールの現在の syslog レベルを表示します。

   # ovs-appctl vlog/list

   次の出力例では、syslog のログレベルが info に設定されています。

   出力例

                    console    syslog    file
                    -------    ------    ------
   backtrace          OFF       INFO       INFO
   bfd                OFF       INFO       INFO
   bond               OFF       INFO       INFO
   bridge             OFF       INFO       INFO
   bundle             OFF       INFO       INFO
   bundles            OFF       INFO       INFO
   cfm                OFF       INFO       INFO
   collectors         OFF       INFO       INFO
   command_line       OFF       INFO       INFO
   connmgr            OFF       INFO       INFO
   conntrack          OFF       INFO       INFO
   conntrack_tp       OFF       INFO       INFO
   coverage           OFF       INFO       INFO
   ct_dpif            OFF       INFO       INFO
   daemon             OFF       INFO       INFO
   daemon_unix        OFF       INFO       INFO
   dns_resolve        OFF       INFO       INFO
   dpdk               OFF       INFO       INFO
   ...

4. etc/systemd/system/ovs-vswitchd.service.d/10-ovs-vswitchd-restart.conf ファイルでログレベルを指定します。

   Restart=always
   ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /var/lib/openvswitch'
   ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /etc/openvswitch'
   ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /run/openvswitch'
   ExecStartPost=-/usr/bin/ovs-appctl vlog/set syslog:dbg
   ExecReload=-/usr/bin/ovs-appctl vlog/set syslog:dbg

   前述の例では、ログレベルは dbg に設定されています。syslog:<log_level> を off、emer、err、warn、info、または dbg に設定することで、最後の 2 行を変更します。ログレベル off では、すべてのログメッセージが除外されます。

5. サービスを再起動します。

   # systemctl daemon-reload

   # systemctl restart ovs-vswitchd

手順

1. 以下の例のような MachineConfig オブジェクトで、99-change-ovs-loglevel.yaml のようなファイルを作成します。

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master  1
     name: 99-change-ovs-loglevel
   spec:
     config:
       ignition:
         version: 3.2.0
       systemd:
         units:
         - dropins:
           - contents: |
               [Service]
                 ExecStartPost=-/usr/bin/ovs-appctl vlog/set syslog:dbg  2
                 ExecReload=-/usr/bin/ovs-appctl vlog/set syslog:dbg
             name: 20-ovs-vswitchd-restart.conf
           name: ovs-vswitchd.service

   1

   この手順を実行してコントロールプレーンノードを設定した後、手順を繰り返し、ロールを worker に設定してワーカーノードを設定します。

   2

   syslog:<log_level> の値を設定します。ログレベルは off、emer、err、warn、info、または dbg です。値を off に設定すると、すべてのログメッセージが除外されます。

2. マシン設定を適用します。

   $ oc apply -f 99-change-ovs-loglevel.yaml