20.5. OpenShift SDN 네트워크 플러그인에서 마이그레이션

프로세스

1. 클러스터 네트워크의 구성을 백업하려면 다음 명령을 입력합니다.

   $ oc get Network.config.openshift.io cluster -o yaml > cluster-openshift-sdn.yaml

2. 다음 명령을 실행하여 OVN_SDN_MIGRATION_TIMEOUT 환경 변수가 설정되어 있고 0s 와 같은지 확인합니다.

   #!/bin/bash
   
   if [ -n "$OVN_SDN_MIGRATION_TIMEOUT" ] && [ "$OVN_SDN_MIGRATION_TIMEOUT" = "0s" ]; then
       unset OVN_SDN_MIGRATION_TIMEOUT
   fi
   
   #loops the timeout command of the script to repeatedly check the cluster Operators until all are available.
   
   co_timeout=${OVN_SDN_MIGRATION_TIMEOUT:-1200s}
   timeout "$co_timeout" bash <<EOT
   until
     oc wait co --all --for='condition=AVAILABLE=True' --timeout=10s && \
     oc wait co --all --for='condition=PROGRESSING=False' --timeout=10s && \
     oc wait co --all --for='condition=DEGRADED=False' --timeout=10s;
   do
     sleep 10
     echo "Some ClusterOperators Degraded=False,Progressing=True,or Available=False";
   done
   EOT

3. 다음 명령을 실행하여 CNO(Cluster Network Operator) 구성 오브젝트에서 구성을 제거합니다.

   $ oc patch Network.operator.openshift.io cluster --type='merge' \
   --patch '{"spec":{"migration":null}}'

4. 다음 단계를 완료하여 OpenShift SDN 네트워크 플러그인의 기본 네트워크 인터페이스를 정의하는 NodeNetworkConfigurationPolicy (NNCP) 사용자 정의 리소스(CR)를 삭제합니다.

   1. 다음 명령을 입력하여 기존 NNCP CR이 기본 인터페이스를 클러스터에 연결했는지 확인합니다.

      $ oc get nncp

      출력 예

      NAME          STATUS      REASON
      bondmaster0   Available   SuccessfullyConfigured

      Network Manager는 결합된 기본 인터페이스에 대한 연결 프로필을 /etc/NetworkManager/system-connections 시스템 경로에 저장합니다.

   2. 클러스터에서 NNCP를 제거합니다.

      $ oc delete nncp <nncp_manifest_filename>

5. 마이그레이션을 위해 모든 노드를 준비하려면 다음 명령을 실행하여 CNO 구성 오브젝트에서 migration 필드를 설정합니다.

   $ oc patch Network.operator.openshift.io cluster --type='merge' \
     --patch '{ "spec": { "migration": { "networkType": "OVNKubernetes" } } }'

   참고

   이 단계는 OVN-Kubernetes를 즉시 배포하지 않습니다. 대신 migration 필드를 지정하면 OVN-Kubernetes 배포를 준비하기 위해 MCO(Machine Config Operator)가 클러스터의 모든 노드에 새 머신 구성을 적용합니다.

   1. 다음 명령을 실행하여 재부팅이 완료되었는지 확인합니다.

      $ oc get mcp

   2. 다음 명령을 실행하여 모든 클러스터 Operator를 사용할 수 있는지 확인합니다.

      $ oc get co

   3. 또는 여러 OpenShift SDN 기능을 동등한 OVN-Kubernetes로 자동 마이그레이션을 비활성화할 수 있습니다.

      • 송신 IP
      • 송신 방화벽
      • 멀티 캐스트

      이전에 명시된 OpenShift SDN 기능에 대한 구성 자동 마이그레이션을 비활성화하려면 다음 키를 지정합니다.

      $ oc patch Network.operator.openshift.io cluster --type='merge' \
        --patch '{
          "spec": {
            "migration": {
              "networkType": "OVNKubernetes",
              "features": {
                "egressIP": <bool>,
                "egressFirewall": <bool>,
                "multicast": <bool>
              }
            }
          }
        }'

      다음과 같습니다.

      bool: 기능의 마이그레이션을 활성화할지 여부를 지정합니다. 기본값은 true입니다.

6. 선택 사항: OVN-Kubernetes에 대해 다음 설정을 사용자 정의하여 네트워크 인프라 요구 사항을 충족할 수 있습니다.

   • 최대 전송 단위(MTU)입니다. 이 선택적 단계에 대한 MTU를 사용자 정의하기 전에 다음을 고려하십시오.

     • 기본 MTU를 사용하고 마이그레이션 중에 기본 MTU를 유지하려면 이 단계를 무시할 수 있습니다.
     • 사용자 지정 MTU를 사용한 후 마이그레이션 중에 사용자 지정 MTU를 유지하려면 이 단계에서 사용자 지정 MTU 값을 선언해야 합니다.

     • 마이그레이션 중에 MTU 값을 변경하려는 경우 이 단계가 작동하지 않습니다. 대신 먼저 "클러스터 MTU 변경"에 대한 지침을 따라야 합니다. 그런 다음 이 절차를 수행하고 이 단계에서 사용자 지정 MTU 값을 선언하여 사용자 지정 MTU 값을 유지할 수 있습니다.

       참고

       OpenShift-SDN 및 OVN-Kubernetes에는 다른 오버레이 오버헤드가 있습니다. MTU 값은 "MTU 값 선택" 페이지에 있는 지침에 따라 선택해야 합니다.

   • Geneve(Generic Network Virtualization Encapsulation) 오버레이 네트워크 포트
   • OVN-Kubernetes IPv4 내부 서브넷

   이전에 명시된 설정 중 하나를 사용자 정의하려면 다음 명령을 입력하고 사용자 정의합니다. 기본값을 변경할 필요가 없는 경우 패치에서 키를 생략합니다.

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":<mtu>,
             "genevePort":<port>,
             "v4InternalSubnet":"<ipv4_subnet>",
       }}}}'

   다음과 같습니다.

   mtu

   Geneve 오버레이 네트워크용 MTU입니다. MTU 값은 일반적으로 자동으로 지정되지만 클러스터의 모든 노드가 동일한 MTU를 사용하지 않을 때는 최소 노드 MTU 값에서 100을 뺀 값으로 명시적으로 설정해야 합니다.

   port

   Geneve 오버레이 네트워크용 UDP 포트입니다. 값을 지정하지 않으면 기본값은 6081입니다. 이 포트는 OpenShift SDN에서 사용하는 VXLAN 포트와 같을 수 없습니다. VXLAN 포트의 기본값은 4789입니다.

   ipv4_subnet

   OVN-Kubernetes에서 내부 사용을 위한 IPv4 주소 범위입니다. IP 주소 범위가 OpenShift Container Platform 설치에서 사용하는 다른 서브넷과 겹치지 않도록 해야 합니다. IP 주소 범위는 클러스터에 추가할 수 있는 최대 노드 수보다 커야 합니다. 기본값은 100.64.0.0/16 입니다.

   mtu 필드를 업데이트하는 패치 명령 예

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     --patch '{
       "spec":{
         "defaultNetwork":{
           "ovnKubernetesConfig":{
             "mtu":1200
       }}}}'

7. MCO는 각 머신 구성 풀의 머신을 업데이트할 때 각 노드를 하나씩 재부팅합니다. 모든 노드가 업데이트될 때까지 기다려야 합니다. 다음 명령을 입력하여 머신 구성 풀 상태를 확인합니다.

   $ oc get mcp

   업데이트된 노드의 상태가 UPDATED=true, UPDATING=false,DEGRADED=false입니다.

   참고

   기본적으로 MCO는 풀당 한 번에 하나의 시스템을 업데이트하므로 클러스터 크기에 따라 마이그레이션에 걸리는 총 시간이 증가합니다.

8. 호스트의 새 머신 구성 상태를 확인합니다.

   1. 머신 구성 상태 및 적용된 머신 구성 이름을 나열하려면 다음 명령을 입력합니다.

      $ oc describe node | egrep "hostname|machineconfig"

      출력 예

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      다음 구문이 올바른지 확인합니다.

      • machineconfiguration.openshift.io/state 필드의 값은 Done입니다.
      • machineconfiguration.openshift.io/currentConfig 필드의 값은 machineconfiguration.openshift.io/desiredConfig 필드의 값과 동일합니다.

   2. 머신 구성이 올바른지 확인하려면 다음 명령을 입력합니다.

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      여기서 <config_name>은 machineconfiguration.openshift.io/currentConfig 필드에서 머신 구성의 이름입니다.

      머신 구성은 다음 업데이트를 systemd 구성에 포함할 수 있습니다.

      ExecStart=/usr/local/bin/configure-ovs.sh OVNKubernetes

   3. 노드가 NotReady 상태에 있는 경우 머신 구성 데몬 포드 로그를 조사하고 오류를 해결합니다.

      1. 포드를 나열하려면 다음 명령을 입력합니다.

         $ oc get pod -n openshift-machine-config-operator

         출력 예

         NAME                                         READY   STATUS    RESTARTS   AGE
         machine-config-controller-75f756f89d-sjp8b   1/1     Running   0          37m
         machine-config-daemon-5cf4b                  2/2     Running   0          43h
         machine-config-daemon-7wzcd                  2/2     Running   0          43h
         machine-config-daemon-fc946                  2/2     Running   0          43h
         machine-config-daemon-g2v28                  2/2     Running   0          43h
         machine-config-daemon-gcl4f                  2/2     Running   0          43h
         machine-config-daemon-l5tnv                  2/2     Running   0          43h
         machine-config-operator-79d9c55d5-hth92      1/1     Running   0          37m
         machine-config-server-bsc8h                  1/1     Running   0          43h
         machine-config-server-hklrm                  1/1     Running   0          43h
         machine-config-server-k9rtx                  1/1     Running   0          43h

         구성 데몬 포드의 이름은 다음 형식입니다. machine-config-daemon-<seq>. <seq> 값은 임의 5자 영숫자 순서입니다.

      2. 다음 명령을 입력하여 이전 출력에 표시된 첫 번째 머신 구성 데몬 포드에 대한 포드 로그를 표시합니다.

         $ oc logs <pod> -n openshift-machine-config-operator

         여기서 pod는 머신 구성 데몬 포드의 이름입니다.

      3. 이전 명령의 출력에 표시된 로그의 오류를 해결합니다.

9. 마이그레이션을 시작하려면 다음 명령 중 하나를 사용하여 OVN-Kubernetes 네트워크 플러그인을 구성합니다.

   • 클러스터 네트워크 IP 주소 블록을 변경하지 않고 네트워크 공급자를 지정하려면 다음 명령을 입력합니다.

     $ oc patch Network.config.openshift.io cluster \
       --type='merge' --patch '{ "spec": { "networkType": "OVNKubernetes" } }'

   • 다른 클러스터 네트워크 IP 주소 블록을 지정하려면 다음 명령을 입력합니다.

     $ oc patch Network.config.openshift.io cluster \
       --type='merge' --patch '{
         "spec": {
           "clusterNetwork": [
             {
               "cidr": "<cidr>",
               "hostPrefix": <prefix>
             }
           ],
           "networkType": "OVNKubernetes"
         }
       }'

     여기서 cidr은 CIDR 블록이며 prefix는 클러스터의 각 노드에 승인된 CIDR 블록 조각입니다. OVN-Kubernetes 네트워크 공급자가 이 블록을 내부에서 사용하므로 100.64.0.0/16 CIDR 블록과 겹치는 CIDR 블록을 사용할 수 없습니다.

     중요

     마이그레이션 중에 서비스 네트워크 주소 블록을 변경할 수 없습니다.

10. 후속 단계를 계속 진행하기 전에 Multus 데몬 세트 롤아웃이 완료되었는지 확인합니다.

    $ oc -n openshift-multus rollout status daemonset/multus

    Multus pod의 이름은 multus-<xxxxx> 형식이며 여기서 <xxxxx>는 임의 문자 순서입니다. 포드를 다시 시작하는 데 시간이 다소 걸릴 수 있습니다.

    출력 예

    Waiting for daemon set "multus" rollout to finish: 1 out of 6 new pods have been updated...
    ...
    Waiting for daemon set "multus" rollout to finish: 5 of 6 updated pods are available...
    daemon set "multus" successfully rolled out

11. 네트워크 플러그인 변경을 완료하려면 클러스터의 각 노드를 재부팅합니다. 다음 방법 중 하나를 사용하여 클러스터의 노드를 재부팅할 수 있습니다.

    중요

    다음 스크립트는 클러스터의 모든 노드를 동시에 재부팅합니다. 이로 인해 클러스터가 불안정해질 수 있습니다. 또 다른 옵션은 노드를 한 번에 수동으로 재부팅하는 것입니다. 노드를 하나씩 재부팅하면 여러 노드가 있는 클러스터에서 상당한 다운타임이 발생합니다.

    노드를 재부팅하기 전에 클러스터 Operator가 제대로 작동하지 않습니다.

    • oc rsh 명령을 사용하면 다음과 유사한 bash 스크립트를 사용할 수 있습니다.

      #!/bin/bash
      readarray -t POD_NODES <<< "$(oc get pod -n openshift-machine-config-operator -o wide| grep daemon|awk '{print $1" "$7}')"
      
      for i in "${POD_NODES[@]}"
      do
        read -r POD NODE <<< "$i"
        until oc rsh -n openshift-machine-config-operator "$POD" chroot /rootfs shutdown -r +1
          do
            echo "cannot reboot node $NODE, retry" && sleep 3
          done
      done

    • ssh 명령을 사용하면 다음과 유사한 bash 스크립트를 사용할 수 있습니다. 이 스크립트는 sudo가 암호를 입력하라는 메시지를 표시하지 않도록 구성했다고 가정합니다.

      #!/bin/bash
      
      for ip in $(oc get nodes  -o jsonpath='{.items[*].status.addresses[?(@.type=="InternalIP")].address}')
      do
         echo "reboot node $ip"
         ssh -o StrictHostKeyChecking=no core@$ip sudo shutdown -r -t 3
      done

12. 마이그레이션이 성공했는지 확인합니다.

    1. 네트워크 플러그인이 OVN-Kubernetes인지 확인하려면 다음 명령을 입력합니다. status.networkType의 값은 OVNKubernetes이어야 합니다.

       $ oc get network.config/cluster -o jsonpath='{.status.networkType}{"\n"}'

    2. 클러스터 노드가 준비 상태에 있는지 확인하려면 다음 명령을 입력합니다.

       $ oc get nodes

    3. Pod가 오류 상태가 아닌지 확인하려면 다음 명령을 입력합니다.

       $ oc get pods --all-namespaces -o wide --sort-by='{.spec.nodeName}'

       노드의 Pod가 오류 상태인 경우 해당 노드를 재부팅합니다.

    4. 모든 클러스터 Operator가 비정상적인 상태가 아닌지 확인하려면 다음 명령을 입력합니다.

       $ oc get co

       모든 클러스터 Operator의 상태는 AVAILABLE="True", PROGRESSING="False", DEGRADED="False"여야 합니다. 클러스터 Operator를 사용할 수 없거나 성능이 저하된 경우 자세한 내용은 클러스터 Operator의 로그를 확인합니다.

13. 마이그레이션이 성공하고 클러스터가 양호한 상태인 경우에만 다음 단계를 완료합니다.

    1. CNO 구성 오브젝트에서 마이그레이션 구성을 제거하려면 다음 명령을 입력합니다.

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "migration": null } }'

    2. OpenShift SDN 네트워크 제공자에 대한 사용자 정의 구성을 제거하려면 다음 명령을 입력합니다.

       $ oc patch Network.operator.openshift.io cluster --type='merge' \
         --patch '{ "spec": { "defaultNetwork": { "openshiftSDNConfig": null } } }'

    3. OpenShift SDN 네트워크 공급자 네임스페이스를 제거하려면 다음 명령을 입력합니다.

       $ oc delete namespace openshift-sdn

프로세스

1. OpenShift Container Platform 웹 콘솔에서 제한된 실시간 마이그레이션 메트릭을 보려면 다음을 수행합니다.

   1. 모니터링 메트릭 을 클릭합니다.
   2. Expression 상자에 openshift_network를 입력하고 openshift_network _operator_live_migration_condition 옵션을 클릭합니다.

2. oc CLI를 사용하여 메트릭을 보려면 다음을 수행합니다.

   1. 다음 명령을 입력하여 openshift-monitoring 네임스페이스에서 prometheus-k8s 서비스 계정에 대한 토큰을 생성합니다.

      $ oc create token prometheus-k8s -n openshift-monitoring

      출력 예

      eyJhbGciOiJSUzI1NiIsImtpZCI6IlZiSUtwclcwbEJ2VW9We...

   2. 다음 명령을 입력하여 openshift_network_operator_live_migration_condition 메트릭에 대한 정보를 요청합니다.

      $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -k -H "Authorization: <eyJhbGciOiJSUzI1NiIsImtpZCI6IlZiSUtwclcwbEJ2VW9We...>" "https://<openshift_API_endpoint>" --data-urlencode "query=openshift_network_operator_live_migration_condition" | jq

      출력 예

       "status": "success",
        "data": {
          "resultType": "vector",
          "result": [
            {
              "metric": {
                "__name__": "openshift_network_operator_live_migration_condition",
                "container": "network-operator",
                "endpoint": "metrics",
                "instance": "10.0.83.62:9104",
                "job": "metrics",
                "namespace": "openshift-network-operator",
                "pod": "network-operator-6c87754bc6-c8qld",
                "prometheus": "openshift-monitoring/k8s",
                "service": "metrics",
                "type": "NetworkTypeMigrationInProgress"
              },
              "value": [
                1717653579.587,
                "1"
              ]
            },
      ...