8.4. 인프라 머신 세트로 리소스 이동

프로세스

1. 라우터 Operator의 IngressController 사용자 정의 리소스를 표시합니다.

   $ oc get ingresscontroller default -n openshift-ingress-operator -o yaml

   Copy to Clipboard Toggle word wrap

   명령 출력은 다음 예제와 유사합니다.

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: 2019-04-18T12:35:39Z
     finalizers:
     - ingresscontroller.operator.openshift.io/finalizer-ingresscontroller
     generation: 1
     name: default
     namespace: openshift-ingress-operator
     resourceVersion: "11341"
     selfLink: /apis/operator.openshift.io/v1/namespaces/openshift-ingress-operator/ingresscontrollers/default
     uid: 79509e05-61d6-11e9-bc55-02ce4781844a
   spec: {}
   status:
     availableReplicas: 2
     conditions:
     - lastTransitionTime: 2019-04-18T12:36:15Z
       status: "True"
       type: Available
     domain: apps.<cluster>.example.com
     endpointPublishingStrategy:
       type: LoadBalancerService
     selector: ingresscontroller.operator.openshift.io/deployment-ingresscontroller=default

   Copy to Clipboard Toggle word wrap

2. ingresscontroller 리소스를 편집하고 infra 레이블을 사용하도록 nodeSelector를 변경합니다.

   $ oc edit ingresscontroller default -n openshift-ingress-operator

   Copy to Clipboard Toggle word wrap

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: "2025-03-26T21:15:43Z"
     finalizers:
     - ingresscontroller.operator.openshift.io/finalizer-ingresscontroller
     generation: 1
     name: default
   # ...
   spec:
     nodePlacement:
       nodeSelector: 

   1

   
         matchLabels:
           node-role.kubernetes.io/infra: ""
       tolerations:
       - effect: NoSchedule
         key: node-role.kubernetes.io/infra
         value: reserved
   # ...

   Copy to Clipboard Toggle word wrap

   1

   적절한 값이 설정된 nodeSelector 매개변수를 이동하려는 구성 요소에 추가합니다. 표시된 형식으로 nodeSelector 매개변수를 사용하거나 노드에 지정된 값에 따라 < key>: <value > 쌍을 사용할 수 있습니다. 인프라 노드에 테인트를 추가한 경우 일치하는 허용 오차도 추가합니다.

3. 라우터 pod가 infra 노드에서 실행되고 있는지 확인합니다.

   1. 라우터 pod 목록을 표시하고 실행중인 pod의 노드 이름을 기록해 둡니다.

      $ oc get pod -n openshift-ingress -o wide

      Copy to Clipboard Toggle word wrap

      출력 예

      NAME                              READY     STATUS        RESTARTS   AGE       IP           NODE                           NOMINATED NODE   READINESS GATES
      router-default-86798b4b5d-bdlvd   1/1      Running       0          28s       10.130.2.4   ip-10-0-217-226.ec2.internal   <none>           <none>
      router-default-955d875f4-255g8    0/1      Terminating   0          19h       10.129.2.4   ip-10-0-148-172.ec2.internal   <none>           <none>

      Copy to Clipboard Toggle word wrap

      이 예에서 실행중인 pod는 ip-10-0-217-226.ec2.internal 노드에 있습니다.

   2. 실행중인 pod의 노드 상태를 표시합니다.

      $ oc get node <node_name> 

      1

      Copy to Clipboard Toggle word wrap

      1

      pod 목록에서 얻은 <node_name>을 지정합니다.

      출력 예

      NAME                          STATUS  ROLES         AGE   VERSION
      ip-10-0-217-226.ec2.internal  Ready   infra,worker  17h   v1.30.3

      Copy to Clipboard Toggle word wrap

      역할 목록에 infra가 포함되어 있으므로 pod가 올바른 노드에서 실행됩니다.

프로세스

1. config/instance 개체를 표시합니다.

   $ oc get configs.imageregistry.operator.openshift.io/cluster -o yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   apiVersion: imageregistry.operator.openshift.io/v1
   kind: Config
   metadata:
     creationTimestamp: 2019-02-05T13:52:05Z
     finalizers:
     - imageregistry.operator.openshift.io/finalizer
     generation: 1
     name: cluster
     resourceVersion: "56174"
     selfLink: /apis/imageregistry.operator.openshift.io/v1/configs/cluster
     uid: 36fd3724-294d-11e9-a524-12ffeee2931b
   spec:
     httpSecret: d9a012ccd117b1e6616ceccb2c3bb66a5fed1b5e481623
     logging: 2
     managementState: Managed
     proxy: {}
     replicas: 1
     requests:
       read: {}
       write: {}
     storage:
       s3:
         bucket: image-registry-us-east-1-c92e88cad85b48ec8b312344dff03c82-392c
         region: us-east-1
   status:
   ...

   Copy to Clipboard Toggle word wrap

2. config/instance 개체를 편집합니다.

   $ oc edit configs.imageregistry.operator.openshift.io/cluster

   Copy to Clipboard Toggle word wrap

   apiVersion: imageregistry.operator.openshift.io/v1
   kind: Config
   metadata:
     name: cluster
   # ...
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector: 

   1

   
       node-role.kubernetes.io/infra: ""
     tolerations:
     - effect: NoSchedule
       key: node-role.kubernetes.io/infra
       value: reserved

   Copy to Clipboard Toggle word wrap

   1

   적절한 값이 설정된 nodeSelector 매개변수를 이동하려는 구성 요소에 추가합니다. 표시된 형식으로 nodeSelector 매개변수를 사용하거나 노드에 지정된 값에 따라 < key>: <value > 쌍을 사용할 수 있습니다. infrasructure 노드에 테인트를 추가한 경우 일치하는 톨러레이션도 추가합니다.

3. 레지스트리 pod가 인프라 노드로 이동되었는지 검증합니다.

   1. 다음 명령을 실행하여 레지스트리 pod가 있는 노드를 식별합니다.

      $ oc get pods -o wide -n openshift-image-registry

      Copy to Clipboard Toggle word wrap

   2. 노드에 지정된 레이블이 있는지 확인합니다.

      $ oc describe node <node_name>

      Copy to Clipboard Toggle word wrap

      명령 출력을 확인하고 node-role.kubernetes.io/infra가 LABELS 목록에 있는지 확인합니다.

프로세스

1. cluster-monitoring-config 구성 맵을 편집하고 infra 레이블을 사용하도록 nodeSelector 를 변경합니다.

   $ oc edit configmap cluster-monitoring-config -n openshift-monitoring

   Copy to Clipboard Toggle word wrap

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |+
       alertmanagerMain:
         nodeSelector: 

   1

   
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       prometheusK8s:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       prometheusOperator:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       metricsServer:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       kubeStateMetrics:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       telemeterClient:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       openshiftStateMetrics:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       thanosQuerier:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule
       monitoringPlugin:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         tolerations:
         - key: node-role.kubernetes.io/infra
           value: reserved
           effect: NoSchedule

   Copy to Clipboard Toggle word wrap

   1

   적절한 값이 설정된 nodeSelector 매개변수를 이동하려는 구성 요소에 추가합니다. 표시된 형식으로 nodeSelector 매개변수를 사용하거나 노드에 지정된 값에 따라 < key>: <value > 쌍을 사용할 수 있습니다. 인프라 노드에 테인트를 추가한 경우 일치하는 허용 오차도 추가합니다.

2. 모니터링 pod가 새 머신으로 이동하는 것을 확인합니다.

   $ watch 'oc get pod -n openshift-monitoring -o wide'

   Copy to Clipboard Toggle word wrap

3. 구성 요소가 infra 노드로 이동하지 않은 경우 이 구성 요소가 있는 pod를 제거합니다.

   $ oc delete pod -n openshift-monitoring <pod>

   Copy to Clipboard Toggle word wrap

   삭제된 pod의 구성 요소가 infra 노드에 다시 생성됩니다.

프로세스

1. VPA Operator의 Subscription CR(사용자 정의 리소스)에 노드 선택기를 추가하여 VPA Operator Pod를 이동합니다.

   1. CR을 편집합니다.

      $ oc edit Subscription vertical-pod-autoscaler -n openshift-vertical-pod-autoscaler

      Copy to Clipboard Toggle word wrap

   2. 인프라 노드의 노드 역할 레이블과 일치하도록 노드 선택기를 추가합니다.

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        labels:
          operators.coreos.com/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler: ""
        name: vertical-pod-autoscaler
      # ...
      spec:
        config:
          nodeSelector:
            node-role.kubernetes.io/infra: "" 

      1

      Copy to Clipboard Toggle word wrap

      1

      인프라 노드의 노드 역할을 지정합니다.

      참고

      인프라 노드에서 taint를 사용하는 경우 서브스크립션 CR에 허용 오차를 추가해야 합니다.

      예를 들면 다음과 같습니다.

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        labels:
          operators.coreos.com/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler: ""
        name: vertical-pod-autoscaler
      # ...
      spec:
        config:
          nodeSelector:
            node-role.kubernetes.io/infra: ""
          tolerations: 

      1

      
          - key: "node-role.kubernetes.io/infra"
            operator: "Exists"
            effect: "NoSchedule"

      Copy to Clipboard Toggle word wrap

      1

      인프라 노드의 테인트에 대한 허용 오차를 지정합니다.

2. VerticalPodAutoscaler CR(사용자 정의 리소스)에 노드 선택기를 추가하여 각 VPA 구성 요소를 이동합니다.

   1. CR을 편집합니다.

      $ oc edit VerticalPodAutoscalerController default -n openshift-vertical-pod-autoscaler

      Copy to Clipboard Toggle word wrap

   2. 인프라 노드의 노드 역할 레이블과 일치하도록 노드 선택기를 추가합니다.

      apiVersion: autoscaling.openshift.io/v1
      kind: VerticalPodAutoscalerController
      metadata:
       name: default
        namespace: openshift-vertical-pod-autoscaler
      # ...
      spec:
        deploymentOverrides:
          admission:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: "" 

      1

      
          recommender:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: "" 

      2

      
          updater:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: "" 

      3

      Copy to Clipboard Toggle word wrap

      1

      선택 사항: VPA 승인 Pod의 노드 역할을 지정합니다.

      2

      선택 사항: VPA recommender Pod의 노드 역할을 지정합니다.

      3

      선택 사항: VPA 업데이트 프로그램 Pod의 노드 역할을 지정합니다.

      참고

      대상 노드에서 테인트를 사용하는 경우 VerticalPodAutoscalerController CR에 허용 오차를 추가해야 합니다.

      예를 들면 다음과 같습니다.

      apiVersion: autoscaling.openshift.io/v1
      kind: VerticalPodAutoscalerController
      metadata:
       name: default
        namespace: openshift-vertical-pod-autoscaler
      # ...
      spec:
        deploymentOverrides:
          admission:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: ""
            tolerations: 

      1

      
            - key: "my-example-node-taint-key"
              operator: "Exists"
              effect: "NoSchedule"
          recommender:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: ""
            tolerations: 

      2

      
            - key: "my-example-node-taint-key"
              operator: "Exists"
              effect: "NoSchedule"
          updater:
            container:
              resources: {}
            nodeSelector:
              node-role.kubernetes.io/infra: ""
            tolerations: 

      3

      
            - key: "my-example-node-taint-key"
              operator: "Exists"
              effect: "NoSchedule"

      Copy to Clipboard Toggle word wrap

      1

      인프라 노드의 테인트에 대한 허용 오차를 지정합니다.

      2

      인프라 노드의 테인트에 대한 권장 Pod에 대한 허용 오차를 지정합니다.

      3

      인프라 노드의 테인트에 대한 업데이트 프로그램 Pod에 대한 허용 오차를 지정합니다.

프로세스

1. Cluster Resource Override Operator의 Subscription CR(사용자 정의 리소스)에 노드 선택기를 추가하여 Cluster Resource Override Operator를 이동합니다.

   1. CR을 편집합니다.

      $ oc edit -n clusterresourceoverride-operator subscriptions.operators.coreos.com clusterresourceoverride

      Copy to Clipboard Toggle word wrap

   2. Cluster Resource Override Operator Pod를 설치하려는 노드의 노드 역할 레이블과 일치하도록 노드 선택기를 추가합니다.

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: clusterresourceoverride
        namespace: clusterresourceoverride-operator
      # ...
      spec:
        config:
          nodeSelector:
            node-role.kubernetes.io/infra: "" 

      1

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      Cluster Resource Override Operator Pod를 배포할 노드의 역할을 지정합니다.

      참고

      인프라 노드에서 taint를 사용하는 경우 서브스크립션 CR에 허용 오차를 추가해야 합니다.

      예를 들면 다음과 같습니다.

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: clusterresourceoverride
        namespace: clusterresourceoverride-operator
      # ...
      spec:
        config:
          nodeSelector:
            node-role.kubernetes.io/infra: ""
          tolerations: 

      1

      
          - key: "node-role.kubernetes.io/infra"
            operator: "Exists"
            effect: "NoSchedule"

      Copy to Clipboard Toggle word wrap

      1

      인프라 노드의 테인트에 대한 허용 오차를 지정합니다.

2. ClusterResourceOverride 사용자 정의 리소스(CR)에 노드 선택기를 추가하여 Cluster Resource Override Pod를 이동합니다.

   1. CR을 편집합니다.

      $ oc edit ClusterResourceOverride cluster -n clusterresourceoverride-operator

      Copy to Clipboard Toggle word wrap

   2. 인프라 노드의 노드 역할 레이블과 일치하도록 노드 선택기를 추가합니다.

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
        name: cluster
        resourceVersion: "37952"
      spec:
        podResourceOverride:
          spec:
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200
            memoryRequestToLimitPercent: 50
        deploymentOverrides:
          replicas: 1 

      1

      
          nodeSelector:
            node-role.kubernetes.io/infra: "" 

      2

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      선택 사항: 배포할 클러스터 리소스 덮어쓰기 Pod 수를 지정합니다. 기본값은 2 입니다. 노드당 하나의 Pod만 허용됩니다.

      2

      선택 사항: Cluster Resource Override Pod를 배포할 노드의 역할을 지정합니다.

      참고

      인프라 노드에서 taint를 사용하는 경우 ClusterResourceOverride CR에 허용 오차를 추가해야 합니다.

      예를 들면 다음과 같습니다.

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
        name: cluster
      # ...
      spec:
        podResourceOverride:
          spec:
            memoryRequestToLimitPercent: 50
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200
        deploymentOverrides:
          replicas: 3
          nodeSelector:
            node-role.kubernetes.io/worker: ""
          tolerations: 

      1

      
          - key: "key"
            operator: "Equal"
            value: "value"
            effect: "NoSchedule"

      Copy to Clipboard Toggle word wrap

      1

      인프라 노드의 테인트에 대한 허용 오차를 지정합니다.