네트워킹

1. tls.crt 및 tls.key 파일을 사용하여 openshift-ingress 네임스페이스에 사용자 정의 인증서를 포함하는 Secret 리소스를 만듭니다.

   $ oc --namespace openshift-ingress create secret tls custom-certs-default --cert=tls.crt --key=tls.key

   Copy to Clipboard Toggle word wrap

2. 새 인증서 보안 키를 참조하도록 IngressController CR을 업데이트합니다.

   $ oc patch --type=merge --namespace openshift-ingress-operator ingresscontrollers/default \
     --patch '{"spec":{"defaultCertificate":{"name":"custom-certs-default"}}}'

   Copy to Clipboard Toggle word wrap

3. 업데이트가 적용되었는지 확인합니다.

   $ echo Q |\
     openssl s_client -connect console-openshift-console.apps.<domain>:443 -showcerts 2>/dev/null |\
     openssl x509 -noout -subject -issuer -enddate

   Copy to Clipboard Toggle word wrap

   다음과 같습니다.

   <domain>

   클러스터의 기본 도메인 이름을 지정합니다.

   출력 예

   subject=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = *.apps.example.com
   issuer=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = example.com
   notAfter=May 10 08:32:45 2022 GM

   Copy to Clipboard Toggle word wrap

   작은 정보

   다음 YAML을 적용하여 사용자 지정 기본 인증서를 설정할 수 있습니다.

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     defaultCertificate:
       name: custom-certs-default

   Copy to Clipboard Toggle word wrap

   인증서 보안 이름은 CR을 업데이트하는 데 사용된 값과 일치해야 합니다.

사전 요구 사항

1. OpenShift CLI(oc)가 설치되어 있어야 합니다.
2. cluster-admin 역할의 사용자로 OpenShift Container Platform 클러스터에 액세스할 수 있습니다.
3. Custom Metrics Autoscaler Operator가 설치되어 있습니다.

프로세스

1. 다음 명령을 실행하여 openshift-ingress-operator 네임스페이스에 프로젝트를 생성합니다.

   $ oc project openshift-ingress-operator

   Copy to Clipboard Toggle word wrap

2. 구성 맵을 생성하고 적용하여 사용자 정의 프로젝트에 대한 OpenShift 모니터링을 활성화합니다.

   1. 새 ConfigMap 오브젝트 cluster-monitoring-config.yaml 을 생성합니다.

      cluster-monitoring-config.yaml

      apiVersion: v1
      kind: ConfigMap
      metadata:
        name: cluster-monitoring-config
        namespace: openshift-monitoring
      data:
        config.yaml: |
          enableUserWorkload: true 

      1

      Copy to Clipboard Toggle word wrap

      1

      true로 설정하는 경우 enableUserWorkload 매개변수를 사용하면 클러스터에서 사용자 정의 프로젝트를 모니터링할 수 있습니다.

   2. 다음 명령을 실행하여 구성 맵을 적용합니다.

      $ oc apply -f cluster-monitoring-config.yaml

      Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 Thanos로 인증할 서비스 계정을 만듭니다.

   $ oc create serviceaccount thanos && oc describe serviceaccount thanos

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                thanos
   Namespace:           openshift-ingress-operator
   Labels:              <none>
   Annotations:         <none>
   Image pull secrets:  thanos-dockercfg-b4l9s
   Mountable secrets:   thanos-dockercfg-b4l9s
   Tokens:              thanos-token-c422q
   Events:              <none>

   Copy to Clipboard Toggle word wrap

4. 서비스 계정의 토큰을 사용하여 openshift-ingress-operator 네임스페이스에 TriggerAuthentication 오브젝트를 정의합니다.

   1. 다음 명령 을 실행 하여 시크릿이 포함된 변수 보안을 정의합니다.

      $ secret=$(oc get secret | grep thanos-token | head -n 1 | awk '{ print $1 }')

      Copy to Clipboard Toggle word wrap

   2. TriggerAuthentication 오브젝트를 생성하고 secret 변수의 값을 TOKEN 매개변수에 전달합니다.

      $ oc process TOKEN="$secret" -f - <<EOF | oc apply -f -
      apiVersion: template.openshift.io/v1
      kind: Template
      parameters:
      - name: TOKEN
      objects:
      - apiVersion: keda.sh/v1alpha1
        kind: TriggerAuthentication
        metadata:
          name: keda-trigger-auth-prometheus
        spec:
          secretTargetRef:
          - parameter: bearerToken
            name: \${TOKEN}
            key: token
          - parameter: ca
            name: \${TOKEN}
            key: ca.crt
      EOF

      Copy to Clipboard Toggle word wrap

5. Thanos에서 메트릭을 읽는 역할을 생성하고 적용합니다.

   1. Pod 및 노드에서 지표를 읽는 os-metrics-reader.yaml 보다 새 역할을 생성합니다.

      thanos-metrics-reader.yaml

      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: thanos-metrics-reader
      rules:
      - apiGroups:
        - ""
        resources:
        - pods
        - nodes
        verbs:
        - get
      - apiGroups:
        - metrics.k8s.io
        resources:
        - pods
        - nodes
        verbs:
        - get
        - list
        - watch
      - apiGroups:
        - ""
        resources:
        - namespaces
        verbs:
        - get

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 새 역할을 적용합니다.

      $ oc apply -f thanos-metrics-reader.yaml

      Copy to Clipboard Toggle word wrap

6. 다음 명령을 입력하여 서비스 계정에 새 역할을 추가합니다.

   $ oc adm policy add-role-to-user thanos-metrics-reader -z thanos --role=namespace=openshift-ingress-operator

   Copy to Clipboard Toggle word wrap

   $ oc adm policy -n openshift-ingress-operator add-cluster-role-to-user cluster-monitoring-view -z thanos

   Copy to Clipboard Toggle word wrap
   참고

   네임스페이스 간 쿼리를 사용하는 경우에만 인수 add-cluster-role-to-user 가 필요합니다. 다음 단계에서는 이 인수가 필요한 kube-metrics 네임스페이스의 쿼리를 사용합니다.

7. 기본 Ingress 컨트롤러 배포를 대상으로 하는 새 ScaledObject YAML 파일 ingress-autoscaler.yaml 을 생성합니다.

   ScaledObject 정의 예

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     name: ingress-scaler
   spec:
     scaleTargetRef: 

   1

   
       apiVersion: operator.openshift.io/v1
       kind: IngressController
       name: default
       envSourceContainerName: ingress-operator
     minReplicaCount: 1
     maxReplicaCount: 20 

   2

   
     cooldownPeriod: 1
     pollingInterval: 1
     triggers:
     - type: prometheus
       metricType: AverageValue
       metadata:
         serverAddress: https://<example-cluster>:9091 

   3

   
         namespace: openshift-ingress-operator 

   4

   
         metricName: 'kube-node-role'
         threshold: '1'
         query: 'sum(kube_node_role{role="worker",service="kube-state-metrics"})' 

   5

   
         authModes: "bearer"
       authenticationRef:
         name: keda-trigger-auth-prometheus

   Copy to Clipboard Toggle word wrap

   1

   대상으로 하는 사용자 지정 리소스입니다. 이 경우 Ingress 컨트롤러입니다.

   2

   선택사항: 최대 복제본 수입니다. 이 필드를 생략하면 기본 최대값은 100개의 복제본으로 설정됩니다.

   3

   클러스터 주소 및 포트입니다.

   4

   Ingress Operator 네임스페이스입니다.

   5

   이 표현식은 배포된 클러스터에 있지만 많은 작업자 노드가 있습니다.

   중요

   네임스페이스 간 쿼리를 사용하는 경우 serverAddress 필드에서 포트 9091를 대상으로 하고 포트 9092가 아니어야 합니다. 이 포트에서 메트릭을 읽으려면 상승된 권한도 있어야 합니다.

8. 다음 명령을 실행하여 사용자 정의 리소스 정의를 적용합니다.

   $ oc apply -f ingress-autoscaler.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 기본 IngressController의 현재 사용 가능한 복제본 개수를 살펴봅니다.

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   Copy to Clipboard Toggle word wrap

   출력 예

   2

   Copy to Clipboard Toggle word wrap

2. oc patch 명령을 사용하여 기본 IngressController의 복제본 수를 원하는 대로 조정합니다. 다음 예제는 기본 IngressController를 3개의 복제본으로 조정합니다.

   $ oc patch -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"replicas": 3}}' --type=merge

   Copy to Clipboard Toggle word wrap

   출력 예

   ingresscontroller.operator.openshift.io/default patched

   Copy to Clipboard Toggle word wrap

3. 기본 IngressController가 지정한 복제본 수에 맞게 조정되었는지 확인합니다.

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   Copy to Clipboard Toggle word wrap

   출력 예

   3

   Copy to Clipboard Toggle word wrap

   작은 정보

   또는 다음 YAML을 적용하여 Ingress 컨트롤러를 세 개의 복제본으로 확장할 수 있습니다.

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: 3               

   1

   Copy to Clipboard Toggle word wrap

   1

   다른 양의 복제본이 필요한 경우 replicas 값을 변경합니다.

프로세스

1. 다음 예제와 같이 <name>-ingress-controller.yam 파일에 IngressController CR(사용자 정의 리소스)을 생성합니다.

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name> 

   1

   
   spec:
     domain: <domain> 

   2

   
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal 

   3

   Copy to Clipboard Toggle word wrap

   1

   <name>을 IngressController 오브젝트의 이름으로 변경합니다.

   2

   컨트롤러가 게시한 애플리케이션의 domain을 지정합니다.

   3

   내부 로드 밸런서를 사용하려면 Internal 값을 지정합니다.

2. 다음 명령을 실행하여 이전 단계에서 정의된 Ingress 컨트롤러를 생성합니다.

   $ oc create -f <name>-ingress-controller.yaml 

   1

   Copy to Clipboard Toggle word wrap

   1

   <name>을 IngressController 오브젝트의 이름으로 변경합니다.

3. 선택 사항: Ingress 컨트롤러가 생성되었는지 확인하려면 다음 명령을 실행합니다.

   $ oc --all-namespaces=true get ingresscontrollers

   Copy to Clipboard Toggle word wrap

프로세스

1. 글로벌 액세스를 허용하도록 Ingress 컨트롤러 리소스를 구성합니다.

   참고

   Ingress 컨트롤러를 생성하고 글로벌 액세스 옵션을 지정할 수도 있습니다.

   1. Ingress 컨트롤러 리소스를 구성합니다.

      $ oc -n openshift-ingress-operator edit ingresscontroller/default

      Copy to Clipboard Toggle word wrap

   2. YAML 파일을 편집합니다.

      Global에 대한 clientAccess 구성 샘플

        spec:
          endpointPublishingStrategy:
            loadBalancer:
              providerParameters:
                gcp:
                  clientAccess: Global 

      1

      
                type: GCP
              scope: Internal
            type: LoadBalancerService

      Copy to Clipboard Toggle word wrap

      1

      gcp.clientAccess를 Global로 설정합니다.

   3. 파일을 저장하여 변경 사항을 적용합니다.

2. 다음 명령을 실행하여 서비스가 글로벌 액세스를 허용하는지 확인합니다.

   $ oc -n openshift-ingress edit svc/router-default -o yaml

   Copy to Clipboard Toggle word wrap

   출력에서 주석 networking.gke.io/internal-load-balancer-allow-global-access가 있는 GCP에 글로벌 액세스가 활성화되어 있음을 보여줍니다.

프로세스

1. 클러스터의 기본 Ingress 컨트롤러를 삭제하고 다시 생성하여 내부용으로 구성합니다.

   $ oc replace --force --wait --filename - <<EOF
   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: default
   spec:
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal
   EOF

   Copy to Clipboard Toggle word wrap

프로세스

1. 와일드카드 정책을 구성합니다.

   1. 다음 명령을 사용하여 IngressController 리소스를 편집합니다.

      $ oc edit IngressController

      Copy to Clipboard Toggle word wrap

   2. spec에서 wildcardPolicy 필드를 WildcardsDisallowed 또는 WildcardsAllowed로 설정합니다.

      spec:
        routeAdmission:
          wildcardPolicy: WildcardsDisallowed # or WildcardsAllowed

      Copy to Clipboard Toggle word wrap

프로세스

1. Ingress 컨트롤러에 대한 HTTPHeaders 필드를 구성합니다.

   1. 다음 명령을 사용하여 IngressController 리소스를 편집합니다.

      $ oc edit IngressController

      Copy to Clipboard Toggle word wrap

   2. spec에서 HTTPHeaders 정책 필드를 Append, Replace, IfNone 또는 Never로 설정합니다.

      apiVersion: operator.openshift.io/v1
      kind: IngressController
      metadata:
        name: default
        namespace: openshift-ingress-operator
      spec:
        httpHeaders:
          forwardedHeaderPolicy: Append

      Copy to Clipboard Toggle word wrap