11.6. Red Hat OpenShift용 외부 시크릿 Operator 모니터링

프로세스

1. cluster-monitoring-config.yaml YAML 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       enableUserWorkload: true

2. 다음 명령을 실행하여 ConfigMap 을 적용합니다.

   $ oc apply -f cluster-monitoring-config.yaml

프로세스

1. 메트릭 서버에 HTTP 를 사용하도록 Operator를 구성합니다. HTTPS 는 기본적으로 활성화되어 있습니다.

   1. 다음 명령을 실행하여 Red Hat OpenShift용 외부 Secrets Operator에 대한 서브스크립션 오브젝트를 업데이트하여 HTTP 프로토콜을 구성합니다.

      $ oc -n external-secrets-operator patch subscription openshift-external-secrets-operator --type='merge' -p '{"spec":{"config":{"env":[{"name":"METRICS_BIND_ADDRESS","value":":8080"}, {"name": "METRICS_SECURE", "value": "false"}]}}}'

   2. External Secrets Operator Pod가 재배포되고 METRICS_BIND_ADDRESS 및 METRICS_SECURE 에 대해 구성된 값이 업데이트되었는지 확인하려면 다음 명령을 실행합니다.

      $ oc set env --list deployment/external-secrets-operator-controller-manager -n external-secrets-operator | grep -e METRICS_BIND_ADDRESS -e METRICS_SECURE -e container

      다음 예제에서는 METRICS_BIND_ADDRESS 및 METRICS_SECURE 가 업데이트되었음을 보여줍니다.

      # deployments/external-secrets-operator-controller-manager, container manager
      METRICS_BIND_ADDRESS=:8080
      METRICS_SECURE=false

2. kubernetes.io/service-account.name 주석을 사용하여 Secret 리소스를 생성하여 지표 서버로 인증하는 데 필요한 토큰을 삽입합니다.

   1. secret-external-secrets-operator.yaml YAML 파일을 생성합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        labels:
          app: external-secrets-operator
        name: external-secrets-operator-metrics-auth
        namespace: external-secrets-operator
        annotations:
          kubernetes.io/service-account.name: external-secrets-operator-controller-manager
      type: kubernetes.io/service-account-token

   2. 다음 명령을 실행하여 Secret 리소스를 생성합니다.

      $ oc apply -f secret-external-secrets-operator.yaml

3. 메트릭에 액세스 권한을 부여하는 데 필요한 ClusterRoleBinding 리소스를 생성합니다.

   1. clusterrolebinding-external-secrets.yaml YAML 파일을 생성합니다.

      다음 예제에서는 cluserrolebinding-external-secrets.yaml 파일을 보여줍니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        labels:
          app: external-secrets-operator
        name: external-secrets-allow-metrics-access
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: external-secrets-operator-metrics-reader
      subjects:
        - kind: ServiceAccount
          name: external-secrets-operator-controller-manager
          namespace: external-secrets-operator

   2. 다음 명령을 실행하여 ClusterRoldeBinding 사용자 정의 리소스를 생성합니다.

      $ oc apply -f clusterrolebinding-external-secrets.yaml

4. 기본 HTTPS 를 사용하는 경우 ServiceMonitor CR을 생성합니다.

   1. servicemonitor-external-secrets-operator-https.yaml YAML 파일을 생성합니다.

      apiVersion: monitoring.coreos.com/v1
      kind: ServiceMonitor
      metadata:
        labels:
          app: external-secrets-operator
        name: external-secrets-operator-metrics-monitor
        namespace: external-secrets-operator
      spec:
        endpoints:
          - authorization:
              credentials:
                name: external-secrets-operator-metrics-auth
                key: token
              type: Bearer
            interval: 60s
            path: /metrics
            port: metrics-https
            scheme: https
            scrapeTimeout: 30s
            tlsConfig:
              ca:
                configMap:
                  name: openshift-service-ca.crt
                  key: service-ca.crt
              serverName: external-secrets-operator-controller-manager-metrics-service.external-secrets-operator.svc.cluster.local
        namespaceSelector:
          matchNames:
            - external-secrets-operator
        selector:
          matchLabels:
            app: external-secrets-operator
            svc: external-secrets-operator-controller-manager-metrics-service

   2. 다음 명령을 실행하여 ServiceMonitor CR을 생성합니다.

      $ oc apply -f servicemonitor-external-secrets-operator-https.yaml

5. HTTP 를 사용하도록 구성된 경우 ServiceMonitor CR을 생성합니다.

   1. servicemonitor-external-secrets-operator-http.yaml YAML 파일을 생성합니다.

      apiVersion: monitoring.coreos.com/v1
      kind: ServiceMonitor
      metadata:
        labels:
          app: external-secrets-operator
        name: external-secrets-operator-metrics-monitor
        namespace: external-secrets-operator
      spec:
        endpoints:
          - authorization:
              credentials:
                name: external-secrets-operator-metrics-auth
                key: token
              type: Bearer
            interval: 60s
            path: /metrics
            port: metrics-http
            scheme: http
            scrapeTimeout: 30s
        namespaceSelector:
          matchNames:
            - external-secrets-operator
        selector:
          matchLabels:
            app: external-secrets-operator
            svc: external-secrets-operator-controller-manager-metrics-service

   2. 다음 명령을 실행하여 ServiceMonitor CR을 생성합니다.

      $ oc apply -f servicemonitor-external-secrets-operator-http.yaml

      ServiceMonitor CR이 생성되면 사용자 워크로드 Prometheus 인스턴스는 Operator에서 메트릭 수집을 시작합니다. 수집된 지표는 job="external-secrets-operator-controller-manager-metrics-service" 로 레이블이 지정됩니다.

검증

1. OpenShift Container Platform 웹 콘솔에서 모니터링 대상으로 이동합니다.

2. 라벨 필터 필드에 다음 레이블을 입력하여 각 피연산자의 메트릭 대상을 필터링합니다.

   $ service=external-secrets-operator-controller-manager-metrics-service

3. external-secrets-operator 의 Status 열에 Up 이 표시되는지 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 모니터링 메트릭 으로 이동합니다.

2. 쿼리 필드에 다음 PromQL 표현식을 입력하여 External Secrets Operator for Red Hat OpenShift 메트릭을 쿼리합니다.

   {job="external-secrets-operator-controller-manager-metrics-service"}

프로세스

1. 메트릭에 액세스 권한을 부여하는 데 필요한 ClusterRoleBinding 리소스를 생성합니다.

   1. clusterrolebinding-external-secrets.yaml YAML 파일을 생성합니다.

      다음 예제에서는 cluserrolebinding-external-secrets.yaml 파일을 보여줍니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        labels:
          app: external-secrets
        name: external-secrets-allow-metrics-access
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: external-secrets-operator-metrics-reader
      subjects:
        - kind: ServiceAccount
          name: external-secrets
          namespace: external-secrets
        - kind: ServiceAccount
          name: external-secrets-cert-controller
          namespace: external-secrets
        - kind: ServiceAccount
          name: external-secrets-webhook
          namespace: external-secrets

   2. 다음 명령을 실행하여 ClusterRoldeBinding 사용자 정의 리소스를 생성합니다.

      $ oc apply -f clusterrolebinding-external-secrets.yaml

2. ServiceMonitor CR을 생성합니다.

   1. servicemonitor-external-secrets.yaml YAML 파일을 생성합니다.

      apiVersion: monitoring.coreos.com/v1
      kind: ServiceMonitor
      metadata:
        labels:
          app: external-secrets
        name: external-secrets-metrics-monitor
        namespace: external-secrets
      spec:
        endpoints:
          - interval: 60s
            path: /metrics
            port: metrics
            scheme: http
            scrapeTimeout: 30s
        namespaceSelector:
          matchNames:
            - external-secrets
        selector:
          matchExpressions:
            - key: app.kubernetes.io/name
              operator: In
              values:
                - external-secrets
                - external-secrets-cert-controller
                - external-secrets-webhook
            - key: app.kubernetes.io/instance
              operator: In
              values:
                - external-secrets
            - key: app.kubernetes.io/managed-by
              operator: In
              values:
                - external-secrets-operator

   2. 다음 명령을 실행하여 ServiceMonitor CR을 생성합니다.

      $ oc apply -f servicemonitor-external-secrets.yaml

      ServiceMonitor CR이 생성되면 사용자 워크로드 Prometheus 인스턴스는 Red Hat OpenShift 피연산자용 External Secrets Operator에서 메트릭 수집을 시작합니다. 수집된 지표는 job="external-secrets",job="external-secrets-cainjector" 및 job="external-secrets-webhook" 로 레이블이 지정됩니다.

검증

1. OpenShift Container Platform 웹 콘솔에서 모니터링 대상으로 이동합니다.

2. 라벨 필터 필드에 다음 레이블을 입력하여 각 피연산자의 메트릭 대상을 필터링합니다.

   $ service=external-secrets

   $ service=external-secrets-cert-controller-metrics

   $ service=external-secrets-webhook

3. Status 열에 external-secrets , external-secrets -cert-controller 및 external-secrets- webhook 에 대한 Up 이 표시되는지 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 모니터링 메트릭 으로 이동합니다.

2. 쿼리 필드에 다음 PromQL 표현식을 입력하여 각 피연산자의 외부 Secrets Operator를 쿼리합니다.

   {job="external-secrets"}

   {job="external-secrets-webhook"}

   {job="external-secrets-cert-controller-metrics"}