5.13. Prometheus를 사용하여 기본 제공 모니터링 구성
이 가이드에서는 Prometheus Operator를 사용하여 Operator SDK에서 제공하는 기본 제공 모니터링 지원과 Go 기반 및 Ansible 기반 Operator의 작성자에 대한 세부 정보를 설명합니다.
5.13.1. Prometheus Operator 지원
Prometheus는 오픈 소스 시스템 모니터링 및 경고 툴킷입니다. Prometheus Operator는 OpenShift Container Platform과 같은 Kubernetes 기반 클러스터에서 실행되는 Prometheus 클러스터를 생성, 구성, 관리합니다.
Helper 함수는 기본적으로 Operator SDK에 있으며 Prometheus Operator가 배포된 클러스터에서 사용하기 위해 생성한 Go 기반 Operator의 지표를 자동으로 설정합니다.
5.13.2. Go 기반 Operator에 대한 사용자 정의 메트릭 노출
Operator 작성자는 controller-runtime/pkg/metrics
라이브러리의 글로벌 Prometheus 레지스트리를 사용하여 사용자 정의 지표를 게시할 수 있습니다.
사전 요구 사항
- Operator SDK를 사용하여 Go 기반 Operator가 생성됨
- OpenShift Container Platform 클러스터에 기본적으로 배포되는 Prometheus Operator
프로세스
Operator SDK 프로젝트에서
config/default/kustomization.yaml
파일에서 다음 행의 주석을 제거합니다.../prometheus
Operator에서 추가 지표를 게시하는 사용자 정의 컨트롤러 클래스를 생성합니다. 다음 예제에서는
위젯
및위젯Failures
수집기를 글로벌 변수로 선언한 다음, 컨트롤러의 패키지에init()
함수에 등록합니다.예 5.18.
controllers/memcached_controller_test_metrics.go
filepackage controllers import ( "github.com/prometheus/client_golang/prometheus" "sigs.k8s.io/controller-runtime/pkg/metrics" ) var ( widgets = prometheus.NewCounter( prometheus.CounterOpts{ Name: "widgets_total", Help: "Number of widgets processed", }, ) widgetFailures = prometheus.NewCounter( prometheus.CounterOpts{ Name: "widget_failures_total", Help: "Number of failed widgets", }, ) ) func init() { // Register custom metrics with the global prometheus registry metrics.Registry.MustRegister(widgets, widgetFailures) }
기본
컨트롤러 클래스의 조정 루프의 일부에서 이러한 컬렉터에 기록하여 메트릭의 비즈니스 논리를 결정합니다.예 5.19.
controllers/memcached_controller.go
filefunc (r *MemcachedReconciler) Reconcile(ctx context.Context, req ctrl.Request) (ctrl.Result, error) { ... ... // Add metrics widgets.Inc() widgetFailures.Inc() return ctrl.Result{}, nil }
Operator를 빌드하고 내보냅니다.
$ make docker-build docker-push IMG=<registry>/<user>/<image_name>:<tag>
Operator를 배포합니다.
$ make deploy IMG=<registry>/<user>/<image_name>:<tag>
OpenShift Container Platform 클러스터의 Prometheus 인스턴스에서 Operator의 서비스 모니터를 스크랩할 수 있도록 역할 및 역할 바인딩 정의를 생성합니다.
서비스 계정에 네임스페이스 메트릭을 스크랩할 수 있는 권한이 있도록 역할을 할당해야 합니다.
예 5.20.
config/prometheus/role.yaml
roleapiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus-k8s-role namespace: <operator_namespace> rules: - apiGroups: - "" resources: - endpoints - pods - services - nodes - secrets verbs: - get - list - watch
예 5.21.
config/prometheus/rolebinding.yaml
역할 바인딩apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus-k8s-rolebinding namespace: memcached-operator-system roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus-k8s-role subjects: - kind: ServiceAccount name: prometheus-k8s namespace: openshift-monitoring
배포된 Operator의 역할 및 역할 바인딩을 적용합니다.
$ oc apply -f config/prometheus/role.yaml
$ oc apply -f config/prometheus/rolebinding.yaml
스크랩할 네임스페이스의 레이블을 설정하여 해당 네임스페이스에 대한 OpenShift 클러스터 모니터링을 활성화합니다.
$ oc label namespace <operator_namespace> openshift.io/cluster-monitoring="true"
검증
-
OpenShift Container Platform 웹 콘솔에서 메트릭을 쿼리하고 봅니다. 사용자 지정 컨트롤러 클래스에 설정된 이름(예:
widgets_total
및widget_failures_total
)을 사용할 수 있습니다.
5.13.3. Ansible 기반 Operator에 대한 사용자 정의 메트릭 노출
Ansible 기반 Operator를 생성하는 Operator 작성자는 Operator SDK의 osdk_metrics
모듈을 사용하여 사용자 정의 Operator 및 Operand 지표를 노출하고 이벤트를 발송하고 로깅을 지원할 수 있습니다.
사전 요구 사항
- Operator SDK를 사용하여 Ansible 기반 Operator 생성
- OpenShift Container Platform 클러스터에 기본적으로 배포되는 Prometheus Operator
프로세스
Ansible 기반 Operator를 생성합니다. 이 예에서는
testmetrics.com
도메인을 사용합니다.$ operator-sdk init \ --plugins=ansible \ --domain=testmetrics.com
메트릭
API를 생성합니다. 이 예에서는Testmetrics
라는종류를
사용합니다.$ operator-sdk create api \ --group metrics \ --version v1 \ --kind Testmetrics \ --generate-role
roles/testmetrics/tasks/main.yml
파일을 편집하고osdk_metrics
모듈을 사용하여 Operator 프로젝트에 대한 사용자 정의 지표를 생성합니다.예 5.22.
roles/testmetrics/tasks/main.yml
파일의 예--- # tasks file for Memcached - name: start k8sstatus k8s: definition: kind: Deployment apiVersion: apps/v1 metadata: name: '{{ ansible_operator_meta.name }}-memcached' namespace: '{{ ansible_operator_meta.namespace }}' spec: replicas: "{{size}}" selector: matchLabels: app: memcached template: metadata: labels: app: memcached spec: containers: - name: memcached command: - memcached - -m=64 - -o - modern - -v image: "docker.io/memcached:1.4.36-alpine" ports: - containerPort: 11211 - osdk_metric: name: my_thing_counter description: This metric counts things counter: {} - osdk_metric: name: my_counter_metric description: Add 3.14 to the counter counter: increment: yes - osdk_metric: name: my_gauge_metric description: Create my gauge and set it to 2. gauge: set: 2 - osdk_metric: name: my_histogram_metric description: Observe my histogram histogram: observe: 2 - osdk_metric: name: my_summary_metric description: Observe my summary summary: observe: 2
검증
클러스터에서 Operator를 실행합니다. 예를 들어 "run을 배포로 실행" 방법을 사용하려면 다음을 수행합니다.
Operator 이미지를 빌드하고 레지스트리로 내보냅니다.
$ make docker-build docker-push IMG=<registry>/<user>/<image_name>:<tag>
클러스터에 Operator를 설치합니다.
$ make install
Operator를 배포합니다.
$ make deploy IMG=<registry>/<user>/<image_name>:<tag>
Testmetrics
CR(사용자 정의 리소스)을 생성합니다.CR 사양을 정의합니다.
예 5.23. Example
config/samples/metrics_v1_testmetrics.yaml
fileapiVersion: metrics.testmetrics.com/v1 kind: Testmetrics metadata: name: testmetrics-sample spec: size: 1
오브젝트를 생성합니다.
$ oc create -f config/samples/metrics_v1_testmetrics.yaml
Pod 세부 정보를 가져옵니다.
$ oc get pods
출력 예
NAME READY STATUS RESTARTS AGE ansiblemetrics-controller-manager-<id> 2/2 Running 0 149m testmetrics-sample-memcached-<id> 1/1 Running 0 147m
끝점 세부 정보를 가져옵니다.
$ oc get ep
출력 예
NAME ENDPOINTS AGE ansiblemetrics-controller-manager-metrics-service 10.129.2.70:8443 150m
사용자 정의 메트릭 토큰을 요청합니다.
$ token=`oc create token prometheus-k8s -n openshift-monitoring`
메트릭 값을 확인합니다.
my_counter_metric
값을 확인합니다.$ oc exec ansiblemetrics-controller-manager-<id> -- curl -k -H "Authoriza tion: Bearer $token" 'https://10.129.2.70:8443/metrics' | grep my_counter
출력 예
HELP my_counter_metric Add 3.14 to the counter TYPE my_counter_metric counter my_counter_metric 2
my_gauge_metric
값을 확인합니다.$ oc exec ansiblemetrics-controller-manager-<id> -- curl -k -H "Authoriza tion: Bearer $token" 'https://10.129.2.70:8443/metrics' | grep gauge
출력 예
HELP my_gauge_metric Create my gauge and set it to 2.
my_histogram_metric
및my_summary_metric
값을 확인합니다.$ oc exec ansiblemetrics-controller-manager-<id> -- curl -k -H "Authoriza tion: Bearer $token" 'https://10.129.2.70:8443/metrics' | grep Observe
출력 예
HELP my_histogram_metric Observe my histogram HELP my_summary_metric Observe my summary