14장. 호스트된 컨트롤 플레인에 대한 가시성
메트릭 세트를 구성하여 호스팅되는 컨트롤 플레인의 메트릭을 수집할 수 있습니다. 모니터링 대시보드는 관리하는 각 호스팅 클러스터의 관리 클러스터에서 생성됩니다.
14.1. 호스팅된 컨트롤 플레인에 대한 메트릭 세트 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅되는 컨트롤 플레인은 각 컨트롤 플레인 네임스페이스에서 ServiceMonitor 리소스를 생성하여 Prometheus 스택이 컨트롤 플레인에서 지표를 수집할 수 있습니다.
ServiceMonitor 리소스는 메트릭 재레이블을 사용하여 etcd 또는 Kubernetes API 서버와 같은 특정 구성 요소에서 포함되거나 제외되는 메트릭을 정의합니다. 컨트롤 플레인에서 생성하는 메트릭 수는 이를 수집하는 모니터링 스택의 리소스 요구 사항에 직접적인 영향을 미칩니다.
모든 상황에 적용되는 고정된 수의 메트릭을 생성하는 대신 각 컨트롤 플레인에 생성할 메트릭 세트를 식별하는 메트릭 세트를 구성할 수 있습니다. 다음 메트릭 세트가 지원됩니다.
-
Telemetry: 이러한 메트릭은 Telemetry에 필요합니다. 이 세트는 기본 세트이며 가장 작은 메트릭 세트입니다. -
SRE:이 세트에는 경고를 생성하고 컨트롤 플레인 구성 요소의 문제 해결을 허용하는 데 필요한 메트릭이 포함되어 있습니다. -
All: 이 세트에는 독립 실행형 OpenShift Container Platform 컨트롤 플레인 구성 요소에서 생성하는 모든 메트릭이 포함됩니다.
절차
메트릭 세트를 구성하려면 다음 명령을 입력하여 HyperShift Operator 배포에서
METRICS_SET환경 변수를 설정합니다.$ oc set env -n hypershift deployment/operator METRICS_SET=All
14.1.1. SRE 메트릭 세트 예 링크 복사링크가 클립보드에 복사되었습니다!
SRE 메트릭 세트를 지정하면 HyperShift Operator는 단일 key: config 를 사용하여 sre-metric-set 이라는 구성 맵을 찾습니다. config 키 값에는 컨트롤 플레인 구성 요소로 구성된 RelabelConfigs 세트가 포함되어야 합니다.
다음 구성 요소를 지정할 수 있습니다.
-
etcd -
kubeAPIServer -
kubeControllerManager -
kubeScheduler -
openshiftAPIServer -
openshiftControllerManager -
openshiftRouteControllerManager -
cvo -
olm -
catalogOperator -
registryOperator -
nodeTuningOperator -
controlPlaneOperator -
hostedClusterConfigOperator
다음 예에는 SRE 메트릭 세트 구성이 설명되어 있습니다.
kubeAPIServer:
- action: "drop"
regex: "etcd_(debugging|disk|server).*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_admission_controller_admission_latencies_seconds_.*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_admission_step_admission_latencies_seconds_.*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "scheduler_(e2e_scheduling_latency_microseconds|scheduling_algorithm_predicate_evaluation|scheduling_algorithm_priority_evaluation|scheduling_algorithm_preemption_evaluation|scheduling_algorithm_latency_microseconds|binding_latency_microseconds|scheduling_latency_seconds)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_(request_count|request_latencies|request_latencies_summary|dropped_requests|storage_data_key_generation_latencies_microseconds|storage_transformation_failures_total|storage_transformation_latencies_microseconds|proxy_tunnel_sync_latency_secs)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "docker_(operations|operations_latency_microseconds|operations_errors|operations_timeout)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "reflector_(items_per_list|items_per_watch|list_duration_seconds|lists_total|short_watches_total|watch_duration_seconds|watches_total)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "etcd_(helper_cache_hit_count|helper_cache_miss_count|helper_cache_entry_count|request_cache_get_latencies_summary|request_cache_add_latencies_summary|request_latencies_summary)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "transformation_(transformation_latencies_microseconds|failures_total)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "network_plugin_operations_latency_microseconds|sync_proxy_rules_latency_microseconds|rest_client_request_latency_seconds"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_request_duration_seconds_bucket;(0.15|0.25|0.3|0.35|0.4|0.45|0.6|0.7|0.8|0.9|1.25|1.5|1.75|2.5|3|3.5|4.5|6|7|8|9|15|25|30|50)"
sourceLabels: ["__name__", "le"]
kubeControllerManager:
- action: "drop"
regex: "etcd_(debugging|disk|request|server).*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "rest_client_request_latency_seconds_(bucket|count|sum)"
sourceLabels: ["__name__"]
- action: "drop"
regex: "root_ca_cert_publisher_sync_duration_seconds_(bucket|count|sum)"
sourceLabels: ["__name__"]
kubeScheduler:
- action: "drop"
regex: "scheduler_(e2e_scheduling_latency_microseconds|scheduling_algorithm_predicate_evaluation|scheduling_algorithm_priority_evaluation|scheduling_algorithm_preemption_evaluation|scheduling_algorithm_latency_microseconds|binding_latency_microseconds|scheduling_latency_seconds)"
sourceLabels: ["__name__"]
openshiftAPIServer:
- action: "drop"
regex: "etcd_(debugging|disk|server).*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_admission_controller_admission_latencies_seconds_.*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_admission_step_admission_latencies_seconds_.*"
sourceLabels: ["__name__"]
- action: "drop"
regex: "apiserver_request_duration_seconds_bucket;(0.15|0.25|0.3|0.35|0.4|0.45|0.6|0.7|0.8|0.9|1.25|1.5|1.75|2.5|3|3.5|4.5|6|7|8|9|15|25|30|50)"
sourceLabels: ["__name__", "le"]
openshiftControllerManager:
- action: "drop"
regex: "etcd_(debugging|disk|request|server).*"
sourceLabels: ["__name__"]
openshiftRouteControllerManager:
- action: "drop"
regex: "etcd_(debugging|disk|request|server).*"
sourceLabels: ["__name__"]
olm:
- action: "drop"
regex: "etcd_(debugging|disk|server).*"
sourceLabels: ["__name__"]
catalogOperator:
- action: "drop"
regex: "etcd_(debugging|disk|server).*"
sourceLabels: ["__name__"]
cvo:
- action: drop
regex: "etcd_(debugging|disk|server).*"
sourceLabels: ["__name__"]
14.2. 사용자 정의 호스팅 클러스터 식별자 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인에 대한 관찰 기능을 활성화하면 컨트롤 플레인 지표에 호스팅된 클러스터를 식별하는 _id 레이블이 포함됩니다. 생성 시 HostedCluster CR(사용자 정의 리소스)에서 spec.clusterID 를 설정하여 임의로 할당된 UUID 대신 안정적인 식별자를 사용할 수 있습니다.
호스팅된 클러스터 지표를 외부 모니터링 시스템에 전달할 때 _id 레이블은 일반적으로 클러스터를 식별하는 데 사용됩니다. 호스팅된 클러스터를 다시 설치하는 경우 동일한 clusterID 값을 지정하면 외부 모니터링 구성이 유지됩니다.
호스트된 각 클러스터에는 고유한 클러스터 식별자가 있습니다. HyperShift Operator는 Telemetry 및 컨트롤 플레인 Operator가 생성하는 메트릭에서 이 식별자를 사용합니다. 식별자는 시계열에서 _id 레이블로 노출됩니다.
HostedCluster CR을 생성할 때 spec.clusterID 를 지정하지 않으면 HyperShift 컨트롤러에서 임의의 RFC4122 UUID를 생성하고 필드를 설정합니다.
spec.clusterID 사양은 spec.infraID 사양과 동일하지 않습니다. infraID 값은 클라우드 인프라 리소스를 식별합니다.
14.2.1. 예: 사용자 정의 클러스터 ID 설정 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster CR(사용자 정의 리소스)을 생성할 때만 spec.clusterID 값을 설정할 수 있습니다.
spec.clusterID 를 설정한 후에는 변경할 수 없습니다. 호스트 클러스터를 생성하기 전에 ID를 계획합니다.
다음 예제에서는 사용자 정의 클러스터 식별자가 설정된 HostedCluster CR을 보여줍니다.
사용자 정의 클러스터 ID가 있는 HostedCluster CR의 예
apiVersion: hypershift.openshift.io/v1beta1
kind: HostedCluster
metadata:
name: <hosted_cluster_name>
namespace: <hosted_cluster_namespace>
spec:
clusterID: fa45babd-40f3-4085-9b30-8bc3b7df1557
controllerAvailabilityPolicy: SingleReplica
dns:
baseDomain: example.com
platform:
type: AWS
release:
image: <ocp_release_image>
pullSecret:
name: <pull_secret_name>
spec.clusterID 값은 메트릭에서 안정적인 클러스터 식별자로 사용할 UUID입니다. 값은 16진수로 유효한 RFC4122 UUID: xxxxxxxx-xxxx-xxxx-xxxxxxxx 여야 합니다.
spec.clusterID 의 값은 ServiceMonitor 및 PodMonitor 리소스의 Prometheus 재레이블 규칙을 통해 컨트롤 플레인 지표의 _id 레이블로 추가됩니다. 호스팅된 클러스터에 대한 Hypershift Operator 지표도 동일한 _id 레이블을 사용하므로 관리 클러스터와 호스트된 컨트롤 플레인의 메트릭을 하나의 쿼리로 연결할 수 있습니다.
예를 들어 특정 호스팅 클러스터의 메트릭을 필터링하려면 PromQL 표현식의 _id 레이블을 사용합니다.
{__name__=~"hypershift_.*", _id="fa45babd-40f3-4085-9b30-8bc3b7df1557"}
모니터링 대시보드를 활성화하면 대시보드 템플릿의 CLUSTER_ID 자리 표시자가 동일한 UUID로 교체됩니다. 자세한 내용은 "대시보드 사용자 지정"을 참조하십시오.
14.2.1.1. 다시 설치 후 클러스터 ID 재사용 링크 복사링크가 클립보드에 복사되었습니다!
호스트 클러스터를 삭제하고 다시 생성하면 지정하지 않는 한 새 임의 clusterID 가 할당됩니다. 외부 모니터링 시스템에 동일한 식별자를 유지하려면 새 HostedCluster CR의 spec.clusterID 를 이전에 사용한 UUID로 설정합니다.
14.3. 호스트 클러스터에서 모니터링 대시보드 활성화 링크 복사링크가 클립보드에 복사되었습니다!
구성 맵을 생성하여 호스트 클러스터에서 모니터링 대시보드를 활성화할 수 있습니다.
프로세스
local-cluster네임스페이스에hypershift-operator-install-flags구성 맵을 생성합니다. 다음 예제 구성을 참조하십시오.kind: ConfigMap apiVersion: v1 metadata: name: hypershift-operator-install-flags namespace: local-cluster data: installFlagsToAdd: "--monitoring-dashboards --metrics-set=All" installFlagsToRemove: ""--monitoring-dashboards --metrics-set=All플래그는 모든 메트릭에 대한 모니터링 대시보드를 추가합니다.다음 환경 변수를 포함하도록
hypershift네임스페이스에서 HyperShift Operator 배포를 업데이트할 때까지 몇 분 정도 기다립니다.- name: MONITORING_DASHBOARDS value: "1"HyperShift Operator가 관리하는 각 호스팅된 클러스터에 대해 모니터링 대시보드가 활성화되면 Operator는
openshift-config-managed네임스페이스에hc-<hosted_cluster_namespace>-<hosted_cluster_name>이라는 구성 맵을 생성합니다. 여기서 <hosted_cluster_namespace>는 호스팅된 클러스터의 네임스페이스이고 <hosted_cluster_name>은 호스트된 클러스터의 이름입니다. 결과적으로 관리 클러스터의 관리 콘솔에 새 대시보드가 추가됩니다.-
대시보드를 보려면 관리 클러스터 콘솔에 로그인하고 모니터링
대시보드를 클릭하여 호스트 클러스터의 대시보드로 이동합니다. -
선택 사항: 호스트 클러스터에서 모니터링 대시보드를 비활성화하려면
hypershift-operator-install-flags구성 맵에서--monitoring-dashboards --metrics-set=All플래그를 제거합니다. 호스트 클러스터를 삭제하면 해당 대시보드도 삭제됩니다.
14.3.1. 대시보드 사용자 정의 링크 복사링크가 클립보드에 복사되었습니다!
HyperShift Operator는 호스트된 각 클러스터에 대한 대시보드를 생성하기 위해 Operator 네임스페이스(hypershift)의 monitoring-dashboard-template 구성 맵에 저장된 템플릿을 사용합니다. 이 템플릿에는 대시보드에 대한 메트릭이 포함된 Grafana 패널 세트가 포함되어 있습니다.
구성 맵의 콘텐츠를 편집하여 대시보드를 사용자 지정할 수 있습니다.
대시보드가 생성되면 다음 문자열이 특정 호스팅 클러스터에 해당하는 값으로 교체됩니다.
| 이름 | 설명 |
|---|---|
|
| 호스트된 클러스터의 이름 |
|
| 호스팅된 클러스터의 네임스페이스 |
|
| 호스팅된 클러스터의 컨트롤 플레인 Pod가 배치되는 네임스페이스 |
|
|
호스팅된 클러스터 메트릭의 |
호스팅된 클러스터를 생성할 때 사용자 지정 클러스터 ID를 설정하려면 "Customized hosted cluster identifiers"를 참조하십시오.
14.4. 호스트된 컨트롤 플레인 연결 모니터링 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 서비스 공급자는 연결 메트릭을 모니터링하여 업데이트 중에 제대로 작동하는지 확인할 수 있습니다. 또한 메트릭을 사용하여 컨트롤 플레인과 데이터 플레인 간의 연결 문제를 찾을 수도 있고 그 반대의 경우도 마찬가지입니다.
시간이 지남에 따라 이러한 메트릭을 검토하면 용량 계획 및 확장에 대한 결정에 대해 알릴 수 있습니다.
14.4.1. 컨트롤 플레인에서 데이터 플레인으로의 연결 모니터링 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 DataPlaneConnectionAvailable 조건을 사용하여 데이터 플레인의 호스팅 컨트롤 플레인과 컴퓨팅 노드 간의 네트워크 활동을 모니터링할 수 있습니다. 이 조건은 호스팅된 클러스터의 네트워크 연결 문제를 식별하고 해결하는 데 유용합니다.
DataPlaneConnectionAvailable 조건은 기본적으로 버전 4.21부터 사용할 수 있습니다.
DataPlaneConnectionAvailable 조건은 다음 단계를 수행하여 컨트롤 플레인에서 데이터 플레인으로의 연결을 모니터링합니다.
- 호스트 클러스터에서 사용 가능한 컴퓨팅 노드 수입니다.
-
데이터 플레인의
kube-system네임스페이스에서 실행 중인konnectivity-agentPod를 나열합니다. -
실행 중인
konnectivity-agentPod에서 로그를 읽고 데이터 플레인과 통신할 수 있는지 확인합니다.
컨트롤 플레인 네임스페이스에서 실행되는 hosted-cluster-config-operator 구성 요소는 조건을 평가하고 상태 및 이유 정보를 제공합니다.
다음 표에서는 조건에 표시할 수 있는 상태 및 reason 값을 자세히 설명합니다.
| 상태 | reason 값 | 설명 |
|---|---|---|
|
|
|
컨트롤 플레인은 |
|
|
|
|
|
|
|
|
|
|
| 클러스터에서 사용 가능한 컴퓨팅 노드가 없습니다. 오류가 발생하지 않았지만 컴퓨팅 노드를 찾을 수 없습니다. |
|
|
| 오류가 발생하여 컴퓨팅 노드를 계산할 수 없습니다. |
연결 문제를 해결하는 방법에 대한 자세한 내용은 "호스트된 컨트롤 플레인의 연결 문제 해결"을 참조하십시오.
14.4.2. 데이터 플레인에서 컨트롤 플레인으로의 연결 모니터링 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 ControlPlaneConnectionAvailable 조건을 사용하여 데이터 플레인과 호스팅된 컨트롤 플레인의 컴퓨팅 노드 간 네트워크 활동을 모니터링할 수 있습니다. 이 조건은 호스팅된 클러스터의 네트워크 연결 문제를 식별하고 해결하는 데 유용합니다.
ControlPlaneConnectionAvailable 조건은 데이터 플레인 노드가 컨트롤 플레인 구성 요소에 도달할 수 있는지 여부를 감지합니다. hosted-cluster-config-operator 구성 요소는 조건을 평가하고 3개의 복제본이 있는 배포를 통해 연결을 확인합니다.
다음 단계를 수행하여 데이터 플레인과 컨트롤 플레인 간의 연결을 모니터링합니다.
-
데이터 플레인의
kube-system네임스페이스에kas-connection-checker배포를 배포합니다. -
각 pod는 60초마다 Kubernetes API 서버 끝점으로 데이터를 전송하는 무한 루프로 쉘 스크립트를 실행합니다. 성공 시 스크립트는
control-plane-connectivity-check구성 맵을lastSucceeded타임 스탬프와 패치합니다. -
hosted-cluster-config-operator구성 요소는control-plane-connectivity-check구성 맵이 있는지 여부와lastSucceeded타임 스탬프가 지난 5분 내에 있는지 확인합니다. Pod 준비 상태 수를 확인하지 않습니다.
다음 표에서는 조건에 표시할 수 있는 상태 및 reason 값을 자세히 설명합니다.
| 상태 | reason 값 | 설명 |
|---|---|---|
|
|
|
모든 데이터 플레인 노드는 컨트롤 플레인에 도달할 수 있습니다( |
|
|
|
하나 이상의 데이터 플레인 노드는 컨트롤 플레인에 도달할 수 없습니다. 이 메시지는 준비된 Pod의 비율을 표시합니다(예: 준비가 완료된 |
|
|
|
연결을 확인하는 데 사용할 수 있는 컴퓨팅 노드가 없습니다( |
|
|
| Kubernetes API 서버 연결 검사기 DaemonSet을 찾을 수 없습니다. |
|
|
| API 오류로 인해 DaemonSet 상태 검색이 차단되었습니다. |
이 조건에는 HTTPS 프록시 환경에서 알려진 제한 사항이 있습니다. HTTPS 프록시 환경에서는 프로브 제한으로 인해 조건이 False 를 잘못 보고할 수 있습니다.
14.5. 호스팅된 컨트롤 플레인의 컨트롤 플레인 메트릭 링크 복사링크가 클립보드에 복사되었습니다!
메트릭 전달이 활성화되면 호스트된 클러스터 모니터링 스택에서 호스팅되는 컨트롤 플레인 상태를 확인할 수 있습니다.
전파된 메트릭을 사용하면 관리 클러스터 인증 정보 없이 호스팅된 클러스터 웹 콘솔 및 CLI에서 API 서버, etcd, Operator 및 스케줄링 문제를 진단할 수 있습니다. 선택한 컨트롤 플레인 지표는 관리 클러스터에서 호스팅된 클러스터 플랫폼 Prometheus로 전파됩니다.
HostedCluster 리소스에서 전달을 활성화한 후 익숙한 PromQL 쿼리, 경고 및 대시보드를 사용할 수 있습니다.
OpenShift Container Platform 4.22.7 및 이전 버전의 경우 hypershift.openshift.io/enable-metrics-forwarding 주석은 메트릭 전달을 활성화하는 메커니즘이었습니다. OpenShift Container Platform 4.22.8부터 이 주석은 더 이상 사용되지 않습니다. spec.monitoring.metricsForwarding 필드가 HostedCluster 오브젝트에 설정된 경우 spec 필드가 주석보다 우선합니다. spec.monitoring 필드를 아직 설정하지 않은 클러스터에 대해 주석이 계속 적용됩니다.
주석에서 새 API로 마이그레이션하는 방법에 대한 자세한 내용은 " 주석 기반에서 API 기반 메트릭 전달으로 마이그레이션"을 참조하십시오.
14.5.1. 메트릭 전달 아키텍처 링크 복사링크가 클립보드에 복사되었습니다!
메트릭 전달을 활성화하면 호스팅된 컨트롤 플레인은 관리 클러스터와 호스팅 클러스터 모두에 구성 요소를 배포합니다.
관리 클러스터에서 호스팅된 컨트롤 플레인 네임스페이스에서 다음 단계가 수행됩니다.
-
endpoint-resolver배포에서는 컨트롤 플레인 구성 요소의 Pod IP 주소를 검색합니다. -
metrics-proxy배포는 컨트롤 플레인 Pod를 스크랩하고, 구성 요소 지표 필터를 적용하고, OpenShift Container Platform 호환 라벨을 삽입하고, TLS-passthrough 경로 뒤에서/metrics/kube-apiserver및/metrics/etcd와 같은 경로에 집계된 메트릭을 제공합니다.
호스팅된 클러스터에서 openshift-monitoring 네임스페이스에서 다음 단계가 수행됩니다.
-
control-plane-metrics-forwarder배포는 관리 클러스터metrics-proxy경로에 대한 HAProxy 및 TCP-proxies 스크랩 요청을 실행합니다. -
control-plane-metrics-forwarder라는PodMonitor는 상호 TLS(mTLS)를 사용하여 전달자를 스크랩하도록 플랫폼 Prometheus를 구성합니다.
데이터 경로는 다음과 같습니다.
-
호스트된 클러스터의 Platform Prometheus는
PodMonitor를 검색하고 metrics-forwarder를 스크랩합니다. -
metrics-forwarder는 mTLS를 통해 스크랩을 관리 클러스터
metrics-proxy경로로 전달합니다. - metrics-proxy가 endpoint-resolver를 통해 컨트롤 플레인 Pod를 스크랩하고 필터링된 레이블이 다시 지정된 메트릭을 반환합니다.
14.5.2. 메트릭 전달 활성화 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 오브젝트에서 spec.monitoring.metricsForwarding 필드를 설정하여 각 호스팅 클러스터에 대해 개별적으로 컨트롤 플레인 메트릭 전달을 활성화할 수 있습니다.
따라서 글로벌 HyperShift Operator 구성을 변경하지 않고 동일한 관리 클러스터에서 다른 호스트 클러스터에 대해 다양한 메트릭 세트를 선택할 수 있습니다.
사전 요구 사항
- OpenShift Container Platform 4.22.8 이상을 실행 중입니다.
- 호스팅 클러스터가 이미 프로비저닝되어 있어야 합니다.
-
HostedCluster리소스가 포함된 네임스페이스에 액세스할 수 있는 관리 클러스터 또는kubeconfig파일에 대한 클러스터 관리자 액세스 권한이 있어야 합니다.HostedCluster오브젝트는 관리 클러스터에 있습니다. - 원격 쓰기 끝점 및 인증서는 메트릭 수집에 대한 관리 클러스터 수준에서 이미 구성되어 있습니다.
절차
다음 명령을 입력하여 호스팅 클러스터에서 메트릭 전달을 활성화합니다.
$ oc patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \ --type merge \ -p '{"spec":{"monitoring":{"metricsForwarding":{"mode":"Forward"}}}}'<
hosted_cluster_namespace>를 호스트 클러스터의 네임스페이스로 바꾸고 <hosted_cluster_name>을 호스팅된 클러스터의 이름으로 바꿉니다.선택 사항: 이 호스팅된 클러스터에 대해 설정된 메트릭을 지정합니다.
이 단계를 생략하면 클러스터는 HyperShift Operator 배포에서 글로벌
METRICS_SET환경 변수를 상속하며 기본값은Telemetry입니다.다음 명령을 입력하여
spec.monitoring.metricsSet을 클러스터 수준 기본값으로 설정합니다.$ oc patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \ --type merge \ -p '{"spec":{"monitoring":{"metricsSet":"<metrics_set>"}}}'&
lt;metrics_set>를 다음 값 중 하나로 바꿉니다.telemetry- 기본값입니다. OpenShift Telemetry에 필요한 최소 지표 세트만 전달합니다.
SRE-
sre-metric-setConfigMap에 정의된 Telemetry 세트 및 추가 메트릭을 전달합니다. SRE 대시보드 및 경고에 필요합니다. All- 필터링 없이 모든 메트릭을 전달합니다. 디버깅에 사용합니다. 지표 볼륨이 크게 증가합니다.
선택 사항: 메트릭 세트의 forwarding-path 덮어쓰기를 설정합니다.
클러스터 기본값과 다른 메트릭을 사용하려면 전달 경로가 필요한 경우
spec.monitoring.metricsForwarding.metricsSet을 사용합니다. 이 필드는spec.monitoring.metricsSet및 글로벌METRICS_SET변수보다 우선합니다.$ oc patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \ --type merge \ -p '{"spec":{"monitoring":{"metricsForwarding":{"mode":"Forward","metricsSet":"<metrics_set>"}}}}'참고metricsForwarding은 JSON 병합 패치의 중첩된 오브젝트이므로 패치에는metricsSet과 함께"mode":"Forward"가 포함됩니다. 이미모드를설정하지 않고spec.monitoring.metricsForwarding을 처음 설정하면 패치에서모드를생략하면 전달이 비활성화됩니다.
검증
다음 명령을 입력하여
metrics-proxy배포가 관리 클러스터의 호스팅 컨트롤 플레인 네임스페이스에서 실행 중인지 확인합니다.$ oc get deployment metrics-proxy -n <hcp_namespace><
hcp_namespace>를 <hosted_cluster_namespace>-<hosted_cluster_name> 형식을 따르는 호스팅된 컨트롤 플레인 네임스페이스로 바꿉니다. 예를 들어HostedCluster가 클러스터 네임스페이스에 있고 이름이my-cluster인 경우 호스팅된 컨트롤 플레인 네임스페이스는 cluster-my-cluster입니다.출력에
2/2준비된 복제본이 표시됩니다.다음 명령을 입력하여
control-plane-metrics-forwarder배포가 호스팅 클러스터의openshift-monitoring네임스페이스에서 실행 중인지 확인합니다.$ oc get deployment -n openshift-monitoring control-plane-metrics-forwarder \ --kubeconfig <hosted_cluster_kubeconfig>출력에
1/1ready 복제본이 표시됩니다.호스팅된 클러스터의 플랫폼 Prometheus가 호스팅된 클러스터 Prometheus 끝점에서 전달된 메트릭(예:
apiserver_request_total)을 쿼리하여 컨트롤 플레인 지표를 스크랩하는지 확인합니다.참고더 이상 사용되지 않는
hypershift.openshift.io/enable-metrics-forwarding주석이HostedCluster오브젝트에도 설정된 경우spec.monitoring.metricsForwarding필드가 우선합니다.
14.5.3. 주석 기반에서 API 기반 메트릭 전달으로 마이그레이션 링크 복사링크가 클립보드에 복사되었습니다!
메트릭 전달 연속성을 유지하기 위해 더 이상 사용되지 않는 hypershift.openshift.io/enable-metrics-forwarding 주석에서 HostedCluster API의 spec.monitoring.metricsForwarding 필드로 호스팅된 클러스터를 마이그레이션할 수 있습니다.
spec 필드는 설정된 즉시 우선하며 주석이 제거될 때까지 그대로 유지됩니다.
사전 요구 사항
-
하나 이상의 호스트 클러스터에서
hypershift.openshift.io/enable-metrics-forwarding: "true"주석을 사용합니다. - 관리 클러스터에 대한 클러스터 관리자 액세스 권한이 있어야 합니다.
- OpenShift Container Platform 4.22.8 이상을 실행 중입니다.
절차
다음 명령을 입력하여 주석이 설정된 호스팅 클러스터를 식별합니다.
$ oc get hostedclusters -A -o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.metadata.name}{"\t"}{.metadata.annotations.hypershift\.openshift\.io/enable-metrics-forwarding}{"\n"}{end}'출력에는 호스트된 각 클러스터의 네임스페이스, 이름 및 주석 값이 나열됩니다. 세 번째 열에
true를 표시하는 클러스터에는 마이그레이션이 필요합니다.각 클러스터에 사용할 지표 세트 값을 결정합니다.
이 주석은 전달을 활성화하지만 메트릭 세트를 지정하지 않습니다. HyperShift Operator는 글로벌
METRICS_SET환경 변수를 소스로 사용합니다.다음 명령을 입력하여 글로벌
METRICS_SET값을 확인합니다.$ oc get deployment -n hypershift operator \ -o jsonpath='{.spec.template.spec.containers[?(@.name=="operator")].env[?(@.name=="METRICS_SET")].value}'명령에서
hypershift는 HyperShift Operator가 일반적으로 설치된 네임스페이스이며 Operator는표준 배포 이름입니다. 이러한 값은 비표준 설치에서는 다를 수 있습니다.반환된 값을 확인합니다. 이 값은 주석이 달린 클러스터가 현재 사용 중인 메트릭 세트입니다. 값을
MetricsSetenum:Telemetry,SRE또는All에 매핑합니다.마이그레이션이 필요한 각 클러스터에 대해 다음 명령을 입력하여
spec.monitoring.metricsForwarding을 설정합니다.$ oc patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \ --type merge \ -p '{"spec":{"monitoring":{"metricsForwarding":{"mode":"Forward","metricsSet":"<metrics_set>"}}}}'<
hosted_cluster_namespace>를 호스트 클러스터의 네임스페이스로, <hosted_cluster_name>을 호스트된 클러스터의 이름으로, <metrics_set>을 이전 단계에서 확인한 값으로 바꿉니다.spec 필드가 설정되면 주석보다 우선합니다. 메트릭 전달은 중단 없이 계속됩니다.
패치 후에도 메트릭 전달이 활성 상태로 유지되는지 확인합니다.
다음 명령을 입력하여 호스팅된 컨트롤 플레인 네임스페이스에서
metrics-proxy배포가 정상인지 확인합니다.$ oc get deployment metrics-proxy -n <hcp_namespace><
hcp_namespace>를 <hosted_cluster_namespace>-<hosted_cluster_name> 형식을 따르는 호스팅된 컨트롤 플레인 네임스페이스로 바꿉니다.READY열에는2/2가 표시됩니다.다음 명령을 입력하여 호스팅된 클러스터에서
control-plane-metrics-forwarder배포가 정상인지 확인합니다.$ oc get deployment -n openshift-monitoring control-plane-metrics-forwarder \ --kubeconfig <hosted_cluster_kubeconfig>READY열에는1/1이 표시됩니다.
선택 사항: spec 필드를 통해 전달이 활성화되었는지 확인한 후 다음 명령을 입력하여 now-redundant 주석을 제거합니다.
$ oc annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \ hypershift.openshift.io/enable-metrics-forwarding-spec 필드가 현재 권한이 있기 때문에 이 단계가 안전합니다. 주석을 제거해도 메트릭 전달 동작에는 영향을 미치지 않습니다.
검증
- 모든 클러스터를 마이그레이션한 후 1단계에서 identification 명령을 다시 실행하고 출력이 비어 있는지 확인하여 나머지 클러스터가 더 이상 사용되지 않는 주석을 사용하지 않는지 확인합니다.
14.5.4. CLI를 사용하여 호스팅된 클러스터의 컨트롤 플레인 메트릭 쿼리 링크 복사링크가 클립보드에 복사되었습니다!
메트릭 전달을 활성화한 후 컨트롤 플레인 지표가 수집되었는지 확인하고 CLI에서 쿼리할 수 있습니다.
metrics-proxy가 호환되는 라벨을 삽입하므로 독립 실행형 OpenShift Container Platform 클러스터와 동일한 PromQL 패턴을 사용합니다.
사전 요구 사항
-
HostedCluster리소스에서 메트릭 전달이 활성화됩니다. 활성화 단계는 " metrics forwarding 활성화"를 참조하십시오. -
호스팅된 클러스터에 대한
cluster-admin액세스 권한이 있어야 합니다. - Prometheus가 초기 스크랩을 완료할 수 있도록 전달을 활성화한 후 2분 이상 경과했습니다.
절차
openshift-monitoring네임스페이스에control-plane-metrics-forwarder배포가 있는지 확인합니다.$ oc get deployment control-plane-metrics-forwarder -n openshift-monitoring참고컴퓨팅 노드가 예약되지 않은 경우에도 Cluster Monitoring Operator 및 platform Prometheus가 실행 중인 경우 컨트롤 플레인 지표를 사용할 수 있습니다. 데이터 플레인 노드 및 워크로드 지표에는 여전히 컴퓨팅 노드가 필요합니다.
control-plane-metrics-forwarderPodMonitor가 있는지 확인합니다.$ oc get podmonitor control-plane-metrics-forwarder -n openshift-monitoring선택 사항: 관리 클러스터에 로그인하여 management-cluster 구성 요소가 실행 중인지 확인합니다.
다음 명령을 실행합니다.
$ oc get deployment endpoint-resolver metrics-proxy -n <hcp_namespace><
;hcp_namespace>를 호스팅된 클러스터의 네임스페이스로 바꿉니다. 일반적으로 네임스페이스 형식은 <hosted_cluster_namespace>-<hosted_cluster_name>입니다.다음 명령을 실행합니다.
$ oc get route metrics-proxy -n <hcp_namespace>
Prometheus가 전달자 보고서의 대상을 스크랩하는지 확인합니다.
$ oc exec -n openshift-monitoring prometheus-k8s-0 -c prometheus -- \ curl -s http://localhost:9090/api/v1/targets \ | jq '.data.activeTargets[] | select(.scrapePool | contains("control-plane-metrics-forwarder")) | {scrapePool, scrapeUrl: .scrapeUrl, health}'"health": "up"상태로 전달된 구성 요소당 하나의 대상이 표시되어야 합니다.apiserver_request_total을 쿼리하여 Kubernetes API 서버 메트릭이 수집되었는지 확인합니다.$ oc exec -n openshift-monitoring prometheus-k8s-0 -c prometheus -- \ curl -gs 'http://localhost:9090/api/v1/query?query=apiserver_request_total{job="apiserver"}' \ | jq '.data.result | length'0이 아닌 결과는 게스트 클러스터 모니터링 스택에서 API 서버 메트릭을 사용할 수 있음을 확인합니다.
14.5.5. 웹 콘솔을 사용하여 호스팅된 클러스터의 컨트롤 플레인 메트릭 쿼리 링크 복사링크가 클립보드에 복사되었습니다!
메트릭 전달을 활성화한 후 컨트롤 플레인 지표가 수집되었는지 확인하고 웹 콘솔에서 쿼리할 수 있습니다.
metrics-proxy가 호환되는 라벨을 삽입하므로 독립 실행형 OpenShift Container Platform 클러스터와 동일한 PromQL 패턴을 사용합니다.
사전 요구 사항
-
HostedCluster리소스에서 메트릭 전달이 활성화됩니다. 활성화 단계는 " metrics forwarding 활성화"를 참조하십시오. -
호스팅된 클러스터에 대한
cluster-admin액세스 권한이 있어야 합니다. - Prometheus가 초기 스크랩을 완료할 수 있도록 전달을 활성화한 후 2분 이상 경과했습니다.
절차
- 호스팅된 클러스터의 OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
모니터링
메트릭 을 클릭합니다. 쿼리 필드에 PromQL 표현식을 입력하고 쿼리를 실행합니다.
다음 예제를 사용합니다.
Operator 상태
csv_succeeded{job="olm-operator-metrics"} == 0이 쿼리는
Succeeded상태에 없는 CSV를 나열합니다.API 서버 요청 속도
sum(rate(apiserver_request_total{job="apiserver"}[5m])) by (verb, code)스케줄러 활동
sum(rate(scheduler_schedule_attempts_total[5m])) by (result)이 쿼리는 메트릭 전달이 활성화된 OpenShift Container Platform 4.22 이상에서 사용할 수 있습니다.
워크로드 지향 API 포화 상태로 설정
apiserver_current_inflight_requests{job="apiserver"}백로그 예약
scheduler_pending_pods컨트롤러 작업 대기열 깊이
workqueue_depth{job="kube-controller-manager"}csv_succeeded및 기타 OLM 메트릭은 "Exposed metrics"를 참조하십시오.
검증
-
control-plane-metrics-forwarder풀의 Prometheus 대상에서는 status: up 상태를보고합니다. -
apiserver_request_total{job="apiserver"}에 대한 PromQL 쿼리는 0이 아닌 결과를 반환합니다. - 웹 콘솔의 쿼리 예는 활성화된 구성 요소에 대한 시계열을 반환합니다.
14.5.6. 컨트롤 플레인 상태 대시보드 가져오기 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터 웹 콘솔에서 전파된 컨트롤 플레인 지표를 시각화하는 샘플 Grafana 대시보드를 가져올 수 있습니다. 대시보드는 API 서버, etcd, 클러스터 Operator, 스케줄러, 컨트롤러 관리자 및 OLM 상태 패널을 다룹니다.
사전 요구 사항
- 메트릭 전달이 활성화되고 확인됩니다.
-
HyperShift Operator는 호스팅 컨트롤 플레인 네임스페이스에서 일치하는
sre-metric-setConfigMap오브젝트와 함께METRICS_SET=All또는METRICS_SET=SRE를 사용합니다. 기본Telemetry메트릭 세트는 작은 지표 하위 집합만 전달하며 대부분의 대시보드 패널은 비워 둡니다. -
호스팅된 클러스터에 대한
cluster-admin액세스 권한이 있어야 합니다.
절차
다음 명령을 입력하여 샘플 대시보드 JSON 파일을 다운로드합니다.
$ curl -LO https://raw.githubusercontent.com/openshift/hypershift/main/contrib/metrics/guest-control-plane-dashboard.json참고Grafana Operator를 통해 user-workload Grafana를 배포하는 경우 콘솔
ConfigMap오브젝트를 사용하는 대신 대시보드 JSON을GrafanaDashboard사용자 정의 리소스로 가져옵니다.다음 명령을 입력하여
openshift-config-managed네임스페이스의 대시보드 파일에서ConfigMap오브젝트를 생성합니다.$ oc create configmap guest-control-plane-dashboard \ --from-file=guest-control-plane-dashboard.json=guest-control-plane-dashboard.json \ -n openshift-config-managed다음 명령을 입력하여 콘솔에서 대시보드로 검색하도록
ConfigMap오브젝트에 레이블을 지정합니다.$ oc label configmap guest-control-plane-dashboard \ console.openshift.io/dashboard=true \ -n openshift-config-managed-
웹 콘솔에 로그인하고 모니터링
대시보드 를 클릭합니다. - 호스팅된 클러스터 컨트롤 플레인 대시보드를 선택합니다.
선택 사항: HyperShift Operator에서
METRICS_SET=SRE를 사용하는 경우 대시보드 지표 이름을 전달하는 재레이블 구성으로 Operator를 구성하고 호스팅 컨트롤 플레인 네임스페이스에서sre-metric-setConfigMap오브젝트를 생성하거나 업데이트합니다.관리 클러스터에 로그인하고 다음 명령을 입력하여 HyperShift Operator에 설정된 메트릭을 설정합니다.
$ oc set env -n hypershift deployment/operator METRICS_SET=SRE<
hcp_namespace>를 호스팅된 컨트롤 플레인 네임스페이스로 바꾸고ConfigMap오브젝트를 생성합니다.apiVersion: v1 kind: ConfigMap metadata: name: sre-metric-set namespace: <hcp_namespace> data: config: | kubeAPIServer: - action: keep sourceLabels: ["__name__"] regex: "(apiserver_request_total|apiserver_request_duration_seconds_bucket|apiserver_current_inflight_requests|apiserver_storage_objects)" etcd: - action: keep sourceLabels: ["__name__"] regex: "(etcd_mvcc_db_total_size_in_bytes|etcd_mvcc_db_total_size_in_use_in_bytes|etcd_disk_wal_fsync_duration_seconds_bucket|etcd_disk_backend_commit_duration_seconds_bucket|etcd_network_peer_round_trip_time_seconds_bucket|etcd_server_leader_changes_seen_total|etcd_server_has_leader)" kubeControllerManager: - action: keep sourceLabels: ["__name__"] regex: "(workqueue_depth|workqueue_adds_total)" kubeScheduler: - action: keep sourceLabels: ["__name__"] regex: "(scheduler_e2e_scheduling_duration_seconds_count|scheduler_schedule_attempts_total|scheduler_pending_pods)" cvo: - action: keep sourceLabels: ["__name__"] regex: "(cluster_version|cluster_operator_up|cluster_operator_conditions)" olm: - action: keep sourceLabels: ["__name__"] regex: "(csv_succeeded)"이 구성은 대시보드에서 사용하는 구성 요소 5개에서 20개의 지표 이름을 전달합니다.
전체
SRE메트릭 세트 구성의 경우 "SRE 메트릭 세트 구성"을 참조하십시오.관리 클러스터에
ConfigMap오브젝트를 적용합니다.$ oc apply -f sre-metric-set.yamlControl Plane Operator는
ConfigMap오브젝트 변경을 감지하고metrics-proxy구성을 업데이트합니다.
검증
-
대시보드는 웹 콘솔의 Observe
Dashboards 아래에 표시됩니다. - 패널은 구성된 메트릭 세트에 필요한 지표 이름이 포함된 경우 데이터를 표시합니다.
- etcd 데이터베이스 크기 패널은 8GB 제한을 기준으로 현재 사용을 표시합니다.