监控

流程

1. 开始编辑 cluster-monitoring-config ConfigMap：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 在 data/config.yaml 下将 techPreviewUserWorkload 设置设为 true：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       techPreviewUserWorkload:
         enabled: true

3. 保存文件以使改变生效。监控您自己的服务会自动启用。

4. 可选：检查是否创建了 prometheus-user-workload pod：

   $ oc -n openshift-user-workload-monitoring get pod
   NAME                                   READY   STATUS    RESTARTS   AGE
   prometheus-operator-85bbb7b64d-7jwjd   1/1     Running   0          3m24s
   prometheus-user-workload-0             5/5     Running   1          3m13s
   prometheus-user-workload-1             5/5     Running   1          3m13s

流程

1. 为服务配置创建 YAML 文件。在本例中，该文件名为 prometheus-example-app.yaml。

2. 使用用于部署该服务的配置填充该文件：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: ns1
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-example-app
     template:
       metadata:
         labels:
           app: prometheus-example-app
       spec:
         containers:
         - image: quay.io/brancz/prometheus-example-app:v0.2.0
           imagePullPolicy: IfNotPresent
           name: prometheus-example-app
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
       name: web
     selector:
       app: prometheus-example-app
     type: ClusterIP

   此配置会在 ns1 项目中部署名为 prometheus-example-app 的服务。此服务会公开自定义 version 指标。

3. 将配置文件应用到集群：

   $ oc apply -f prometheus-example-app.yaml

   部署该服务需要一些时间。

4. 您可以检查该服务是否正在运行：

   $ oc -n ns1 get pod
   NAME                                      READY     STATUS    RESTARTS   AGE
   prometheus-example-app-7857545cb7-sbgwq   1/1       Running   0          81m

流程

1. 为新角色创建 YAML 文件。在本例中，该文件名为 custom-metrics-role.yaml。

2. 使用 monitor-crd-edit 角色的配置填充该文件：

   kind: ClusterRole
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: monitor-crd-edit
   rules:
   - apiGroups: ["monitoring.coreos.com"]
     resources: ["prometheusrules", "servicemonitors", "podmonitors"]
     verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

   该角色可让用户为服务设置指标集合。

3. 将配置文件应用到集群：

   $ oc apply -f custom-metrics-role.yaml

   现在角色已创建。

流程

1. 在 Web 控制台中，导航到 User Management → Role Bindings → Create Binding。
2. 在 Binding Type 中，选择“Namespace Role Binding”类型。
3. 在 Name中，输入绑定的名称。
4. 在 Namespace 中，选择要授予访问权限的命名空间。
5. 在 Role Name 中，输入 monitor-crd-edit。
6. 在 Subject中，选择 User。
7. 在 Subject Name 中，输入用户名称，如 johnsmith。
8. 确认角色绑定。现在，用户已被分配了 monitor-crd-edit 角色，这会允许他为命名空间中的服务设置指标集合。

流程

1. 为 ServiceMonitor 配置创建 YAML 文件。在本例中，该文件名为 example-app-service-monitor.yaml。

2. 使用用于创建 ServiceMonitor 的配置填充该文件：

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: prometheus-example-monitor
     name: prometheus-example-monitor
     namespace: ns1
   spec:
     endpoints:
     - interval: 30s
       port: web
       scheme: http
     selector:
       matchLabels:
         app: prometheus-example-app

   此配置可使 OpenShift Monitoring 提取在“部署示例服务”中部署的示例服务所公开的指标，该服务包括单个 version 指标。

3. 将配置文件应用到集群：

   $ oc apply -f example-app-service-monitor.yaml

   部署 ServiceMonitor 需要一些时间。

4. 您可以检查 ServiceMonitor 是否正在运行：

   $ oc -n ns1 get servicemonitor
   NAME                         AGE
   prometheus-example-monitor   81m

流程

1. 为警报规则创建 YAML 文件。在本例中，该文件名为 example-app-alerting-rule.yaml。

2. 使用警报规则的配置填充该文件：

   注意

   表达式只能引用由您自己的服务公开的指标。目前无法关联现有的集群指标。

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-alert
     namespace: ns1
   spec:
     groups:
     - name: example
       rules:
       - alert: VersionAlert
         expr: version{job="prometheus-example-app"} == 0

   此配置会创建一个名为 example-alert 的警报规则，它会在示例服务公开的 version 指标变为 0 时触发警报。

3. 将配置文件应用到集群：

   $ oc apply -f example-app-alerting-rule.yaml

   创建警报规则需要一些时间。

流程

1. 访问 Prometheus Web 界面：

   • 要以集群管理员身份访问指标，请进入 OpenShift Container Platform Web 控制台，切换到管理员视角，并点击 Monitoring → Metrics。

     注意

     在使用管理员视角时，集群管理员可访问所有集群指标，并可从所有项目访问自定义服务指标。

     注意

     只有集群管理员可以访问 Alertmanager 和 Prometheus UI。

   • 要以开发者或有权限的用户身份访问指标，请进入 OpenShift Container Platform Web 控制台，切换到开发者视角，然后点击 Advanced → Metrics。选择您要查看指标的项目。

     注意

     开发者只能使用开发者视角。他们只能从单个项目查询指标数据。

2. 使用 PromQL 接口为您的服务运行查询。

流程

1. 为您的配置创建一个 YAML 文件。本例中称为 deploy.yaml。

2. 添加相应的配置，以便为 prometheus-adapter 创建服务帐户、必要角色和角色绑定：

   kind: ServiceAccount
   apiVersion: v1
   metadata:
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-server-resources
   rules:
   - apiGroups:
     - custom.metrics.k8s.io
     resources: ["*"]
     verbs: ["*"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-resource-reader
   rules:
   - apiGroups:
     - ""
     resources:
     - namespaces
     - pods
     - services
     verbs:
     - get
     - list
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics:system:auth-delegator
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:auth-delegator
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: custom-metrics-auth-reader
     namespace: kube-system
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: extension-apiserver-authentication-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics-resource-reader
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-resource-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: hpa-controller-custom-metrics
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-server-resources
   subjects:
   - kind: ServiceAccount
     name: horizontal-pod-autoscaler
     namespace: kube-system
   ---

3. 添加 prometheus-adapter 的自定义指标的配置:

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: adapter-config
     namespace: default
   data:
     config.yaml: |
       rules:
       - seriesQuery: 'http_requests_total{namespace!="",pod!=""}' 1
         resources:
           overrides:
             namespace: {resource: "namespace"}
             pod: {resource: "pod"}
             service: {resource: "service"}
         name:
           matches: "^(.*)_total"
           as: "${1}_per_second" 2
         metricsQuery: 'sum(rate(<<.Series>>{<<.LabelMatchers>>}[2m])) by (<<.GroupBy>>)'
   ---

   1

   将所选指标指定为 HTTP 请求数。

   2

   指定指标的频率。

4. 添加将 prometheus-adapter 注册为 API 服务的配置：

   apiVersion: v1
   kind: Service
   metadata:
     annotations:
       service.alpha.openshift.io/serving-cert-secret-name: prometheus-adapter-tls
     labels:
       name: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     ports:
     - name: https
       port: 443
       targetPort: 6443
     selector:
       app: prometheus-adapter
     type: ClusterIP
   ---
   apiVersion: apiregistration.k8s.io/v1beta1
   kind: APIService
   metadata:
     name: v1beta1.custom.metrics.k8s.io
   spec:
     service:
       name: prometheus-adapter
       namespace: default
     group: custom.metrics.k8s.io
     version: v1beta1
     insecureSkipTLSVerify: true
     groupPriorityMinimum: 100
     versionPriority: 100
   ---

5. 显示要使用的 Prometheus Adapter 镜像：

   $ kubectl get -n openshift-monitoring deploy/prometheus-adapter -o jsonpath="{..image}"
   quay.io/openshift-release-dev/ocp-v4.3-art-dev@sha256:76db3c86554ad7f581ba33844d6a6ebc891236f7db64f2d290c3135ba81c264c

6. 添加部署 prometheus-adapter 的配置：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-adapter
     template:
       metadata:
         labels:
           app: prometheus-adapter
         name: prometheus-adapter
       spec:
         serviceAccountName: custom-metrics-apiserver
         containers:
         - name: prometheus-adapter
           image: openshift-release-dev/ocp-v4.3-art-dev 1
           args:
           - --secure-port=6443
           - --tls-cert-file=/var/run/serving-cert/tls.crt
           - --tls-private-key-file=/var/run/serving-cert/tls.key
           - --logtostderr=true
           - --prometheus-url=http://prometheus-operated.default.svc:9090/
           - --metrics-relist-interval=1m
           - --v=4
           - --config=/etc/adapter/config.yaml
           ports:
           - containerPort: 6443
           volumeMounts:
           - mountPath: /var/run/serving-cert
             name: volume-serving-cert
             readOnly: true
           - mountPath: /etc/adapter/
             name: config
             readOnly: true
           - mountPath: /tmp
             name: tmp-vol
         volumes:
         - name: volume-serving-cert
           secret:
             secretName: prometheus-adapter-tls
         - name: config
           configMap:
             name: adapter-config
         - name: tmp-vol
           emptyDir: {}

   1

   image: openshift-release-dev/ocp-v4.3-art-dev 指定上一步中找到的 Prometheus Adapter 镜像。

7. 将配置文件应用到集群：

   $ oc apply -f deploy.yaml

8. 现在，应用程序的指标已经公开，并可用于配置 Pod 横向自动扩展。