モニタリング

手順

1. cluster-monitoring-config ConfigMap オブジェクトの編集を開始します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   Copy to Clipboard Toggle word wrap

2. data/config.yaml で techPreviewUserWorkload 設定を true に設定します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       techPreviewUserWorkload:
         enabled: true

   Copy to Clipboard Toggle word wrap
3. 変更を適用するためにファイルを保存します。独自のサービスのモニタリングが自動的に有効にされます。

4. オプション: prometheus-user-workload Pod が作成されていることを確認できます。

   $ oc -n openshift-user-workload-monitoring get pod

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                                   READY   STATUS        RESTARTS   AGE
   prometheus-operator-6f7b748d5b-t7nbg   2/2     Running       0          3h
   prometheus-user-workload-0             5/5     Running       1          3h
   prometheus-user-workload-1             5/5     Running       1          3h
   thanos-ruler-user-workload-0           3/3     Running       0          3h
   thanos-ruler-user-workload-1           3/3     Running       0          3h

   Copy to Clipboard Toggle word wrap

手順

1. サービス設定の YAML ファイルを作成します。この例では、prometheus-example-app.yaml という名前です。

2. サービスをデプロイするための設定をファイルに入力します。

   apiVersion: v1
   kind: Namespace
   metadata:
     name: ns1
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-example-app
     template:
       metadata:
         labels:
           app: prometheus-example-app
       spec:
         containers:
         - image: ghcr.io/rhobs/prometheus-example-app:0.3.0
           imagePullPolicy: IfNotPresent
           name: prometheus-example-app
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
       name: web
     selector:
       app: prometheus-example-app
     type: ClusterIP

   Copy to Clipboard Toggle word wrap

   この設定は、prometheus-example-app という名前のサービスを ns1 プロジェクトにデプロイします。このサービスは、カスタム version メトリクスを公開します。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f prometheus-example-app.yaml

   Copy to Clipboard Toggle word wrap

   サービスをデプロイするには多少時間がかかります。

4. サービスが実行中であることを確認できます。

   $ oc -n ns1 get pod

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                                      READY     STATUS    RESTARTS   AGE
   prometheus-example-app-7857545cb7-sbgwq   1/1       Running   0          81m

   Copy to Clipboard Toggle word wrap

手順

1. Web コンソールで、User Management → Role Bindings → Create Binding に移動します。
2. Binding Typeで、Namespace Role Binding タイプを選択します。
3. Name に、バインディングの名前を入力します。
4. Namespace で、アクセスを付与する namespace を選択します。たとえば、ns1 を選択します。

5. Role Name に、monitoring-rules-view、monitoring-rules-edit、または monitoring-edit を入力します。

   • monitoring-rules-view では、namespace 内の PrometheusRule カスタムリソースの読み取りを許可します。
   • monitoring-rules-edit では、許可された namespace に一致する PrometheusRule カスタムリソースの作成、変更、および削除を許可します。
   • monitoring-edit は、monitoring-rules-edit と同じパーミッションを付与します。さらに、サービスまたは Pod の収集ターゲットの作成を許可します。また、ServiceMonitor および PodMonitor リソースの作成、変更、および削除も許可します。
   重要

   選択したすべてのロールは、クラスター管理者が特定の namespace にバインドする必要があります。

   たとえば、monitoring-edit を入力します。

6. Subject で User を選択します。
7. Subject Name に、ユーザーの名前を入力します。たとえば、johnsmith を入力します。
8. ロールバインディングを確認します。この例では、ユーザー johnsmith にメトリクスコレクションの設定およびアラートルールを ns1 namespace に作成するためのパーミッションが割り当てられています。

手順

1. ServiceMonitor リソース設定の YAML ファイルを作成します。この例では、ファイルは example-app-service-monitor.yaml という名前です。

2. ServiceMonitor リソースを作成するための設定をファイルに入力します。

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: prometheus-example-monitor
     name: prometheus-example-monitor
     namespace: ns1
   spec:
     endpoints:
     - interval: 30s
       port: web
       scheme: http
     selector:
       matchLabels:
         app: prometheus-example-app

   Copy to Clipboard Toggle word wrap

   この設定により、OpenShift Monitoring はサンプルサービスのデプロイでデプロイされるサンプルサービスによって公開されるメトリクスを収集します。これには、単一の version メトリクスが含まれます。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-app-service-monitor.yaml

   Copy to Clipboard Toggle word wrap

   ServiceMonitor リソースをデプロイするのに多少時間がかかります。

4. ServiceMonitor リソースが実行中であることを確認できます。

   $ oc -n ns1 get servicemonitor

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                         AGE
   prometheus-example-monitor   81m

   Copy to Clipboard Toggle word wrap

手順

1. アラートルールの YAML ファイルを作成します。この例では、example-app-alerting-rule.yaml という名前です。

2. アラートルールの設定をファイルに入力します。

   注記

   アラートルールの作成時に、同じ名前のルールが別の namespace にある場合に namespace ラベルがこのアラートルールに対して適用されます。

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-alert
     namespace: ns1
   spec:
     groups:
     - name: example
       rules:
       - alert: VersionAlert
         expr: version{job="prometheus-example-app"} == 0

   Copy to Clipboard Toggle word wrap

   この設定により、example-alert という名前のアラートルールが作成されます。これは、サンプルサービスで公開される version メトリクスが 0 になるとアラートを出します。

   重要

   すべての namespace について、その namespace およびクラスターメトリクスのメトリクスを使用できますが、別の namespace のメトリクスを使用することはできません。

   たとえば、ns1 のアラートルールには、ns1、および CPU およびメモリーメトリクスなどのクラスターメトリクスなどを持たせることができます。ただし、ルールには ns2 からのメトリクスを含めることはできません。

   さらに、openshift-* コア OpenShift namespace のアラートルールを作成することはできません。デフォルトで OpenShift Container Platform Monitoring はこれらの namespace のアラートルールのセットを提供します。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-app-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

   アラートルールの作成には多少時間がかかります。

手順

1. プロジェクトでアラートルールを一覧表示するには、以下を実行します。

   $ oc -n <project> get prometheusrule

   Copy to Clipboard Toggle word wrap

2. アラートルールの設定を一覧表示するには、以下を実行します。

   $ oc -n <project> get prometheusrule <rule> -oyaml

   Copy to Clipboard Toggle word wrap

手順

1. openshift-user-workload-monitoring namespace のルートを一覧表示します。

   $ oc -n openshift-user-workload-monitoring get routes

   Copy to Clipboard Toggle word wrap

   この出力には、Thanos Ruler UI の URL が表示されます。

   NAME           HOST/PORT
   ...
   thanos-ruler   thanos-ruler-openshift-user-workload-monitoring.apps.example.devcluster.openshift.com

   Copy to Clipboard Toggle word wrap
2. 一覧表示された URL に移動します。ここでは、すべての namespace からのユーザーアラートルールを確認できます。

手順

1. OpenShift Container Platform Web コンソールに移動し、 Developer パースペクティブに切り替えてから、Advanced → Metrics をクリックします。メトリクスを表示するプロジェクトを選択します。

   注記

   開発者は Developer パースペクティブのみを使用でき、Administrator パースペクティブは使用できません。単一プロジェクトからのみメトリクスをクエリーできます。それらは OpenShift Container Platform Monitoring で提供されるサードパーティーの UI にアクセスできません。

2. PromQL インターフェイスを使用して、サービスのクエリーを実行します。

手順

1. 設定の YAML ファイルを作成します。この例では、これは deploy.yaml というファイルになります。

2. prometheus-adapter のサービスアカウント、必要なロールおよびロールバインディングを作成するための設定を追加します。

   kind: ServiceAccount
   apiVersion: v1
   metadata:
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-server-resources
   rules:
   - apiGroups:
     - custom.metrics.k8s.io
     resources: ["*"]
     verbs: ["*"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-resource-reader
   rules:
   - apiGroups:
     - ""
     resources:
     - namespaces
     - pods
     - services
     verbs:
     - get
     - list
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics:system:auth-delegator
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:auth-delegator
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: custom-metrics-auth-reader
     namespace: kube-system
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: extension-apiserver-authentication-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics-resource-reader
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-resource-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: hpa-controller-custom-metrics
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-server-resources
   subjects:
   - kind: ServiceAccount
     name: horizontal-pod-autoscaler
     namespace: kube-system
   ---

   Copy to Clipboard Toggle word wrap

3. prometheus-adapter のカスタムメトリクスの設定を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: adapter-config
     namespace: default
   data:
     config.yaml: |
       rules:
       - seriesQuery: 'http_requests_total{namespace!="",pod!=""}' 

   1

   
         resources:
           overrides:
             namespace: {resource: "namespace"}
             pod: {resource: "pod"}
             service: {resource: "service"}
         name:
           matches: "^(.*)_total"
           as: "${1}_per_second" 

   2

   
         metricsQuery: 'sum(rate(<<.Series>>{<<.LabelMatchers>>}[2m])) by (<<.GroupBy>>)'
   ---

   Copy to Clipboard Toggle word wrap

   1

   選択したメトリクスが HTTP 要求の数になるように指定します。

   2

   メトリクスの頻度を指定します。

4. prometheus-adapter を API サービスとして登録するための設定を追加します。

   apiVersion: v1
   kind: Service
   metadata:
     annotations:
       service.alpha.openshift.io/serving-cert-secret-name: prometheus-adapter-tls
     labels:
       name: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     ports:
     - name: https
       port: 443
       targetPort: 6443
     selector:
       app: prometheus-adapter
     type: ClusterIP
   ---
   apiVersion: apiregistration.k8s.io/v1beta1
   kind: APIService
   metadata:
     name: v1beta1.custom.metrics.k8s.io
   spec:
     service:
       name: prometheus-adapter
       namespace: default
     group: custom.metrics.k8s.io
     version: v1beta1
     insecureSkipTLSVerify: true
     groupPriorityMinimum: 100
     versionPriority: 100
   ---

   Copy to Clipboard Toggle word wrap

5. 使用する Prometheus アダプターイメージを表示します。

   $ oc get -n openshift-monitoring deploy/prometheus-adapter -o jsonpath="{..image}"

   Copy to Clipboard Toggle word wrap

   出力例

   quay.io/openshift-release-dev/ocp-v4.3-art-dev@sha256:76db3c86554ad7f581ba33844d6a6ebc891236f7db64f2d290c3135ba81c264c

   Copy to Clipboard Toggle word wrap

6. prometheus-adapter をデプロイするための設定を追加します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-adapter
     template:
       metadata:
         labels:
           app: prometheus-adapter
         name: prometheus-adapter
       spec:
         serviceAccountName: custom-metrics-apiserver
         containers:
         - name: prometheus-adapter
           image: openshift-release-dev/ocp-v4.3-art-dev 

   1

   
           args:
           - --secure-port=6443
           - --tls-cert-file=/var/run/serving-cert/tls.crt
           - --tls-private-key-file=/var/run/serving-cert/tls.key
           - --logtostderr=true
           - --prometheus-url=http://prometheus-operated.default.svc:9090/
           - --metrics-relist-interval=1m
           - --v=4
           - --config=/etc/adapter/config.yaml
           ports:
           - containerPort: 6443
           volumeMounts:
           - mountPath: /var/run/serving-cert
             name: volume-serving-cert
             readOnly: true
           - mountPath: /etc/adapter/
             name: config
             readOnly: true
           - mountPath: /tmp
             name: tmp-vol
         volumes:
         - name: volume-serving-cert
           secret:
             secretName: prometheus-adapter-tls
         - name: config
           configMap:
             name: adapter-config
         - name: tmp-vol
           emptyDir: {}

   Copy to Clipboard Toggle word wrap

   1

   image: openshift-release-dev/ocp-v4.3-art-dev は、直前の手順にある Prometheus Adapter イメージを指定します。

7. 設定ファイルをクラスターに適用します。

   $ oc apply -f deploy.yaml

   Copy to Clipboard Toggle word wrap
8. アプリケーションのメトリクスが公開され、Horizontal Pod Autoscaling を設定するために使用できます。