モニタリング

手順

1. cluster-monitoring-config ConfigMap の編集を開始します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. data/config.yaml で techPreviewUserWorkload 設定を true に設定します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       techPreviewUserWorkload:
         enabled: true

3. 変更を適用するためにファイルを保存します。独自のサービスのモニタリングが自動的に有効にされます。

4. オプション: prometheus-user-workload Pod が作成されていることを確認できます。

   $ oc -n openshift-user-workload-monitoring get pod
   NAME                                   READY   STATUS    RESTARTS   AGE
   prometheus-operator-85bbb7b64d-7jwjd   1/1     Running   0          3m24s
   prometheus-user-workload-0             5/5     Running   1          3m13s
   prometheus-user-workload-1             5/5     Running   1          3m13s

手順

1. サービス設定の YAML ファイルを作成します。この例では、prometheus-example-app.yaml という名前です。

2. サービスをデプロイするための設定をファイルに入力します。

   apiVersion: v1
   kind: Namespace
   metadata:
     name: ns1
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-example-app
     template:
       metadata:
         labels:
           app: prometheus-example-app
       spec:
         containers:
         - image: quay.io/brancz/prometheus-example-app:v0.2.0
           imagePullPolicy: IfNotPresent
           name: prometheus-example-app
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: prometheus-example-app
     name: prometheus-example-app
     namespace: ns1
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
       name: web
     selector:
       app: prometheus-example-app
     type: ClusterIP

   この設定は、prometheus-example-app という名前のサービスを ns1 プロジェクトにデプロイします。このサービスは、カスタム version メトリクスを公開します。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f prometheus-example-app.yaml

   サービスをデプロイするには多少時間がかかります。

4. サービスが実行中であることを確認できます。

   $ oc -n ns1 get pod
   NAME                                      READY     STATUS    RESTARTS   AGE
   prometheus-example-app-7857545cb7-sbgwq   1/1       Running   0          81m

手順

1. 新規ロールの YAML ファイルを作成します。この例では、custom-metrics-role.yaml という名前です。

2. monitor-crd-edit ロールの設定をファイルに入力します。

   kind: ClusterRole
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: monitor-crd-edit
   rules:
   - apiGroups: ["monitoring.coreos.com"]
     resources: ["prometheusrules", "servicemonitors", "podmonitors"]
     verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

   このロールにより、ユーザーはサービスのメトリクス収集をセットアップできます。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f custom-metrics-role.yaml

   これでロールが作成されます。

手順

1. Web コンソールで、User Management → Role Bindings → Create Binding に移動します。
2. Binding Typeで、「Namespace Role Binding」タイプを選択します。
3. Name に、バインディングの名前を入力します。
4. Namespace で、アクセスを付与する namespace を選択します。
5. Role Name に、monitor-crd-edit を入力します。
6. Subject で User を選択します。
7. Subject Name に、ユーザーの名前を入力します (例: johnsmith)。
8. ロールバインディングを確認します。ユーザーに monitor-crd-edit ロールが割り当てられるので、ユーザーは namespace にサービスにメトリクスコレクションを設定することができます。

手順

1. ServiceMonitor 設定の YAML ファイルを作成します。この例では、ファイルは example-app-service-monitor.yaml という名前です。

2. ServiceMonitor を作成するための設定をファイルに入力します。

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: prometheus-example-monitor
     name: prometheus-example-monitor
     namespace: ns1
   spec:
     endpoints:
     - interval: 30s
       port: web
       scheme: http
     selector:
       matchLabels:
         app: prometheus-example-app

   この設定により、OpenShift Monitoring は「サンプルサービスのデプロイ」でデプロイされるサンプルサービスによって公開されるメトリクスを収集します。これには、単一の version メトリクスが含まれます。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-app-service-monitor.yaml

   ServiceMonitor をデプロイするのに多少時間がかかります。

4. ServiceMonitor が実行中であることを確認できます。

   $ oc -n ns1 get servicemonitor
   NAME                         AGE
   prometheus-example-monitor   81m

手順

1. アラートルールの YAML ファイルを作成します。この例では、example-app-alerting-rule.yaml という名前です。

2. アラートルールの設定をファイルに入力します。

   注記

   以下の式は、独自のサービスで公開されるメトリクスのみを参照できます。現時点で、既存のクラスターメトリクスを関連付けることはできません。

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-alert
     namespace: ns1
   spec:
     groups:
     - name: example
       rules:
       - alert: VersionAlert
         expr: version{job="prometheus-example-app"} == 0

   この設定により、example-alert という名前のアラートルールが作成されます。これは、サンプルサービスで公開される version メトリクスが 0 になるとアラートを出します。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-app-alerting-rule.yaml

   アラートルールの作成には多少時間がかかります。

手順

1. Prometheus Web インターフェースにアクセスします。

   • メトリクスにクラスター管理者としてアクセスするには、OpenShift Container Platform Web コンソールに移動し、Administrator パースペクティブに切り替えてから Monitoring → Metrics をクリックします。

     注記

     クラスター管理者は、Administrator パースペクティブを使用する場合、すべてのクラスターメトリクスおよびすべてのプロジェクトのカスタムサービスメトリクスにアクセスできます。

     注記

     クラスター管理者のみが Alertmanager および Prometheus UI にアクセスできます。

   • メトリクスを開発者またはパーミッションを持つユーザーとしてアクセスするには、OpenShift Container Platform Web コンソールに移動し、Developer パーステクティブに切り替えた後に Advanced → Metrics をクリックします。メトリクスを表示するプロジェクトを選択します。

     注記

     開発者は Developer パースペクティブのみを使用できます。単一プロジェクトからのみメトリクスをクエリーできます。

2. PromQL インターフェースを使用して、サービスのクエリーを実行します。

手順

1. 設定の YAML ファイルを作成します。この例では、これは deploy.yaml というファイルになります。

2. prometheus-adapter のサービスアカウント、必要なロールおよびロールバインディングを作成するための設定を追加します。

   kind: ServiceAccount
   apiVersion: v1
   metadata:
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-server-resources
   rules:
   - apiGroups:
     - custom.metrics.k8s.io
     resources: ["*"]
     verbs: ["*"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: custom-metrics-resource-reader
   rules:
   - apiGroups:
     - ""
     resources:
     - namespaces
     - pods
     - services
     verbs:
     - get
     - list
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics:system:auth-delegator
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:auth-delegator
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: custom-metrics-auth-reader
     namespace: kube-system
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: extension-apiserver-authentication-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: custom-metrics-resource-reader
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-resource-reader
   subjects:
   - kind: ServiceAccount
     name: custom-metrics-apiserver
     namespace: default
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: hpa-controller-custom-metrics
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: custom-metrics-server-resources
   subjects:
   - kind: ServiceAccount
     name: horizontal-pod-autoscaler
     namespace: kube-system
   ---

3. prometheus-adapter のカスタムメトリクスの設定を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: adapter-config
     namespace: default
   data:
     config.yaml: |
       rules:
       - seriesQuery: 'http_requests_total{namespace!="",pod!=""}' 1
         resources:
           overrides:
             namespace: {resource: "namespace"}
             pod: {resource: "pod"}
             service: {resource: "service"}
         name:
           matches: "^(.*)_total"
           as: "${1}_per_second" 2
         metricsQuery: 'sum(rate(<<.Series>>{<<.LabelMatchers>>}[2m])) by (<<.GroupBy>>)'
   ---

   1

   選択したメトリクスが HTTP 要求の数になるように指定します。

   2

   メトリクスの頻度を指定します。

4. prometheus-adapter を API サービスとして登録するための設定を追加します。

   apiVersion: v1
   kind: Service
   metadata:
     annotations:
       service.alpha.openshift.io/serving-cert-secret-name: prometheus-adapter-tls
     labels:
       name: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     ports:
     - name: https
       port: 443
       targetPort: 6443
     selector:
       app: prometheus-adapter
     type: ClusterIP
   ---
   apiVersion: apiregistration.k8s.io/v1beta1
   kind: APIService
   metadata:
     name: v1beta1.custom.metrics.k8s.io
   spec:
     service:
       name: prometheus-adapter
       namespace: default
     group: custom.metrics.k8s.io
     version: v1beta1
     insecureSkipTLSVerify: true
     groupPriorityMinimum: 100
     versionPriority: 100
   ---

5. 使用する Prometheus アダプターイメージを表示します。

   $ kubectl get -n openshift-monitoring deploy/prometheus-adapter -o jsonpath="{..image}"
   quay.io/openshift-release-dev/ocp-v4.3-art-dev@sha256:76db3c86554ad7f581ba33844d6a6ebc891236f7db64f2d290c3135ba81c264c

6. prometheus-adapter をデプロイするための設定を追加します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-adapter
     name: prometheus-adapter
     namespace: default
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-adapter
     template:
       metadata:
         labels:
           app: prometheus-adapter
         name: prometheus-adapter
       spec:
         serviceAccountName: custom-metrics-apiserver
         containers:
         - name: prometheus-adapter
           image: openshift-release-dev/ocp-v4.3-art-dev 1
           args:
           - --secure-port=6443
           - --tls-cert-file=/var/run/serving-cert/tls.crt
           - --tls-private-key-file=/var/run/serving-cert/tls.key
           - --logtostderr=true
           - --prometheus-url=http://prometheus-operated.default.svc:9090/
           - --metrics-relist-interval=1m
           - --v=4
           - --config=/etc/adapter/config.yaml
           ports:
           - containerPort: 6443
           volumeMounts:
           - mountPath: /var/run/serving-cert
             name: volume-serving-cert
             readOnly: true
           - mountPath: /etc/adapter/
             name: config
             readOnly: true
           - mountPath: /tmp
             name: tmp-vol
         volumes:
         - name: volume-serving-cert
           secret:
             secretName: prometheus-adapter-tls
         - name: config
           configMap:
             name: adapter-config
         - name: tmp-vol
           emptyDir: {}

   1

   image: openshift-release-dev/ocp-v4.3-art-dev は、直前の手順にある Prometheus Adapter イメージを指定します。

7. 設定ファイルをクラスターに適用します。

   $ oc apply -f deploy.yaml

8. アプリケーションのメトリクスが公開され、Horizontal Pod Autoscaling を設定するために使用できます。