Cluster Observability Operator

手順

1. OpenShift Container Platform Web コンソールで、Operator → Installed Operator をクリックし、Cluster Observability Operator を選択します。
2. UI Plugin タブ (タブリストの右端) を選択し、Create UIPlugin を押します。

3. YAML view を選択し、次の内容を入力して、Create を押します。

   apiVersion: observability.openshift.io/v1alpha1
   kind: UIPlugin
   metadata:
     name: dashboards
   spec:
     type: Dashboards

手順

1. ラベル console.openshift.io/dashboard-datasource: 'true' を使用して、openshift-config-managed namespace に ConfigMap リソースを作成します。以下の例は prometheus-datasource-example.yaml からのものです。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-prometheus-proxy
     namespace: openshift-config-managed
     labels:
       console.openshift.io/dashboard-datasource: "true"
   data:
     "dashboard-datasource.yaml": |-
       kind: "Datasource"
       metadata:
         name: "cluster-prometheus-proxy"
         project: "openshift-config-managed"
       spec:
         plugin:
           kind: "prometheus"
           spec:
             direct_url: "https://prometheus-k8s.openshift-monitoring.svc.cluster.local:9091"

2. データソースに接続するカスタムダッシュボードを設定します。サンプルダッシュボードの YAML は、prometheus-dashboard-example.yaml で入手できます。そのファイルからの抜粋を例として以下に示します。

   例5.1 prometheus-dashboard-example.yaml から取得したサンプルダッシュボードの抜粋

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: dashboard-example
     namespace: openshift-config-managed
     labels:
       console.openshift.io/dashboard: "true"
   data:
     k8s-resources-workloads-namespace.json: |-
       {
           "annotations": {
               "list": [
   
               ]
           },
           "editable": true,
           "gnetId": null,
           "graphTooltip": 0,
           "hideControls": false,
           "links": [
   
           ],
           "refresh": "10s",
           "rows": [
               {
                   "collapse": false,
                   "height": "250px",
                   "panels": [
                       {
                           "aliasColors": {
   
                           },
                           "bars": false,
                           "dashLength": 10,
                           "dashes": false,
                           "datasource": {
                               "name": "cluster-prometheus-proxy",
                               "type": "prometheus"
                           },
                           "fill": 10,
                           "id": 1,
                           "interval": "1m",
                           "legend": {
                               "alignAsTable": true,
                               "avg": false,
                               "current": false,
                               "max": false,
                               "min": false,
                               "rightSide": true,
                               "show": true,
                               "total": false,
                               "values": false
                           },
                           "lines": true,
                           "linewidth": 0,
                           "links": [
   
                           ],
                           "nullPointMode": "null as zero",
                           "percentage": false,
                           "pointradius": 5,
                           "points": false,
                           "renderer": "flot",
                           "seriesOverrides": [
                               {
                                   "alias": "quota - requests",
                                   "color": "#F2495C",
                                   "dashes": true,
                                   "fill": 0,
                                   "hiddenSeries": true,
                                   "hideTooltip": true,
                                   "legend": true,
                                   "linewidth": 2,
                                   "stack": false
                               },
                               {
                                   "alias": "quota - limits",
                                   "color": "#FF9830",
                                   "dashes": true,
                                   "fill": 0,
                                   "hiddenSeries": true,
                                   "hideTooltip": true,
                                   "legend": true,
                                   "linewidth": 2,
                                   "stack": false
                               }
                           ],
                           "spaceLength": 10,
                           "span": 12,
                           "stack": false,
                           "steppedLine": false,
                           "targets": [
                               {
                                   "expr": "sum(  node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate{cluster=\"$cluster\", namespace=\"$namespace\"}* on(namespace,pod)  group_left(workload, workload_type) namespace_workload_pod:kube_pod_owner:relabel{cluster=\"$cluster\", namespace=\"$namespace\", workload_type=\"$type\"}) by (workload, workload_type)",
                                   "format": "time_series",
                                   "intervalFactor": 2,
                                   "legendFormat": "{{workload}} - {{workload_type}}",
                                   "legendLink": null,
                                   "step": 10
                               },
                               {
                                   "expr": "scalar(kube_resourcequota{cluster=\"$cluster\", namespace=\"$namespace\", type=\"hard\",resource=\"requests.cpu\"})",
                                   "format": "time_series",
                                   "intervalFactor": 2,
                                   "legendFormat": "quota - requests",
                                   "legendLink": null,
                                   "step": 10
                               },
                               {
                                   "expr": "scalar(kube_resourcequota{cluster=\"$cluster\", namespace=\"$namespace\", type=\"hard\",resource=\"limits.cpu\"})",
                                   "format": "time_series",
                                   "intervalFactor": 2,
                                   "legendFormat": "quota - limits",
                                   "legendLink": null,
                                   "step": 10
                               }
                           ],
                           "thresholds": [
   
                           ],
                           "timeFrom": null,
                           "timeShift": null,
                           "title": "CPU Usage",
                           "tooltip": {
                               "shared": false,
                               "sort": 2,
                               "value_type": "individual"
                           },
                           "type": "graph",
                           "xaxis": {
                               "buckets": null,
                               "mode": "time",
                               "name": null,
                               "show": true,
                               "values": [
   
                               ]
                           },
   ...

3. Observe → Dashboards をクリックすると、prometheus-dashboard-example.yaml の設定に基づく ** DASHBOARD EXAMPLE ** というタイトルのカスタムダッシュボードを使用できます。

   

   UI で、ダッシュボードの namespace、時間範囲、更新間隔を設定できます。

手順

1. OpenShift Container Platform Web コンソールで、Operator → Installed Operator をクリックし、Cluster Observability Operator を選択します。
2. UI Plugin タブ (タブリストの右端) を選択し、Create UIPlugin を押します。

3. YAML view を選択し、次の内容を入力して、Create を押します。

   apiVersion: observability.openshift.io/v1alpha1
   kind: UIPlugin
   metadata:
     name: distributed-tracing
   spec:
     type: DistributedTracing

手順

1. OpenShift Container Platform Web コンソールの Administrator パースペクティブで、Observe → Traces をクリックします。

2. TempoStack または TempoMonolithic マルチテナントインスタンスを選択し、ロードするトレースの時間範囲とクエリーを設定します。

   トレースの開始時刻、期間、スパンの数を示す散布図にトレースが表示されます。散布図の下には、Trace Name、Spans の数、Duration などの情報を示すトレースのリストがあります。

3. トレース名のリンクをクリックします。

   選択したトレースのトレース詳細ページに、トレース内の全スパンのガントチャートが表示されます。スパンを選択して、設定した属性の内訳を表示します。

手順

1. OpenShift Container Platform Web コンソールで、Operator → Installed Operator をクリックし、Cluster Observability Operator を選択します。
2. UI Plugin タブ (タブリストの右端) を選択し、Create UIPlugin を押します。

3. YAML view を選択し、次の内容を入力して、Create を押します。

   apiVersion: observability.openshift.io/v1alpha1
   kind: UIPlugin
   metadata:
     name: troubleshooting-panel
   spec:
     type: TroubleshootingPanel

手順

1. コマンドラインまたは Web コンソールから次の YAML を使用して、システムの namespace に壊れたデプロイメントを作成します。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: bad-deployment
     namespace: default 1
   spec:
     selector:
       matchLabels:
         app: bad-deployment
     template:
       metadata:
         labels:
           app: bad-deployment
       spec:
         containers: 2
         - name: bad-deployment
           image: quay.io/openshift-logging/vector:5.8

   1

   必要なアラートを発生させるには、デプロイメントがシステムの namespace (default など) に存在する必要があります。

   2

   このコンテナーは、意図的に設定ファイルなしで vector サーバーを起動することを試みます。サーバーはいくつかのメッセージをログに記録し、エラーで終了します。または、不適切に設定した任意のコンテナーをデプロイして、アラートをトリガーすることもできます。

2. アラートを表示します。

   1. Observe → Alerting に移動し、clear all filters をクリックします。Pending のアラートを表示します。

      重要

      アラートは最初 Pending 状態で表示されます。コンテナーがクラッシュするまで、アラートの発生 (Firing) は開始しません。Pending のアラートを確認できるため、アラートが発生するまで待つ必要はありません。

   2. KubeContainerWaiting、KubePodCrashLooping、または KubePodNotReady アラートのいずれかを選択し、リンクをクリックしてトラブルシューティングパネルを開きます。または、パネルがすでに開いている場合は、"Focus" ボタンをクリックしてグラフを更新します。

手順

1. OpenShift Container Platform Web コンソールで、Operator → Installed Operator をクリックし、Cluster Observability Operator を選択します。
2. UI Plugin タブ (タブリストの右端) を選択し、Create UIPlugin をクリックします。

3. YAML view を選択し、次の内容を入力して、Create をクリックします。

   apiVersion: observability.openshift.io/v1alpha1
   kind: UIPlugin
   metadata:
     name: logging
   spec:
     type: Logging
     logging:
       lokiStack:
         name: logging-loki
       logsLimit: 50
       timeout: 30s