可観測性

以下のコンマを使用して可観測性サービスの namespace を作成します。

oc create namespace open-cluster-management-observability

プルシークレットを生成します。Red Hat Advanced Cluster Management が open-cluster-management namespace に インストールされている場合は、以下のコマンドを実行します。

DOCKER_CONFIG_JSON=`oc extract secret/multiclusterhub-operator-pull-secret -n open-cluster-management --to=-`

multiclusterhub-operator-pull-secret が namespace に定義されていない場合には、pull-secret を openshift-config namespace から open-cluster-management-observability namespace にコピーします。以下のコマンドを実行します。

DOCKER_CONFIG_JSON=`oc extract secret/pull-secret -n openshift-config --to=-`

次に open-cluster-management-observability namespace でプルリクエストを作成して、以下のコマンドを実行します。

oc create secret generic multiclusterhub-operator-pull-secret \
    -n open-cluster-management-observability \
    --from-literal=.dockerconfigjson="$DOCKER_CONFIG_JSON" \
    --type=kubernetes.io/dockerconfigjson

お使いのクラウドプロバイダーのオブジェクトストレージのシークレットを作成します。シークレットには、ストレージソリューションへの認証情報を追加する必要があります。たとえば、以下のコマンドを実行します。

oc create -f thanos-object-storage.yaml -n open-cluster-management-observability

サポートされるオブジェクトストアのシークレットの例を以下に示します。

以下のコマンドを使用して、クラウドプロバイダーの S3 アクセスキーおよびシークレットキーを取得できます。

YOUR_CLOUD_PROVIDER_ACCESS_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep access_key | awk '{print $2}')

echo $ACCESS_KEY

YOUR_CLOUD_PROVIDER_SECRET_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep secret_key | awk '{print $2}')

echo $SECRET_KEY

イメージのプルシークレットを作成します。

open-cluster-management-observability プロジェクトに thanos-object-storage という名前のオブジェクトストレージシークレットを作成します。以下の例では、可観測性サービスの Amazon S3 オブジェクトストレージシークレットを作成します。

MultiClusterObservability CR を作成します。

open-cluster-management-observability namespace に thanos-ruler-custom-rules という名前の ConfigMap を作成します。以下の例のように、キーは custom_rules.yaml という名前を指定する必要があります。設定には、複数のルールを作成できます。

アラートルールが適切に機能していることを確認するには、以下の手順を実行します。

alertmanager-config シークレットからデータを抽出します。以下のコマンドを実行します。

oc -n open-cluster-management-observability get secret alertmanager-config --template='{{ index .data "alertmanager.yaml" }}' |base64 -d > alertmanager.yaml

以下のコマンドを実行し、alertmanager.yaml ファイル設定を編集して保存します。

oc -n open-cluster-management-observability create secret generic alertmanager-config --from-file=alertmanager.yaml --dry-run -o=yaml |  oc -n open-cluster-management-observability replace secret --filename=-

更新したシークレットは以下の内容のようになります。

global
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.org'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'
templates:
- '/etc/alertmanager/template/*.tmpl'
route:
  group_by: ['alertname', 'cluster', 'service']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: team-X-mails
  routes:
  - match_re:
      service: ^(foo1|foo2|baz)$
    receiver: team-X-mails

mco observability が有効化されていることを確認します。status.conditions.message の メッセージが Observability components are deployed and running となっていることを確認します。以下のコマンドを実行します。

oc get mco observability -o yaml

以下の内容で、observability-metrics-custom-allowlist.yaml という名前のファイルを作成します。metrics_list.yaml パラメーターにカスタムメトリクスの記録ルールと名前を追加します。たとえば、マネージドクラスターから node_memory_MemTotal_bytes および apiserver_request_duration_seconds:histogram_quantile_90 を収集します。ConfigMap の YAML は、以下の内容のようになります。

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
    rules:
    - record: apiserver_request_duration_seconds:histogram_quantile_90
      expr: histogram_quantile(0.90,sum(rate(apiserver_request_duration_seconds_bucket{job=\"apiserver\",
        verb!=\"WATCH\"}[5m])) by (verb,le))

以下のコマンドを実行して、open-cluster-management-observability namespace に observability-metrics-custom-allowlist ConfigMap を作成します。

oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml

mco observability が有効化されていることを確認します。status.conditions.message の メッセージが Observability components are deployed and running となっていることを確認します。以下のコマンドを実行します。

oc get mco observability -o yaml

observability-metrics-custom-allowlist.yaml ファイルで、メトリクス名の先頭にハイフン - を指定して metrics_list.yaml パラメーターにデフォルトメトリクスの名前を追加します。たとえば、- cluster_infrastructure_provider をメトリクス一覧に追加します。ConfigMap の YAML は、以下の内容のようになります。

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
      - -cluster_infrastructure_provider

以下のコマンドを実行して、open-cluster-management-observability namespace に observability-metrics-custom-allowlist ConfigMap を作成します。

oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml

mco observability を編集します。以下のコマンドを実行します。

oc edit mco observability -o yaml

詳細 設定を themco observability YAML に追加します。YAML ファイルは以下の内容のようになります。

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

YAML タブで YAML ファイルを編集します。更新した YAML は以下の内容のようになります。

spec:
   advanced:
      receive:
         replicas: 6

これは、環境に 6 つのレシーバーがあることを意味します。

OpenShift Container Platform ナビゲーションメニューで、Secrets を選択します。alertmanager-config シークレットを選択し、YAML ファイルを表示します。

注記: alertmanager-config シークレットを変更する場合には、評価の間隔は約 1 分です。

alertmanager-config YAML ファイルの例を以下に示します。

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

アラート転送のプロキシーを設定する必要がある場合は、以下の グローバル エントリーを alertmanager-config YAML ファイルに追加します。

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

単一ノードクラスターから提供されるメトリクスをクエリーするには、クエリー式 {clusterType="SNO"} にラベルを追加します。たとえば、単一ノードクラスターから cluster_infrastructure_provider をクエリーするには、以下のクエリー式 cluster_infrastructure_provider{clusterType="SNO"}を使用します。

注記: 単一ノードのマネージドクラスターで可観測性が有効になっている場合は、ObservabilitySpec.resources.CPU.limits パラメーターを設定しないでください。CPU 制限を設定すると、可観測性 Pod がマネージドクラスターの容量にカウントされます。詳細は、「管理ワークロードのパーティショニング」を参照してください。

setup-grafana-dev.sh を実行して、Grafana インスタンスを設定します。スクリプトを実行すると、secret/grafana-dev-config、deployment.apps/grafana-dev、service/grafana-dev、ingress.extensions/grafana-dev、persistentvolumeclaim/grafana-dev のリソースが作成されます。

./setup-grafana-dev.sh --deploy
secret/grafana-dev-config created
deployment.apps/grafana-dev created
service/grafana-dev created
ingress.extensions/grafana-dev created
persistentvolumeclaim/grafana-dev created

switch-to-grafana-admin.sh スクリプトを使用して、ユーザーロールを Grafana 管理者に切り替えます。

Enter を押すと、insight ポリシーレポートの表一覧が Policyreport セクションに表示されます。

注記: PolicyReport 名はクラスターの名前と同じになります。

検索サービスが無効になり、insight を検索する必要がある場合は、ハブクラスターから以下のコマンドを実行します。

oc get policyreport --all-namespaces

表示する脆弱性が他にある場合は、Back をクリックし発生する可能性のある問題の一覧を表示します。

注記: 問題の解決後には、Red Hat Advanced Cluster Management で Red Hat Insights の情報を30 分ごとに受信し、Red Hat Insights は 2 時間ごとに更新されます。