第11章 ノードメトリクスダッシュボード
ノードメトリクスダッシュボードを使用すると、潜在的な Pod スケーリングの問題を特定するのに役立ちます。
11.1. ノードメトリクスダッシュボードについて リンクのコピーリンクがクリップボードにコピーされました!
管理チームおよびサポートチームのメンバーは、ノードメトリクスダッシュボードを使用して、Pod のスケーリングに関連するメトリクスを監視できます。これには、スケーリングの問題を診断およびトラブルシューティングするために使用されるスケーリング制限が含まれます。
特に、ダッシュボードを通じて表示される視覚的分析を使用して、ノードをまたいだワークロード分散を監視できます。これらの分析から得られた知見を活用することで、CRI-O および Kubelet システムのコンポーネントの状態を判断し、過剰または不均衡なリソース消費やシステム不安定性の潜在的な原因を特定できます。
ダッシュボードには、次のカテゴリーに分類された視覚的分析ウィジェットが表示されます。
- Critical
- システムの不安定性や非効率性につながる可能性のあるノードの問題を特定するために使用できる視覚化機能が含まれています。
- Outliers
- 実行時間が 95 パーセンタイルの範囲外に該当するプロセスを可視化するヒストグラムが含まれています
- Average durations
- システムコンポーネントが操作を処理するのにかかる時間の変化を追跡するのに役立ちます
- Number of operations
- 実行中の操作数の変化を特定するために使用できる視覚化を表示し、それによってシステムの負荷バランスと効率を判断するのに役立ちます。
11.2. ノードメトリクスダッシュボードへのアクセス リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform Web コンソールの 管理者 視点から、ノードメトリクスダッシュボードにアクセスできます。
手順
- Observe メニューオプションを展開し、Dashboards を選択します。
Dashboard フィルターで、Node cluster を選択します。
注記Critical カテゴリーに可視化されたデータが表示されない場合、重大な異常は検出されていません。ダッシュボードは意図したとおりに機能しています。
11.3. 最適なノードリソースの使用状況を示すメトリクスを特定する リンクのコピーリンクがクリップボードにコピーされました!
スケーリングの問題を診断およびトラブルシューティングするには、ノードメトリクスダッシュボードを使用して、クリティカル、外れ値、平均期間、操作数の 4 つのカテゴリーにわたるメトリクスを確認できます。
Critical カテゴリーのメトリクスは、最適なノードリソースの使用状況を示すのに役立ちます。これらのメトリクスには以下が含まれます。
- 過去 1 日間で最多の OOM キルが発生した上位 3 つのコンテナー
- 過去 1 時間のイメージプル失敗率
- システム予約メモリー使用率が 80% を超えるノード
- Kubelet システム予約メモリー使用率が 50% を超えるノード
- CRI-O システム予約メモリー使用率が 50% を超えるノード
- システム予約 CPU 使用率が 80% を超えるノード
- Kubelet システム予約 CPU 使用率が 50% を超えるノード
- CRI-O システム予約 CPU 使用率が 50% を超えるノード
11.3.1. 過去 1 日間で最多の OOM キルが発生した上位 3 つのコンテナー リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの過去 1 日間で最もメモリー不足 (OOM) による強制終了が発生した上位 3 つのコンテナークエリーを使用すると、前日に 最もメモリー不足 (OOM) による強制終了が発生した上位 3 つのコンテナーの 詳細を確認できます。
デフォルトクエリーの例
topk(3, sum(increase(container_runtime_crio_containers_oom_count_total[1d])) by (name))
OOM キルが発生すると、システムはメモリー不足により一部のプロセスを強制的に終了します。OOM キルが頻繁に発生すると、ノードの機能だけでなく、Kubernetes エコシステム全体の機能も阻害される可能性があります。OOM キルが頻繁に発生するコンテナーは、必要以上に多くのメモリーを消費している可能性があり、これによりシステムが不安定になります。
このメトリクスを使用して、OOM キルが頻繁に発生しているコンテナーを特定し、これらのコンテナーがメモリーを過剰に消費している原因を調査します。必要に応じてリソース割り当てを調整し、メモリー使用量に基づきコンテナーサイズを変更することを検討してください。Outliers、Average durations、Number of operations カテゴリーのメトリクスを確認して、ノードの正常性と安定性に関する詳細情報を得ることもできます。
11.3.2. 過去 1 時間のイメージプル失敗率 リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの 過去 1 時間におけるイメージプルの失敗率 クエリーを使用すると、イメージプルの失敗率を確認できます。
このクエリーは、失敗したイメージ取得の総数を、成功したイメージ取得と失敗したイメージ取得の合計数で割って、失敗率を算出します。
デフォルトクエリーの例
rate(container_runtime_crio_image_pulls_failure_total[1h]) / (rate(container_runtime_crio_image_pulls_success_total[1h]) + rate(container_runtime_crio_image_pulls_failure_total[1h]))
イメージプルの失敗率を理解することは、ノードの正常性を維持するために重要です。失敗率が高い場合は、ネットワークの問題、ストレージの問題、設定ミス、または Pod 密度や新しいコンテナーのデプロイメントを阻害する可能性があるその他の問題を示唆している場合があります。
このクエリーの結果が高い場合は、ネットワーク接続、リモートリポジトリーの可用性、ノードストレージ、イメージ参照の正確性などの考えられる原因を調査します。また、Outliers、Average durations、Number of operations カテゴリーのメトリクスを確認して、さらに詳細な情報を得ることができます。
11.3.3. システム予約メモリー使用率が 80% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードのシステム 予約メモリー使用率が 80% を超えるノードクエリーを使用すると、各ノードで使用されているシステム予約 メモリーの割合を確認できます。
この計算では、Resident Set Size (RSS) の合計を、割り当て可能なメモリーから差し引かれたノードの合計メモリー容量で割ります。RSS は、メインメモリー (RAM) に保持される、プロセスが占有するシステムメモリーの部分です。結果の値がしきい値である 80% 以上の場合、ノードにフラグが追加されます。
デフォルトクエリーの例
sum by (node) (container_memory_rss{id="/system.slice"}) / sum by (node) (kube_node_status_capacity{resource="memory"} - kube_node_status_allocatable{resource="memory"}) * 100 >= 80
システム予約メモリーは、システムデーモンおよび Kubernetes システムデーモンの実行に利用されるため、Kubernetes ノードにとって非常に重要です。システム予約メモリー使用率が 80% を超える場合は、システムと Kubernetes デーモンがメモリーを過剰に消費していることを示し、ノードが不安定になって実行中の Pod のパフォーマンスが影響を受ける可能性があることを示唆しています。過剰なメモリー消費は、メモリーを解放するために重要なシステムプロセスを終了させる Out-of-Memory (OOM) キラーを引き起こす可能性があります。
このメトリクスによりノードにフラグが追加された場合は、メモリーを過剰に消費しているシステムまたは Kubernetes プロセスを特定し、状況を緩和するための適切なアクションを実行します。これらのアクションには、重要ではないプロセスのスケールバック、メモリー使用量を削減するためのプログラム設定の最適化、メモリー容量がより大きいハードウェアへのノードシステムのアップグレードなどが含まれる場合があります。また、Outliers、Average durations、Number of operations カテゴリーのメトリクスを確認して、ノードのパフォーマンスに関する詳細情報を得ることもできます。
11.3.4. Kubelet システム予約メモリー使用率が 50% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの Kubelet システム予約メモリー使用率が 50% を超えるノード クエリーを使用すると、Kubelet のシステム予約メモリー使用率が 50% を超えるノードを確認できます。
このクエリーでは、Kubelet プロセス自体がノード上で消費しているメモリーを調べます。
デフォルトクエリーの例
sum by (node) (container_memory_rss{id="/system.slice/kubelet.service"}) / sum by (node) (kube_node_status_capacity{resource="memory"} - kube_node_status_allocatable{resource="memory"}) * 100 >= 50
このクエリーは、ノード操作の安定性と効率性に影響を与える可能性のある、ノード内のメモリー逼迫状況を特定するのに役立ちます。Kubelet のメモリー使用率がシステム予約メモリーの 50% を常に超えている場合は、システム予約設定が適切に設定されておらず、ノードが不安定になるリスクが高いことを示しています。
このメトリクスが強調表示されている場合は、設定ポリシーを確認し、システム予約設定または Kubelet のリソース制限設定を調整することを検討してください。さらに、Kubelet のメモリー使用率が予約システムメモリー合計の 50% を常に超える場合は、Outliers、Average durations、Number of operations カテゴリーのメトリクスを調べて、正確な診断のために詳細情報を得ることもできます。
11.3.5. CRI-O システム予約メモリー使用率が 50% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの CRI-O システム予約メモリー使用率が 50% を超えるノード クエリーを使用すると、CRI-O システム用に予約されている使用メモリー の割合が 50% 以上のノードを特定できます。
この場合、メモリー使用率は、RAM に保持される CRI-O システムのメモリーに含まれる Resident Set Size (RSS) によって定義されます。
デフォルトクエリーの例
sum by (node) (container_memory_rss{id="/system.slice/crio.service"}) / sum by (node) (kube_node_status_capacity{resource="memory"} - kube_node_status_allocatable{resource="memory"}) * 100 >= 50
このクエリーは、各ノード上の CRI-O システム用に予約されているメモリーのステータスを監視するのに役立ちます。使用率が高い場合は、利用可能なリソースが不足しており、パフォーマンス上の問題が発生する可能性があることを示唆していることもあります。CRI-O システム用に予約されているメモリーが推奨された制限である 50% を超える場合は、システム予約メモリーの半分がノード上の CRI-O によって使用されていることを示しています。
メモリーの割り当てと使用状況を確認し、ノードが不安定になる可能性を回避するためにメモリーリソースを移動または増やす必要があるかどうかを評価します。また、Outliers、Average durations、Number of operations カテゴリーのメトリクスを調べて、さらに詳細な情報を得ることもできます。
11.3.6. システム予約 CPU 使用率が 80% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードのシステム予約済み CPU 使用率が 80% を超える ノードクエリーを使用すると、システム予約済み CPU 使用率が 80% を 超えるノードを特定できます。
このクエリーは、システムで予約された容量に焦点を当てて、過去 5 分間の CPU 使用率を計算し、それをノードで利用可能な CPU リソースと比較します。比率が 80% を超える場合、ノードの結果がメトリクスに表示されます。
デフォルトクエリーの例
sum by (node) (rate(container_cpu_usage_seconds_total{id="/system.slice"}[5m]) * 100) / sum by (node) (kube_node_status_capacity{resource="cpu"} - kube_node_status_allocatable{resource="cpu"}) >= 80
このクエリーは、リソースの枯渇につながる可能性のある、system-reserved CPU 使用率の重大なレベルを示します。system-reserved CPU 使用率が高いと、システムプロセス (Kubelet や CRI-O を含む) がノード上のリソースを適切に管理できなくなる可能性があります。このクエリーは、過剰なシステムプロセスや CPU 割り当ての設定ミスを示唆している可能性があります。
考えられる是正措置には、他のノードとのワークロードバランスの再調整や、ノードに割り当てられる CPU リソースの増加が含まれます。システムの CPU 使用率が高くなる原因を調査し、Outliers、Average durations、Number of operations カテゴリーの該当メトリクスでノードの動作に関する詳細情報を確認します。
11.3.7. Kubelet システム予約 CPU 使用率が 50% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの Kubelet システム 予約済み CPU 使用率が 50% を超えるノードクエリーを使用すると、Kubelet システムが 現在システム予約済み CPU から使用している割合を確認できます。
デフォルトクエリーの例
sum by (node) (rate(container_cpu_usage_seconds_total{id="/system.slice/kubelet.service"}[5m]) * 100) / sum by (node) (kube_node_status_capacity{resource="cpu"} - kube_node_status_allocatable{resource="cpu"}) >= 50
Kubelet は、システムで予約された CPU を独自の操作と重要なシステムサービスの実行に使用します。ノードの正常性を確保するには、システムの予約 CPU 使用率がしきい値である 50% を超えないようにすることが重要です。この制限を超えると、Kubelet の使用率または負荷が高くなっている可能性があり、その場合はノードの安定性だけでなく、Kubernetes クラスター全体のパフォーマンスに影響を与える可能性があります。
このメトリクスにノードが表示されている場合、Kubelet とシステム全体に高い負荷がかかっています。クラスター内の他のノード間で負荷を分散することにより、特定のノードのオーバーロードを軽減できます。Outliers、Average durations、Number of operations カテゴリーの他のクエリーメトリクスを確認して詳細を把握し、必要な是正措置を講じます。
11.3.8. CRI-O システム予約 CPU 使用率が 50% を超えるノード リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの CRI-O システム予約 CPU 使用率が 50% を超えるノード クエリーを使用すると、過去 5 分間に CRI-O システム予約 CPU 使用率が 50% を 超えたノードを特定できます。
このクエリーは、使用しているコンテナーランタイムである CRI-O による CPU リソースの消費をノードごとに監視します。
デフォルトクエリーの例
sum by (node) (rate(container_cpu_usage_seconds_total{id="/system.slice/crio.service"}[5m]) * 100) / sum by (node) (kube_node_status_capacity{resource="cpu"} - kube_node_status_allocatable{resource="cpu"}) >= 50
このクエリーにより、Pod のパフォーマンスに悪影響を与える可能性がある異常な開始時間を迅速に特定できます。このクエリーで高い値が返された場合、Pod の開始時間が通常より遅く、kubelet、Pod 設定、またはリソースに潜在的な問題があることが示唆されます。
Pod 設定と割り当てられたリソースを確認して、詳細を調査します。それらがシステムの機能と一致していることを確認してください。引き続き開始時間として高い値が示される場合は、ダッシュボード上で他のカテゴリーのメトリクスパネルを調査して、システムコンポーネントの状態を確認してください。
11.4. ダッシュボードクエリーのカスタマイズ リンクのコピーリンクがクリップボードにコピーされました!
ノードメトリクスダッシュボードの構築に使用されるデフォルトのクエリーをカスタマイズすることで、独自のクエリーを作成できます。
手順
- メトリクスを選択し、Inspect をクリックしてデータに移動します。このページには、クエリー結果を展開した視覚要素、データの分析に使用された Prometheus クエリー、クエリーで使用されたデータサブセットなど、メトリクスの詳細が表示されます。
- クエリーパラメーターに必要な変更を加えます。
- オプション: Add query をクリックして、データに対して追加のクエリーを実行します。
- Run query をクリックして、指定したパラメーターを使用してクエリーを再実行します。