OpenShift Data Foundation の監視

Red Hat OpenShift Data Foundation 4.12

クラスターの正常性、メトリクス、またはアラートの設定の表示

Red Hat Storage Documentation Team

概要

Block および File、および Object ダッシュボードを使用して Red Hat OpenShift Data Foundation を監視する方法については、本書を参照してください。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージをご覧ください。

Red Hat ドキュメントへのフィードバック (英語のみ)

Red Hat ドキュメントに対するご意見をお聞かせください。ドキュメントの改善点があれば、ぜひお知らせください。フィードバックをお寄せいただくには、以下をご確認ください。

特定の部分についての簡単なコメントをお寄せいただく場合は、以下をご確認ください。
1. ドキュメントの表示が Multi-page HTML 形式になっていていることを確認してください。ドキュメントの右上隅に Feedback ボタンがあることを確認してください。
2. マウスカーソルを使用して、コメントを追加するテキストの部分を強調表示します。
3. 強調表示されたテキストの下に表示される Add Feedback ポップアップをクリックします。
4. 表示される指示に従ってください。
より詳細なフィードバックをお寄せいただく場合は、Bugzilla のチケットを作成してください。
1. Bugzilla の Web サイトに移動します。
2. Component セクションで、documentation を選択します。
3. Description フィールドに、ドキュメントの改善に向けたご提案を記入してください。ドキュメントの該当部分へのリンクも追加してください。
4. Submit Bug をクリックします。

第1章クラスターの正常性

1.1. OpenShift Data Foundation の正常性の確認

ストレージの正常性は、Block および File、および Object ダッシュボードに表示されます。

手順

OpenShift Web コンソールで、Storage → Data Foundation をクリックします。
Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
Status カードに Block および File および Object タブに緑色のチェックマークが付いているかどうかを確認します。
緑色のチェックマークは、クラスターが正常であることを示します。

表示される異なるヘルス状態およびアラートの詳細は、「ストレージの正常性レベルおよびクラスターの状態」を参照してください。

1.2. ストレージの正常性レベルおよびクラスターの状態

OpenShift Data Foundation に関連するステータス情報およびアラートがストレージダッシュボードに表示されます。

1.2.1. Data Foundation ダッシュボードのインジケーター

Block and File ダッシュボードには、OpenShift Data Foundation 全体の状態が永続ボリュームの状態と共に表示されます。

各リソースタイプの状態の種類については、以下の表に一覧表示されています。

表1.1 OpenShift Data Foundation 正常性レベル
State	アイコン	説明
UNKNOWN		OpenShift Data Foundation はデプロイされていないか、利用できません。
緑色のチェックマーク		クラスターの状態は正常です。
Warning		OpenShift Data Foundation クラスターが警告状態にあります。内部モードでは、アラートが問題の詳細と共に表示されます。外部モードでは、アラートは表示されません。
Error		OpenShift Data Foundation クラスターでエラーが発生し、一部のコンポーネントが機能しなくなります。内部モードでは、アラートが問題の詳細と共に表示されます。外部モードでは、アラートは表示されません。

1.2.2. Object ダッシュボードのインジケーター

Object ダッシュボードには、Multi-Cloud Object Gateway およびクラスター内のオブジェクト要求の状態が表示されます。

各リソースタイプの状態の種類については、以下の表に一覧表示されています。

表1.2 オブジェクトサービスの正常性レベル
状態	説明
緑色のチェックマーク	オブジェクトストレージは正常です。
Multicloud Object Gateway is not running	NooBaa システムが見つからない場合に表示されます。
All resources are unhealthy	すべての NooBaa プールが正常でない場合に表示されます。
Many buckets have issues	バケットの 50% 以上でエラーが発生する場合に表示されます。
Some buckets have issues	バケットの 30% 以上でエラーが発生する場合に表示されます。
Unavailable	ネットワークの問題やエラーがある場合に表示されます。

1.2.3. Alert パネル

Alert パネルは、クラスターの状態が正常ではない場合に、Block and File ダッシュボードと Object ダッシュボードの両方の Status カードの下に表示されます。

特定のアラートおよびそれらに応答する方法についての情報は、OpenShift Data Foundation のトラブルシューティングを参照してください。

第2章マルチクラスターストレージの正常性

OpenShift Data Foundation を使用してすべてのクラスターにわたる全体的なストレージの正常性ステータスを表示し、その容量を管理するには、最初にハブクラスターでマルチクラスターダッシュボードを有効にする必要があります。

2.1. ハブクラスターでのマルチクラスターダッシュボードの有効化

コンソールプラグインを使用して ODF Multicluster Orchestrator バージョン 4.12 をインストールする前または後に、インストール画面でマルチクラスターダッシュボードを有効にできます。

前提条件

OpenShift Container Platform バージョン 4.12 がインストールされており、管理者権限があることを確認してください。
Operator Hub から Red Hat Advanced Cluster Management for Kubernetes 2.6 がインストールされていることを確認してください。インストール方法は、RHACM のインストールを参照してください。
RHACM で可観測性が有効になっている。可観測性ガイドラインの有効化を参照してください。

手順

observability-metrics-custom-allowlist.yaml という名前の configmap ファイルを作成し、metrics_list.yaml パラメーターにカスタムメトリクスの名前を追加します。

以下の YAML を使用して、ハブクラスター上の OpenShift Data Foundation メトリクスを一覧表示できます。詳細は、カスタムメトリックの追加を参照してください。

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
  Namespace: open-cluster-management-observability
data:
  metrics_list.yaml: |
    names:
      - odf_system_health_status
      - odf_system_map
      - odf_system_raw_capacity_total_bytes
      - odf_system_raw_capacity_used_bytes
    matches:
      - __name__="csv_succeeded",exported_namespace="openshift-storage",name=~"odf-operator.*"

open-cluster-management-observability namespace で次のコマンドを実行します。
```
# oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml
```
observability-metrics-custom-allowlist yaml が作成されると、RHACM はすべてのマネージドクラスターからリストされた OpenShift Data Foundation メトリックの収集を開始します。
可観測性データを収集しないように特定のマネージドクラスターを除外するには、クラスターに observability: disabled のクラスターラベルを追加します。
マルチクラスターの正常性を表示するには、マルチクラスターストレージダッシュボードの確認の章を参照してください。

2.2. ハブクラスターでのマルチクラスターストレージの状態の確認

前提条件

マルチクラスター監視が有効になっていることを確認してください。手順は、マルチクラスターダッシュボードの有効化の章を参照してください。

手順

ハブクラスターの OpenShift Web コンソールで、すべてのクラスター が選択されていることを確認します。
Data Services に移動し、Storage System をクリックします。
概要タブで、OpenShift Data Foundation と Systems の前に緑色のチェックマークがあることを確認します。これは、Operator が実行しており、すべてのストレージシステムが使用可能であることを示しています。
ステータスカードで、
1. OpenShift Data Foundation をクリックして、Operator の状況を表示します。
2. Systems をクリックして、ストレージシステムのステータスを表示します。
Storage system capacity カードには、次の詳細が表示されます。
- ストレージシステムの名前
- Cluster name
- 合計容量と使用済み容量のグラフ表示 (%)
- TiB の合計容量と使用容量の実際の値

第3章メトリクス

3.1. Block および File ダッシュボードでのメトリクス

以下のように、OpenShift Web コンソールで Block および File ダッシュボードに移動できます。

Storage → Data Foundation をクリックします。
Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
Block and File タブをクリックします。

Block および File ダッシュボードの以下のカードは、デプロイメントモード (内部または外部) をベースとするメトリクスを提供します。

Details カード

Details カードには、以下が表示されます。

サービス名
Cluster name
システムが実行されるプロバイダーの名前 (例: AWS、VSphere、ベアメタルの場合は None)
モード (内部または外部のいずれかのデプロイメントモード)
OpenShift Data Foundation Operator バージョン

Inventory カード

Inventory カードには、OpenShift Data Foundation プロビジョナーでサポートされるアクティブなノード、PVC、および PV の数が表示されます。カードの左側に、ストレージノード、PVC および PV の合計数が表示されます。カードの右側には、Not Ready 状態のストレージノードの数が表示されますが、Pending 状態の PVC と Released 状態の PV の数が表示されます。

注記

外部モードでは、OpenShift Data Foundation に専用ノードはないため、ノードの数はデフォルトで 0 になります。

Status カード

このカードは、クラスターがエラーなしで稼働しているか、何らかの問題があるかを示します。

内部モードの場合、Data Resiliency (データ回復性) は、レプリカ全体での Ceph のデータリバランスのステータスを示します。内部モードのクラスターが警告またはエラー状態にあると、Alerts セクションが関連するアラートと共に表示されます。

外部モードの場合、Data Resiliency (データ回復性) およびアラートは表示されません。

Raw Capacity カード

このカードには、クラスター上のレプリケーションを含む RAW ストレージ容量の合計が表示されます。

Used の凡例は、クラスター上で使用されている RAW ストレージ容量を示します。
Available の凡例は、クラスターで利用可能な Raw ストレージ容量を示します。

注記

このカードは、外部モードクラスターには適用されません。

Used Capacity Breakdown カード

このカードには、クラスターに保存されているレプリカ以外の実際のデータ量とそのディストリビューションが表示されます。カードの上部にあるドロップダウンメニューから、Projects、 Storage Classes および Pods のいずれかを選択できます。これらのオプションは、グラフに表示されるデータをフィルターするために使用します。グラフには、使用量に基づいて、上位 5 つのエンティティーのみの使用容量が表示されます。残りのエンティティーの合計使用量はその他として表示されます。

オプション	表示
プロジェクト	Data Foundation ストレージを使用している各プロジェクトの集約された容量と現在使用されている量。
ストレージクラス	OpenShift Data Foundation ベースのストレージクラスに基づいて集約容量を表示します。
Pod	OpenShift Data Foundation プロビジョナーでサポートされる PVC の使用を試行するすべての Pod。

外部モードについては、Capacity breakdown カード を参照してください。

Capacity breakdown カード

このカードは、外部モードクラスターにのみ適用されます。このカードでは、プロジェクト、ストレージクラス、Pod ごとの容量の内訳を表示できます。カードの上部にあるドロップダウンメニューから、Projects、 Storage Classes および Pods のいずれかを選択できます。これらのオプションは、グラフに表示されるデータをフィルターするために使用します。グラフには、使用量に基づいて、上位 5 つのエンティティーのみの使用容量が表示されます。残りのエンティティーの合計使用量はその他として表示されます。

Utilization カード

このカードには、使用済みの容量、1 秒あたりの入出力操作、レイテンシー、スループット、および内部モードのクラスターのリカバリー情報が表示されます。

外部モードでは、このカードには、そのクラスターの使用済みおよび要求される容量情報のみが表示されます。

Storage Efficiency カード

このカードは、圧縮率を示しており、すべての圧縮可能なプールを含む、圧縮可能なデータの有効性メトリクスを表します。また、圧縮対応プールおよび関連付けられたレプリカすべてに含まれる実際のディスク容量を表す節約メトリクスも示しています。

Activity カード

このカードは、OpenShift Data Foundation クラスターで発生しているアクティビティーや、最近発生したアクティビティーが表示されます。カードは 2 つのセクションに分かれます。

Ongoing: データ回復性および OpenShift Data Foundation Operator のアップグレードに関連する継続中のアクティビティーの進捗を表示します。
recent Events: openshift-storage namespace で発生するイベントの一覧を表示します。

3.2. Object ダッシュボードでのメトリクス

以下のように、OpenShift Web コンソールで Object ダッシュボードに移動できます。

Storage → Data Foundation をクリックします。
Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
Object タブをクリックします。

以下のメトリクスは、Object ダッシュボードで利用できます。

Details カード

このカードには、以下の情報が表示されます。

サービス名: Multicloud Object Gateway (MCG) サービス名。
システム名: Multicloud Object Gateway および RADOS Object Gateway のシステム名。Multicloud Object Gateway のシステム名は MCG 管理ユーザーインターフェイスへのハイパーリンクでもあります。
プロバイダー: システムが実行されるプロバイダーの名前 (例: AWS、VSphere、ベアメタルの場合は None)。
バージョン: OpenShift Data Foundation Operator バージョン。

Storage Efficiency カード

このカードでは、MCG が重複排除と圧縮を通じてストレージバックエンドリソースの消費をどのように最適化するかを表示し、ベアメタルおよびクラウドベースのストレージの容量とクラウドベースのストレージの出力に基づき、計算された効率比 (アプリケーションデータと論理データ) および推定節約量 (ストレージプロバイダーに MCG が送信しなかったバイト数) を提供します。

Buckets カード

バケットは、アプリケーションの代わりにデータを保存するために MCG および RADOS Object Gateway が管理するコンテナーです。これらのバケットは、Object Bucket Claim (オブジェクトバケット要求、OBC) を使用して作成され、アクセスされます。特定のポリシーをバケットに適用して、データの配置、データのスピルオーバー、データの回復性、容量のクォータなどをカスタマイズできます。

このカードでは、オブジェクトバケット (OB) および Object Bucket Claim (オブジェクトバケット要求、OBC) に関する情報が個別に表示されます。OB には、S3 またはユーザーインターフェイス (UI) を使用して作成されたすべてのバケットと、OBC には YAML またはコマンドラインインターフェイス (CLI) を使用して作成されたすべてのバケットが含まれます。バケットタイプの左側に表示される数は、OB または OBC の合計数です。右側に表示される数字はエラー数であり、エラー数がゼロよりも大きい場合にのみ表示されます。数字をクリックすると、警告またはエラーステータスのあるバケットの一覧を表示できます。

Resource Providers カード

このカードには、現在使用中のすべての Multicloud Object Gateway (MCG) および RADOS Object Gateway リソースの一覧が表示されます。これらのリソースは、バケットポリシーに従ってデータを保存するために使用されます。これらはクラウドベースのリソースまたはベアメタルリソースになります。

Status カード

このカードは、システムとそのサービスが問題なく実行されているかどうかを示します。システムが警告またはエラー状態にあると、Alerts セクションが表示され、関連するアラートが表示されます。問題に関する詳細情報については、各アラートの横にあるアラートリンクをクリックしてください。ヘルスチェックに関する情報は、クラスターの正常性を参照してください。

複数のオブジェクトストレージサービスがクラスターで利用可能な場合は、サービスタイプ (Object Service または Data Resiliency など) をクリックして個々のサービスの状態を表示します。

このステータスカードの Data Resiliency (データ回復性) では、Multicloud Object Gateway および RADOS Object Gateway で保存されたデータに関して回復性の問題があるかどうかが分かります。

Capacity breakdown カード

このカードでは、アプリケーションが Multicloud Object Gateway および RADOS Object Gateway でオブジェクトストレージをどのように消費するかを視覚化できます。Service Type ドロップダウンを使用して、Multicloud Gateway および Object Gateway の容量の内訳を個別に表示できます。Multicloud Object Gateway を表示する場合、Break By ドロップダウンを使用して、グラフ内で Projects または Bucket Class 別に結果をフィルタリングできます。

Performance カード

このカードでは、Multicloud Object Gateway または RADOS Object Gateway のパフォーマンスを表示できます。Service Type ドロップダウンを使用して、表示するサービスタイプを選択します。

Multicloud Object Gateway アカウントの場合は、I/O 操作と論理的に使用される容量を表示できます。プロバイダーの場合、I/O 操作、物理的および論理的な使用量、および egress を表示できます。

以下の表は、カードの上部にあるドロップダウンメニューからの選択に応じて表示される各種のメトリクスを示しています。

表3.1 Multicloud Object Gateway のインジケーター
コンシューマータイプ	メトリクス	チャートの表示
アカウント	I/O 操作	上位 5 コンシューマーの読み取りおよび書き込み I/O 操作を表示します。すべてのコンシューマーの読み取りおよび書き込みの合計は下部に表示されます。この情報は、アプリケーションまたはアカウントごとにスループット要求 (IOPS) をモニターするのに役立ちます。
アカウント	論理的な使用容量	上位 5 コンシューマーの各アカウントの論理的な使用量の合計を表示します。これは、アプリケーションまたはアカウントごとのスループット需要をモニターするのに役立ちます。
プロバイダー	I/O 操作	プロバイダーがホストするストレージバックエンドにアクセスする際に MCG が生成する I/O 操作の数を表示します。これはクラウド内のトラフィックを把握するのに役立ち、I/O パターンに従ってリソース割り当てを改善することができるため、コストの最適化に役立ちます。
プロバイダー	物理的な使用量 vs 論理的な使用量	プロバイダーごとに物理的な使用量と論理的な使用量を比較して、システム内のデータ消費を表示します。これにより、ストレージリソースを制御し、使用状況の特性やパフォーマンス要件に基づいて配置ストラテジーを立てることができ、これによりコストを最適化できる可能性もあります。
プロバイダー	Egress	各プロバイダーから MCG が取得するデータ量 (アプリケーションに関連する読み取りの帯域幅)。これにより、egress パターンに基づいてリソースの割り当てを改善するためにクラウド内のトラフィックを把握し、コストを最適化できます。

RADOS Object Gateway では、Metric ドロップダウンを使用して Latency または Bandwidth を表示できます。

レイテンシー: RADOS Object Gateway インスタンス全体の GET/PUT のレイテンシーの平均的な差異を視覚的に表示します。
帯域幅: RADOS Object Gateway インスタンス間の GET/PUT 帯域幅の合計を視覚的に表示します。

Activity カード

Ongoing: データ回復性および OpenShift Data Foundation Operator のアップグレードに関連する継続中のアクティビティーの進捗を表示します。
recent Events: openshift-storage namespace で発生するイベントの一覧を表示します。

3.3. プールメトリクス

プールメトリクスダッシュボードは、データ消費を効率的に確保するための情報を提供します。また、圧縮を有効/無効にする方法を提供します。

プールメトリクスの表示

プールリストを表示するには、以下を実行します。

Storage → Data Foundation をクリックします。
Storage systems タブでストレージシステムを選択し、BlockPools をクリックします。

プール名をクリックすると、各プールダッシュボードの以下のカードがデプロイメントモード (内部または外部) に基づいてメトリクスと共に表示されます。

Details カード

Details カードには、以下が表示されます。

プール名
ボリュームタイプ
レプリカ

Status カード

このカードは、プールがエラーなしで稼働しているか、何らかの問題があるかを示します。

Mirroring カード

ミラーリングオプションを有効にすると、このカードにはミラーリングのステータス、イメージの正常性、および最後にチェックされたタイムスタンプが表示されます。ミラーリングメトリクスは、クラスターレベルのミラーリングが有効な場合に表示されます。メトリクスは、障害復旧の失敗を回避し、データがそのまま保持されるように不一致を通知するのに役立ちます。

ミラーリングカードには、以下のような高レベルの情報が表示されます。

特定のプールに対して enabled または disabled のいずれかとミラーリングの状態。
プール下のすべてのイメージのステータスが正常に複製されるかどうか。
複製されているイメージと複製されていないイメージの割合。

Inventory カード

Inventory カードには、ストレージクラスおよび永続ボリューム要求 (PVC) の数が表示されます。

Compression カード

このカードには、ケースが使用可能であるため、圧縮ステータスが enabled または disabled と表示されます。また、以下のようにストレージ効率の詳細も表示します。

書き込まれた圧縮可能データのどの部分が圧縮可能であるかを示す圧縮適格性 (ceph パラメーターごと)
圧縮可能なデータの圧縮比率
圧縮による節約は、圧縮可能なデータの合計節約 (レプリカを含む) を提供します。
既存のプールの圧縮を有効または無効にする方法は、Updating an existing pool を参照してください。

Raw Capacity カード

このカードには、クラスター上のレプリケーションを含む RAW ストレージ容量の合計が表示されます。

Used は、プールで使用されるストレージ容量を示します。
Available は、クラスターで利用可能な Raw ストレージ容量を示します。

Performance カード

このカードでは、アプリケーションまたはアカウントごとの I/O 操作の使用状況とスループットの需要を確認できます。グラフは、インスタンス全体の平均遅延または帯域幅を示します。

3.4. RBD および CephFS ボリュームでのメタデータの有効化

監視目的で、RADOS ブロックデバイス (RBD) および CephFS ボリュームに永続ボリュームクレーム (PVC)、永続ボリューム (PV)、および namespace 名を設定できます。これにより、RBD および CephFS メタデータを読み取り、OpenShift Container Platform と RBD ボリュームと CephFS ボリューム間のマッピングを特定できます。

RADOS ブロックデバイス (RBD) および CephFS ボリュームメタデータ機能を有効にするには、rook-ceph-operator-config configmap で CSI_ENABLE_METADATA 変数を設定する必要があります。デフォルトでは、この機能は無効にされています。以前のバージョンからアップグレードした後にこの機能を有効にすると、既存の PVC にはメタデータが含まれなくなります。また、メタデータ機能を有効にすると、有効にする前に作成された PVC にはメタデータが含まれなくなります。

前提条件

ocs_operator をインストールし、Operator の storagecluster を作成する。

storagecluster が Ready 状態にあることを確認する。

$ oc get storagecluster
NAME                 AGE   PHASE   EXTERNAL   CREATED AT             VERSION
ocs-storagecluster   57m   Ready              2022-08-30T06:52:58Z   4.12.0

手順

rook-ceph Operator の ConfigMap を編集して、CSI_ENABLE_METADATA を true にマークします。

$ oc patch cm rook-ceph-operator-config -n openshift-storage -p $'data:\n "CSI_ENABLE_METADATA":  "true"'
configmap/rook-ceph-operator-config patched

それぞれの CSI CephFS プラグインプロビジョナー Pod および CSI RBD プラグイン Pod が Running 状態になるまで待機します。

注記

メタデータ機能を有効にした後に、setmetadata 変数が自動的に設定されていることを確認します。メタデータ機能が無効になっている場合は、この変数は利用できません。

$ oc get pods | grep csi

csi-cephfsplugin-b8d6c                         2/2     Running     0          56m
csi-cephfsplugin-bnbg9                         2/2     Running     0          56m
csi-cephfsplugin-kqdw4                         2/2     Running     0          56m
csi-cephfsplugin-provisioner-7dcd78bb9b-q6dxb  5/5     Running     0          56m
csi-cephfsplugin-provisioner-7dcd78bb9b-zc4q5  5/5     Running     0          56m
csi-rbdplugin-776dl                            3/3     Running     0          56m
csi-rbdplugin-ffl52                            3/3     Running     0          56m
csi-rbdplugin-jx9mz                            3/3     Running     0          56m
csi-rbdplugin-provisioner-5f6d766b6c-694fx     6/6     Running     0          56m
csi-rbdplugin-provisioner-5f6d766b6c-vzv45     6/6     Running     0          56m

検証手順

RBD PVC のメタデータを確認するには、以下を実行します。

PVC を作成します。

$ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: ocs-storagecluster-ceph-rbd
EOF

PVC のステータスを確認します。

$ oc get pvc | grep rbd-pvc
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   32s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

Red Hat Ceph Storage CLI にアクセスする方法については、How to access Red Hat Ceph Storage CLI in Red Hat OpenShift Data Foundation environment アーティクルを参照してください。

[sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool

csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

このイメージには 4 つのメタデータがあります。

Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-30628fa8-2966-499c-832d-a6a3a8ebc594
csi.storage.k8s.io/pvc/name       rbd-pvc
csi.storage.k8s.io/pvc/namespace  openshift-storage

RBD クローンのメタデータを確認するには、以下を実行します。

クローンを作成します。

$ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc-clone
spec:
  storageClassName: ocs-storagecluster-ceph-rbd
  dataSource:
    name: rbd-pvc
    kind: PersistentVolumeClaim
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
EOF

クローンのステータスを確認します。

$ oc get pvc | grep rbd-pvc
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   15m
rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   52s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

[sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-063b982d-2845-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0
csi.storage.k8s.io/pvc/name       rbd-pvc-clone
csi.storage.k8s.io/pvc/namespace  openshift-storage

RBD スナップショットのメタデータを確認するには、以下を実行します。

スナップショットを作成します。

$ cat <<EOF | oc create -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: rbd-pvc-snapshot
spec:
  volumeSnapshotClassName: ocs-storagecluster-rbdplugin-snapclass
  source:
    persistentVolumeClaimName: rbd-pvc
EOF
volumesnapshot.snapshot.storage.k8s.io/rbd-pvc-snapshot created

スナップショットのステータスを確認します。

$ oc get volumesnapshot
NAME               READYTOUSE   SOURCEPVC   SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                            SNAPSHOTCONTENT                                    CREATIONTIME   AGE
rbd-pvc-snapshot   true         rbd-pvc                             1Gi           ocs-storagecluster-rbdplugin-snapclass   snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f   17s            18s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

[sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                                            Value
csi.ceph.com/cluster/name                      6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/volumesnapshot/name         rbd-pvc-snapshot
csi.storage.k8s.io/volumesnapshot/namespace    openshift-storage
csi.storage.k8s.io/volumesnapshotcontent/name  snapcontent-b992b782-7174-4101-8fe3-e6e478eb2c8f

RBD Restore のメタデータを確認します。

ボリュームスナップショットを復元します。

$ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc-restore
spec:
  storageClassName: ocs-storagecluster-ceph-rbd
  dataSource:
    name: rbd-pvc-snapshot
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/rbd-pvc-restore created

復元されたボリュームスナップショットのステータスを確認します。

$ oc get pvc | grep rbd
db-noobaa-db-pg-0                 Bound    pvc-615e2027-78cd-4ea2-a341-fdedd50c5208   50Gi       RWO            ocs-storagecluster-ceph-rbd   51m
rbd-pvc                           Bound    pvc-30628fa8-2966-499c-832d-a6a3a8ebc594   1Gi        RWO            ocs-storagecluster-ceph-rbd   47m
rbd-pvc-clone                     Bound    pvc-0d72afda-f433-4d46-a7f1-a5fcb3d766e0   1Gi        RWO            ocs-storagecluster-ceph-rbd   32m
rbd-pvc-restore                   Bound    pvc-f900e19b-3924-485c-bb47-01b84c559034   1Gi        RWO            ocs-storagecluster-ceph-rbd   111s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

[sh-4.x]$ rbd ls ocs-storagecluster-cephblockpool
csi-snap-a1e24408-2848-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012
csi-vol-063b982d-2845-11ed-94bd-0a580a830012-temp
csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
csi-vol-7d67bfad-2842-11ed-94bd-0a580a830012
csi-vol-ed5ce27b-2842-11ed-94bd-0a580a830012

[sh-4.x]$ rbd image-meta ls ocs-storagecluster-cephblockpool/csi-vol-5f6e0737-2849-11ed-94bd-0a580a830012
There are 4 metadata on this image:

Key                               Value
csi.ceph.com/cluster/name         6cd7a18d-7363-4830-ad5c-f7b96927f026
csi.storage.k8s.io/pv/name        pvc-f900e19b-3924-485c-bb47-01b84c559034
csi.storage.k8s.io/pvc/name       rbd-pvc-restore
csi.storage.k8s.io/pvc/namespace  openshift-storage

CephFS PVC のメタデータを確認するには、以下を実行します。

PVC を作成します。

cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: ocs-storagecluster-cephfs
EOF

PVC のステータスを確認します。

oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     11s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

$ ceph fs volume ls
[
    {
        "name": "ocs-storagecluster-cephfilesystem"
    }
]

$ ceph fs subvolumegroup ls ocs-storagecluster-cephfilesystem
[
    {
        "name": "csi"
    }
]

$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}

CephFS クローンのメタデータを確認するには、以下を実行します。

クローンを作成します。

$ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc-clone
spec:
  storageClassName: ocs-storagecluster-cephfs
  dataSource:
    name: cephfs-pvc
    kind: PersistentVolumeClaim
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/cephfs-pvc-clone created

クローンのステータスを確認します。

$ oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     9m5s
cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

[rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

[rook@rook-ceph-tools-c99fd8dfc-6sdbg /]$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc-clone",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}

CephFS ボリュームスナップショットのメタデータを確認するには、以下を実行します。

ボリュームスナップショットを作成します。

$ cat <<EOF | oc create -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: cephfs-pvc-snapshot
spec:
  volumeSnapshotClassName: ocs-storagecluster-cephfsplugin-snapclass
  source:
    persistentVolumeClaimName: cephfs-pvc
EOF
volumesnapshot.snapshot.storage.k8s.io/cephfs-pvc-snapshot created

ボリュームスナップショットのステータスを確認します。

$ oc get volumesnapshot
NAME                  READYTOUSE   SOURCEPVC    SOURCESNAPSHOTCONTENT   RESTORESIZE   SNAPSHOTCLASS                               SNAPSHOTCONTENT                                    CREATIONTIME   AGE
cephfs-pvc-snapshot   true         cephfs-pvc                           1Gi           ocs-storagecluster-cephfsplugin-snapclass   snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0   9s             9s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

$ ceph fs subvolume snapshot ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 --group_name csi
[
    {
        "name": "csi-snap-06336f4e-284e-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume snapshot metadata ls ocs-storagecluster-cephfilesystem csi-vol-25266061-284c-11ed-95e0-0a580a810215 csi-snap-06336f4e-284e-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/volumesnapshot/name": "cephfs-pvc-snapshot",
    "csi.storage.k8s.io/volumesnapshot/namespace": "openshift-storage",
    "csi.storage.k8s.io/volumesnapshotcontent/name": "snapcontent-f0f17463-d13b-4e13-b44e-6340bbb3bee0"
}

CephFS Restore のメタデータを確認するには、以下を実行します。

ボリュームスナップショットを復元します。

$ cat <<EOF | oc create -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc-restore
spec:
  storageClassName: ocs-storagecluster-cephfs
  dataSource:
    name: cephfs-pvc-snapshot
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
EOF
persistentvolumeclaim/cephfs-pvc-restore created

復元されたボリュームスナップショットのステータスを確認します。

$ oc get pvc | grep cephfs
cephfs-pvc                        Bound    pvc-4151128c-86f0-468b-b6e7-5fdfb51ba1b9   1Gi        RWO            ocs-storagecluster-cephfs     29m
cephfs-pvc-clone                  Bound    pvc-3d4c4e78-f7d5-456a-aa6e-4da4a05ca4ce   1Gi        RWX            ocs-storagecluster-cephfs     20m
cephfs-pvc-restore                Bound    pvc-43d55ea1-95c0-42c8-8616-4ee70b504445   1Gi        RWX            ocs-storagecluster-cephfs     21s

Red Hat Ceph Storage コマンドラインインターフェイス (CLI) でメタデータを確認します。

$ ceph fs subvolume ls ocs-storagecluster-cephfilesystem --group_name csi
[
    {
        "name": "csi-vol-3536db13-2850-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-5ea23eb0-284d-11ed-95e0-0a580a810215"
    },
    {
        "name": "csi-vol-25266061-284c-11ed-95e0-0a580a810215"
    }
]

$ ceph fs subvolume metadata ls ocs-storagecluster-cephfilesystem csi-vol-3536db13-2850-11ed-95e0-0a580a810215 --group_name=csi --format=json

{
    "csi.ceph.com/cluster/name": "6cd7a18d-7363-4830-ad5c-f7b96927f026",
    "csi.storage.k8s.io/pv/name": "pvc-43d55ea1-95c0-42c8-8616-4ee70b504445",
    "csi.storage.k8s.io/pvc/name": "cephfs-pvc-restore",
    "csi.storage.k8s.io/pvc/namespace": "openshift-storage"
}

第4章アラート

4.1. アラートの設定

内部モードのクラスターの場合、ストレージメトリクスサービス、ストレージクラスター、ディスクデバイス、クラスターの正常性、クラスター容量などに関連する各種のアラートが Block および File およびオブジェクトダッシュボードに表示されます。これらのアラートは外部モードでは使用できません。

注記

このパネルには発生するアラートのみが表示されるため、アラートがアラートパネルに表示されるまでに数分の時間がかかる場合があります。

また、追加の詳細情報と共にアラートを表示し、OpenShift Container Platform でアラートの表示をカスタマイズすることもできます。

詳細は、アラートの管理を参照してください。

第5章リモートヘルスモニタリング

OpenShift Data Foundation はクラスターの正常性、使用状況、およびクラスターのサイズについての匿名の集計情報を収集し、統合コンポーネントの Telemetry 経由でこれを Red Hat にレポートします。Red Hat では、このような情報を OpenShift Data Foundation の改善のために、またお客様に影響を与える問題への対応を迅速化するために使用します。

Telemetry 経由でデータを Red Hat にレポートするクラスターは 接続クラスター (connected cluster) と見なされます。

5.1. Telemetry について

Telemetry は厳選されたクラスターモニタリングメトリクスのサブセットを Red Hat に送信します。これらのメトリクスは継続的に送信され、以下について記述します。

OpenShift Data Foundation クラスターのサイズ
OpenShift Data Foundation コンポーネントの正常性およびステータス
実行されるアップグレードの正常性およびステータス
OpenShift Data Foundation のコンポーネントおよび機能についての使用情報 (一部の制限された情報)
クラスターモニタリングコンポーネントによってレポートされるアラートについてのサマリー情報

Red Hat では、リアルタイムでクラスターの正常性をモニターし、お客様に影響を与える問題に随時対応するためにこのデータの継続的なストリームを使用します。またこれにより、Red Hat がサービスへの影響を最小限に抑えつつつアップグレードエクスペリエンスの継続的な改善に向けた OpenShift Data Foundation のアップグレードの展開を可能にします。

このデバッグ情報は、サポートケースでレポートされるデータへのアクセスと同じ制限が適用された状態で Red Hat サポートおよびエンジニアリングチームが利用できます。接続クラスターのすべての情報は、OpenShift Data Foundationd をより使用しやすく、より直感的に使用できるようにするために Red Hat によって使用されます。この情報のいずれもサードパーティーと共有されることはありません。

5.2. Telemetry で収集される情報

Telemetry によって収集される主な情報には、以下が含まれます。

Ceph クラスターのバイト単位のサイズ: "ceph_cluster_total_bytes"
使用される Ceph クラスターストレージの量 (バイト単位): "ceph_cluster_total_used_raw_bytes"
Ceph クラスターの正常性ステータス: "ceph_health_status"
オブジェクトストレージデバイス (OSD) の総数: "job:ceph_osd_metadata:count"
Red Hat OpenShift Container Platform クラスターに存在する OpenShift Data Foundation Persistent Volume (PV) の総数: "job:kube_pv:count"
Ceph クラスター内のすべてのプールの 1 秒あたりの入出力操作 (IOPS) (読み取り + 書き込み) の合計値: "job:ceph_pools_iops:total"
Ceph クラスター内のすべてのプールの合計 IOPS (読み取り + 書き込み) 値 (バイト単位): "job:ceph_pools_iops_bytes:total"
実行中の Ceph クラスターバージョンの合計数: "job:ceph_versions_running:count"
異常な NooBaa バケットの総数: "job:noobaa_total_unhealthy_buckets:sum"
NooBaa バケットの総数: "job:noobaa_bucket_count:sum"
NooBaa オブジェクトの総数: "job:noobaa_total_object_count:sum"
NooBaa アカウントの数: "noobaa_accounts_num"
NooBaa によるストレージの合計使用量 (バイト単位): "noobaa_total_usage"
特定のストレージプロビジョナーからの永続ボリューム要求 (PVC) によって要求されたストレージの合計量 (バイト単位): "cluster:kube_persistentvolumeclaim_resource_requests_storage_bytes:provisioner:sum"
特定のストレージプロビジョナーからの PVC によって使用されるストレージの合計量 (バイト単位): "cluster:kubelet_volume_stats_used_bytes:provisioner:sum"

Telemetry は、ユーザー名、パスワード、ユーザーリソースの名前またはアドレスなどの識別情報を収集しません。

OpenShift Data Foundation の監視

クラスターの正常性、メトリクス、またはアラートの設定の表示

多様性を受け入れるオープンソースの強化

Red Hat ドキュメントへのフィードバック (英語のみ)

第1章クラスターの正常性

1.1. OpenShift Data Foundation の正常性の確認

1.2. ストレージの正常性レベルおよびクラスターの状態

1.2.1. Data Foundation ダッシュボードのインジケーター

1.2.2. Object ダッシュボードのインジケーター

1.2.3. Alert パネル

第2章マルチクラスターストレージの正常性

2.1. ハブクラスターでのマルチクラスターダッシュボードの有効化

2.2. ハブクラスターでのマルチクラスターストレージの状態の確認

第3章メトリクス

3.1. Block および File ダッシュボードでのメトリクス

3.2. Object ダッシュボードでのメトリクス

3.3. プールメトリクス

3.4. RBD および CephFS ボリュームでのメタデータの有効化

第4章アラート

4.1. アラートの設定

第5章リモートヘルスモニタリング

5.1. Telemetry について

5.2. Telemetry で収集される情報

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Red Hat legal and privacy links

Red Hat legal and privacy links

OpenShift Data Foundation の監視

クラスターの正常性、メトリクス、またはアラートの設定の表示

多様性を受け入れるオープンソースの強化

Red Hat ドキュメントへのフィードバック (英語のみ)

第1章 クラスターの正常性

1.1. OpenShift Data Foundation の正常性の確認

1.2. ストレージの正常性レベルおよびクラスターの状態

1.2.1. Data Foundation ダッシュボードのインジケーター

1.2.2. Object ダッシュボードのインジケーター

1.2.3. Alert パネル

第2章 マルチクラスターストレージの正常性

2.1. ハブクラスターでのマルチクラスターダッシュボードの有効化

2.2. ハブクラスターでのマルチクラスターストレージの状態の確認

第3章 メトリクス

3.1. Block および File ダッシュボードでのメトリクス

3.2. Object ダッシュボードでのメトリクス

3.3. プールメトリクス

3.4. RBD および CephFS ボリュームでのメタデータの有効化

第4章 アラート

4.1. アラートの設定

第5章 リモートヘルスモニタリング

5.1. Telemetry について

5.2. Telemetry で収集される情報

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Red Hat legal and privacy links

Red Hat legal and privacy links

第1章クラスターの正常性

第2章マルチクラスターストレージの正常性

第3章メトリクス

第4章アラート

第5章リモートヘルスモニタリング