第3章 永続ストレージについて
永続ストレージは Pod ライフサイクルからデータを分離し、ステートフルなアプリケーションが再起動や障害後もデータを保持できるようにします。管理者は永続ボリューム (PV) をプロビジョニングし、開発者は永続ボリューム要求 (PVC) を作成して、インフラストラクチャーの知識なしにストレージを要求します。
3.1. 永続ストレージの概要 リンクのコピーリンクがクリップボードにコピーされました!
永続ボリューム (PV) と永続ボリューム要求 (PVC) は、ストレージのプロビジョニングと消費を分離するため、管理者はストレージリソースを管理でき、開発者は容量とアクセスモードを個別に要求できます。
ストレージの管理は、コンピュートリソースの管理とは異なります。OpenShift Container Platform は Kubernetes 永続ボリューム (PV) フレームワークを使用してクラスター管理者がクラスターの永続ストレージのプロビジョニングを実行できるようにします。開発者は、永続ボリューム要求 (PVC) を使用すると、基礎となるストレージインフラストラクチャーについて特定の知識がなくても PV リソースを要求することができます。
PVC はプロジェクトに固有のもので、開発者が PV を使用する手段として作成し、使用します。PV リソース自体のスコープはいずれの単一プロジェクトにも設定されず、それらは OpenShift Container Platform クラスター全体で共有でき、すべてのプロジェクトから要求できます。PV が PVC にバインドされた後は、その PV を追加の PVC にバインドできません。これにはバインドされた PV を単一の namespace (バインディングプロジェクトの namespace) にスコープ設定する作用があります。
PV は、クラスター管理者によって静的にプロビジョニングされているか、StorageClass オブジェクトを使用して動的にプロビジョニングされているクラスター内の既存ストレージの一部を表す、PersistentVolume API オブジェクトで定義されます。これは、ノードがクラスターリソースであるのと同様に、クラスター内のリソースです。
PV は Volumes などのボリュームプラグインですが、PV を使用する個々の Pod から独立したライフサイクルを持ちます。PV オブジェクトは、NFS、iSCSI、またはクラウドプロバイダー固有のストレージシステムのいずれの場合でも、ストレージの実装の詳細をキャプチャーします。
インフラストラクチャーにおけるストレージの高可用性は、基礎となるストレージのプロバイダーに委ねられています。
PVC は、開発者によるストレージの要求を表す PersistentVolumeClaim API オブジェクトによって定義されます。これは Pod がノードリソースを消費する点で Pod に似ており、PVC は PV リソースを消費します。たとえば、Pod は特定のレベルのリソース (CPU およびメモリーなど) を要求し、PVC は特定のストレージ容量およびアクセスモードを要求できます。たとえば、一度だけ読み書き可能な状態でマウントすることも、複数回読み取り専用でマウントすることも可能です。
3.2. ボリュームおよび要求のライフサイクル リンクのコピーリンクがクリップボードにコピーされました!
永続ボリューム (PV) のライフサイクルには、プロビジョニング、BIND、使用、リリース、回収の 5 つのフェーズがあります。各フェーズには、ストレージの可用性とデータ保持に影響を与える動作があります。ライフサイクルを理解することで、回収ポリシーの選択、バインディングの失敗のトラブルシューティング、データ損失の防止に役立ちます。
PV はクラスターのリソースです。永続ボリューム要求 (PVC) はそれらのリソースの要求であり、リソースに対する要求チェックとして機能します。
PV と PVC 間の相互作用には以下のライフサイクルがあります。
3.2.1. ストレージのプロビジョニング リンクのコピーリンクがクリップボードにコピーされました!
PVC で定義される開発者からの要求に対応し、クラスター管理者はストレージおよび一致する PV をプロビジョニングする 1 つ以上の動的プロビジョナーを設定します。
または、クラスター管理者は、使用可能な実際のストレージの詳細を保持する多数の PV を前もって作成できます。PV は API に存在し、利用可能な状態になります。
3.2.2. 要求のバインド リンクのコピーリンクがクリップボードにコピーされました!
PVC の作成時に、ストレージの特定容量の要求、必要なアクセスモードの指定のほか、ストレージクラスを作成してストレージの記述や分類を行います。マスターのコントロールループは新規 PVC の有無を監視し、新規 PVC を適切な PV にバインドします。適切な PV がない場合は、ストレージクラスのプロビジョナーが PV を作成します。
すべての PV のサイズが PVC サイズを超える可能性があります。これは、手動でプロビジョニングされる PV にとくに当てはまります。超過を最小限にするために、OpenShift Container Platform は他のすべての条件に一致する最小の PV にバインドします。
要求は、一致するボリュームが存在しないか、ストレージクラスを提供するいずれの利用可能なプロビジョナーで作成されない場合には無期限にバインドされないままになります。要求は、一致するボリュームが利用可能になるとバインドされます。たとえば、多数の手動でプロビジョニングされた 50Gi ボリュームを持つクラスターは 100Gi を要求する PVC に一致しません。PVC は 100Gi PV がクラスターに追加されるとバインドされます。
3.2.3. Pod および要求した PV の使用 リンクのコピーリンクがクリップボードにコピーされました!
Pod は要求をボリュームとして使用します。クラスターは要求を検査して、バインドされたボリュームを検索し、Pod にそのボリュームをマウントします。複数のアクセスモードをサポートするボリュームの場合は、要求を Pod のボリュームとして使用する際に適用するモードを指定する必要があります。
要求が存在し、その要求がバインドされている場合、バインドされた PV は必要な限り所属させることができます。Pod のスケジュールおよび要求された PV のアクセスは、persistentVolumeClaim を Pod のボリュームブロックに組み込んで実行できます。
ファイル数が多い永続ボリュームを Pod に割り当てる場合、それらの Pod は失敗するか、起動に時間がかかる場合があります。詳細は、Red Hat ナレッジベースの記事 "When using Persistent Volumes with high file counts in OpenShift, why do pods fail to start or take a excessive amount of time to achieve "Ready" state?" を参照してください。
3.2.4. 使用中のストレージオブジェクトの保護 リンクのコピーリンクがクリップボードにコピーされました!
使用中のストレージオブジェクトの保護機能を使用すると、Pod または PVC にバインドされる PV によってアクティブに使用されている PVC がシステムから削除されないようにすることができます。これらが削除されると、データが失われる可能性があります。
使用中のストレージオブジェクトの保護はデフォルトで有効にされています。
PVC は、PVC を使用する Pod オブジェクトが存在する場合に Pod によってアクティブに使用されます。
ユーザーが Pod によってアクティブに使用されている PVC を削除する場合でも、PVC はすぐに削除されません。PVC の削除は、PVC が Pod によってアクティブに使用されなくなるまで延期されます。また、クラスター管理者が PVC にバインドされる PV を削除しても、PV はすぐに削除されません。PV の削除は、PV が PVC にバインドされなくなるまで延期されます。
3.2.5. 永続ボリュームの解放 リンクのコピーリンクがクリップボードにコピーされました!
ボリュームの処理が終了したら、API から PVC オブジェクトを削除できます。これにより、リソースを回収できるようになります。ボリュームは要求の削除時に解放 (リリース) されたものとみなされますが、別の要求で利用できる状態にはなりません。以前の要求側に関連するデータはボリューム上に残るため、ポリシーに基づいて処理される必要があります。
3.2.6. 永続ボリュームの回収ポリシー リンクのコピーリンクがクリップボードにコピーされました!
永続ボリュームの回収ポリシーは、クラスターに対してリリース後のボリュームの処理方法を指示します。ボリュームの回収ポリシーは、Retain、Recycle または Delete のいずれかにすることができます。
-
Retain回収ポリシーは、サポートするボリュームプラグインのリソースの手動による回収を許可します。 -
Recycle回収ポリシーは、ボリュームがその要求からリリースされると、バインドされていない永続ボリュームのプールにボリュームをリサイクルします。
Recycle 回収ポリシーは OpenShift Container Platform 4 では非推奨となっています。動的プロビジョニングは、同等またはそれ以上の機能で推奨されます。
-
Delete回収ポリシーは、OpenShift Container Platform のPersistentVolumeオブジェクトと、Amazon Elastic Block Store (Amazon EBS) または VMware vSphere などの外部インフラストラクチャーの関連するストレージアセットの両方を削除します。
動的にプロビジョニングされたボリュームは常に削除されます。
3.2.7. 永続ボリュームの手動回収 リンクのコピーリンクがクリップボードにコピーされました!
解放された永続ボリューム (PV) を手動で回収して、新しい請求に利用できるようにしたり、ストレージ資産を適切にクリーンアップしたりします。
永続ボリューム要求 (PVC) が削除されても、永続ボリューム (PV) は依然として存在し、"released" (リリース済み) とみなされます。ただし、PV は、直前の要求側のデータがボリューム上に残るため、別の要求には利用できません。
手順
以下のコマンドを実行して永続ボリュームを削除します。
$ oc delete pv <pv_name>AWS EBS、GCE PD、Azure Disk、Cinder ボリュームなどの外部インフラストラクチャーの関連するストレージアセットは、PV の削除後も引き続き存在します。
- 関連するストレージアセットのデータをクリーンアップします。
- 関連するストレージアセットを削除します。または、同じストレージアセットを再利用するには、ストレージアセットの定義で新規 PV を作成します。
結果
回収される PV が別の PVC で使用できるようになります。
3.2.8. 永続ボリュームの回収ポリシーの変更 リンクのコピーリンクがクリップボードにコピーされました!
永続ボリュームの回収ポリシーを変更して、クレームの削除時にストレージを自動的に削除するか保持するかを制御します。Delete から Retain に切り替えると、データが誤って失われないように保護されます。Delete に変更すると、未使用のボリュームが自動的にクリーンアップされます。
手順
クラスターの永続ボリュームをリスト表示します。
$ oc get pv出力例
NAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Delete Bound default/claim1 manual 10s pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Delete Bound default/claim2 manual 6s pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Delete Bound default/claim3 manual 3s永続ボリュームの 1 つを選択し、その回収ポリシーを変更します。
$ oc patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'選択した永続ボリュームに正しいポリシーがあることを確認します。
$ oc get pv出力例
NAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Delete Bound default/claim1 manual 10s pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Delete Bound default/claim2 manual 6s pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94 4Gi RWO Retain Bound default/claim3 manual 3s上記の出力では、要求
default/claim3にバインドされたボリュームにRetain回収ポリシーが含まれるようになりました。ユーザーが要求default/claim3を削除しても、ボリュームは自動的に削除されません。
3.3. 永続ボリューム リンクのコピーリンクがクリップボードにコピーされました!
容量、アクセスモード、マウントオプション、回収ポリシーを使用して永続ボリューム (PV) を設定し、クラスター全体のストレージリソースをライフサイクルフェーズ全体で管理します。
各ストレージバックエンドは異なるアクセスモードの組み合わせをサポートし、ボリュームはフェーズ (Available、Bound、Releaseed、Failed) を通じて移行し、クレームの可用性に影響を与えます。
各 PV には、以下の例のように、ボリュームの仕様およびステータスである spec および status が含まれます。
PersistentVolume オブジェクト定義の例
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv0001
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
...
status:
...
-
metadata.name: 永続ボリュームの名前を指定します。 -
spec.storage: ボリュームに利用可能なストレージ容量を指定します。 -
spec.accessModes: アクセスモードを指定します。ここでは、読み取り/書き込み権限およびマウント権限を定義します。 -
spec.persistentVolumeReclaimPolicy: 回収ポリシーを指定します。これは、リソースがリリースされた後にどのように処理されるかを示します。
以下のコマンドを実行して、PV にバインドされている PVC の名前を表示できます。
$ oc get pv <pv_name> -o jsonpath='{.spec.claimRef.name}'
3.3.1. PV の種類 リンクのコピーリンクがクリップボードにコピーされました!
+ OpenShift Container Platform は以下の永続ボリュームプラグインをサポートします。
- AWS Elastic Block Store (EBS)。これはデフォルトでインストールされます。
- AWS Elastic File Store (EFS)
- Azure Disk
- Azure File
- Cinder
- Fibre Channel
- GCP Persistent Disk
- GCP Filestore
- IBM Power Virtual Server Block
- IBM Cloud® VPC Block
- HostPath
- iSCSI
- Local volume
- LVM Storage
- NFS
- OpenStack Manila
- Red Hat OpenShift Data Foundation
- CIFS/SMB
- VMware vSphere
3.3.2. 容量 リンクのコピーリンクがクリップボードにコピーされました!
通常、永続ボリューム (PV) には特定のストレージ容量があります。これは PV の capacity 属性を使用して設定されます。
現時点で、ストレージ容量は設定または要求できる唯一のリソースです。今後は属性として IOPS、スループットなどが含まれる可能性があります。
3.3.3. アクセスモード リンクのコピーリンクがクリップボードにコピーされました!
永続ボリュームは、リソースプロバイダーでサポートされるすべての方法でホストにマウントできます。プロバイダーには各種の機能があり、それぞれの PV のアクセスモードは特定のボリュームでサポートされる特定のモードに設定されます。たとえば、NFS は複数の読み取り/書き込みクライアントをサポートしますが、特定の NFS PV は読み取り専用としてサーバー上でエクスポートされる可能性があります。それぞれの PV は、その特定の PV の機能を記述するアクセスモードの独自のセットを取得します。
要求は、同様のアクセスモードのボリュームに一致します。一致する条件はアクセスモードとサイズの 2 つの条件のみです。要求のアクセスモードは要求 (request) を表します。そのため、より多くのアクセスを付与することはできますが、アクセスを少なくすることはできません。たとえば、要求により RWO が要求されるものの、利用できる唯一のボリュームが NFS PV (RWO+ROX+RWX) の場合に、要求は RWO をサポートする NFS に一致します。
直接的なマッチングが常に最初に試行されます。ボリュームのモードは、要求モードと一致するか、要求した内容以上のものを含む必要があります。サイズは予想されるものより多いか、これと同等である必要があります。2 つのタイプのボリューム (NFS および iSCSI など) のどちらにも同じセットのアクセスモードがある場合、それらのいずれかがそれらのモードを持つ要求に一致する可能性があります。ボリュームのタイプ間で順序付けすることはできず、タイプを選択することはできません。
同じモードのボリュームはすべて分類され、サイズ別 (一番小さいものから一番大きいもの順) に分類されます。バインダーは一致するモードのグループを取得し、1 つのサイズが一致するまでそれぞれを (サイズの順序で) 繰り返し処理します。
ボリュームアクセスモードは、ボリュームの機能を表すものです。これらは強制される制約ではありません。リソースの無効な使用によって発生する実行時エラーについては、ストレージプロバイダーが責任を負います。プロバイダーのエラーは、実行時にマウントエラーとして表示されます。
たとえば、NFS は ReadWriteOnce アクセスモードを提供します。ボリュームの ROX 機能を使用する場合は、要求に ReadOnlyMany マークを付けます。
iSCSI およびファイバーチャネルボリュームには現在、フェンシングメカニズムがありません。ボリュームが一度に 1 つのノードでのみ使用されるようにする必要があります。ノードの drain (Pod の退避) などの特定の状況では、ボリュームは 2 つのノードで同時に使用できます。ノードの drain (Pod の退避) を実行する前に、そのボリュームを使用している Pod を削除します。
以下の表では、アクセスモードをまとめています。
| アクセスモード | CLI の省略形 | 説明 |
|---|---|---|
| ReadWriteOnce |
| ボリュームはシングルノードで読み取り/書き込みとしてマウントできます。 |
| ReadWriteOncePod |
| ボリュームは、1 つのノード上の 1 つの Pod によって読み取り/書き込みとしてマウントできます。 |
| ReadOnlyMany |
| ボリュームは数多くのノードで読み取り専用としてマウントできます。 |
| ReadWriteMany |
| ボリュームは多数のノードで読み取り/書き込みとしてマウントできます。 |
| ボリュームプラグイン | ReadWriteOnce [1] | ReadWriteOncePod | ReadOnlyMany | ReadWriteMany |
|---|---|---|---|---|
| AWS EBS [2] | ✅ | ✅ | ||
| AWS EFS | ✅ | ✅ | ✅ | ✅ |
| Azure File | ✅ | ✅ | ✅ | ✅ |
| Azure Disk | ✅ | ✅ | ||
| CIFS/SMB | ✅ | ✅ | ✅ | ✅ |
| Cinder | ✅ | ✅ | ||
| Fibre Channel | ✅ | ✅ | ✅ | ✅ [3] |
| GCP Persistent Disk | ✅ [4] | ✅ | ✅ | ✅ [4] |
| GCP Filestore | ✅ | ✅ | ✅ | ✅ |
| HostPath | ✅ | ✅ | ||
| IBM Power Virtual Server Disk | ✅ | ✅ | ✅ | ✅ |
| IBM Cloud® VPC Disk | ✅ | ✅ | ||
| iSCSI | ✅ | ✅ | ✅ | ✅ [3] |
| Local volume | ✅ | ✅ | ||
| LVM Storage | ✅ | ✅ | ||
| NFS | ✅ | ✅ | ✅ | ✅ |
| OpenStack Manila | ✅ | ✅ | ||
| Red Hat OpenShift Data Foundation | ✅ | ✅ | ✅ | |
| VMware vSphere | ✅ | ✅ | ✅ [5] |
- ReadWriteOnce (RWO) ボリュームは複数のノードにマウントできません。ノードに障害が発生すると、システムは、すでに障害が発生しているノードに割り当てられているため、割り当てられた RWO ボリュームを新規ノードにマウントすることはできません。複数割り当てのエラーメッセージが表示される場合には、シャットダウンまたはクラッシュしたノードで Pod を強制的に削除し、動的永続ボリュームの割り当て時などの重要なワークロードでのデータ損失を回避します。
- AWS EBS に依存する Pod の再作成デプロイメントストラテジーを使用します。
-
raw ブロックボリュームのみが、ファイバーチャネルおよび iSCSI の
ReadWriteMany(RWX) アクセスモードをサポートします。詳細は、「ブロックボリュームのサポート」を参照してください。 GCP hyperdisk-balanced ディスクの場合:
サポートされているアクセスモードは次のとおりです。
-
ReadWriteOnce -
ReadWriteMany
-
-
ReadWriteManyアクセスモードが有効になっているディスクでは、クローン作成とスナップショット作成は無効になっています。 -
ReadWriteMany内の単一の hyperdisk-balanced ディスクボリュームを最大 8 つのインスタンスにアタッチできます。 -
すべてのインスタンスからディスクをデタッチした場合にのみ、
ReadWriteManyでディスクのサイズを変更できます。 - その他の制限事項は、Google Cloud ドキュメント「GCP hyperdisk-balanced disk additional limitations」を参照してください。
- 基盤となる vSphere 環境が vSAN ファイルサービスをサポートしている場合、OpenShift Container Platform によってインストールされた vSphere Container Storage Interface (CSI) Driver Operator は ReadWriteMany (RWX) ボリュームのプロビジョニングをサポートします。vSAN ファイルサービスが設定されていない場合に RWX を要求すると、ボリュームの作成に失敗し、エラーがログに記録されます。詳細は、「VMware vSphere CSI Driver Operator」を参照してください。
3.3.4. フェーズ リンクのコピーリンクがクリップボードにコピーされました!
ボリュームは以下のフェーズのいずれかにあります。
| フェーズ | 説明 |
|---|---|
| Available | まだ要求にバインドされていない空きリソースです。 |
| Bound | ボリュームが要求にバインドされています。 |
| Released | 要求が削除されていますが、リソースがまだクラスターにより回収されていません。 |
| Failed | ボリュームが自動回収に失敗しています。 |
- 最後のフェーズの移行時間
LastPhaseTransitionTimeフィールドには、永続ボリューム (PV) が別のフェーズ (pv.Status.Phase) に移行するたびに更新されるタイムスタンプが含まれます。PV の最後のフェーズ移行の時間を確認するには、次のコマンドを実行します。$ oc get pv <pv_name> -o json | jq '.status.lastPhaseTransitionTime''.status.lastPhaseTransitionTime' には、最後のフェーズ遷移を表示する PV の名前を指定します。
- マウントオプション
属性
mountOptionsを使用して PV のマウント中にマウントオプションを指定できます。以下に例を示します。
マウントオプションの例
apiVersion: v1 kind: PersistentVolume metadata: name: pv0001 spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce mountOptions: - nfsvers=4.1 nfs: path: /tmp server: 172.17.0.2 persistentVolumeReclaimPolicy: Retain claimRef: name: claim1 namespace: defaultspec.mountOptions: 指定のマウントオプションは、PV がディスクにマウントされている時に使用されます。以下の PV タイプがマウントオプションをサポートします。
- AWS Elastic Block Store (EBS)
- AWS Elastic File Storage (EFS)
- Azure Disk
- Azure File
- Cinder
- GCE Persistent Disk
- iSCSI
- Local volume
- NFS
- Red Hat OpenShift Data Foundation (Ceph RBD のみ)
- CIFS/SMB
VMware vSphere
注記ファイバーチャネルおよび HostPath PV はマウントオプションをサポートしません。
3.4. 永続ボリューム要求 リンクのコピーリンクがクリップボードにコピーされました!
永続ボリューム要求 (PVC) は、容量、アクセスモード、ストレージクラス要件を指定する namespace スコープのストレージ要求です。各クレームには、ストレージ要求パラメーターを定義する spec フィールドと、クレームのバインド状態と現在の条件を追跡する status フィールドが含まれています。
PersistentVolumeClaim オブジェクト定義の例
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: myclaim
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 8Gi
storageClassName: gold
status:
# ...
-
apiVersion: PVC の名前を指定します。 -
spec.accessModes: アクセスモードを指定します。ここでは、読み取り/書き込み権限およびマウント権限を定義します。 -
requests.storage: PVC に利用可能なストレージ容量を指定します。 -
storageClassName: 要求に必要なStorageClassの名前を指定します。
3.5. Volume Attributes Classes リンクのコピーリンクがクリップボードにコピーされました!
Volume Attributes Class を使用すると、再プロビジョニングやダウンタイムを発生させることなく、永続ボリューム要求に対して IOPS やスループットなどのストレージパフォーマンスを動的に変更できます。管理者は Quality of Service レベルを表すクラスを定義し、ユーザーはそれをオンデマンドのパフォーマンスチューニングに適用します。
3.5.1. ボリューム属性クラスの制限 リンクのコピーリンクがクリップボードにコピーされました!
Volume Attributes Classes には、以下の制限があります。
- AWS Elastic Block Storage (EBS) および Google Cloud Platform (GCP) の永続ディスク (PD) Container Storage Interface (CSI) でのみサポートされています。
- GCP PD では、Volume Attributes Classes を使用したボリュームの変更は、ディスクタイプが hyperdisk-balanced の場合にのみ可能です。
-
VolumeAttributesClassには、512 個までのパラメーターを定義できます。 - キーと値を含むパラメーターのオブジェクトの合計長は 256 KiB 以下でなければなりません。
- Volume Attributes Class を PVC に適用する場合、その PVC に適用された Volume Attributes Class を変更することはできますが、PVC から削除することはできません。PVC から Volume Attributes Class を削除するには、その PVC を削除してから、再度その PVC を作成する必要があります。
- Volume Attributes Class のパラメーターは編集できません。Volume Attributes Class のパラメーターを変更する必要がある場合は、必要なパラメーターを持つ新しい Volume Attributes Class を作成し、それを PVC に適用します。
3.5.2. Volume Attributes Classes の定義 リンクのコピーリンクがクリップボードにコピーされました!
Volume Attributes Classes を定義する場合には、ストレージプロバイダーでサポートされているパラメーターを確認し、すべての Volume Attributes Classes の定義において、すべてのパラメーターを明示的に宣言する必要があります。
1 つのドライバー上に異なるパラメーターセットが指定されたボリューム属性クラスが複数存在し、ある Volume Attributes Classes から別の Volume Attributes Classes に変更した場合、定義されていないすべてのパラメーターがデフォルト値に戻されると予想するかもしれませんが、デフォルト値に戻されるわけではありません。未定義のパラメーターは変更されません。
たとえば、以下のような場合:
-
Volume Attributes Classes A は、スループット
125、IOPS300を定義します。 -
Volume Attributes Classes B は iops を
400までしか定義していません。
永続ボリューム要求 (PVC) が Volume Attributes Classes を A から B に変更すると、結果として得られるボリュームのパラメーターがスループット 125、IOPS 400 に変更されます。
openshift_cluster_storage_vac_mismatch_parameters メトリクスは、永続性の問題を引き起こす恐れがあるパラメーターのミスマッチを特定するのに有効です。
-
0: すべての Volume Attributes Classes は、同じパラメーターセットを定義します。 -
1: 不一致が検出されました。少なくとも 1 つの Volume Attributes Classes は、他のクラスとは異なるパラメーターセットを定義しています。
PVC 上の Volume Attributes Classes はいつでも変更できます。ただし、Volume Attributes Classes が短期間に複数回変更された場合、基盤となるストレージプロバイダーは、最新の変更がディスクに完全に反映されるまでに数時間の遅延を適用する場合があります。
以下は、AWS EBS の Volume Attributes Class YAML ファイルの例です。
VolumeAttributesClass AWS EBS 定義の例
apiVersion: storage.k8s.io/v1
kind: VolumeAttributesClass
metadata:
name: silver
driverName: ebs.csi.aws.com
parameters:
iops: "300"
throughput: "125"
type: io2
...
-
kind: オブジェクトを Volumes Attributes Classes として定義します。 -
metadata.Name:VolumeAttributesClassの名前を指定します。この例では、silverです。 -
driverName: 永続ボリューム (PV) のプロビジョニングに使用するボリュームプラグインを決定するプロビジョナーを指定します。この例では、AWS EBS の場合はebs.csi.aws.comです。 -
parameters.type: ディスクタイプを定義します。
以下は、GPC PD の Volume Attributes Class YAML ファイルの例です。
VolumeAttributesClass GPC PD 定義の例
apiVersion: storage.k8s.io/v1
kind: VolumeAttributesClass
metadata:
name: silver
driverName: pd.csi.storage.gke.io
parameters:
iops: "3000"
throughput: "150Mi"
...
-
kind: オブジェクトを Volumes Attributes Classes として定義します。 -
metadata.Name:VolumeAttributesClassの名前を指定します。この例では、silverです。 -
driverName: 永続ボリューム (PV) のプロビジョニングに使用するボリュームプラグインを決定するプロビジョナーを指定します。この例では、GPC PD の場合は "pd.csi.storage.gke.io" です。
3.5.3. PVC への Volume Attributes Class の適用 リンクのコピーリンクがクリップボードにコピーされました!
volumeAttributesClassName パラメーターを設定して、ボリューム属性クラスを新規または既存の永続ボリューム要求 (PVC) に適用し、ボリュームを再作成せずにパフォーマンス階層などのストレージ属性を動的に設定します。
手順
PVC の
volumeAttributesClassNameパラメーターを Volume Attributes Class の名前に設定します。例
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-pv-claim spec: … volumeAttributesClassName: silverここで、
spec.volumeAttributesClassNameは、この PVC の Volume Attributes Classsilverの使用を指定します。
3.5.4. Volume Attributes Classes の削除 リンクのコピーリンクがクリップボードにコピーされました!
不要になったボリューム属性クラスは、使用中の間は削除できないため、まずそれを参照するすべての永続ボリューム要求 (PVC) を削除または再割り当てして削除します。
PVC が使用している Volume Attributes Class を削除しようとすると、その Volume Attributes Class を使用するすべてのリソースが Volume Attributes Class を使用しないように更新されるまで、コマンドは完了しません。
手順
次のコマンドを実行して、Volume Attributes Class を使用している PVC を検索します。
$ oc get pvc -A -o jsonpath='{range .items[?(@.spec.volumeAttributesClassName=="<vac-name>")]}{.metadata.name}{"\n"}{end}'ここで、
<vac-name>はボリューム属性クラス名です。コマンド出力例
$ mypvc次のいずれかの手順を実行します。
PVC の
volumeAttributesClassNameパラメーターに、別の Volume Attributes Class 名を指定します。Volume Attributes Class を指定する PVC 定義の例
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mypvc spec: … volumeAttributesClassName: silverここで、
spec.volumeAttributesClassNameは別のボリューム属性クラスを指定します。この例では、silverです。次のコマンドを実行して、Volume Attributes Class を指定するすべての PVC を削除します。
$ oc delete pvc <pvc-name><pvc-name>は、削除する PVC の名前です。
これで Volume Attributes Class がどの PVC でも使用されなくなりました。次に、以下のコマンドを実行して Volume Attributes Class を削除します。
$ oc delete vac <vac-name><pvc-name>は、削除する Volume Attributes Class の名前です。
3.6. ブロックボリュームのサポート リンクのコピーリンクがクリップボードにコピーされました!
raw ブロックボリュームは、アプリケーションがパフォーマンスを向上させるために直接アクセスするファイルシステムのないストレージです。volumeMode: 永続ボリュームとクレームをブロックし、特権コンテナーを設定します。ストレージプロバイダーのサポートは、静的のみ、動的のみ、両方、またはなしによって異なります。
raw ブロックボリュームを使用する Pod は、特権付きコンテナーを許可するように設定する必要があります。
以下の表は、ブロックボリュームをサポートするボリュームプラグインを表示しています。
| ボリュームプラグイン | 手動のプロビジョニング | 動的なプロビジョニング | フルサポート |
|---|---|---|---|
| Amazon Elastic Block Store (Amazon EBS) | ✅ | ✅ | ✅ |
| Amazon Elastic File Storage (Amazon EFS) | |||
| Azure Disk | ✅ | ✅ | ✅ |
| Azure File | |||
| Cinder | ✅ | ✅ | ✅ |
| Fibre Channel | ✅ | ✅ | |
| GCP | ✅ | ✅ | ✅ |
| HostPath | |||
| IBM Cloud Block Storage ボリューム | ✅ | ✅ | ✅ |
| iSCSI | ✅ | ✅ | |
| Local volume | ✅ | ✅ | |
| LVM Storage | ✅ | ✅ | ✅ |
| NFS | |||
| Red Hat OpenShift Data Foundation | ✅ | ✅ | ✅ |
| CIFS/SMB | |||
| VMware vSphere | ✅ | ✅ | ✅ |
手動でプロビジョニングできるものの、完全にサポートされていないブロックボリュームの使用は、テクノロジープレビュー機能としてのみ提供されます。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat は、実稼働環境でこれらを使用することを推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
3.6.1. ブロックボリュームの例 リンクのコピーリンクがクリップボードにコピーされました!
raw ブロックボリュームの例は、ファイルシステムなしでブロックストレージデバイスに直接アクセスする必要があるアプリケーションの設定を示しています。このアプローチは、従来のファイルシステム層をバイパスして、低レベルのストレージ制御を必要とするデータベースやその他のアプリケーションで一般的に使用されます。
この例では、ブロックボリュームストレージに不可欠な 3 つのコンポーネントを設定する方法を示します。
-
PersistentVolume(PV) withvolumeMode: raw ブロックストレージリソースを定義するブロック。 -
volumeMode:Blockを設定してブロックストレージを要求するPersistentVolumeClaim(PVC)。 -
ファイルシステムボリュームに使用される一般的な volumeMounts および mountPath の代わりに、volumeDevices および devicePath を使用してブロックデバイスをマウントする Pod 仕様。
以下の参照表は、volumeMode の許容値 (デフォルトは Filesystem、Block は明示的に設定する必要があります) と、PV と PVC 間のバインディングシナリオを示しています。これらのバインディングルールを理解することが重要です。PV と PVC の両方で volumeMode: Block を指定して BIND を成功させる必要があります。ファイルシステム PVC との Block PV などのボリュームモードが一致しないと、バインディングが妨げられ、Pod スケジューリングが失敗する可能性があります。
PV の例
apiVersion: v1
kind: PersistentVolume
metadata:
name: block-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
volumeMode: Block
persistentVolumeReclaimPolicy: Retain
fc:
targetWWNs: ["50060e801049cfd1"]
lun: 0
readOnly: false
spec.volumeMode を Block に設定して、この PV が raw ブロックボリュームであることを示します。
PVC の例
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: block-pvc
spec:
accessModes:
- ReadWriteOnce
volumeMode: Block
resources:
requests:
storage: 10Gi
spec.volumeMode を Block に設定して、raw ブロック PVC が要求されていることを示します。
Pod の仕様例
apiVersion: v1
kind: Pod
metadata:
name: pod-with-block-volume
spec:
containers:
- name: fc-container
image: fedora:26
command: ["/bin/sh", "-c"]
args: [ "tail -f /dev/null" ]
volumeDevices:
- name: data
devicePath: /dev/xvda
volumes:
- name: data
persistentVolumeClaim:
claimName: block-pvc
-
spec.container.volumeDevices:volumeMountsの代わりに、このパラメーターがブロックデバイスに使用されます。PersistentVolumeClaimソースのみを raw ブロックボリュームと共に使用できます。 -
spec.container.volumeDevices.devicePath: このパラメーターは、mountPath の代わりに、raw ブロックがシステムにマップされている物理デバイスへのパスを表します。 -
spec.volumes.persistentVolumeClaim.claimName: ボリュームソースのタイプはpersistentVolumeClaimで、PVC の名前と想定どおり一致している必要があります。
| 値 | デフォルト |
|---|---|
| Filesystem | はい |
| Block | いいえ |
PV volumeMode | PVC volumeMode | バインディングの結果 |
|---|---|---|
| Filesystem | Filesystem | バインド |
| Unspecified | Unspecified | バインド |
| Filesystem | Unspecified | バインド |
| Unspecified | Filesystem | バインド |
| Block | Block | バインド |
| Unspecified | Block | バインドなし |
| Block | Unspecified | バインドなし |
| Filesystem | Block | バインドなし |
| Block | Filesystem | バインドなし |
値を指定しないと、Filesystem のデフォルト値が指定されます。
3.7. fsGroup を使用した Pod のタイムアウトの抑制 リンクのコピーリンクがクリップボードにコピーされました!
多数のファイルを含むストレージボリュームを使用する際に、Pod のタイムアウトを減らすには、fsGroup フィールドを設定します。このフィールドを指定することで、ファイルの所有権と権限の適用方法を管理でき、大容量ボリュームにおけるデフォルトの再帰的な権限変更によって発生する遅延を防ぐことができます。
この現象は、デフォルトで OpenShift Container Platform が、ボリュームのマウント時に Pod の securityContext で指定された fsGroup に一致するように、各ボリューム内のコンテンツの所有権とパーミッションを再帰的に変更するために発生します。多くのファイルが含まれるボリュームの場合、所有権と権限の確認と変更に時間がかかり、Pod の起動が遅くなる可能性があります。securityContext 内で fsGroupChangePolicy フィールドを使用して、OpenShift Container Platform がボリュームの所有者およびパーミッションを確認し管理する方法を制御できます。
fsGroupChangePolicy は、Pod 内で公開される前にボリュームの所有者およびパーミッションを変更する動作を定義します。このフィールドは、fsGroup によって制御される所有権と権限をサポートするボリュームタイプにのみ適用されます。このフィールドには、以下の 2 つの値を指定できます。
-
OnRootMismatch: ルートディレクトリーのパーミッションと所有者が、ボリュームの予想されるパーミッションと一致しない場合にのみ、パーミッションと所有者を変更します。これにより、ボリュームの所有者とパーミッションを変更するのに必要な時間を短縮でき、Pod のタイムアウトを減らすことができます。 -
Always: (デフォルト) ボリュームのマウント時に、常にボリュームのパーミッションと所有者を変更します。
fsGroupChangePolicy は、secret、configMap、emptydir などの一時ボリュームタイプには影響を及ぼしません。
fsGroupChangePolicy は、namespace レベルまたは Pod レベルで設定できます。
3.7.1. namespace レベルで fsGroup を変更する リンクのコピーリンクがクリップボードにコピーされました!
namespace レベルで fsGroupChangePolicy を変更して、その namespace 内のすべての Pod に対するデフォルトの権限変更動作を確立できます。これにより、Pod ごとの設定オーバーヘッドが軽減されます。
任意の fsGroupChangePolicy 設定を namespace レベルで適用すると、その後その namespace に作成されるすべての Pod に、その設定が継承されます。ただし、個々の Pod に継承された fsGroupChangePolicy 設定は、必要に応じてオーバーライドできます。Pod レベルで fsGroupChangePolicy を設定すると、その Pod に継承された namespace レベルの設定がオーバーライドされます。
前提条件
- 実行中の OpenShift Container Platform クラスターに管理者権限でログインしている。
- OpenShift Container Platform コンソールにアクセスできる。
手順
任意の namespace を選択します。
- Administration > Namespaces をクリックします。
- Namespaces ページで、任意の namespace をクリックします。Namespace details ページが表示されます。
fsGroupChangePolicyラベルを namespace に追加します。- Namespace details ページで、Labels の横にある Edit をクリックします。
Edit labels ダイアログで、
storage.openshift.io/fsgroup-change-policyラベルを追加し、次のいずれかと同じ設定にします。-
OnRootMismatch: ルートディレクトリーの権限と所有権が、ボリュームの予期される権限と一致しない場合にのみ、権限と所有権を変更することを指定します。これは、Pod のタイムアウト問題を回避するために役立ちます。 -
Always: (デフォルト) ボリュームがマウントされるたびに、ボリュームの権限と所有権を必ず変更することを指定します。
-
- Save をクリックします。
検証
以前に編集した namespace で Pod を起動し、namespace に設定した値が
spec.securityContext.fsGroupChangePolicyパラメーターに含まれていることを確認します。fsGroupChangePolicy設定を示す Pod YAML ファイルの例securityContext: seLinuxOptions: level: 's0:c27,c24' runAsNonRoot: true fsGroup: 1000750000 fsGroupChangePolicy: OnRootMismatch ...securityContext.fsGroupChangePolicyの値は namespace から継承されます。
3.7.2. Pod レベルで fsGroup を変更する リンクのコピーリンクがクリップボードにコピーされました!
新規または既存のデプロイメントおよびステートフルセットで fsGroupChangePolicy パラメーターを設定すると、管理する Pod にこのパラメーター値が適用されます。既存の Pod で fsGroupChangePolicy を編集することはできませんが、新しい Pod を作成するときにこのパラメーターを設定することはできます。
この手順では、既存のデプロイメントで fsGroupChangePolicy パラメーターを設定する方法について説明します。
前提条件
- OpenShift Container Platform コンソールにアクセスできる。
手順
- Workloads > Deployments をクリックします。
- Deployment ページで、任意のデプロイメントをクリックします。
- Deployment details ページで、YAML タブをクリックします。
次のサンプルファイルを使用して、
spec.template.spec.securityContextの下にあるデプロイメントの YAML ファイルを編集します。fsGroupChangePolicyを設定するデプロイメント YAML ファイルの例... spec: replicas: 3 selector: matchLabels: app: my-app template: metadata: creationTimestamp: null labels: app: my-app spec: containers: - name: container image: 'image-registry.openshift-image-registry.svc:5000/openshift/httpd:latest' ports: - containerPort: 8080 protocol: TCP resources: {} terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: Always restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst securityContext: fsGroupChangePolicy: OnRootMismatch ...spec.securityContext.fsGroupChangePolicy、OnRootMismatchは、再帰的なパーミッション変更をスキップさせるため、Pod のタイムアウトの問題を回避するのに役立ちます。デフォルト値はAlwaysです。ボリュームがマウントされるたびに必ずボリュームの権限と所有権が変更されます。- Save をクリックします。
3.8. seLinuxChangePolicy を使用して Pod のタイムアウトを減らす リンクのコピーリンクがクリップボードにコピーされました!
SELinux マウントオプションは、再帰的なラベル変更なしでマウント中にセキュリティーコンテキストを適用し、多数のファイルを含むボリュームでの Pod の起動時間を短縮します。この最適化は、ReadWriteOncePod ボリュームではデフォルトで有効になっており、ReadWriteOnce および ReadWriteMany ボリュームではデフォルトになります。
SELinux (Security-Enhanced Linux) は、システム上のすべてのオブジェクト (ファイル、プロセス、ネットワークポートなど) にセキュリティーラベル (コンテキスト) を割り当てるセキュリティーメカニズムです。これらのラベルにより、プロセスが何にアクセスできるか決まります。OpenShift Container Platform において、SELinux はコンテナーのエスケープや、ホストシステムや他のコンテナーへのアクセスを防ぐ役割を果たします。
Pod が起動すると、コンテナーランタイムは、Pod の SELinux コンテキストに合わせて、ボリューム上のすべてのファイルに対して再帰的にラベルの再設定を行います。多くのファイルを含むボリュームの場合、これにより Pod の起動時間が大幅に長くなる可能性があります。
マウントオプションは、-o context マウントオプションを使用して正しい SELinux ラベルでボリュームを直接マウントしようとすることで、すべてのファイルの再帰的なラベル付けを回避するように指定します。これにより、Pod のタイムアウト問題を回避することができます。
3.8.1. RWOP と SELinux マウントオプション リンクのコピーリンクがクリップボードにコピーされました!
ReadWriteOncePod (RWOP) 永続ボリュームは、デフォルトで SELinux マウント機能を使用します。
このマウントプション機能はドライバーに依存しており、AWS EBS、Azure Disk、GCP PD、IBM Cloud Block Storage ボリューム、Cinder、vSphere、Red Hat OpenShift Data Foundation ではデフォルトで有効になっています。サードパーティーのドライバーは、ストレージベンダーにお問い合わせください。
3.8.2. RWO、RWX、SELinux マウントオプション リンクのコピーリンクがクリップボードにコピーされました!
ReadWriteOnce (RWO) および ReadWriteMany (RWX) ボリュームは、デフォルトでラベルの再帰的な再設定を使用します。
今後の OpenShift Container Platform バージョンでは、RWO および RWX ボリュームは デフォルトでマウントオプション を使用します。
今後のマウントオプションのデフォルトへの移行を支援するために、OpenShift Container Platform 4.20 では、潜在的な競合を知らせるために Pod の作成時および Pod の実行時に SELinux 関連の競合を報告し、解決できるようにします。このレポートの詳細は、Red Hat ナレッジベースの記事「OpenShift reports SELinux-related conflicts when creating Pods」を参照してください。
SELinux 関連の競合を解決できない場合は、選択した Pod または namespace のデフォルトとして、今後のマウントオプションへの移行を事前にオプトアウトできます。オプトアウトする場合は、「SELinux マウントオプションのデフォルトをオプトアウトする」を参照してください。
3.8.3. RWO、RWX、SELinux マウントオプション機能のテスト リンクのコピーリンクがクリップボードにコピーされました!
SELinux マウントオプションは、再帰的なラベル変更なしでマウント中に正しいセキュリティーコンテキストを適用し、多数のファイルを含むボリュームでの Pod の起動時間を短縮します。OpenShift Container Platform 4.21 では、RWO および RWX ボリュームのマウントオプション機能をテクノロジープレビュー機能として評価できます。
RWO/RWX SELinux マウントはテクノロジープレビュー機能です。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat は、実稼働環境でこれらを使用することを推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
手順
フィーチャーゲートを有効にします。フィーチャーゲートを有効にする方法は、フィーチャーゲートを使用した機能の有効化 を参照してください。
RWO および RWX ボリュームには、デフォルトの動作としてマウントオプションが追加されました。
次のステップ
アプリケーションを慎重にテストし、ストレージがどのように使用されているかを観察します。詳細は、Red Hat ナレッジベースの記事「OpenShift reports SELinux-related conflicts when creating Pods」を参照してください。問題が発生した場合は、マウントオプションの使用をオプトアウトすることを検討してください。詳細は、「SELinux マウントオプションのデフォルトをオプトアウトする」を参照してください。
3.8.4. SELinux マウントオプションのデフォルトをオプトアウトする リンクのコピーリンクがクリップボードにコピーされました!
マウントオプションの今後の移行をデフォルトでオプトアウトする場合は、個々の Pod または namespace レベルで seLinuxChangePolicy パラメーターを Recursive に設定します。
3.8.4.1. namespace レベルでの seLinuxChangePolicy の変更 リンクのコピーリンクがクリップボードにコピーされました!
namespace レベルで seLinuxChangePolicy を Recursive に設定して、その namespace 内のすべての Pod の SELinux マウントオプションのデフォルトをオプトアウトします。この設定は、ワークロードで異なる SELinux ラベル変更動作が必要な場合に、Pod レベルのオーバーライドを許可しながら、新しい Pod に自動的に適用されます。
前提条件
- 実行中の OpenShift Container Platform クラスターに管理者権限でログインしている。
- OpenShift Container Platform コンソールにアクセスできる。
手順
必要な namespace を選択します。
- Administration > Namespaces をクリックします。
- Namespaces ページで、任意の namespace をクリックします。Namespace details ページが表示されます。
seLinuxChangePolicyラベルを namespace に追加します。- Namespace details ページで、Labels の横にある Edit をクリックします。
Edit labels ダイアログで、
storage.openshift.io/selinux-change-policy=Recursiveラベルを追加します。これは、Pod ボリューム上のすべてのファイルに対して、適切な SELinux コンテキストへの再帰的なラベルの再設定を行うように指定します。
- Save をクリックします。
以前に編集した namespace で Pod を起動し、
spec.securityContext.seLinuxChangePolicyパラメーターがRecursiveに設定されていることを確認します。seLinuxChangePolicy設定を示す pod YAML ファイルの例securityContext: seLinuxOptions: level: 's0:c27,c19' runAsNonRoot: true fsGroup: 1000740000 seccompProfile: type: RuntimeDefault seLinuxChangePolicy: Recursive ...-
securityContext.seLinuxChangePolicyの値は namespace から継承されます。
-
3.8.4.2. Pod レベルでの seLinuxChangePolicy の変更 リンクのコピーリンクがクリップボードにコピーされました!
Pod レベルで seLinuxChangePolicy を Recursive に設定して、namespace のデフォルトをオーバーライドするか、特定のワークロードの SELinux マウントオプションのデフォルトをオプトアウトします。
デプロイメントまたはステートフルセット仕様で seLinuxChangePolicy パラメーターを設定してマネージド Pod に適用するか、個々の Pod を作成するときに直接設定します。このパラメーターは既存の Pod では変更できません。
この手順では、既存のデプロイメントで seLinuxChangePolicy パラメーターを設定する方法について説明します。
前提条件
- OpenShift Container Platform コンソールにアクセスできる。
手順
- Workloads > Deployments をクリックします。
- デプロイメント ページで、必要なデプロイメントをクリックします。
- Deployment details ページで、YAML タブをクリックします。
次のサンプルファイルのように、
spec.template.spec.securityContextの下にあるデプロイメントの YAML ファイルを編集します。seLinuxChangePolicyを設定するデプロイメント YAML ファイルの例... securityContext: seLinuxChangePolicy: Recursive ...-
securityContext.seLinuxChangePolicy:Recursiveに設定すると、すべての Pod ボリューム上のすべてのファイルを適切な SELinux コンテキストに再帰的にリラベルすることを指定します。
-
- Save をクリックします。