2.3. IBM Power インフラストラクチャー上のストレージノードの置き換え
OpenShift Data Foundation の場合、IBM Power に関連するデプロイメントについては、稼働中のノードに対してプロアクティブに、障害のあるノードに対してリアクティブにノードの置き換えを実行できます。
2.3.1. IBM Power Systems で動作するストレージまたは障害のあるストレージノードの置き換え
前提条件
- 置き換えるノードが、置き換えるノードと同様のインフラストラクチャーとリソースで設定されていることを確認してください。
- OpenShift Container Platform クラスターにログインしている必要がある。
手順
ノードを特定し、置き換える必要のあるノードのラベルを取得します。
$ oc get nodes --show-labels | grep <node_name><node_name>- 置き換える必要のあるノードの名前を指定します。
置き換える必要のあるノードで実行されている
mon(存在する場合) および Object Storage Device (OSD) Pod を特定します。$ oc get pods -n openshift-storage -o wide | grep -i <node_name>先の手順で特定された Pod のデプロイメントをスケールダウンします。
以下に例を示します。
$ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storageノードにスケジュール対象外 (unschedulable) のマークを付けます。
$ oc adm cordon <node_name>Terminating状態の Pod を削除します。$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'ノードをドレイン (解放) します。
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsetsノードを削除します。
$ oc delete node <node_name>- 必要なインフラストラクチャーで新規の IBM Power マシンを取得します。クラスターの IBM Power へのインストール を参照します。
- 新規 IBM Power マシンを使用して新規 OpenShift Container Platform ノードを作成します。
Pending状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。$ oc get csr
新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。
$ oc adm certificate approve <certificate_name><certificate_name>- CSR の名前を指定します。
-
OpenShift Web コンソールで Compute
Nodes をクリックします。新しいノードが Ready 状態にあることを確認します。 以下のいずれかを使用して、OpenShift Data Foundation ラベルを新規ノードに適用します。
- ユーザーインターフェイスから
-
新規ノードについて、Action Menu (⋮)
Edit Labels をクリックします。 -
cluster.ocs.openshift.io/openshift-storageを追加し、Save をクリックします。
-
新規ノードについて、Action Menu (⋮)
- コマンドラインインターフェイスの使用
- OpenShift Data Foundation ラベルを新規ノードに適用します。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''<new_node_name>- 新しいノードの名前を指定します。
OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを
local_storage_project変数に割り当てます。$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)以下に例を示します。
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
出力例:
openshift-local-storage
新しく追加されたワーカーノードを
localVolumeに追加します。編集する必要のある
localVolumeを決定します。# oc get -n $local_storage_project localvolume
出力例:
NAME AGE localblock 25h
localVolume定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。# oc edit -n $local_storage_project localvolume localblock
出力例:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: #- worker-0 - worker-1 - worker-2 - worker-3 [...]エディターを終了する前に必ず保存します。
この例では、
worker-0が削除され、worker-3が新しいノードです。
新しい
localblock永続ボリューム (PV) が使用可能であることを確認します。$ oc get pv | grep localblock
出力例:
NAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS AGE local-pv-3e8964d3 500Gi RWO Delete Bound ocs-deviceset-localblock-2-data-0-mdbg9 localblock 25h local-pv-414755e0 500Gi RWO Delete Bound ocs-deviceset-localblock-1-data-0-4cslf localblock 25h local-pv-b481410 500Gi RWO Delete Available localblock 3m24s local-pv-5c9b8982 500Gi RWO Delete Bound ocs-deviceset-localblock-0-data-0-g2mmc localblock 25hopenshift-storageプロジェクトに移動します。$ oc project openshift-storage
失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。
永続ボリュームクレーム (PVC) を特定します。
$ osd_id_to_remove=1
$ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvcここで、
<osd_id_to_remove>はrook-ceph-osd接頭辞の直後にくる Pod 名の整数です。この例では、デプロイメント名は
rook-ceph-osd-1です。出力例:
ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> | oc create -f -<failed_osd_id>rook-ceph-osd接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例:FAILED_OSD_IDS=0,1,2)OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、
FORCE_OSD_REMOVAL値をtrueに変更する必要があります。警告この手順により、OSD はクラスターから完全に削除されます。
osd_id_to_removeの正しい値が指定されていることを確認します。
ocs-osd-removal-jobPod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completedのステータスで、OSD の削除ジョブが正常に完了したことを確認します。# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD の取り外しが完了したことを確認します。
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
出力例:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
重要ocs-osd-removal-jobが失敗し、Pod が予想されるCompletedの状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
障害のあるノードに関連付けられた PV を削除します。
PVC に関連付けられた PV を特定します。
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
出力例:
local-pv-5c9b8982 500Gi RWO Delete Released openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc localblock 24h worker-0
PVC 名は、失敗した OSD をクラスターから削除する際に取得された名前と同じである必要があります。
Released状態の PV がある場合は、これを削除します。# oc delete pv <persistent_volume>以下に例を示します。
# oc delete pv local-pv-5c9b8982
出力例:
persistentvolume "local-pv-5c9b8982" deleted
crashcollectorPod デプロイメントを特定します。$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage既存の
crashcollectorPod デプロイメントがある場合は、これを削除します。$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-jobを削除します。# oc delete -n openshift-storage job ocs-osd-removal-job
出力例:
job.batch "ocs-osd-removal-job" deleted
検証手順
新しいノードが出力に存在することを確認します。
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Workloads
Pods をクリックします。新しいノードの少なくとも次の Pod が Running 状態になっていることを確認します。 -
csi-cephfsplugin-* -
csi-rbdplugin-*
-
他の必要なすべての OpenShift Data Foundation Pod が Running 状態にあることを確認します。
また、増分の
monが新規に作成されており、Running 状態にあることを確認します。$ oc get pod -n openshift-storage | grep mon
出力例:
rook-ceph-mon-b-74f6dc9dd6-4llzq 1/1 Running 0 6h14m rook-ceph-mon-c-74948755c-h7wtx 1/1 Running 0 4h24m rook-ceph-mon-d-598f69869b-4bv49 1/1 Running 0 162m
OSD とモニター Pod が
Running状態になるまでに数分かかる場合があります。新規 OSD Pod が交換後のノードで実行されていることを確認します。
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd(オプション) クラスターでクラスター全体の暗号化が有効な場合は、新規 OSD デバイスが暗号化されていることを確認します。
直前の手順で特定された新しい各ノードに以下を実行します。
デバッグ Pod を作成し、選択した 1 つ以上のホストの chroot 環境を開きます。
$ oc debug node/<node_name>$ chroot /host
使用可能なブロックデバイスのリストを表示します。
$ lsblk
1 つ以上の
ocs-deviceset名の横にあるcryptキーワードを確認します。
- 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。
