2.3. IBM Power インフラストラクチャー上のストレージノードの置き換え

PDF

OpenShift Data Foundation の場合、IBM Power に関連するデプロイメントについては、稼働中のノードに対してプロアクティブに、障害のあるノードに対してリアクティブにノードの置き換えを実行できます。

2.3.1. IBM Power Systems で動作するストレージまたは障害のあるストレージノードの置き換え

前提条件

置き換えるノードが、置き換えるノードと同様のインフラストラクチャーとリソースで設定されていることを確認してください。
OpenShift Container Platform クラスターにログインしている必要がある。

手順

ノードを特定し、置き換える必要のあるノードのラベルを取得します。
```
$ oc get nodes --show-labels | grep <node_name>
```
<node_name>
置き換える必要のあるノードの名前を指定します。
置き換える必要のあるノードで実行されている mon (存在する場合) および Object Storage Device (OSD) Pod を特定します。
```
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
```

先の手順で特定された Pod のデプロイメントをスケールダウンします。

以下に例を示します。

$ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage

$ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage

$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage

ノードにスケジュール対象外 (unschedulable) のマークを付けます。
```
$ oc adm cordon <node_name>
```

Terminating 状態の Pod を削除します。

$ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

ノードをドレイン (解放) します。

$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

ノードを削除します。
```
$ oc delete node <node_name>
```
必要なインフラストラクチャーで新規の IBM Power マシンを取得します。Installing a cluster on IBM Power を参照します。
新規 IBM Power マシンを使用して新規 OpenShift Container Platform ノードを作成します。
Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。
```
$ oc get csr
```
新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。
```
$ oc adm certificate approve <certificate_name>
```
<certificate_name>
CSR の名前を指定します。
OpenShift Web コンソールで Compute Nodes をクリックします。新しいノードが Ready 状態にあることを確認します。
以下のいずれかを使用して、OpenShift Data Foundation ラベルを新規ノードに適用します。
ユーザーインターフェイスから
新規ノードについて、Action Menu (⋮) Edit Labels をクリックします。
cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。
コマンドラインインターフェイスの使用
OpenShift Data Foundation ラベルを新規ノードに適用します。
```
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''
```
<new_node_name>
新しいノードの名前を指定します。

OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

以下に例を示します。

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

echo $local_storage_project

出力例:

openshift-local-storage

新しく追加されたワーカーノードを localVolume に追加します。
1. 編集する必要のある localVolume を決定します。
```
# oc get -n $local_storage_project localvolume
```
  出力例:
```
NAME           AGE
localblock    25h
```
2. localVolume 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。
```
# oc edit -n $local_storage_project localvolume localblock
```
  出力例:
```
[...]
    nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            #- worker-0
            - worker-1
            - worker-2
            - worker-3
[...]
```
  エディターを終了する前に必ず保存します。
  この例では、worker-0 が削除され、worker-3 が新しいノードです。

新しい localblock 永続ボリューム (PV) が使用可能であることを確認します。

$ oc get pv | grep localblock

出力例:

NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h

openshift-storage プロジェクトに移動します。
```
$ oc project openshift-storage
```
失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。
1. 永続ボリュームクレーム (PVC) を特定します。
```
$ osd_id_to_remove=1
```
```
$ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc
```
  ここで、<osd_id_to_remove> は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。
  この例では、デプロイメント名は rook-ceph-osd-1 です。
  出力例:
```
ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
    ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
```
2. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。
```
$ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
```
  <failed_osd_id>
  rook-ceph-osd 接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例: FAILED_OSD_IDS=0,1,2)
  OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、FORCE_OSD_REMOVAL 値を true に変更する必要があります。

警告

この手順により、OSD はクラスターから完全に削除されます。osd_id_to_remove の正しい値が指定されていることを確認します。

ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。
Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。
```
# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
```
OSD の取り外しが完了したことを確認します。
```
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
```
出力例:
```
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
```
重要
ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。
以下に例を示します。
```
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
```
障害のあるノードに関連付けられた PV を削除します。
1. PVC に関連付けられた PV を特定します。
```
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
```
  出力例:
```
local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0
```
  PVC 名は、失敗した OSD をクラスターから削除する際に取得された名前と同じである必要があります。
2. Released 状態の PV がある場合は、これを削除します。
```
# oc delete pv <persistent_volume>
```
  以下に例を示します。
```
# oc delete pv local-pv-5c9b8982
```
  出力例:
```
persistentvolume "local-pv-5c9b8982" deleted
```

crashcollector Pod デプロイメントを特定します。

$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

既存の crashcollector Pod デプロイメントがある場合は、これを削除します。

$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

ocs-osd-removal-job を削除します。

# oc delete -n openshift-storage job ocs-osd-removal-job

出力例:

job.batch "ocs-osd-removal-job" deleted

検証手順

新しいノードが出力に存在することを確認します。

$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

Workloads Pods をクリックします。新しいノードの少なくとも次の Pod が Running 状態になっていることを確認します。
- csi-cephfsplugin-*
- csi-rbdplugin-*

他の必要なすべての OpenShift Data Foundation Pod が Running 状態にあることを確認します。

また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

$ oc get pod -n openshift-storage | grep mon

出力例:

rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m

OSD とモニター Pod が Running 状態になるまでに数分かかる場合があります。

新規 OSD Pod が交換後のノードで実行されていることを確認します。
```
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd
```
(オプション) クラスターでクラスター全体の暗号化が有効な場合は、新規 OSD デバイスが暗号化されていることを確認します。
直前の手順で特定された新しい各ノードに以下を実行します。
1. デバッグ Pod を作成し、選択した 1 つ以上のホストの chroot 環境を開きます。
```
$ oc debug node/<node_name>
```
```
$ chroot /host
```
2. 使用可能なブロックデバイスのリストを表示します。
```
$ lsblk
```
  1 つ以上の ocs-deviceset 名の横にある crypt キーワードを確認します。
検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

2.3. IBM Power インフラストラクチャー上のストレージノードの置き換え

2.3.1. IBM Power Systems で動作するストレージまたは障害のあるストレージノードの置き換え

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Red Hat legal and privacy links

Red Hat legal and privacy links