2.3. IBM Power インフラストラクチャー上のストレージノードの置き換え

手順

1. ノードを特定し、置き換える必要のあるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

   <node_name>

   置き換える必要のあるノードの名前を指定します。

2. 置き換える必要のあるノードで実行されている mon (存在する場合) および Object Storage Device (OSD) Pod を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. Terminating 状態の Pod を削除します。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. ノードを削除します。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
8. 必要なインフラストラクチャーで新規の IBM Power マシンを取得します。Installing a cluster on IBM Power を参照します。
9. 新規 IBM Power マシンを使用して新規 OpenShift Container Platform ノードを作成します。

10. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <certificate_name>

    Copy to Clipboard Toggle word wrap

    <certificate_name>

    CSR の名前を指定します。

12. OpenShift Web コンソールで Compute Nodes をクリックします。新しいノードが Ready 状態にあることを確認します。

13. 以下のいずれかを使用して、OpenShift Data Foundation ラベルを新規ノードに適用します。

    ユーザーインターフェイスから

    1. 新規ノードについて、Action Menu (⋮) Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    1. OpenShift Data Foundation ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''

    Copy to Clipboard Toggle word wrap

    <new_node_name>

    新しいノードの名前を指定します。

14. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    以下に例を示します。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    echo $local_storage_project

    Copy to Clipboard Toggle word wrap

    出力例:

    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. 新しく追加されたワーカーノードを localVolume に追加します。

    1. 編集する必要のある localVolume を決定します。

       # oc get -n $local_storage_project localvolume

       Copy to Clipboard Toggle word wrap

       出力例:

       NAME           AGE
       localblock    25h

       Copy to Clipboard Toggle word wrap

    2. localVolume 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。

       # oc edit -n $local_storage_project localvolume localblock

       Copy to Clipboard Toggle word wrap

       出力例:

       [...]
           nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   #- worker-0
                   - worker-1
                   - worker-2
                   - worker-3
       [...]

       Copy to Clipboard Toggle word wrap

       エディターを終了する前に必ず保存します。

       この例では、worker-0 が削除され、worker-3 が新しいノードです。

16. 新しい localblock 永続ボリューム (PV) が使用可能であることを確認します。

    $ oc get pv | grep localblock

    Copy to Clipboard Toggle word wrap

    出力例:

    NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
    local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
    local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
    local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
    local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h

    Copy to Clipboard Toggle word wrap

17. openshift-storage プロジェクトに移動します。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

18. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

    1. 永続ボリュームクレーム (PVC) を特定します。

       $ osd_id_to_remove=1

       Copy to Clipboard Toggle word wrap

       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc

       Copy to Clipboard Toggle word wrap

       ここで、<osd_id_to_remove> は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。

       この例では、デプロイメント名は rook-ceph-osd-1 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
           ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

       Copy to Clipboard Toggle word wrap

    2. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

       $ oc process -n openshift-storage ocs-osd-removal \
       -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -

       Copy to Clipboard Toggle word wrap

       <failed_osd_id>

       rook-ceph-osd 接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例: FAILED_OSD_IDS=0,1,2)

       OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、FORCE_OSD_REMOVAL 値を true に変更する必要があります。

1. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。

   Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

   # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

   Copy to Clipboard Toggle word wrap

2. OSD の取り外しが完了したことを確認します。

   $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

   Copy to Clipboard Toggle word wrap

   出力例:

   2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

   Copy to Clipboard Toggle word wrap
   重要

   ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。

   以下に例を示します。

   # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

   Copy to Clipboard Toggle word wrap

3. 障害のあるノードに関連付けられた PV を削除します。

   1. PVC に関連付けられた PV を特定します。

      # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

      Copy to Clipboard Toggle word wrap

      出力例:

      local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0

      Copy to Clipboard Toggle word wrap

      PVC 名は、失敗した OSD をクラスターから削除する際に取得された名前と同じである必要があります。

   2. Released 状態の PV がある場合は、これを削除します。

      # oc delete pv <persistent_volume>

      Copy to Clipboard Toggle word wrap

      以下に例を示します。

      # oc delete pv local-pv-5c9b8982

      Copy to Clipboard Toggle word wrap

      出力例:

      persistentvolume "local-pv-5c9b8982" deleted

      Copy to Clipboard Toggle word wrap

4. crashcollector Pod デプロイメントを特定します。

   $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

   Copy to Clipboard Toggle word wrap

   既存の crashcollector Pod デプロイメントがある場合は、これを削除します。

   $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

   Copy to Clipboard Toggle word wrap

5. ocs-osd-removal-job を削除します。

   # oc delete -n openshift-storage job ocs-osd-removal-job

   Copy to Clipboard Toggle word wrap

   出力例:

   job.batch "ocs-osd-removal-job" deleted

   Copy to Clipboard Toggle word wrap

検証手順

1. 新しいノードが出力に存在することを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads Pods をクリックします。新しいノードの少なくとも次の Pod が Running 状態になっていることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Data Foundation Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   出力例:

   rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
   rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
   rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m

   Copy to Clipboard Toggle word wrap

   OSD とモニター Pod が Running 状態になるまでに数分かかる場合があります。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合は、新規 OSD デバイスが暗号化されていることを確認します。

   直前の手順で特定された新しい各ノードに以下を実行します。

   1. デバッグ Pod を作成し、選択した 1 つ以上のホストの chroot 環境を開きます。

      $ oc debug node/<node_name>

      Copy to Clipboard Toggle word wrap

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 使用可能なブロックデバイスのリストを表示します。

      $ lsblk

      Copy to Clipboard Toggle word wrap

      1 つ以上の ocs-deviceset 名の横にある crypt キーワードを確認します。

6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。