サポートコンソール開発者トライアルの開始お問い合わせ

2.5.2. Red Hat Virtualization インストーラーでプロビジョニングされるインフラストラクチャーで障害のあるノードの置き換え

以下の手順に従って、OpenShift Data Foundation の Red Hat Virtualization のインストーラーでプロビジョニングされるインフラストラクチャー (IPI) で動作しない障害のあるノードを置き換えます。

前提条件

  • Red Hat では、交換前のノードと同様のインフラストラクチャー、リソース、およびディスクで、交換後のノードを設定することを推奨します。
  • OpenShift Container Platform (RHOCP) クラスターにログインしている必要があります。
  • 以前のバージョンから OpenShift Data Foundation version 4.8 にアップグレードし、LocalVolumeDiscovery および LocalVolumeSet オブジェクトを作成していない場合は、Post-update configuration changes for clusters backed by local storage に説明されている以下の手順に従って、これを実行します。

手順

  1. OpenShift Web コンソールにログインし、 Compute Nodes をクリックします。
  2. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

  3. 置き換えるノードのラベルを取得します。 

    $ oc get nodes --show-labels | grep <node_name>

  4. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

    以下に例を示します。 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. ノードにスケジュール対象外 (unschedulable) のマークを付けます。 

    $ oc adm cordon <node_name>

  7. Terminating 状態の Pod を削除します。 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  8. ノードをドレイン (解放) します。 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  9. Compute Machines をクリックします。必要なマシンを検索します。
  10. 必要なマシンの横にある Action menu (⋮) Delete Machine をクリックします。

  11. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。新規マシンが起動し、Running 状態に移行するまで待機します。

    重要

    このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

  12. OpenShift Web コンソールで Compute Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。
  13. 物理的に新しいデバイスをノードに追加します。

  14. 以下のいずれかを使用して、OpenShift Data Foundation ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合
    1. 新規ノードについて、Action Menu (⋮) Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。
    コマンドラインインターフェイスの使用
    • 以下のコマンドを実行して、OpenShift Data Foundation ラベルを新規ノードに適用します。 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  15. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    以下に例を示します。 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  16. 新規ワーカーノードを localVolumeDiscovery および localVolumeSet に追加します。

    1. localVolumeDiscovery 定義を更新し、新規ノードを追加して失敗したノードを削除します。 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      エディターを終了する前に必ず保存します。

      上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

    2. 編集する localVolumeSet を決定します。 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. localVolumeSet 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      エディターを終了する前に必ず保存します。

      上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

  17. 新規 localblock PV が利用可能であることを確認します。 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage プロジェクトを変更します。 

    $ oc project openshift-storage

  19. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=_<failed_osd_id>_ FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例: FAILED_OSD_IDS=0,1,2)

    OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、FORCE_OSD_REMOVAL 値を true に変更する必要があります。

  20. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。

    Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD の取り外しが完了したことを確認します。 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    出力例: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    重要

    ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。

    以下に例を示します。 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. PVC に関連付けられた PV を特定します。 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  512Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  server3.example.com

    Released 状態の PV がある場合は、これを削除します。 

    # oc delete pv <persistent-volume>

    以下に例を示します。 

    # oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d6bf175b" deleted

  23. crashcollector Pod デプロイメントを特定します。 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    既存の crashcollector Pod デプロイメントがある場合は、これを削除します。 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  24. ocs-osd-removal ジョブを削除します。 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    出力例: 

    job.batch "ocs-osd-removal-job" deleted

検証手順

  1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. Workloads Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 他の必要なすべての OpenShift Data Foundation Pod が Running 状態にあることを確認します。

    また、増分の mon が新規に作成されており、Running 状態にあることを確認します。 

    $ oc get pod -n openshift-storage | grep mon

    出力例: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running  0   38m

rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running  0   38m

rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running  0   4m8s

    OSD と Mon が Running 状態になるまで数分かかる場合があります。

  4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

    直前の手順で特定された新規ノードごとに、以下を実行します。

    1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。 

      $ oc debug node/<node name>
$ chroot /host

    2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。 

      $ lsblk
  6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。
Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.