ノードの置き換え

手順

1. 置き換える必要のあるノードを特定します。

2. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

3. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

4. 以下のコマンドを使用してノードを削除します。

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap
5. 必要なインフラストラクチャーで新規 AWS マシンインスタンスを作成します。プラットフォーム要件 を参照してください。
6. 新規 AWS マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

7. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

8. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
9. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

10. OpenShift Container Storage ラベルを新規ノードに適用します。

    Web ユーザーインターフェイスの使用

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

3. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

5. Compute → Machines をクリックします。必要なマシンを検索します。
6. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
7. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

8. 新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

9. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

10. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. 置き換える必要のあるノードの AWS マシンインスタンスを特定します。
2. AWS にログインし、特定された AWS マシンインスタンスを終了します。
3. 必要なインフラストラクチャーで新規 AWS マシンインスタンスを作成します。プラットフォーム要件 を参照してください。
4. 新規 AWS マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

5. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

6. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定し、その Machine Name をクリックします。
3. Actions → Edit Annotations をクリックし、Add More をクリックします。
4. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。
5. Actions → Delete Machine をクリックしてから、Delete をクリックします。

6. 新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [オプション]: 失敗した AWS インスタンスが自動的に削除されない場合、インスタンスを AWS コンソールで終了します。

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. 置き換える必要があるノードとその仮想マシンを特定します。

2. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

3. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

4. 以下のコマンドを使用してノードを削除します。

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

5. VSphere にログインし、特定された仮想マシンを終了します。

   重要

   仮想マシンはインベントリーからのみ削除し、ディスクから削除しないでください。

6. 必要なインフラストラクチャーで vSphere に新規の仮想マシンを作成します。プラットフォーム要件 を参照してください。
7. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

8. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

9. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
10. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

11. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

3. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

5. Compute → Machines をクリックします。必要なマシンを検索します。
6. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
7. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

8. 新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

9. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

10. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. 置き換える必要があるノードとその仮想マシンを特定します。

2. 以下のコマンドを使用してノードを削除します。

   $ oc delete nodes <node_name>

   Copy to Clipboard Toggle word wrap

3. VSphere にログインし、特定された仮想マシンを終了します。

   重要

   仮想マシンはインベントリーからのみ削除し、ディスクから削除しないでください。

4. 必要なインフラストラクチャーで vSphere に新規の仮想マシンを作成します。プラットフォーム要件 を参照してください。
5. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

6. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

7. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

   Copy to Clipboard Toggle word wrap
8. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

9. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定し、その Machine Name をクリックします。
3. Actions → Edit Annotations をクリックし、Add More をクリックします。
4. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。
5. Actions → Delete Machine をクリックしてから、Delete をクリックします。

6. 新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [オプション]: 失敗した VM インスタンスが自動的に削除されない場合、仮想マシンを vSphere で終了します。

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソール にログインし、Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

3. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

5. Compute → Machines をクリックします。必要なマシンを検索します。
6. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。

7. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

8. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

9. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソール にログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定します。その マシン名 をメモします。

3. Red Hat Virtualization 管理ポータル にログインし、mon および OSD に関連付けられた仮想ディスクを障害の発生した仮想マシンから削除します。

   この手順は、仮想マシンインスタンスが マシンの削除ステップの一部として削除される際にディスクが削除されないようにするために必要です。

   重要

   ディスクの削除時に、Remove Permanently オプションを選択しないでください。

4. OpenShift Web コンソール で、Compute → Machines をクリックします。必要なマシンを検索します。
5. Actions → Edit Annotations をクリックし、Add More をクリックします。
6. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。

7. Actions → Delete Machine をクリックしてから、Delete をクリックします。

   新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

8. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

9. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

10. (オプション) 失敗した仮想マシンが自動的に削除されない場合は、Red Hat Virtualization 管理ポータルから仮想マシンを削除します。

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

3. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

4. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

5. Compute → Machines をクリックします。必要なマシンを検索します。
6. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
7. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

8. 新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

9. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

10. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定し、その Machine Name をクリックします。
3. Actions → Edit Annotations をクリックし、Add More をクリックします。
4. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。
5. Actions → Delete Machine をクリックしてから、Delete をクリックします。

6. 新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェイスを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. [オプション]: 失敗した Azure インスタンスが自動的に削除されない場合、インスタンスを Azure コンソールで終了します。

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. NODE を特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

6. ノードを削除します。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
7. 必要なインフラストラクチャーで新規のベアメタルマシンを取得します。クラスターのベアメタルへのインストール について参照してください。
8. 新規ベアメタルマシンを使用して新規 OpenShift Container Platform ノードを作成します。

9. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

10. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
11. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

12. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

13. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    以下に例を示します。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

14. 新規ワーカーノードを localVolumeDiscovery および localVolumeSet に追加します。

    1. localVolumeDiscovery 定義を更新し、新規ノードを追加して失敗したノードを削除します。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       エディターを終了する前に必ず保存します。

       上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

    2. 編集する localVolumeSet を決定します。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. localVolumeSet 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       エディターを終了する前に必ず保存します。

       上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

15. 新規 localblock PV が利用可能であることを確認します。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

16. openshift-storage プロジェクトを変更します。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

17. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -

    Copy to Clipboard Toggle word wrap

    <failed_osd_id>

    rook-ceph-osd 接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例: FAILED_OSD_IDS=0,1,2)

    OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、FORCE_OSD_REMOVAL 値を true に変更する必要があります。

18. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。

    Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注記

    ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

19. ocs-osd-removal-job を削除します。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    出力例:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   出力例:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. NODE を特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. Terminating 状態の Pod を削除します。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. ノードを削除します。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
8. 必要なインフラストラクチャーで新規のベアメタルマシンを取得します。クラスターのベアメタルへのインストール について参照してください。
9. 新規ベアメタルマシンを使用して新規 OpenShift Container Platform ノードを作成します。

10. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
12. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

14. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    以下に例を示します。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. 新規ワーカーノードを localVolumeDiscovery および localVolumeSet に追加します。

    1. localVolumeDiscovery 定義を更新し、新規ノードを追加して失敗したノードを削除します。

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       エディターを終了する前に必ず保存します。

       上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

    2. 編集する localVolumeSet を決定します。

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. localVolumeSet 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       エディターを終了する前に必ず保存します。

       上記の例では、server3.example.com が削除され、newnode.example.com が新規ノードになります。

16. 新規 localblock PV が利用可能であることを確認します。

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

17. openshift-storage プロジェクトを変更します。

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

18. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -

    Copy to Clipboard Toggle word wrap

    <failed_osd_id>

    rook-ceph-osd 接頭辞の直後の Pod 名の整数です。コマンドにコンマ区切りの OSD ID を追加して、複数の OSD を削除できます (例: FAILED_OSD_IDS=0,1,2)

    OSD が 3 つしかないクラスター、または OSD が削除された後にデータの 3 つのレプリカすべてを復元するにはスペースが不十分なクラスターでは、FORCE_OSD_REMOVAL 値を true に変更する必要があります。

19. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。

    Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    注記

    ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

20. ocs-osd-removal-job を削除します。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    出力例:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   出力例:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインします。
2. Compute → Nodes をクリックします。
3. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

4. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

6. Compute → Machines をクリックします。必要なマシンを検索します。
7. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
8. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

9. 新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

10. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

11. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでデータの暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 指定の OSD にバインドされる Persistent Volume Claim(永続ボリューム要求、PVC) を特定します。

      $ oc describe pod/rook-ceph-osd-0-544db49d7f-qrgqm|grep pvc
      ceph.rook.io/pvc=ocs-deviceset-thin-0-data-0lg6zp

      Copy to Clipboard Toggle word wrap

   2. OSD Pod が実行される場所を特定します。

      $ oc get -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm

      Copy to Clipboard Toggle word wrap

   3. デバッグ Pod を作成し、ホストの chroot 環境を開きます。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   4. デバイスが暗号化されていることを確認します。

      $ dmsetup ls | grep ocs-deviceset
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

      Copy to Clipboard Toggle word wrap

      $ lsblk | grep ocs-deviceset
      `-ocs-deviceset-0-data-0-57snx-block-dmcrypt 253:1    0   512G  0 crypt

      Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定し、その Machine Name をクリックします。
3. Actions → Edit Annotations をクリックし、Add More をクリックします。
4. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。
5. Actions → Delete Machine をクリックしてから、Delete をクリックします。

6. 新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   Web ユーザーインターフェイスの使用

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     Copy to Clipboard Toggle word wrap

9. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

10. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
11. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

12. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

    Copy to Clipboard Toggle word wrap

13. (オプション) クラスターでデータの暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

    1. 指定の OSD にバインドされる Persistent Volume Claim(永続ボリューム要求、PVC) を特定します。

       $ oc describe pod/rook-ceph-osd-0-544db49d7f-qrgqm|grep pvc
       ceph.rook.io/pvc=ocs-deviceset-thin-0-data-0lg6zp

       Copy to Clipboard Toggle word wrap

    2. OSD Pod が実行される場所を特定します。

       $ oc get -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm

       Copy to Clipboard Toggle word wrap

    3. デバッグ Pod を作成し、ホストの chroot 環境を開きます。

       $ oc debug node/<node name>
       $ chroot /host

       Copy to Clipboard Toggle word wrap

    4. デバイスが暗号化されていることを確認します。

       $ dmsetup ls | grep ocs-deviceset
       ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

       Copy to Clipboard Toggle word wrap

       $ lsblk | grep ocs-deviceset
       `-ocs-deviceset-0-data-0-57snx-block-dmcrypt 253:1    0   512G  0 crypt

       Copy to Clipboard Toggle word wrap
14. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

6. ノードを削除します。

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
7. 必要なインフラストラクチャーで新規 Amazon EC2 I3 マシンインスタンスを作成します。サポートされるインフラストラクチャーおよびプラットフォーム について参照してください。
8. 新規 Amazon EC2 I3 マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

9. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

   Copy to Clipboard Toggle word wrap

10. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
11. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

12. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

13. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    以下に例を示します。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

14. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n $local_storage_project localvolume

       Copy to Clipboard Toggle word wrap

       出力例:

       NAME          AGE
       local-block   25h

       Copy to Clipboard Toggle word wrap

       $ oc edit -n $local_storage_project localvolume local-block

       Copy to Clipboard Toggle word wrap

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       Copy to Clipboard Toggle word wrap

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       Copy to Clipboard Toggle word wrap

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

       Copy to Clipboard Toggle word wrap

15. 障害のあるノードに関連付けられたストレージリソースを削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       Copy to Clipboard Toggle word wrap

       ここで、osd_id_to_remove は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       Copy to Clipboard Toggle word wrap

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       Copy to Clipboard Toggle word wrap

       ここで、x、y、および pvc-suffix は、前の手順で識別された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       Copy to Clipboard Toggle word wrap

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. openshift-storage プロジェクトを変更します。

       $ oc project openshift-storage

       Copy to Clipboard Toggle word wrap

    4. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} | oc create -f -

       Copy to Clipboard Toggle word wrap

    5. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されることを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

       Copy to Clipboard Toggle word wrap
       注記

       ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

       Copy to Clipboard Toggle word wrap

    6. 先のステップで特定された PV を削除します。この例では、物理ボリューム名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       Copy to Clipboard Toggle word wrap

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

       Copy to Clipboard Toggle word wrap

16. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

17. ocs-osd-removal-job を削除します。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    出力例:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   出力例:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   Copy to Clipboard Toggle word wrap

   OSD と mon が Running 状態になるまで数分かかる場合があります。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (オプション) クラスターでクラスター全体の暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. 直前の手順で特定された新規ノードごとに、以下を実行します。

      1. デバッグ Pod を作成し、選択したホストの chroot 環境を開きます。

         $ oc debug node/<node name>
         $ chroot /host

         Copy to Clipboard Toggle word wrap

      2. lsblk を実行し、ocs-deviceset 名の横にある crypt キーワードを確認します。

         $ lsblk

         Copy to Clipboard Toggle word wrap
6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、 Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。そのマシン名をメモします。

3. 置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

4. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

5. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

6. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

7. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
8. Compute → Machines をクリックします。必要なマシンを検索します。
9. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
10. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

11. 新規マシンが起動し、Running 状態に移行するまで待機します。

    重要

    このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

12. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

14. OpenShift ローカルストレージ Operator がインストールされている namespace を特定し、これを local_storage_project 変数に割り当てます。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    以下に例を示します。

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

15. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n $local_storage_project localvolume

       Copy to Clipboard Toggle word wrap

       出力例:

       NAME          AGE
       local-block   25h

       Copy to Clipboard Toggle word wrap

       $ oc edit -n $local_storage_project localvolume local-block

       Copy to Clipboard Toggle word wrap

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       Copy to Clipboard Toggle word wrap

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       Copy to Clipboard Toggle word wrap

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

       Copy to Clipboard Toggle word wrap

16. 障害のあるノードに関連付けられたストレージリソースを削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       Copy to Clipboard Toggle word wrap

       ここで、osd_id_to_remove は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       Copy to Clipboard Toggle word wrap

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       Copy to Clipboard Toggle word wrap

       ここで、x、y、および pvc-suffix は、前の手順で識別された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       Copy to Clipboard Toggle word wrap

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. openshift-storage プロジェクトを変更します。

       $ oc project openshift-storage

       Copy to Clipboard Toggle word wrap

    4. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} | oc create -f -

       Copy to Clipboard Toggle word wrap

    5. ocs-osd-removal-job Pod のステータスをチェックして、OSD が正常に削除されることを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

       Copy to Clipboard Toggle word wrap
       注記

       ocs-osd-removal-job が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

       Copy to Clipboard Toggle word wrap

    6. 先のステップで特定された PV を削除します。この例では、物理ボリューム名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       Copy to Clipboard Toggle word wrap

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

       Copy to Clipboard Toggle word wrap

17. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

    1. rook-ceph-operator を削除します。

       $ oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       Copy to Clipboard Toggle word wrap

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

       Copy to Clipboard Toggle word wrap

    2. rook-ceph-operator Pod が再起動していることを確認します。

       $ oc get -n openshift-storage pod -l app=rook-ceph-operator

       Copy to Clipboard Toggle word wrap

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       Copy to Clipboard Toggle word wrap

       新規 OSD の作成には、Operator が起動するまでに数分かかる場合があります。

18. ocs-osd-removal-job を削除します。

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    出力例:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap