15.5. RHEL for Edge イメージのロールバック
RHEL for Edge はオペレーティングシステムにトランザクション更新を適用するため、失敗した更新を最後に確認されている正常な状態に手動または自動でロールバックでき、更新中のシステム障害を防ぐことができます。greenboot
フレームワークを使用すると、検証とロールバックのプロセスを自動化できます。
greenboot
ヘルスチェックフレームワークは、rpm-ostree
活用して、システム起動時にカスタムヘルスチェックを実行します。問題が発生した場合、システムは最後の作業状態にロールバックします。rpm-ostree
更新をデプロイすると、スクリプトが実行され、重要なサービスが更新後も機能することが確認されます。パッケージの障害などによりシステムが機能しない場合は、システムを以前の安定したバージョンにロールバックできます。このプロセスにより、RHEL for Edge デバイスが確実に動作状態になります。
イメージを更新すると、以前のイメージのデプロイメントを保持しながら、新しいイメージのデプロイメントが作成されます。更新が成功したかどうかを確認できます。パッケージの障害などにより更新が失敗した場合は、システムを以前の安定したバージョンにロールバックできます。
15.5.1. greenboot チェックの概要
Greenboot
は、rpm-ostree
ベースのシステムで利用できる systemd
の一般的なヘルスチェックフレームワークです。これには、システムにインストールできる次の RPM パッケージが含まれています。
greenboot
- 次の機能を含むパッケージです。- 提供されたスクリプトを確認します。
- チェックが失敗した場合はシステムを再起動します。
- 再起動しても問題が解決しなかった場合は、以前のデプロイメントにロールバックします。
-
greenboot-default-health-checks
-greenboot
システムのメンテナーによって提供される、選択された任意のヘルスチェックのセットです。
greenboot
は、システム上で実行されるヘルスチェックスクリプトを使用してシステムの正常性を評価し、ソフトウェアに障害が発生した場合には最後の正常な状態へ自動的にロールバックすることにより、RHEL for Edge システムで機能します。これらのヘルスチェックスクリプトは、/etc/greenboot/check/required.d
ディレクトリーに含まれています。greenboot
はヘルスチェック用のシェルスクリプトをサポートしています。ヘルスチェックフレームワークは、直接的な保守機能が制限されているか存在しないエッジデバイスでソフトウェアの問題をチェックし、システムロールバックを実行する必要がある場合に特に役立ちます。ヘルスチェックスクリプトをインストールして設定すると、システムが起動するたびにヘルスチェックが実行されます。
独自のヘルスチェックスクリプトを作成して、ワークロードとアプリケーションの正常性を評価できます。これらの追加のヘルスチェックスクリプトは、ソフトウェアの問題チェックと自動システムロールバックの有用なコンポーネントです。
OSTree を使用していないシステムでヘルスチェックが失敗した場合は、ロールバックを使用できません。
15.5.2. greenboot による RHEL for Edge イメージのロールバック
RHEL for Edge イメージでは、トランザクション更新のみがオペレーティングシステムに適用されます。トランザクション更新はアトミックです。つまり、すべての更新が成功した場合にのみ更新が適用されます。また、ロールバックがサポートされます。トランザクション更新では、失敗した更新を最後の既知の良い状態に簡単にロールバックすることができ、更新中のシステム障害を防ぐことができます。
ヘルスチェックの実行は、直接的な保守機能が制限されているか存在しないエッジデバイスでソフトウェアの問題をチェックし、システムロールバックを実行する必要がある場合に特に役立ちます。
OSTree を使用していないシステムで更新が失敗した場合は、ヘルスチェックが実行される可能性がある場合でも、ロールバックを使用できません。
greenboot
ヘルスチェックフレームワークによるインテリジェントなロールバックを使用すると、システムが起動するたびにシステムの正常性を自動的に評価できます。事前設定されたヘルスチェックは、greenboot-default-health-checks
サブパッケージから取得できます。これらのチェックは、rpm-ostree
システムの /usr/lib/greenboot/check
読み取り専用ディレクトリーにあります。
greenboot
は rpm-ostree
を活用し、システム起動時に実行されるカスタムヘルスチェックを実行します。問題が発生した場合、システムは変更をロールバックし、最後の作業状態を保持します。rpm-ostree
更新をデプロイすると、スクリプトが実行され、重要なサービスが更新後も機能することが確認されます。システムが機能しない場合、更新はシステムの最新の動作バージョンにロールバックされます。このプロセスにより、RHEL for Edge デバイスが確実に動作状態になります。
事前設定されたヘルスチェックは、greenboot-default-health-checks` サブパッケージから取得できます。これらのチェックは、
読み取り専用ディレクトリーにあります。シェルスクリプトを次のタイプのチェックとして設定することもできます。
rpm-ostree
システムの `/usr/lib/greenboot/check
例15.1 greenboot のディレクトリー構造
etc
└─ greenboot
├─ check
| └─ required.d
| └─ init.py
└─ green.d
└─ red.d
- Required
-
失敗してはならないヘルスチェックが含まれています。必要なシェルスクリプトを
/etc/greenboot/check/required.d
ディレクトリーに配置します。スクリプトが失敗すると、greenboot はデフォルトでスクリプトを 3 回再試行します。/etc/greenboot/greenboot.conf
ファイルで再試行回数を設定するには、GREENBOOT_MAX_BOOTS
パラメーターを目的の再試行回数に設定します。
すべての再試行が失敗すると、ロールバックが利用可能であれば greenboot
が自動的に開始します。ロールバックが利用できない場合は、手動介入が必要であることをシステムログ出力が示します。
- Wanted
-
失敗してもシステムをロールバックしないヘルスチェックが含まれています。必要なシェルスクリプトを
/etc/greenboot/check/wanted.d
ディレクトリーに配置します。Greenboot
はスクリプトが失敗したことを通知し、システムの正常性ステータスは影響を受けず、ロールバックも再起動も実行しません。
チェック後に実行するシェルスクリプトを指定することもできます。
- Green
-
起動が成功した後に実行するスクリプトが含まれています。これらのスクリプトを
/etc/greenboot/green.d
ディレクトリーに配置します。Greenboot
は起動が成功したことを通知します。 - Red
-
起動に失敗した後に実行するスクリプトが含まれています。この種類のスクリプトは
/etc/greenboot/red.d
ディレクトリーに配置します。システムは起動を 3 回試行し、失敗した場合はスクリプトを実行します。greenboot
は起動が失敗したことを通知します。
以下の図は、RHEL for Edge イメージのロールバックプロセスを説明しています。
更新されたオペレーティングシステムを起動した後、greenboot
は required.d
ディレクトリーと wanted.d
ディレクトリー内のスクリプトを実行します。required.d
ディレクトリー内のいずれかのスクリプトが失敗した場合、greenboot
は red.d
ディレクトリー内のスクリプトを実行してから、システムを再起動します。
greenboot
は、アップグレードしたシステムでの起動をさらに 2 回試行します。3 回目の起動試行中に required.d 内のスクリプトが依然として失敗する場合、greenboot
は最後に red.d スクリプトを 1 回実行し、red.d ディレクトリー内のスクリプトが問題を修正するための修正アクションを実行しようとして失敗したことを確認します。その後、greenboot
は、現在の rpm-ostree
デプロイメントから以前の安定したデプロイメントにシステムをロールバックします。
15.5.3. Greenboot ヘルスチェックのステータス
更新されたシステムをデプロイするときは、greenboot がシステムを以前の状態にロールバックした場合に変更が失われないように、greenboot ヘルスチェックが完了するまで待ってから変更を加えてください。設定を変更したり、アプリケーションをデプロイしたりする場合は、greenboot ヘルスチェックが完了するまで待つ必要があります。これにより、greenboot が rpm-ostree
システムを以前の状態にロールバックしても、変更が失われなくなります。
greenboot-healthcheck
サービスは 1 回実行されて終了します。次のコマンドを使用することで、サービスのステータスをチェックしてサービスが完了したかどうかを確認し、結果を知ることができます。
systemctl is-active greenboot-healthcheck.service
-
このコマンドは、サービスが終了していれば
active
と報告します。サービスが実行されなかった場合は、inactive
と表示されます。 systemctl show --property=SubState --value greenboot-healthcheck.service
-
サービスが完了していれば
exited
、実行中であればrunning
と報告します。 systemctl show --property=Result --value greenboot-healthcheck.service
-
チェックに合格していれば
success
と報告します。 systemctl show --property=ExecMainStatus --value greenboot-healthcheck.service
- サービスの数値終了コードを報告します。0 は成功を、0 以外の値は失敗を意味します。
cat /run/motd.d/boot-status
- "Boot Status is GREEN - Health Check SUCCESS" などのメッセージが表示されます。
15.5.4. greenboot ヘルスチェックのステータスの確認
システムに変更を加える前、またはトラブルシューティング中に、greenboot ヘルスチェックのステータスを確認します。次のコマンドのいずれかを使用すると、greenboot スクリプトの実行が完了したことを確認できます。
ステータスを確認するには、次のオプションのいずれかを使用します。
ヘルスチェックステータスのレポートを表示するには、次のように入力します。
$ systemctl show --property=SubState --value greenboot-healthcheck.service
出力は次のとおりです。
-
start
は、greenboot チェックがまだ実行中であることを意味します。 -
exited
は、チェックに合格し、greenboot が終了したことを意味します。Greenboot は、システムが正常な状態の場合、green.d
ディレクトリー内のスクリプトを実行します。 -
failed
は、チェックに合格しなかったことを意味します。システムがこの状態にある場合、Greenboot はred.d
ディレクトリー内のスクリプトを実行し、システムを再起動する可能性があります。
-
サービスの数値終了コードを示すレポートを表示するには、次のコマンドを使用します。
0
は成功を、0 以外の値は失敗を意味します。$ systemctl show --property=ExecMainStatus --value greenboot-healthcheck.service
Boot Status is GREEN - Health Check SUCCESS
など、ブートステータスに関するメッセージを示すレポートを表示するには、次のように入力します。$ cat /run/motd.d/boot-status
15.5.5. RHEL for Edge イメージの手動でのロールバック
オペレーティングシステムをアップグレードすると、新しいデプロイメントが作成されます。また、rpm-ostree
パッケージによって以前のデプロイメントが保持されます。オペレーティングシステムの更新バージョンに問題がある場合は、1 つの rpm-ostree
コマンドを使用するか、GRUB ブートローダーで以前のデプロイメントを選択することで、以前のデプロイメントに手動でロールバックできます。
以前のバージョンに手動でロールバックするには、次の手順を実行します。
前提条件
- システムを更新したが、障害が発生した。
手順
オプション: 失敗エラーメッセージを確認します。
$ journalctl -u greenboot-healthcheck.service.
rollback
コマンドを実行します。# rpm-ostree rollback
コマンドの出力では、移動中のコミット ID の詳細が確認でき、削除されたパッケージの詳細を含めて、完了したトランザクションが表示されます。
システムを再起動します。
# systemctl reboot
このコマンドは、安定したコンテンツが含まれる 1 つ前のコミットを有効にします。変更が適用され、以前のバージョンが復元されます。
15.5.6. 自動化プロセスを使用した RHEL for Edge イメージのロールバック
greenboot
チェックは、起動プロセスに統合されたフレームワークを提供し、ヘルスチェックが失敗した場合は rpm-ostree
ロールバックをトリガーできます。ヘルスチェックについては、ヘルスチェックの合否を示すカスタムスクリプトを作成できます。結果をもとに、ロールバックをトリガーするタイミングを決めることができます。次の手順では、ヘルスチェックスクリプトの例を作成する方法を示します。
手順
標準の終了コード
0
を返すスクリプトを作成します。たとえば、以下のスクリプトにより、設定された DNS サーバーを必ず利用できます。
#!/bin/bash DNS_SERVER=$(grep ^nameserver /etc/resolv.conf | head -n 1 | cut -f2 -d" ") COUNT=0 # check DNS server is available ping -c1 $DNS_SERVER while [ $? != '0' ] && [ $COUNT -lt 10 ]; do ((COUNT++)) echo "Checking for DNS: Attempt $COUNT ." sleep 10 ping -c 1 $DNS_SERVER done
/etc/greenboot/check/required.d/
でヘルスチェック用の実行ファイルを追加します。chmod +x check-dns.sh
次の再起動時には、システムが
boot-complete.target
ユニットに入る前に、起動プロセスの一環としてスクリプトが実行されます。ヘルスチェックが正常に行われた場合は何もしません。ヘルスチェックに失敗した場合は、システムが数回再起動されてから、更新が失敗したとマークされ、前回の更新にロールバックされます。
検証
デフォルトゲートウェイにアクセスできるかどうかを確認するには、以下のヘルスチェックスクリプトを実行します。
標準の終了コード
0
を返すスクリプトを作成します。#!/bin/bash DEF_GW=$(ip r | awk '/^default/ {print $3}') SCRIPT=$(basename $0) count=10 connected=0 ping_timeout=5 interval=5 while [ $count -gt 0 -a $connected -eq 0 ]; do echo "$SCRIPT: Pinging default gateway $DEF_GW" ping -c 1 -q -W $ping_timeout $DEF_GW > /dev/null 2>&1 && connected=1 || sleep $interval ((--count)) done if [ $connected -eq 1 ]; then echo "$SCRIPT: Default gateway $DEF_GW is reachable." exit 0 else echo "$SCRIPT: Failed to ping default gateway $DEF_GW!" 1>&2 exit 1 fi
/etc/greenboot/check/required.d/
ディレクトリーでヘルスチェックの実行ファイルを追加します。chmod +x check-gw.sh