Red Hat Summit10.7. チューニング変更の適用の延期
管理者は、Node Tuning Operator (NTO) を使用して、実行中のシステム上のカスタムリソース (CR) を更新し、チューニングの変更を行います。たとえば、チューニングするオブジェクトの [sysctl] セクションで sysctl パラメーターを更新または追加することがあります。管理者がチューニングの変更を適用すると、NTO は TuneD にすべての設定を再処理するように要求します。その結果、チューニングされるプロセスですべてのチューニングがロールバックされてから再適用されます。
レイテンシーの影響を受けやすいアプリケーションでは、パフォーマンスが一時的に低下する可能性があるため、TuneD プロファイルの削除と再適用が許容されない場合があります。これは、CPU パーティショニングを実行し、パフォーマンスプロファイルを使用してプロセスまたは割り込みのアフィニティーを管理する設定の場合に特に重要です。この問題を回避するために、OpenShift Container Platform ではチューニングの変更を適用するための新しい方法が導入されました。OpenShift Container Platform 4.17 より前は、利用できる方法は immediate だけでした。この方法では、変更がすぐに適用され、多くの場合、チューニングされた再起動がトリガーされていました。
これに加えて次の方法がサポートされています。
-
always: すべての変更が次回のノードの再起動時に適用されます。 -
update: チューニングの変更によって TuneD プロファイルが変更されると、デフォルトですぐに適用され、できるだけ早く反映されます。チューニングの変更によって TuneD プロファイルが変更されず、プロファイルの値がその場で変更された場合、変更は always として処理されます。
この機能を有効にするには、アノテーション tuned.openshift.io/deferred を追加します。次の表は、アノテーションに使用できる値をまとめたものです。
| アノテーション値 | 説明 |
|---|---|
| missing | 変更がすぐに適用されます。 |
| always | 変更が次回のノードの再起動時に適用されます。 |
| update | 変更によってプロファイルが変更された場合はすぐに適用されます。それ以外の場合は次のノードの再起動時に適用されます。 |
次の例は、always 方式を使用して kernel.shmmni sysctl パラメーターに変更を適用する方法を示しています。
例
apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
name: performance-patch
namespace: openshift-cluster-node-tuning-operator
annotations:
tuned.openshift.io/deferred: "always"
spec:
profile:
- name: performance-patch
data: |
[main]
summary=Configuration changes profile inherited from performance created tuned
include=openshift-node-performance-performance
[sysctl]
kernel.shmmni=8192
recommend:
- machineConfigLabels:
machineconfiguration.openshift.io/role: worker-cnf
priority: 19
profile: performance-patch10.7.1. チューニング変更の適用の延期: 例
次の実例では、Node Tuning Operator を使用してチューニング変更の適用を延期する方法を説明します。
前提条件
-
cluster-adminロールへのアクセス権がある。 - クラスターにパフォーマンスプロファイルを適用した。
-
プロファイルが指定のノードにのみ適用されるように、
MachineConfigPoolリソース (worker-cnfなど) が設定されている。
手順
次のコマンドを実行して、クラスターに現在適用されているプロファイルを確認します。
$ oc -n openshift-cluster-node-tuning-operator get tuned出力例
NAME AGE default 63m openshift-node-performance-performance 21m次のコマンドを実行して、クラスター内のマシン設定プールを確認します。
$ oc get mcp出力例
NAME CONFIG UPDATED UPDATING DEGRADED MACHINECOUNT READYMACHINECOUNT UPDATEDMACHINECOUNT DEGRADEDMACHINECOUNT AGE master rendered-master-79a26af9f78ced61fa8ccd309d3c859c True False False 3 3 3 0 157m worker rendered-worker-d9352e91a1b14de7ef453fa54480ce0e True False False 2 2 2 0 157m worker-cnf rendered-worker-cnf-f398fc4fcb2b20104a51e744b8247272 True False False 1 1 1 0 92m次のコマンドを実行して、現在適用されているパフォーマンスプロファイルの情報を表示します。
$ oc describe performanceprofile performance | grep Tuned出力例
Tuned: openshift-cluster-node-tuning-operator/openshift-node-performance-performancekernel.shmmnisysctl パラメーターの既存の値を確認します。次のコマンドを実行してノード名を表示します。
$ oc get nodes出力例
NAME STATUS ROLES AGE VERSION ip-10-0-26-151.ec2.internal Ready worker,worker-cnf 116m v1.30.6 ip-10-0-46-60.ec2.internal Ready worker 115m v1.30.6 ip-10-0-52-141.ec2.internal Ready control-plane,master 123m v1.30.6 ip-10-0-6-97.ec2.internal Ready control-plane,master 121m v1.30.6 ip-10-0-86-145.ec2.internal Ready worker 117m v1.30.6 ip-10-0-92-228.ec2.internal Ready control-plane,master 123m v1.30.6次のコマンドを実行して、ノード
ip-10-0-32-74.ec2.internalのkernel.shmmnisysctl パラメーターの現在の値を表示します。$ oc debug node/ip-10-0-26-151.ec2.internal -q -- chroot host sysctl kernel.shmmni出力例
kernel.shmmni = 4096
kernel.shmmnisysctl パラメーターを8192に変更するプロファイルパッチ (例:perf-patch.yaml) を作成します。次の設定を適用し、always方式を使用して、変更の適用を新しい手動再起動まで延期します。apiVersion: tuned.openshift.io/v1 kind: Tuned metadata: name: performance-patch namespace: openshift-cluster-node-tuning-operator annotations: tuned.openshift.io/deferred: "always" spec: profile: - name: performance-patch data: | [main] summary=Configuration changes profile inherited from performance created tuned include=openshift-node-performance-performance1 [sysctl] kernel.shmmni=81922 recommend: - machineConfigLabels: machineconfiguration.openshift.io/role: worker-cnf3 priority: 19 profile: performance-patch次のコマンドを実行してプロファイルのパッチを適用します。
$ oc apply -f perf-patch.yaml次のコマンドを実行して、プロファイルのパッチが次のノードの再起動を待機していることを確認します。
$ oc -n openshift-cluster-node-tuning-operator get profile出力例
NAME TUNED APPLIED DEGRADED MESSAGE AGE ip-10-0-26-151.ec2.internal performance-patch False True The TuneD daemon profile is waiting for the next node restart: performance-patch 126m ip-10-0-46-60.ec2.internal openshift-node True False TuneD profile applied. 125m ip-10-0-52-141.ec2.internal openshift-control-plane True False TuneD profile applied. 130m ip-10-0-6-97.ec2.internal openshift-control-plane True False TuneD profile applied. 130m ip-10-0-86-145.ec2.internal openshift-node True False TuneD profile applied. 126m ip-10-0-92-228.ec2.internal openshift-control-plane True False TuneD profile applied. 130m再起動する前に、
kernel.shmmnisysctl パラメーターの値が変更されていないことを確認します。次のコマンドを実行して、ノード
ip-10-0-26-151.ec2.internalのkernel.shmmnisysctl パラメーターへのperformance-patchの変更が適用されていないことを確認します。$ oc debug node/ip-10-0-26-151.ec2.internal -q -- chroot host sysctl kernel.shmmni出力例
kernel.shmmni = 4096
次のコマンドを実行して、ノード
ip-10-0-26-151.ec2.internalを再起動し、必要な変更を適用します。$ oc debug node/ip-10-0-26-151.ec2.internal -q -- chroot host reboot&別のターミナルウィンドウで次のコマンドを実行して、ノードが再起動したことを確認します。
$ watch oc get nodesノード
ip-10-0-26-151.ec2.internalがReady状態に戻るまで待ちます。次のコマンドを実行して、プロファイルのパッチが次のノードの再起動を待機していることを確認します。
$ oc -n openshift-cluster-node-tuning-operator get profile出力例
NAME TUNED APPLIED DEGRADED MESSAGE AGE ip-10-0-20-251.ec2.internal performance-patch True False TuneD profile applied. 3h3m ip-10-0-30-148.ec2.internal openshift-control-plane True False TuneD profile applied. 3h8m ip-10-0-32-74.ec2.internal openshift-node True True TuneD profile applied. 179m ip-10-0-33-49.ec2.internal openshift-control-plane True False TuneD profile applied. 3h8m ip-10-0-84-72.ec2.internal openshift-control-plane True False TuneD profile applied. 3h8m ip-10-0-93-89.ec2.internal openshift-node True False TuneD profile applied. 179m再起動後に
kernel.shmmnisysctl パラメーターの値が変更されたことを確認します。次のコマンドを実行して、
kernel.shmmnisysctl パラメーターの変更がノードip-10-0-32-74.ec2.internalに適用されていることを確認します。$ oc debug node/ip-10-0-32-74.ec2.internal -q -- chroot host sysctl kernel.shmmni出力例
kernel.shmmni = 8192
もう一度再起動すると、kernel.shmmni sysctl パラメーターの元の値が復元されます。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}