第7章 トラブルシューティング
7.1. インストールのトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform のインストールに関する問題のトラブルシューティングには、以下のセクションを参照してください。
7.1.1. インストールの問題が発生する場所の判別 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform のインストールの問題のトラブルシューティング時に、インストールログを監視して、問題が発生した段階を判別できます。次に、その段階に関連する診断データを取得します。
OpenShift Container Platform インストールは以下の段階に従って実行されます。
- Ignition 設定ファイルが作成されます。
- ブートストラップマシンが起動し、コントロールプレーンマシンの起動に必要なリモートリソースのホスティングを開始します。
- コントロールプレーンマシンは、ブートストラップマシンからリモートリソースをフェッチし、起動を終了します。
- コントロールプレーンマシンはブートストラップマシンを使用して、etcd クラスターを作成します。
- ブートストラップマシンは、新規 etcd クラスターを使用して一時的な Kubernetes コントロールプレーンを起動します。
- 一時的なコントロールプレーンは、実稼働コントロールプレーンをコントロールプレーンマシンにスケジュールします。
- 一時的なコントロールプレーンはシャットダウンし、コントロールを実稼働コントロールプレーンに渡します。
- ブートストラップマシンは OpenShift Container Platform コンポーネントを実稼働コントロールプレーンに追加します。
- インストールプログラムはブートストラップマシンをシャットダウンします。
- コントロールプレーンはワーカーノードをセットアップします。
- コントロールプレーンは一連の Operator の形式で追加のサービスをインストールします。
- クラスターはサポートされる環境でのワーカーマシンの作成など、日常の操作に必要な残りのコンポーネントをダウンロードし、設定します。
7.1.2. ユーザーによってプロビジョニングされるインフラストラクチャーのインストールに関する考慮事項 リンクのコピーリンクがクリップボードにコピーされました!
デフォルトのインストール方法は、インストーラーでプロビジョニングされるインフラストラクチャーです。
インストーラーでプロビジョニングされるインフラストラクチャークラスターの場合、OpenShift Container Platform は、オペレーティングシステム自体を含むクラスターのすべての側面を管理します。可能な場合は、この機能を使用してクラスターインフラストラクチャーのプロビジョニングと保守の手間を省くようにしてください。
OpenShift Container Platform 4.21 は、ユーザーが独自に提供するインフラストラクチャーにインストールすることもできます。このインストール方法を使用する場合は、ユーザーによってプロビジョニングされるインフラストラクチャーのインストールドキュメントに注意深く従ってください。また、インストール前に以下の考慮事項を確認してください。
- Red Hat Enterprise Linux (RHEL) Ecosystem を確認し、選択したサーバーハードウェアまたは仮想化テクノロジーに提供される Red Hat Enterprise Linux CoreOS (RHCOS)サポートのレベルを判別します。
- 多くの仮想化環境およびクラウド環境では、ゲストオペレーティングシステムにエージェントをインストールする必要があります。これらのエージェントがデーモンセット経由でデプロイされるコンテナー化されたワークロードとしてインストールされていることを確認します。
動的ストレージ、オンデマンドサービスルーティング、ノードホスト名の Kubernetes ホスト名への解決、クラスターの自動スケーリングなどの機能を有効にする場合は、クラウドプロバイダーの統合をインストールします。
注記異なるクラウドプロバイダーのリソースを組み合わせた OpenShift Container Platform 環境でのクラウドプロバイダーの統合を有効にしたり、複数の物理または仮想プラットフォームにまたがるクラウドプロバイダーの統合を有効にすることはできません。ノードライフサイクルコントローラーでは、既存プロバイダーの外部にあるノードをクラスターに追加することはできず、複数のクラウドプロバイダーの統合を指定することはできません。
- マシンセットまたは自動スケーリングを使用して OpenShift Container Platform クラスターノードを自動的にプロビジョニングする必要がある場合、プロバイダー固有のマシン API 実装が必要です。
- 選択したクラウドプロバイダーが、初期デプロイメントの一部として Ignition 設定ファイルをホストに挿入する方法を提供するかどうかを確認します。提供しない場合は、HTTP サーバーを使用して Ignition 設定ファイルをホストする必要があります。Ignition 設定ファイルの問題のトラブルシューティングを行う手順は、これらの 2 つの方法のどちらをデプロイするかによって異なります。
- 組み込みコンテナーレジストリー、Elasticsearch、Prometheus などのオプションのフレームワークコンポーネントを利用する必要がある場合は、ストレージを手動でプロビジョニングする必要があります。デフォルトのストレージクラスは、明示的に設定されない限り、ユーザーによってプロビジョニングされるインフラストラクチャーのインストールでは定義されません。
- ロードバランサーは、可用性の高い OpenShift Container Platform 環境にあるすべてのコントロールプレーンノードに API 要求を分散するために必要です。OpenShift Container Platform DNS ルーティングおよびポートの要件を満たす TCP ベースの負荷分散ソリューションを使用できます。
7.1.3. OpenShift Container Platform インストール前のロードバランサー設定の確認 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform インストールを開始する前に、ロードバランサーの設定を確認してください。
前提条件
- OpenShift Container Platform インストールの準備のために、選択した外部ロードバランサーを設定している。以下の例では、HAProxy を使用した Red Hat Enterprise Linux (RHEL) ホストに基づいて、負荷分散サービスをクラスターに提供します。
- OpenShift Container Platform インストールの準備のために DNS を設定している。
- ロードバランサーへの SSH アクセスがある。
手順
haproxysystemd サービスがアクティブであることを確認します。$ ssh <user_name>@<load_balancer> systemctl status haproxyロードバランサーが必要なポートでリッスンしていることを確認します。以下の例では、ポート
80、443、6443、および22623を参照します。Red Hat Enterprise Linux (RHEL) 6 で実行している HAProxy インスタンスの場合は、
netstatコマンドを使用して、ポートのステータスを確認します。$ ssh <user_name>@<load_balancer> netstat -nltupe | grep -E ':80|:443|:6443|:22623'Red Hat Enterprise Linux (RHEL) 7 または 8 で実行している HAProxy インスタンスの場合、
ssコマンドを使用して、ポートのステータスを確認します。$ ssh <user_name>@<load_balancer> ss -nltupe | grep -E ':80|:443|:6443|:22623'注記Red Hat は、Red Hat Enterprise Linux (RHEL) 7 以降の
netstatではなく、ssコマンドを推奨しています。ssは、iproute パッケージで提供されます。ssコマンドの詳細は、Red Hat Enterprise Linux (RHEL) 7 パフォーマンスチューニングガイド を参照してください。
ワイルドカード DNS レコードがロードバランサーに解決されていることを確認します。
$ dig <wildcard_fqdn> @<dns_server>
7.1.4. OpenShift Container Platform インストーラーのログレベルの指定 リンクのコピーリンクがクリップボードにコピーされました!
デフォルトで、OpenShift Container Platform インストーラーのログレベルは info に設定されます。失敗した OpenShift Container Platform インストールの診断時により詳細なロギングが必要な場合は、再びインストールを開始する際に openshift-install ログレベルを debug に引き上げることができます。
前提条件
- インストールホストにアクセスできる。
手順
インストールを開始する際に、インストールのログレベルを
debugに設定します。$ ./openshift-install --dir <installation_directory> wait-for bootstrap-complete --log-level debug- 各項目の説明:
-
使用可能なログレベルは、
info、warn、error、およびdebugです。
7.1.5. openshift-install コマンド関連の問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
openshift-install コマンドの実行に問題がある場合には、以下を確認してください。
インストールは Ignition 設定ファイルの作成から 24 時間以内に開始されている。Ignition ファイルは以下のコマンドの実行時に作成されている。
$ ./openshift-install create ignition-configs --dir=./install_dir-
install-config.yamlファイルはインストーラーと同じディレクトリーにある。代替インストールパスが./openshift-install --dirオプションを使用して宣言される場合、そのディレクトリーにinstall-config.yamlファイルが存在することを確認します。
7.1.6. インストールの進捗の監視 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform インストールの進捗として、高レベルのインストール、ブートストラップ、およびコントロールプレーンのログをモニターできます。これにより、インストールの進捗をより明確に把握できるようになり、インストールが失敗する段階を特定しやすくなります。
前提条件
-
cluster-adminクラスターロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - ホストへの SSH アクセスがあること。
ブートストラップおよびコントロールプレーンノードの完全修飾ドメイン名がある。
注記初期の
kubeadminパスワードは、インストールホストの<install_directory>/auth/kubeadmin-passwordにあります。
手順
インストールの進捗に応じてインストールログを監視します。
$ tail -f ~/<installation_directory>/.openshift_install.log起動後にブートストラップノードで
bootkube.servicejournald ユニットログを監視します。これにより、最初のコントロールプレーンのブートストラップを可視化できます。<bootstrap_fqdn>をブートストラップノードの完全修飾ドメイン名に置き換えます。$ ssh core@<bootstrap_fqdn> journalctl -b -f -u bootkube.service注記ブートストラップノードの
bootkube.serviceのログは etcd のconnection refusedエラーを出力し、ブートストラップサーバーがコントロールプレーンノードの etcd に接続できないことを示します。etcd が各コントロールプレーンノードで起動し、ノードがクラスターに参加した後には、エラーは発生しなくなるはずです。起動後のコントロールプレーンノードで
kubelet.servicejournald ユニットログを監視します。これにより、コントロールプレーンノードエージェントのアクティビティーを可視化できます。ocを使用してログを監視します。$ oc adm node-logs --role=master -u kubeletAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> journalctl -b -f -u kubelet.service
起動後のコントロールプレーンノードで
crio.servicejournald ユニットログを監視します。これにより、コントロールプレーンノードの CRI-O コンテナーランタイムのアクティビティーを可視化できます。ocを使用してログを監視します。$ oc adm node-logs --role=master -u crioAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@master-N.cluster_name.sub_domain.domain journalctl -b -f -u crio.service
7.1.7. ブートストラップノードの診断データの収集 リンクのコピーリンクがクリップボードにコピーされました!
ブートストラップ関連の問題が発生した場合、ブートストラップノードから bootkube.service の journald ユニットログおよびコンテナーログを収集できます。
前提条件
- ブートストラップノードへの SSH アクセスがある。
- ブートストラップノードの完全修飾ドメイン名がある。
- HTTP サーバーを使用して Ignition 設定ファイルをホストする場合、HTTP サーバーの完全修飾ドメイン名およびポート番号が必要です。HTTP ホストへの SSH アクセスも必要です。
手順
- ブートストラップノードのコンソールにアクセスできる場合は、ノードがログインプロンプトに到達するまでコンソールを監視します。
Ignition ファイル設定を検証します。
HTTP サーバーを使用して Ignition 設定ファイルをホストする場合。
ブートストラップノードの Ignition ファイル URL を確認します。
<http_server_fqdn>を HTTP サーバーの完全修飾ドメイン名に置き換えます。$ curl -I http://<http_server_fqdn>:<port>/bootstrap.ign-Iオプションはヘッダーのみを返します。Ignition ファイルが指定された URL で利用可能な場合、コマンドは200 OKステータスを返します。これが利用できない場合は、コマンドは404 file not foundを返します。Ignition ファイルがブートストラップノードで受信されたことを確認するには、提供側ホストの HTTP サーバーログのクエリーを実行します。たとえば、Apache Web サーバーを使用して Ignition ファイルを提供する場合は、以下のコマンドを入力します。
$ grep -is 'bootstrap.ign' /var/log/httpd/access_logブートストラップ Ignition ファイルが受信される場合、関連付けられた
HTTP GETログメッセージには要求が成功したことを示す200 OKの成功ステータスが含まれます。- Ignition ファイルが受信されていない場合には、Ignition ファイルが存在し、それらに提供側ホストの適切なファイルおよび Web サーバーパーミッションがあることを直接確認します。
クラウドプロバイダーのメカニズムを使用して Ignition 設定ファイルを初期デプロイメントの一部としてホストに挿入する場合。
- ブートストラップノードのコンソールを確認し、ブートストラップノードの Ignition ファイルを正しく挿入するメカニズムが機能しているかどうかを確認します。
- ブートストラップノードの割り当てられたストレージデバイスの可用性を確認します。
- ブートストラップノードに DHCP サーバーから IP アドレスが割り当てられていることを確認します。
ブートストラップノードから
bootkube.servicejournald ユニットログを収集します。<bootstrap_fqdn>をブートストラップノードの完全修飾ドメイン名に置き換えます。$ ssh core@<bootstrap_fqdn> journalctl -b -f -u bootkube.service注記ブートストラップノードの
bootkube.serviceのログは etcd のconnection refusedエラーを出力し、ブートストラップサーバーがコントロールプレーンノードの etcd に接続できないことを示します。etcd が各コントロールプレーンノードで起動し、ノードがクラスターに参加した後には、エラーは発生しなくなるはずです。ブートストラップノードコンテナーからログを収集します。
ブートストラップノードで
podmanを使用してログを収集します。<bootstrap_fqdn>をブートストラップノードの完全修飾ドメイン名に置き換えます。$ ssh core@<bootstrap_fqdn> 'for pod in $(sudo podman ps -a -q); do sudo podman logs $pod; done'
ブートストラッププロセスに失敗した場合は、以下を確認します。
-
インストールホストから
api.<cluster_name>.<base_domain>を解決できます。 - ロードバランサーはブートストラップおよびコントロールプレーンノードへのポート 6443 接続をプロキシーします。プロキシー設定が OpenShift Container Platform のインストール要件を満たしていることを確認します。
-
インストールホストから
7.1.8. コントロールプレーンノードのインストールの問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
コントロールプレーンノードのインストールに問題がある場合には、コントロールプレーンノード、OpenShift Container Platform ソフトウェア定義ネットワーク (SDN)、およびネットワーク Operator のステータスを判別します。
kubelet.service、crio.service journald ユニットログ、およびコントロールプレーンノードコンテナーログを収集し、コントロールプレーンノードエージェント、CRI-O コンテナーランタイム、および Pod アクティビティーを可視化します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - ホストへの SSH アクセスがあること。
- ブートストラップおよびコントロールプレーンノードの完全修飾ドメイン名がある。
HTTP サーバーを使用して Ignition 設定ファイルをホストする場合、HTTP サーバーの完全修飾ドメイン名およびポート番号が必要です。HTTP ホストへの SSH アクセスも必要です。
注記初期の
kubeadminパスワードは、インストールホストの<install_directory>/auth/kubeadmin-passwordにあります。
手順
- コントロールプレーンノードのコンソールにアクセスできる場合は、ノードがログインプロンプトに到達するまでコンソールを監視します。インストール時に、Ignition ログメッセージはコンソールに出力されます。
Ignition ファイル設定を確認します。
HTTP サーバーを使用して Ignition 設定ファイルをホストする場合。
コントロールプレーンノードの Ignition ファイル URL を確認します。
<http_server_fqdn>を HTTP サーバーの完全修飾ドメイン名に置き換えます。$ curl -I http://<http_server_fqdn>:<port>/master.ign-Iオプションはヘッダーのみを返します。Ignition ファイルが指定された URL で利用可能な場合、コマンドは200 OKステータスを返します。これが利用できない場合は、コマンドは404 file not foundを返します。Ignition ファイルがコントロールプレーンノードで受信されたことを確認するには、提供側ホストの HTTP サーバーログのクエリーを実行します。たとえば、Apache Web サーバーを使用して Ignition ファイルを提供する場合は、以下を考慮してください。
$ grep -is 'master.ign' /var/log/httpd/access_logマスター Ignition ファイルが受信される場合、関連付けられた
HTTP GETログメッセージには要求が成功したことを示す200 OKの成功ステータスが含まれます。- Ignition ファイルが受信されなかった場合、これが提供側ホストに存在することを直接確認します。適切なファイルおよび Web サーバーのパーミッションが適用されていることを確認します。
クラウドプロバイダーのメカニズムを使用して Ignition 設定ファイルを初期デプロイメントの一部としてホストに挿入する場合。
- コントロールプレーンノードのコンソールを確認し、コントロールプレーンノードの Ignition ファイルを正しく挿入するメカニズムが機能しているかどうかを確認します。
- コントロールプレーンノードに割り当てられたストレージデバイスの可用性を確認します。
- コントロールプレーンノードに DHCP サーバーから IP アドレスが割り当てられていることを確認します。
コントロールプレーンノードのステータスを判別します。
コントロールプレーンノードのステータスのクエリーを実行します。
$ oc get nodesコントロールプレーンノードのいずれかが
Readyステータスに達していない場合は、詳細なノードの説明を取得します。$ oc describe node <master_node>注記インストールの問題により OpenShift Container Platform API が実行できなくなったり、kubelet が各ノードでまだ実行されていない場合、
ocコマンドを実行することはできません。
OVN-Kubernetes のステータスを確認します。
openshift-ovn-kubernetesnamespace で、ovnkube-nodeデーモンセットのステータスを確認します。$ oc get daemonsets -n openshift-ovn-kubernetesこれらのリソースが
Not foundとしてリストされている場合は、openshift-ovn-kubernetesnamespace 内の Pod を確認します。$ oc get pods -n openshift-ovn-kubernetesopenshift-ovn-kubernetesnamespace 内の失敗した OpenShift Container Platform OVN-Kubernetes Pod に関連するログを確認します。$ oc logs <ovn-k_pod> -n openshift-ovn-kubernetes
クラスターのネットワーク設定のステータスを確認します。
クラスターのネットワーク設定が存在するかどうかを確認します。
$ oc get network.config.openshift.io cluster -o yamlインストーラーがネットワーク設定の作成に失敗した場合、Kubernetes マニフェストを再度生成し、メッセージの出力を確認します。
$ ./openshift-install create manifestsopenshift-network-operatornamespace で Pod のステータスを確認し、Cluster Network Operator (CNO) が実行されているかどうかを判別します。$ oc get pods -n openshift-network-operatoropenshift-network-operatornamespace からネットワーク Operator Pod ログを収集します。$ oc logs pod/<network_operator_pod_name> -n openshift-network-operator
起動後のコントロールプレーンノードで
kubelet.servicejournald ユニットログを監視します。これにより、コントロールプレーンノードエージェントのアクティビティーを可視化できます。ocを使用してログを取得します。$ oc adm node-logs --role=master -u kubeletAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> journalctl -b -f -u kubelet.service注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
起動後のコントロールプレーンノードで
crio.servicejournald ユニットログを取得します。これにより、コントロールプレーンノードの CRI-O コンテナーランタイムのアクティビティーを可視化できます。ocを使用してログを取得します。$ oc adm node-logs --role=master -u crioAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> journalctl -b -f -u crio.service
コントロールプレーンノードの
/var/log/の下にある特定のサブディレクトリーからログを収集します。/var/log/サブディレクトリー内に含まれるログの一覧を取得します。以下の例では、すべてのコントロールプレーンノードの/var/log/openshift-apiserver/にあるファイルをリスト表示します。$ oc adm node-logs --role=master --path=openshift-apiserver/var/log/サブディレクトリー内の特定ログを確認します。以下の例は、すべてのコントロールプレーンノードから/var/log/openshift-apiserver/audit.logコンテンツを出力します。$ oc adm node-logs --role=master --path=openshift-apiserver/audit.logAPI が機能しない場合は、代わりに SSH を使用して各ノードのログを確認します。次の例では、
/var/log/openshift-apiserver/audit.logの末尾を表示 (tail) します。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo tail -f /var/log/openshift-apiserver/audit.log
SSH を使用してコントロールプレーンノードのコンテナーログを確認します。
コンテナーを一覧表示します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl ps -acrictlを使用してコンテナーのログを取得します。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl logs -f <container_id>
コントロールプレーンノードの設定に問題がある場合には、MCO、MCO エンドポイント、および DNS レコードが機能していることを確認します。Machine Config Operator (MCO) は、インストール時にオペレーティングシステムの設定を管理します。システムクロックの精度と証明書の有効性も確認します。
MCO エンドポイントが利用可能かどうかをテストします。
<cluster_name>を適切な値に置き換えます。$ curl https://api-int.<cluster_name>:22623/config/master- エンドポイントが応答しない場合は、ロードバランサーの設定を確認します。エンドポイントがポート 22623 で実行されるよう設定されていることを確認します。
MCO エンドポイントの DNS レコードが設定され、ロードバランサーに対して解決していることを確認します。
定義された MCO エンドポイント名の DNS ルックアップを実行します。
$ dig api-int.<cluster_name> @<dns_server>ロードバランサーの割り当てられた MCO IP アドレスに対して逆引き参照を実行します。
$ dig -x <load_balancer_mco_ip_address> @<dns_server>
MCO がブートストラップノードから直接機能していることを確認します。
<bootstrap_fqdn>をブートストラップノードの完全修飾ドメイン名に置き換えます。$ ssh core@<bootstrap_fqdn> curl https://api-int.<cluster_name>:22623/config/masterシステムクロックは、ブートストラップ、マスター、およびワーカーノード間で同期される必要があります。各ノードのシステムクロックの参照時間と時刻同期の統計を確認します。
$ ssh core@<node>.<cluster_name>.<base_domain> chronyc tracking証明書の有効性を確認します。
$ openssl s_client -connect api-int.<cluster_name>:22623 | openssl x509 -noout -text
7.1.9. etcd インストールの問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
インストール時に etcd の問題が発生した場合には、etcd Pod のステータスを確認し、etcd Pod ログを収集できます。etcd DNS レコードを確認し、コントロールプレーンノードで DNS の可用性を確認することもできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - ホストへの SSH アクセスがあること。
- コントロールプレーンノードの完全修飾ドメイン名がある。
手順
etcd Pod のステータスを確認します。
openshift-etcdnamespace の Pod のステータスを確認します。$ oc get pods -n openshift-etcdopenshift-etcd-operatornamespace の Pod のステータスを確認します。$ oc get pods -n openshift-etcd-operator
直前のコマンドでリスト表示される Pod のいずれかに
RunningまたはCompletedステータスが表示されない場合は、Pod の診断情報を収集します。Pod のイベントを確認します。
$ oc describe pod/<pod_name> -n <namespace>Pod のログを検査します。
$ oc logs pod/<pod_name> -n <namespace>Pod に複数のコンテナーがある場合、前述のコマンドでエラーが作成され、コンテナー名はエラーメッセージに指定されます。各コンテナーのログを検査します。
$ oc logs pod/<pod_name> -c <container_name> -n <namespace>
API が機能しない場合には、代わりに SSH を使用して各コントロールプレーンノードで etcd Pod およびコンテナーログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。各コントロールプレーンノードに etcd Pod をリスト表示します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl pods --name=etcd-Readyステータスが表示されない Pod について、Pod のステータスの詳細を検査します。<pod_id>を前述のコマンドの出力にリスト表示されている Pod の ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspectp <pod_id>Pod に関連するコンテナーをリスト表示します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl ps | grep '<pod_id>'Readyステータスが表示されていないコンテナーの場合は、コンテナーのステータスの詳細を検査します。<container_id>を前述のコマンドの出力にリスト表示されているコンテナー ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspect <container_id>Readyステータスが表示されていないコンテナーのログを確認します。<container_id>を前述のコマンドの出力に一覧表示されているコンテナー ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl logs -f <container_id>注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
- コントロールプレーンノードからプライマリーおよびセカンダリー DNS サーバー接続を検証します。
7.1.10. コントロールプレーンノードの kubelet および API サーバーの問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
インストール時にコントロールプレーンノードの kubelet および API サーバーの問題を調査するには、DNS、DHCP、およびロードバランサーの機能を確認してください。また、証明書の有効期限が切れていないことを確認します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - ホストへの SSH アクセスがあること。
- コントロールプレーンノードの完全修飾ドメイン名がある。
手順
-
API サーバーの DNS レコードがコントロールプレーンノードの kubelet を
https://api-int.<cluster_name>.<base_domain>:6443にダイレクトすることを確認します。レコードがロードバランサーを参照することを確認します。 - ロードバランサーのポート 6443 定義が各コントロールプレーンノードを参照することを確認します。
- DHCP によって固有のコントロールプレーンノードのホスト名が指定されていることを確認します。
各コントロールプレーンノードで
kubelet.servicejournald ユニットログを検査します。ocを使用してログを取得します。$ oc adm node-logs --role=master -u kubeletAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> journalctl -b -f -u kubelet.service注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
コントロールプレーンノードの kubelet ログで証明書の有効期限のメッセージの有無を確認します。
ocを使用してログを取得します。$ oc adm node-logs --role=master -u kubelet | grep -is 'x509: certificate has expired'API が機能しない場合は、代わりに SSH を使用してログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> journalctl -b -f -u kubelet.service | grep -is 'x509: certificate has expired'
7.1.11. ワーカーノードのインストールに関連する問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
ワーカーノードのインストールに問題がある場合には、ワーカーノードのステータスを確認できます。
kubelet.service、crio.service journald ユニットログ、およびワーカーノードコンテナーログを収集し、ワーカーノードエージェント、CRI-O コンテナーランタイム、および Pod アクティビティーを可視化します。さらに、Ignition ファイルおよびマシン API Operator の機能を確認することもできます。ワーカーノードのインストール後の設定が失敗する場合は、Machine Config Operator (MCO) および DNS 機能を確認します。また、ブートストラップ、マスター、およびワーカーノード間のシステムクロックの同期を確認し、証明書を検証することもできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - ホストへの SSH アクセスがあること。
- ブートストラップおよびワーカーノードの完全修飾ドメイン名がある。
HTTP サーバーを使用して Ignition 設定ファイルをホストする場合、HTTP サーバーの完全修飾ドメイン名およびポート番号が必要です。HTTP ホストへの SSH アクセスも必要です。
注記初期の
kubeadminパスワードは、インストールホストの<install_directory>/auth/kubeadmin-passwordにあります。
手順
- ワーカーノードのコンソールにアクセスできる場合は、ノードがログインプロンプトに到達するまでコンソールを監視します。インストール時に、Ignition ログメッセージはコンソールに出力されます。
Ignition ファイル設定を確認します。
HTTP サーバーを使用して Ignition 設定ファイルをホストする場合。
ワーカーノードの Ignition ファイル URL を確認します。
<http_server_fqdn>を HTTP サーバーの完全修飾ドメイン名に置き換えます。$ curl -I http://<http_server_fqdn>:<port>/worker.ign-Iオプションはヘッダーのみを返します。Ignition ファイルが指定された URL で利用可能な場合、コマンドは200 OKステータスを返します。これが利用できない場合は、コマンドは404 file not foundを返します。Ignition ファイルがワーカーノードで受信されたことを確認するには、HTTP ホストの HTTP サーバーログのクエリーを実行します。たとえば、Apache Web サーバーを使用して Ignition ファイルを提供する場合は、以下を考慮してください。
$ grep -is 'worker.ign' /var/log/httpd/access_logワーカー Ignition ファイルが受信される場合、関連付けられた
HTTP GETログメッセージには要求が成功したことを示す200 OKの成功ステータスが含まれます。- Ignition ファイルが受信されなかった場合、これが提供側ホストに存在することを直接確認します。適切なファイルおよび Web サーバーのパーミッションが適用されていることを確認します。
クラウドプロバイダーのメカニズムを使用して Ignition 設定ファイルを初期デプロイメントの一部としてホストに挿入する場合。
- ワーカーノードのコンソールを確認し、ワーカーノードの Ignition ファイルを正しく挿入するメカニズムが機能しているかどうかを確認します。
- ワーカーノードの割り当てられたストレージデバイスの可用性を確認します。
- ワーカーノードに DHCP サーバーから IP アドレスが割り当てられていることを確認します。
ワーカーノードのステータスを判別します。
ノードのステータスのクエリーを実行します。
$ oc get nodesReadyステータスが表示されないワーカーノードの詳細なノードの説明を取得します。$ oc describe node <worker_node>注記インストールの問題により OpenShift Container Platform API が実行できなくなったり、kubelet が各ノードでまだ実行されていない場合、
ocコマンドを実行することはできません。
コントロールプレーンノードとは異なり、ワーカーノードは Machine API Operator を使用してデプロイされ、スケーリングされます。Machine API Operator のステータスを確認します。
Machine API Operator Pod のステータスを確認します。
$ oc get pods -n openshift-machine-apiMachine API Operator Pod のステータスが
Readyではない場合は、Pod のイベントを詳細に作成します。$ oc describe pod/<machine_api_operator_pod_name> -n openshift-machine-apimachine-api-operatorコンテナーログを検査します。コンテナーはmachine-api-operatorPod 内で実行されます。$ oc logs pod/<machine_api_operator_pod_name> -n openshift-machine-api -c machine-api-operatorまた、
kube-rbac-proxyコンテナーログも検査します。コンテナーはmachine-api-operatorPod 内でも実行されます。$ oc logs pod/<machine_api_operator_pod_name> -n openshift-machine-api -c kube-rbac-proxy
kubelet.servicejournald ユニットログを、起動後のワーカーノードでモニターします。これにより、ワーカーノードエージェントのアクティビティーを可視化できます。ocを使用してログを取得します。$ oc adm node-logs --role=worker -u kubeletAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<worker-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<worker-node>.<cluster_name>.<base_domain> journalctl -b -f -u kubelet.service注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
起動後のワーカーノードで
crio.servicejournald ユニットログを取得します。これにより、ワーカーノードの CRI-O コンテナーランタイムのアクティビティーを可視化できます。ocを使用してログを取得します。$ oc adm node-logs --role=worker -u crioAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
$ ssh core@<worker-node>.<cluster_name>.<base_domain> journalctl -b -f -u crio.service
ワーカーノードの
/var/log/の下にある特定のサブディレクトリーからログを収集します。/var/log/サブディレクトリー内に含まれるログの一覧を取得します。以下の例は、すべてのワーカーノードの/var/log/sssd/にあるファイルをリスト表示します。$ oc adm node-logs --role=worker --path=sssd/var/log/サブディレクトリー内の特定ログを確認します。次の例では、すべてのワーカーノードの/var/log/sssd/sssd.logの内容を出力します。$ oc adm node-logs --role=worker --path=sssd/sssd.logAPI が機能しない場合は、代わりに SSH を使用して各ノードのログを確認します。次の例では、
/var/log/sssd/sssd.logの末尾を表示 (tail) します。$ ssh core@<worker-node>.<cluster_name>.<base_domain> sudo tail -f /var/log/sssd/sssd.log
SSH を使用してワーカーノードのコンテナーログを確認します。
コンテナーを一覧表示します。
$ ssh core@<worker-node>.<cluster_name>.<base_domain> sudo crictl ps -acrictlを使用してコンテナーのログを取得します。$ ssh core@<worker-node>.<cluster_name>.<base_domain> sudo crictl logs -f <container_id>
ワーカーノードの設定に問題がある場合には、MCO、MCO エンドポイント、および DNS レコードが機能していることを確認します。Machine Config Operator (MCO) は、インストール時にオペレーティングシステムの設定を管理します。システムクロックの精度と証明書の有効性も確認します。
MCO エンドポイントが利用可能かどうかをテストします。
<cluster_name>を適切な値に置き換えます。$ curl https://api-int.<cluster_name>:22623/config/worker- エンドポイントが応答しない場合は、ロードバランサーの設定を確認します。エンドポイントがポート 22623 で実行されるよう設定されていることを確認します。
MCO エンドポイントの DNS レコードが設定され、ロードバランサーに対して解決していることを確認します。
定義された MCO エンドポイント名の DNS ルックアップを実行します。
$ dig api-int.<cluster_name> @<dns_server>ロードバランサーの割り当てられた MCO IP アドレスに対して逆引き参照を実行します。
$ dig -x <load_balancer_mco_ip_address> @<dns_server>
MCO がブートストラップノードから直接機能していることを確認します。
<bootstrap_fqdn>をブートストラップノードの完全修飾ドメイン名に置き換えます。$ ssh core@<bootstrap_fqdn> curl https://api-int.<cluster_name>:22623/config/workerシステムクロックは、ブートストラップ、マスター、およびワーカーノード間で同期される必要があります。各ノードのシステムクロックの参照時間と時刻同期の統計を確認します。
$ ssh core@<node>.<cluster_name>.<base_domain> chronyc tracking証明書の有効性を確認します。
$ openssl s_client -connect api-int.<cluster_name>:22623 | openssl x509 -noout -text
7.1.12. インストール後の Operator ステータスのクエリー リンクのコピーリンクがクリップボードにコピーされました!
インストールの終わりに Operator のステータスを確認できます。利用できない Operator の診断データを取得します。Pending と一覧表示されているか、エラーステータスのある Operator Pod のログを確認します。問題のある Pod によって使用されるベースイメージを検証します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
クラスター Operator がすべてインストールの終わりに利用可能な状態であることを確認します。
$ oc get clusteroperators必要な証明書署名要求 (CSR) がすべて承認されていることを確認します。一部のノードは
Readyステータスには移行さず、一部のクラスター Operator は保留中の CSR がある場合に利用できない可能性があります。CSR のステータスを確認し、クラスターに追加したそれぞれのマシンのクライアントおよびサーバー要求に
PendingまたはApprovedステータスが表示されていることを確認します。$ oc get csr出力例
NAME AGE REQUESTOR CONDITION csr-8b2br 15m system:serviceaccount:openshift-machine-config-operator:node-bootstrapper Pending csr-8vnps 15m system:serviceaccount:openshift-machine-config-operator:node-bootstrapper Pending csr-bfd72 5m26s system:node:ip-10-0-50-126.us-east-2.compute.internal Pending csr-c57lv 5m26s system:node:ip-10-0-95-157.us-east-2.compute.internal Pending ...-
この例では、
csr-8b2brはクライアントからのリクエスト CSR を表しています。 csr-bfd72は、サーバー要求 CSR を表します。この例では、2 つのマシンがクラスターに参加しています。このリストにはさらに多くの承認された CSR が表示される可能性があります。
-
この例では、
追加したマシンの保留中の CSR すべてが
Pendingステータスになった後に CSR が承認されない場合には、クラスターマシンの CSR を承認します。注記CSR のローテーションは自動的に実行されるため、クラスターにマシンを追加後 1 時間以内に CSR を承認してください。1 時間以内に承認しない場合には、証明書のローテーションが行われ、各ノードに 3 つ以上の証明書が存在するようになります。これらの証明書すべてを承認する必要があります。最初の CSR の承認後、後続のノードクライアント CSR はクラスターの
kube-controller-managerによって自動的に承認されます。注記ベアメタルおよび他の user-provisioned infrastructure などのマシン API ではないプラットフォームで実行されているクラスターの場合、kubelet 提供証明書要求 (CSR) を自動的に承認する方法を実装する必要があります。要求が承認されない場合、API サーバーが kubelet に接続する際に提供証明書が必須であるため、
oc exec、oc rsh、およびoc logsコマンドは正常に実行できません。Kubelet エンドポイントにアクセスする操作には、この証明書の承認が必要です。この方法は新規 CSR の有無を監視し、CSR がsystem:nodeまたはsystem:adminグループのnode-bootstrapperサービスアカウントによって提出されていることを確認し、ノードの ID を確認します。それらを個別に承認するには、それぞれの有効な CSR に以下のコマンドを実行します。
$ oc adm certificate approve <csr_name>すべての保留中の CSR を承認するには、以下のコマンドを実行します。
$ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve
Operator イベントを表示します。
$ oc describe clusteroperator <operator_name>Operator の namespace 内で Operator Pod のステータスを確認します。
$ oc get pods -n <operator_namespace>Runningステータスを持たない Pod の詳細な説明を取得します。$ oc describe pod/<operator_pod_name> -n <operator_namespace>Pod ログを検査します。
$ oc logs pod/<operator_pod_name> -n <operator_namespace>Pod ベースイメージに関連する問題が発生した場合には、ベースイメージのステータスを確認します。
問題のある Pod で使用されるベースイメージの詳細を取得します。
$ oc get pod -o "jsonpath={range .status.containerStatuses[*]}{.name}{'\t'}{.state}{'\t'}{.image}{'\n'}{end}" <operator_pod_name> -n <operator_namespace>ベースイメージのリリース情報をリスト表示します。
$ oc adm release info <image_path>:<tag> --commits
7.1.13. 失敗したインストールのログの収集 リンクのコピーリンクがクリップボードにコピーされました!
インストールプログラムに SSH 鍵を指定した場合、インストール失敗に関するデータを収集できます。
実行中のクラスターからログを収集する場合とは異なるコマンドを使用して失敗したインストールに関するログを収集します。実行中のクラスターからログを収集する必要がある場合は、oc adm must-gather コマンドを使用します。
前提条件
- OpenShift Container Platform のインストールがブートストラッププロセスの終了前に失敗している。ブートストラップノードは実行中で、SSH でアクセスできる。
-
ssh-agentプロセスはコンピューター上でアクティブであり、ssh-agentプロセスとインストールプログラムの両方に同じ SSH キーを提供している。 - 独自にプロビジョニングしたインフラストラクチャーにクラスターのインストールを試行した場合は、ブートストラップおよびコントロールプレーンノードの完全修飾ドメイン名がある。
手順
ブートストラップおよびコントロールプレーンマシンからインストールログを収集するために必要なコマンドを生成します。
installer-provisioned infrastructure を使用する場合は、インストールプログラムが含まれるディレクトリーに切り替え、以下のコマンドを実行します。
$ ./openshift-install gather bootstrap --dir <installation_directory>installation_directoryプレースホルダーは、./openshift-install create clusterを実行したときに指定したディレクトリーです。このディレクトリーには、インストールプログラムが作成する OpenShift Container Platform 定義ファイルが含まれます。installer-provisioned infrastructure の場合、インストールプログラムは、ホスト名または IP アドレスを指定しなくてもよいようにクラスターに関する情報を保存します。
各自でプロビジョニングしたインフラストラクチャーを使用した場合は、インストールプログラムが含まれるディレクトリーに切り替え、以下のコマンドを実行します。
$ ./openshift-install gather bootstrap --dir <installation_directory> \ --bootstrap <bootstrap_address> \ --master <master_1_address> \ --master <master_2_address> \ --master <master_3_address>各項目の説明:
-
installation_directory::./openshift-install create cluster を実行したときに指定したのと同じディレクトリーを指定します。このディレクトリーには、インストールプログラムが作成する OpenShift Container Platform 定義ファイルが含まれます。 -
<bootstrap_address>:: クラスターのブートストラップマシンの完全修飾ドメイン名または IP アドレスを指定します。 <master_*_address>:: クラスター内のコントロールプレーンまたはマスターマシンごとに、このプレースホルダーを完全修飾ドメイン名または IP アドレスに置き換えます。注記デフォルトクラスターには 3 つのコントロールプレーンマシンが含まれます。クラスターが使用する数にかかわらず、表示されるようにすべてのコントロールプレーンマシンをリスト表示します。
出力例
INFO Pulling debug logs from the bootstrap machine INFO Bootstrap gather logs captured here "<installation_directory>/log-bundle-<timestamp>.tar.gz"インストール失敗について Red Hat サポートに問い合わせる場合は、Red Hat ケースを開く際に圧縮ログを添付してください。
-
7.2. ノードの健全性の確認 リンクのコピーリンクがクリップボードにコピーされました!
ノードの状態、リソースの使用状況、および設定を確認することで、ノード関連の問題を検証およびトラブルシューティングできます。
7.2.1. ノードのステータス、リソースの使用状況および設定の確認 リンクのコピーリンクがクリップボードにコピーされました!
クラスターノードの健全性ステータス、リソース消費統計、およびノードログを確認します。さらに、個別ノードの kubelet ステータスのクエリーを実行します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
クラスターのすべてのノードの名前、ステータスおよびロールをリスト表示します。
$ oc get nodesクラスター内の各ノードの CPU およびメモリーの使用状況を要約します。
$ oc adm top nodes特定のノードの CPU およびメモリーの使用状況を要約します。
$ oc adm top node my-node
7.2.2. ノードにおける kubelet ステータスのクエリー リンクのコピーリンクがクリップボードにコピーされました!
クラスターノードの健全性ステータス、リソース消費統計、およびノードログを確認できます。さらに、個別のノードで kubelet ステータスをクエリーできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
kubelet は各ノードの systemd サービスを使用して管理されます。デバッグ Pod 内で
kubeletsystemd サービスをクエリーし、kubelet のステータスを確認します。ノードのデバッグ Pod を起動します。
$ oc debug node/my-node注記コントロールプレーンノードで
oc debugを実行している場合は、/etc/kubernetes/static-pod-resources/kube-apiserver-certs/secrets/node-kubeconfigsディレクトリーに管理用kubeconfigファイルがあります。/hostをデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の/hostにホストの root ファイルシステムをマウントします。root ディレクトリーを/hostに変更すると、ホストの実行パスに含まれるバイナリーを実行できます。# chroot /host注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。ただし、OpenShift Container Platform API が利用できない場合や、
kubeletがターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。kubeletsystemd サービスがノードでアクティブかどうかを確認します。# systemctl is-active kubeletより詳細な
kubelet.serviceステータスの要約を出力します。# systemctl status kubelet
7.2.3. クラスターノードジャーナルログのクエリー リンクのコピーリンクがクリップボードにコピーされました!
個別のクラスターノードの /var/log 内で journald ユニットログおよびその他のログを収集できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 - API サービスが機能している。
- ホストへの SSH アクセスがあること。
手順
OpenShift Container Platform クラスターノードに対して、
kubeletのjournaldユニットログのクエリーを実行します。以下の例では、コントロールプレーンノードのみがクエリーされます。$ oc adm node-logs --role=master -u kubelet1 kubelet- 他のユニットのログを照会するには、必要に応じて置き換えてください。
クラスターノードの
/var/log/の下にある特定のサブディレクトリーからログを収集します。/var/log/サブディレクトリー内に含まれるログの一覧を取得します。以下の例では、すべてのコントロールプレーンノードの/var/log/openshift-apiserver/にあるファイルをリスト表示します。$ oc adm node-logs --role=master --path=openshift-apiserver/var/log/サブディレクトリー内の特定ログを確認します。以下の例は、すべてのコントロールプレーンノードから/var/log/openshift-apiserver/audit.logコンテンツを出力します。$ oc adm node-logs --role=master --path=openshift-apiserver/audit.logAPI が機能しない場合は、代わりに SSH を使用して各ノードのログを確認します。次の例では、
/var/log/openshift-apiserver/audit.logの末尾を表示 (tail) します。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo tail -f /var/log/openshift-apiserver/audit.log注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
7.3. CRI-O コンテナーランタイムの問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
CRI-O コンテナーの実行時の問題解決には、以下のセクションを参照してください。
7.3.1. CRI-O コンテナーランタイムエンジンについて リンクのコピーリンクがクリップボードにコピーされました!
CRI-O は Kubernetes ネイティブコンテナーエンジン実装です。これはオペレーティングシステムに密接に統合し、Kubernetes の効率的で最適化されたエクスペリエンスを提供します。CRI-O コンテナーエンジンは、各 OpenShift Container Platform クラスターノードで systemd サービスとして実行されます。
コンテナーランタイムの問題が発生する場合は、各ノードの crio systemd サービスのステータスを確認します。コンテナーのランタイムに問題があるノードから CRI-O journald ユニットログを収集します。
7.3.2. CRI-O ランタイムエンジンのステータスの確認 リンクのコピーリンクがクリップボードにコピーされました!
各クラスターノードで CRI-O コンテナーランタイムエンジンのステータスを確認できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
デバッグ Pod 内で、ノードの
criosystemd サービスをクエリーして CRI-O ステータスを確認します。ノードのデバッグ Pod を起動します。
$ oc debug node/my-node/hostをデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の/hostにホストの root ファイルシステムをマウントします。root ディレクトリーを/hostに変更すると、ホストの実行パスに含まれるバイナリーを実行できます。# chroot /host注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、
oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。criosystemd サービスがノードでアクティブかどうかを確認します。# systemctl is-active crioより詳細な
crio.serviceステータスの要約を出力します。# systemctl status crio.service
7.3.3. CRI-O の journald ユニットログの収集 リンクのコピーリンクがクリップボードにコピーされました!
CRI-O の問題が発生した場合には、ノードから CRI-O journald ユニットログを取得できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。 - コントロールプレーンまたはコントロールプレーンマシンの完全修飾ドメイン名がある。
手順
CRI-O journald ユニットログを収集します。以下の例は、クラスター内のすべてのコントロールプレーンノードからログを収集します。
$ oc adm node-logs --role=master -u crio特定のノードから CRI-O journald ユニットログを収集します。
$ oc adm node-logs <node_name> -u crioAPI が機能しない場合は、代わりに SSH を使用してログを確認します。
<node>.<cluster_name>.<base_domain>を適切な値に置き換えます。$ ssh core@<node>.<cluster_name>.<base_domain> journalctl -b -f -u crio.service注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
7.3.4. CRI-O ストレージの消去 リンクのコピーリンクがクリップボードにコピーされました!
以下の問題が発生した場合、CRI-O の一時ストレージを手動でクリアすることができます。
ノードは Pod を実行できず、次のエラーが表示されます。
Failed to create pod sandbox: rpc error: code = Unknown desc = failed to mount container XXX: error recreating the missing symlinks: error reading name of symlink for XXX: open /var/lib/containers/storage/overlay/XXX/link: no such file or directory作業ノードに新しいコンテナーを作成することができず、“can’t stat lower layer” というエラーが表示される。
can't stat lower layer ... because it does not exist. Going through storage to recreate the missing symlinks.-
クラスターをアップグレードした後、またはノードを再起動しようとすると、ノードが
NotReady状態になる。 -
コンテナーランタイム実装 (
crio) が正しく動作していない。 -
コンテナーランタイムインスタンス (
crio) が動作していないため、oc debug node/<node_name>を使用してノード上でデバッグシェルを開始できない。
この手順で、CRI-O のストレージを完全に消去し、エラーを解消してください。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
ノードで
cordonを使用します。これは、ノードがReady状態になった場合に、ワークロードがスケジューリングされるのを防ぐためです。Status セクションにSchedulingDisabledと表示されていれば、スケジューリングが無効になっていることがわかります。$ oc adm cordon <node_name>cluster-admin ユーザーとして、ノードをドレインします。
$ oc adm drain <node_name> --ignore-daemonsets --delete-emptydir-data注記Pod または Pod テンプレートの
terminationGracePeriodSeconds属性は、正常な終了期間を制御します。この属性のデフォルトは 30 秒ですが、必要に応じてアプリケーションごとにカスタマイズできます。90 秒を超えて設定すると、Pod がSIGKILLedとマークされ、正常に終了しない可能性があります。ノードが戻ってきたら、SSH またはコンソールでノードに接続し直します。その後、root ユーザーで接続します。
$ ssh core@node1.example.com $ sudo -ikubelet を手動で停止します。
# systemctl stop kubeletコンテナーや Pod を停止します。
以下のコマンドを使用して、
HostNetworkにない Pod を停止します。これらが削除されるかどうかは、HostNetworkにあるネットワークプラグイン Pod に左右されるので、先に削除する必要があります。.. for pod in $(crictl pods -q); do if [[ "$(crictl inspectp $pod | jq -r .status.linux.namespaces.options.network)" != "NODE" ]]; then crictl rmp -f $pod; fi; done他のすべての Pod を停止します。
# crictl rmp -fa
crio のサービスを手動で停止します。
# systemctl stop crioこれらのコマンドを実行すると、一時ストレージを完全に消去することができます。
# crio wipe -fcrio および kubelet サービスを起動します。
# systemctl start crio # systemctl start kubeletcrio および kubelet サービスが起動しており、ノードが
Readyのステータスになっている場合には、クリーンアップが正常に機能したことが分かります。$ oc get nodesNAME STATUS ROLES AGE VERSION ci-ln-tkbxyft-f76d1-nvwhr-master-1 Ready, SchedulingDisabled master 133m v1.34.2ノードをスケジューリング可能な状態にします。スケジューリングが有効になったことは、
SchedulingDisabledのステータスがなくなったときにわかります。$ oc adm uncordon <node_name>NAME STATUS ROLES AGE VERSION ci-ln-tkbxyft-f76d1-nvwhr-master-1 Ready master 133m v1.34.2
7.4. オペレーティングシステムの問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform は RHCOS で実行されます。以下の手順に従って、オペレーティングシステムに関連する問題のトラブルシューティングを行うことができます。
7.4.1. カーネルクラッシュの調査 リンクのコピーリンクがクリップボードにコピーされました!
kexec-tools パッケージに含まれる kdump サービスは、クラッシュダンプメカニズムを提供します。このサービスを使用して、後で分析するためにシステムのメモリーの内容を保存できます。
7.4.1.1. kdump の有効化 リンクのコピーリンクがクリップボードにコピーされました!
RHCOS には kexec-tools パッケージが同梱されていますが、kdump サービスを有効にするには手動で設定する必要があります。
手順
初回のカーネルの起動時にクラッシュカーネルのメモリーを確保するには、以下のコマンドを入力してカーネル引数を指定します。
# rpm-ostree kargs --append='crashkernel=256M'注記ppc64leプラットフォームの場合、crashkernelの推奨値はcrashkernel=2G-4G:384M,4G-16G:512M,16G-64G:1G,64G-128G:2G,128G-:4Gです。オプション: デフォルトのローカルの
/var/crashの場所ではなく、ネットワーク経由または他の場所にクラッシュダンプを書き込むには、/etc/kdump.conf設定ファイルを編集します。注記ノードが LUKS 暗号化デバイスを使用している場合、kdump は LUKS 暗号化デバイスへのクラッシュダンプの保存をサポートしていないため、ネットワークダンプを使用する必要があります。
kdumpサービスの設定の詳細は、/etc/sysconfig/kdump、/etc/kdump.conf、およびkdump.confmanual ページのコメントを参照してください。ダンプターゲットの設定に関する詳細は、RHEL kdump documentation も参照してください。重要プライマリーディスクでマルチパスが有効になっている場合、ダンプターゲットは NFS サーバーまたは SSH サーバーのいずれかである必要があり、
/etc/kdump.conf設定ファイルからマルチパスモジュールを除外する必要があります。kdumpsystemd サービスを有効にします。# systemctl enable kdump.serviceシステムを再起動します。
# systemctl reboot-
kdump.servicesystemd サービスが正常に開始および終了したこと、およびcat /sys/kernel/kexec_crash_loadedコマンドが値1を出力することを確認して、kdump がクラッシュカーネルをロードしたことを確認します。
7.4.1.2. Day-1 の kdump の有効化 リンクのコピーリンクがクリップボードにコピーされました!
kdump サービスは、カーネルの問題をデバッグするために、ノードごとに有効にすることが意図されています。
kdump の有効化にはコストがかかり、これらのコストは kdump が有効化されたノードを追加するたびに増えるため、kdump サービスを必要な場合にのみ各ノードで有効にすことが推奨されます。各ノードで kdump サービスを有効にする場合の潜在的なコストには、以下が含まれます。
- クラッシュカーネル用にメモリーが予約されているため、利用可能な RAM が少ない。
- カーネルがコアをダンプしている間にノードが利用できなくなる。
- 追加のストレージ容量がクラッシュダンプを保存するために使用される。
kdump サービスを有効にすることに伴う不利な点やトレードオフを把握している場合には、クラスター全体で kdump を有効にすることができます。マシン固有のマシン設定はまだサポートされていませんが、Day 1 のカスタマイズとして MachineConfig オブジェクトで systemd ユニットを使用し、クラスター内のすべてのノードで kdump を有効にすることができます。MachineConfig オブジェクトを作成し、そのオブジェクトをクラスターのセットアップ時に Ignition が使用するマニフェストファイルのセットに挿入することができます。
kdump を有効にする際には、アーキテクチャー固有のカーネル引数を考慮する必要があります。
ppc64le プラットフォームの場合:
crashkernelパラメーターには、以下の推奨値を使用してください。crashkernel=2G-4G:384M、4G-16G:512M、16G-64G:1G、64G-128G:2G、128G-:4G-
KDUMP_COMMANDLINE_APPEND設定では、nr_cpus=1 をmaxcpus=1に置き換えてください。このプラットフォームではnr_cpusパラメーターはサポートされていません。ppc64le システムで kdump を設定する際は、これらの調整が適用されるようにしてください。
Ignition 設定の使用方法の詳細は、インストール
手順
kdump を設定および有効にする Butane 設定ファイル
99-worker-kdump.buを作成します。これにより、クラスター全体の設定のためのMachineConfigオブジェクトが作成されます。注記設定ファイルで指定する Butane のバージョン は、OpenShift Container Platform のバージョンと同じである必要があり、末尾は常に
0です。たとえば、4.21.0などです。Butane の詳細は、「Butane を使用したマシン設定の作成」を参照してください。variant: openshift version: 4.21.0 metadata: name: 99-worker-kdump labels: machineconfiguration.openshift.io/role: worker openshift: kernel_arguments: - crashkernel=256M storage: files: - path: /etc/kdump.conf mode: 0644 overwrite: true contents: inline: | path /var/crash core_collector makedumpfile -l --message-level 7 -d 31 - path: /etc/sysconfig/kdump mode: 0644 overwrite: true contents: inline: | KDUMP_COMMANDLINE_REMOVE="hugepages hugepagesz slub_debug quiet log_buf_len swiotlb" KDUMP_COMMANDLINE_APPEND="irqpoll nr_cpus=1 reset_devices cgroup_disable=memory mce=off numa=off udev.children-max=2 panic=10 rootflags=nofail acpi_no_memhotplug transparent_hugepage=never nokaslr novmcoredd hest_disable" KEXEC_ARGS="-s" KDUMP_IMG="vmlinuz" systemd: units: - name: kdump.service enabled: true- 各項目の説明:
-
コントロールプレーンノードの
MachineConfigオブジェクトの作成時に、両方の場所にあるworkerをmasterに置き換えます。 -
カーネル引数を指定して、クラッシュカーネル用にメモリーを予約します。必要に応じて、他のカーネル引数を追加できます。
ppc64leプラットフォームの場合、crashkernelの推奨値はcrashkernel=2G-4G:384M,4G-16G:512M,16G-64G:1G,64G-128G:2G,128G-:4Gです。 -
/etc/kdump.confの内容をデフォルトから変更する場合は、このセクションを追加し、それに応じてinlineサブセクションを変更します。 -
/etc/sysconfig/kdumpの内容をデフォルトから変更する場合は、このセクションを追加し、それに応じてinlineサブセクションを変更します。 ppc64leプラットフォームの場合は、nr_cpus=1をmaxcpus=1に置き換えますが、これはこのプラットフォームではサポートされていません。注記ダンプを NFS ターゲットにエクスポートするには、一部のカーネルモジュールを明示的に設定ファイルに追加する必要があります。
/etc/kdump.confファイルの例nfs server.example.com:/export/cores core_collector makedumpfile -l --message-level 7 -d 31 extra_bins /sbin/mount.nfs extra_modules nfs nfsv3 nfs_layout_nfsv41_files blocklayoutdriver nfs_layout_flexfiles nfs_layout_nfsv41_files
-
コントロールプレーンノードの
Butane を使用して、ノードに配信する設定が含まれる、マシン設定 YAML ファイル (
99-worker-kdump.yaml) を生成します。$ butane 99-worker-kdump.bu -o 99-worker-kdump.yamlクラスターのセットアップ中に、YAML ファイルを
<installation_directory>/manifests/ディレクトリーに配置します。YAML ファイルを使用してクラスターの設定後にこのMachineConfigオブジェクトを作成することもできます。$ oc create -f 99-worker-kdump.yaml
7.4.1.3. kdump のテストと分析 リンクのコピーリンクがクリップボードにコピーされました!
kdump の設定が完了したら、RHEL のドキュメントを使用して設定のテストとコアダンプの分析を行うことができます。
kdump は、RHEL ドキュメントの Testing the kdump configuration セクションを参照してください。
kdump は、RHEL ドキュメントの Analyzing a core dump セクションを参照してください。
別の RHEL システムで vmcore 分析を実行することが推奨されます。
7.4.2. Ignition の失敗のデバッグ リンクのコピーリンクがクリップボードにコピーされました!
マシンをプロビジョニングできない場合、Ignition は失敗し、RHCOS は緊急シェルで起動します。デバッグ情報を取得するには、次の手順を使用します。
手順
次のコマンドを実行して、失敗したサービスユニットを表示します。
$ systemctl --failedオプション: 個々のサービスユニットで次のコマンドを実行して、詳細を確認します。
$ journalctl -u <unit>.service
7.5. ネットワーク関連の問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
ネットワークの問題をトラブルシューティングするには、以下のセクションを参照してください。
7.5.1. ネットワークインターフェイスの選択方法 リンクのコピーリンクがクリップボードにコピーされました!
ベアメタルでのインストールや、複数のネットワークインターフェイスコントローラー (NIC) でのインストールの場合に、OpenShift Container Platform が Kubernetes API サーバーとの通信に使用する NIC は、nodeip-configuration.service サービスユニットによって決定されます。
このユニットは、ノードの起動時に systemd によって実行されます。nodeip-configuration.service は、デフォルトルートに関連付けられたインターフェイスから IP を選択します。
nodeip-configuration.service サービスが正しい NIC を決定すると、このサービスは /etc/systemd/system/kubelet.service.d/20-nodenet.conf ファイルを作成します。20-nodenet.conf ファイルは、KUBELET_NODE_IP 環境変数を、サービスが選択した IP アドレスに設定します。
kubelet サービスの起動時に、20-nodenet.conf ファイルから環境変数の値を読み取り、IP アドレスを --node-ip kubelet コマンドライン引数に設定します。その結果、kubelet サービスは選択した IP アドレスをノード IP アドレスとして使用します。
インストール後にハードウェアまたはネットワークが再設定された場合、またはノード IP がデフォルトルートインターフェイスから取得されないネットワークレイアウトがある場合、再起動後に nodeip-configuration.service サービスが別の NIC を選択する可能性があります。oc get nodes -o wide コマンドの出力の INTERNAL-IP 列を確認して、別の NIC が選択されていることを確認できる場合があります。
別の NIC が選択されているためにネットワーク通信が中断または誤って設定されている場合、次のエラーが表示されることがあります: EtcdCertSignerControllerDegraded。NODEIP_HINT 変数を含むヒントファイルを作成して、デフォルトの IP 選択ロジックをオーバーライドできます。詳細は、オプション: デフォルトのノード IP 選択ロジックのオーバーライドを参照してください。
7.5.1.1. オプション: デフォルトのノード IP 選択ロジックのオーバーライド リンクのコピーリンクがクリップボードにコピーされました!
デフォルトの IP 選択ロジックをオーバーライドするには、NODEIP_HINT 変数を含むヒントファイルを作成して、デフォルトの IP 選択ロジックをオーバーライドします。
ヒントファイルを作成すると、NODEIP_HINT 変数で指定された IP アドレスのサブネット内のインターフェイスから特定のノード IP アドレスを選択できます。
たとえば、ノードに 10.0.0.10/24 のアドレスを持つ eth0 と 192.0.2.5/24 のアドレスを持つ eth1 の 2 つのインターフェイスがあり、デフォルトルートが eth0 (10.0.0.10) を指している場合、ノードの IP アドレスは通常、10.0.0.10 IP アドレスを使用します。
ユーザーは、別のサブネット 192.0.2.0/24 が選択されるように、サブネット内の既知の IP (たとえば、192.0.2.1 などのサブネットゲートウェイ) を指すように NODEIP_HINT 変数を設定できます。その結果、eth1 の 192.0.2.5 IP アドレスがノードに使用されます。
次の手順は、デフォルトのノード IP 選択ロジックをオーバーライドする方法を示しています。
手順
/etc/default/nodeip-configurationファイルにヒントファイルを追加します。たとえば、以下のようになります。NODEIP_HINT=192.0.2.1重要-
192.0.2.5など、ノードの正確な IP アドレスをヒントとして使用しないでください。ノードの正確な IP アドレスを使用すると、ヒント IP アドレスを使用するノードが正しく設定できなくなります。 - ヒントファイル内の IP アドレスは、正しいサブネットを決定するためにのみ使用されます。ヒントファイルに表示されるため、トラフィックを受信しません。
-
次のコマンドを実行して、
base-64でエンコードされたコンテンツを生成します。$ echo -n 'NODEIP_HINT=192.0.2.1' | base64 -w0出力例
Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==クラスターをデプロイする前に、
masterロールとworkerロールの両方のマシン設定マニフェストを作成して、ヒントを有効にします。99-nodeip-hint-master.yaml
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: master name: 99-nodeip-hint-master spec: config: ignition: version: 3.2.0 storage: files: - contents: source: data:text/plain;charset=utf-8;base64,<encoded_content> mode: 0644 overwrite: true path: /etc/default/nodeip-configuration99-nodeip-hint-worker.yaml
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: worker name: 99-nodeip-hint-worker spec: config: ignition: version: 3.2.0 storage: files: - contents: source: data:text/plain;charset=utf-8;base64,<encoded_content> mode: 0644 overwrite: true path: /etc/default/nodeip-configuration各項目の説明:
spec.config.storage.files.contents.source.<encoded_content>-
このプレースホルダーは
/etc/default/nodeip-configurationファイルの base64 エンコードされた内容に置き換えます (例:Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==)。コンマの後およびエンコードされたコンテンツの前にスペースを入れることはできないことに注意してください。
-
~/clusterconfigsなど、クラスター設定を保存するディレクトリーにマニフェストを保存します。 - クラスターのデプロイ
7.5.1.2. セカンダリー OVS ブリッジを使用するように OVN-Kubernetes を設定する リンクのコピーリンクがクリップボードにコピーされました!
追加または セカンダリー の Open vSwitch (OVS) ブリッジ br-ex1 を作成できます。このブリッジは、OVN-Kubernetes によって管理され、Multiple External Gateways (MEG) 実装が OpenShift Container Platform ノードの外部ゲートウェイを定義するために使用するものです。
MEG は、AdminPolicyBasedExternalRoute カスタムリソース (CR) で定義できます。MEG 実装は、複数のゲートウェイ、等コストマルチパス (ECMP) ルート、および双方向フォワーディング検出 (BFD) 実装へのアクセスを Pod に提供します。
Multiple External Gateways (MEG) 機能の影響を受ける Pod のユースケースを考えてみてください。たとえば、ノード上の別のインターフェイス (br-ex1 など) に Egress トラフィックを送信するとします。MEG の影響を受けない Pod の Egress トラフィックは、デフォルトの OVS br-ex ブリッジにルーティングされます。
現在、MEG は、Egress IP、Egress ファイアウォール、Egress ルーターなどの他の Egress 機能との使用はサポートされていません。Egress IP などの Egress 機能で MEG を使用しようとすると、ルーティングとトラフィックフローの競合が発生する可能性があります。これは、OVN-Kubernetes がルーティングと送信元ネットワークアドレス変換 (SNAT) を処理する方法が原因で発生します。その結果、ルーティングに一貫性がなくなり、戻りパスが着信パスをパッチする必要がある一部の環境では接続が切断される可能性があります。
追加のブリッジは、マシン設定マニフェストファイルのインターフェイス定義で定義する必要があります。Machine Config Operator が、このマニフェストを使用して、ホスト上の /etc/ovnk/extra_bridge に新しいファイルを作成します。この新しいファイルには、追加の OVS ブリッジがノード用に設定するネットワークインターフェイスの名前が含まれています。
nmstate API を使用して、/etc/ovnk/extra_bridge ディレクトリーパスで定義されているセカンダリーインターフェイスの設定は変更しないようにしてください。configure-ovs.sh 設定スクリプトは OVS ブリッジインターフェイスを作成および管理するため、nmstate API によるこれらのインターフェイスへの中断的な変更は、ネットワーク設定が不安定になる可能性があります。
マニフェストファイルを作成して編集すると、Machine Config Operator は次の順序でタスクを完了します。
- 選択したマシン設定プールに基づいて、単一の順序でノードをドレインします。
-
各ノードに Ignition 設定ファイルを挿入し、各ノードが追加の
br-ex1ブリッジネットワーク設定を受信するようにします。 -
br-exの MAC アドレスが、br-exがネットワーク接続に使用するインターフェイスの MAC アドレスと一致していることを確認します。 -
新しいインターフェイス定義を参照する
configure-ovs.shシェルスクリプトを実行します。 -
br-exとbr-ex1をホストノードに追加します。 - ノードをスケジューリング対象に戻します。
すべてのノードが Ready 状態に戻り、OVN-Kubernetes Operator が br-ex と br-ex1 を検出して設定した後、Operator は各ノードに k8s.ovn.org/l3-gateway-config アノテーションを適用します。
追加の br-ex1 ブリッジが役立つ状況と、デフォルトの br-ex ブリッジが常に必要な状況の詳細は、「ローカルネットトポロジーの設定」を参照してください。
手順
オプション: 次の手順を実行して、追加のブリッジ
br-ex1が使用できるインターフェイス接続を作成します。この手順の例では、新しいボンディングとその依存インターフェイスを作成する方法を示しています。これらはすべて、マシン設定マニフェストファイルで定義されています。追加のブリッジは、MachineConfigオブジェクトを使用して追加のボンディングインターフェイスを形成します。重要追加のインターフェイスを定義するために、Kubernetes NMState Operator や
NodeNetworkConfigurationPolicy(NNCP) マニフェストファイルを使用しないでください。また、bondインターフェイスを定義するときには、追加のインターフェイスまたはサブインターフェイスが既存のbr-exOVN Kubernetes ネットワークデプロイメントで使用されないようにします。インストール後は、
br-exブリッジまたはその基盤となるインターフェイスの設定を変更できません。回避策として、ホストまたはスイッチに接続されたセカンダリーネットワークインターフェイスを使用してください。次のインターフェイス定義ファイルを作成します。以下のファイルは、ホストノードが定義ファイルにアクセスできるように、マシン設定マニフェストファイルに追加されます。
1 番目のインターフェイス定義ファイルの例 (
eno1.config)[connection] id=eno1 type=ethernet interface-name=eno1 master=bond1 slave-type=bond autoconnect=true autoconnect-priority=202 番目のインターフェイス定義ファイルの例 (
eno2.config)[connection] id=eno2 type=ethernet interface-name=eno2 master=bond1 slave-type=bond autoconnect=true autoconnect-priority=202 番目のボンディングインターフェイス定義ファイルの例 (
bond1.config)[connection] id=bond1 type=bond interface-name=bond1 autoconnect=true connection.autoconnect-slaves=1 autoconnect-priority=20 [bond] mode=802.3ad miimon=100 xmit_hash_policy="layer3+4" [ipv4] method=auto次のコマンドを実行して、定義ファイルを Base64 でエンコードされた文字列に変換します。
$ base64 <directory_path>/en01.config$ base64 <directory_path>/eno2.config$ base64 <directory_path>/bond1.config
環境変数を準備します。
<machine_role>を、workerなどのノードロールに置き換え、<interface_name>を追加のbr-exブリッジ名に置き換えます。$ export ROLE=<machine_role>マシン設定マニフェストファイルで各インターフェイス定義を定義します。
bond1、eno1、en02の定義を追加したマシン設定ファイルの例apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: ${worker} name: 12-${ROLE}-sec-bridge-cni spec: config: ignition: version: 3.2.0 storage: files: - contents: source: data:;base64,<base-64-encoded-contents-for-bond1.conf> path: /etc/NetworkManager/system-connections/bond1.nmconnection filesystem: root mode: 0600 - contents: source: data:;base64,<base-64-encoded-contents-for-eno1.conf> path: /etc/NetworkManager/system-connections/eno1.nmconnection filesystem: root mode: 0600 - contents: source: data:;base64,<base-64-encoded-contents-for-eno2.conf> path: /etc/NetworkManager/system-connections/eno2.nmconnection filesystem: root mode: 0600 # ...ターミナルで次のコマンドを入力して、ネットワークプラグインを設定するためのマシン設定マニフェストファイルを作成します。
$ oc create -f <machine_config_file_name>OVN-Kubernetes ネットワークプラグインを使用して
extra_bridgeファイルを作成し、ノード上に Open vSwitch (OVS) ブリッジbr-ex1を作成します。このファイルは、ホストの/etc/ovnk/extra_bridgeパスに保存します。ファイルには、ノードのプライマリー IP アドレスを保持するbr-exをサポートするデフォルトのインターフェイスではなく、追加のブリッジをサポートするインターフェイスの名前を記述する必要があります。追加のインターフェイスを参照する
extra_bridgeファイル/etc/ovnk/extra_bridgeの設定例bond1クラスターで再起動されるノードで
br-ex1をホストする既存の静的インターフェイスを定義したマシン設定マニフェストファイルを作成します。br-ex1をホストするインターフェイスとしてbond1を定義したマシン設定ファイルの例apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: ${worker} name: 12-worker-extra-bridge spec: config: ignition: version: 3.2.0 storage: files: - path: /etc/ovnk/extra_bridge mode: 0420 overwrite: true contents: source: data:text/plain;charset=utf-8,bond1 filesystem: root選択したノードにマシン設定を適用します。
$ oc create -f <machine_config_file_name>オプション:
/var/lib/ovnk/iface_default_hintリソースを作成するマシン設定ファイルを作成することにより、ノードのbr-ex選択ロジックをオーバーライドできます。注記このリソースには、
br-exがクラスター用に選択するインターフェイスの名前がリストされます。br-exは、デフォルトで、ブート順序とマシンネットワーク内の IP アドレスサブネットに基づいて、ノードのプライマリーインターフェイスを選択します。マシンネットワークの設定によっては、ホストノードのデフォルトのインターフェイスまたはボンディングを引き続きbr-exが選択する必要があります。ホストノードに、デフォルトのインターフェイスをオーバーライドするためのマシン設定ファイルを作成します。
重要このマシン設定ファイルは、
br-ex選択ロジックを変更する目的でのみ作成します。このファイルを使用してクラスター内の既存のノードの IP アドレスを変更することはサポートされていません。デフォルトのインターフェイスをオーバーライドするマシン設定ファイルの例
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: ${worker} name: 12-worker-br-ex-override spec: config: ignition: version: 3.2.0 storage: files: - path: /var/lib/ovnk/iface_default_hint mode: 0420 overwrite: true contents: source: data:text/plain;charset=utf-8,bond0 filesystem: root各項目の説明:
-
マシン設定ファイルをノードに適用する前に、ノードに
bond0が存在することを確認します。
-
マシン設定ファイルをノードに適用する前に、ノードに
-
クラスター内のすべての新しいノードに設定を適用する前に、ホストノードを再起動して、
br-exが目的のインターフェイスを選択し、br-ex1で定義した新しいインターフェイスと競合しないことを検証します。 クラスター内のすべての新しいノードにマシン設定ファイルを適用します。
$ oc create -f <machine_config_file_name>
検証
クラスター内の
exgw-ip-addressesラベルを持つノードの IP アドレスを特定し、ノードがデフォルトのブリッジではなく追加のブリッジを使用していることを確認します。$ oc get nodes -o json | grep --color exgw-ip-addresses出力例
"k8s.ovn.org/l3-gateway-config": \"exgw-ip-address\":\"172.xx.xx.yy/24\",\"next-hops\":[\"xx.xx.xx.xx\"],ホストノードのネットワークインターフェイス名を確認して、ターゲットノードに追加のブリッジが存在することを確認します。
$ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep mtu | grep br-ex"出力例
Starting pod/worker-1-debug ... To use host binaries, run `chroot /host` # ... 5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000 6: br-ex1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000オプション:
/var/lib/ovnk/iface_default_hintを使用する場合は、br-exの MAC アドレスが、選択したプライマリーインターフェイスの MAC アドレスと一致していることを確認します。$ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep -A1 -E 'br-ex|bond0'br-exのプライマリーインターフェイスがbond0であることを示す出力例Starting pod/worker-1-debug ... To use host binaries, run `chroot /host` # ... sh-5.1# ip a | grep -A1 -E 'br-ex|bond0' 2: bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000 link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff -- 5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000 link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff inet 10.xx.xx.xx/21 brd 10.xx.xx.255 scope global dynamic noprefixroute br-ex
7.5.2. Open vSwitch の問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
Open vSwitch(OVS) の問題をトラブルシューティングするためには、より多くの情報を含むようにログレベルを設定する必要があるかもしれません。
ノードのログレベルを一時的に変更した場合、次の例のようにノード上のマシン設定デーモンからログメッセージを受信することがあるので注意が必要です。
E0514 12:47:17.998892 2281 daemon.go:1350] content mismatch for file /etc/systemd/system/ovs-vswitchd.service: [Unit]
不一致に関連するログメッセージを回避するには、トラブルシューティングが完了した後に、ログレベルの変更を元に戻してください。
7.5.2.1. Open vSwitch のログレベルの一時的な設定 リンクのコピーリンクがクリップボードにコピーされました!
短期間のトラブルシューティングのために、Open vSwitch(OVS) のログレベルを一時的に設定することができます。以下の手順では、ノードを再起動する必要はありません。また、ノードを再起動した場合、設定の変更は保持されません。
この手順を実行してログレベルを変更した後、ovs-vswitchd.service のコンテンツの不一致を示すログメッセージをマシン設定デーモンから受け取ることがあります。ログメッセージが表示されないようにするには、この手順を繰り返し、ログレベルを元の値に設定してください。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
ノードのデバッグ Pod を起動します。
$ oc debug node/<node_name>/hostをデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の/hostにホストからのルートファイルシステムをマウントします。ルートディレクトリーを/hostに変更すると、ホストファイルシステムからのバイナリーを実行できます。# chroot /hostOVS モジュールの現在の syslog レベルを表示します。
# ovs-appctl vlog/list次の出力例では、syslog のログレベルが
infoに設定されています。出力例
console syslog file ------- ------ ------ backtrace OFF INFO INFO bfd OFF INFO INFO bond OFF INFO INFO bridge OFF INFO INFO bundle OFF INFO INFO bundles OFF INFO INFO cfm OFF INFO INFO collectors OFF INFO INFO command_line OFF INFO INFO connmgr OFF INFO INFO conntrack OFF INFO INFO conntrack_tp OFF INFO INFO coverage OFF INFO INFO ct_dpif OFF INFO INFO daemon OFF INFO INFO daemon_unix OFF INFO INFO dns_resolve OFF INFO INFO dpdk OFF INFO INFO .../etc/systemd/system/ovs-vswitchd.service.d/10-ovs-vswitchd-restart.confファイルでログレベルを指定します。Restart=always ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /var/lib/openvswitch' ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /etc/openvswitch' ExecStartPre=-/bin/sh -c '/usr/bin/chown -R :$${OVS_USER_ID##*:} /run/openvswitch' ExecStartPost=-/usr/bin/ovs-appctl vlog/set syslog:dbg ExecReload=-/usr/bin/ovs-appctl vlog/set syslog:dbg前述の例では、ログレベルは
dbgに設定されています。syslog:<log_level>をoff、emer、err、warn、info、またはdbgに設定することで、最後の 2 行を変更します。ログレベルoffでは、すべてのログメッセージが除外されます。サービスを再起動します。
# systemctl daemon-reload# systemctl restart ovs-vswitchd
7.5.2.2. Open vSwitch のログレベルの恒久的な設定 リンクのコピーリンクがクリップボードにコピーされました!
Open vSwitch(OVS) のログレベルを長期的に変更する場合は、ログレベルを恒久的に変更することができます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
以下の例のような
MachineConfigオブジェクトで、99-change-ovs-loglevel.yamlのようなファイルを作成します。apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: master name: 99-change-ovs-loglevel spec: config: ignition: version: 3.2.0 systemd: units: - dropins: - contents: | [Service] ExecStartPost=-/usr/bin/ovs-appctl vlog/set syslog:dbg ExecReload=-/usr/bin/ovs-appctl vlog/set syslog:dbg name: 20-ovs-vswitchd-restart.conf name: ovs-vswitchd.service各項目の説明:
-
metadata.labels.machineconfiguration.openshift.io/role:: コントロールプレーンノードを設定するためにこの手順を実行した後、手順を繰り返してロールを `workerにセットしてワーカーノードを設定します。 -
spec.systemmd.units.dropins.contents.ExecStartPost::syslog:<log_level>の値を設定します。ログレベルはoff、emer、err、warn、info、またはdbgです。値をoffに設定すると、すべてのログメッセージが除外されます。
-
マシン設定を適用します。
$ oc apply -f 99-change-ovs-loglevel.yaml
7.5.2.3. Open vSwitch のログの表示 リンクのコピーリンクがクリップボードにコピーされました!
Open vSwitch(OVS) のログを表示するには、以下の手順で行います。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
以下のコマンドのいずれかを実行します。
クラスター外から
ocコマンドを使用してログを表示する。$ oc adm node-logs <node_name> -u ovs-vswitchdクラスター内のノードにログオンした後にログを表示する。
# journalctl -b -f -u ovs-vswitchd.serviceノードにログオンする 1 つの方法は、
oc debug node/<node_name>コマンドを使用することです。
7.6. Operator 関連の問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
クラスター管理者は、Operator の問題を解決するために、Operator のサブスクリプションの状態の確認、Operator の Pod の状態確認、Operator のログ収集などの操作が可能です。
Operator は、OpenShift Container Platform アプリケーションをパッケージ化し、デプロイし、管理する方法です。Operator はソフトウェアベンダーのエンジニアリングチームの拡張機能のように動作し、OpenShift Container Platform 環境を監視し、その最新状態に基づいてリアルタイムの意思決定を行います。Operator はアップグレードをシームレスに実行し、障害に自動的に対応するように設計されており、時間の節約のためにソフトウェアのバックアッププロセスを省略するなどのショートカットを実行することはありません。
OpenShift Container Platform 4.21 には、クラスターが適切に機能するために必要なデフォルトの Operator セットが含まれています。これらのデフォルト Operator は Cluster Version Operator (CVO) によって管理されます。
クラスター管理者は、OpenShift Container Platform Web コンソールまたは CLI を使用してソフトウェアカタログからアプリケーション Operator をインストールできます。その後、Operator を 1 つまたは複数の namespace にサブスクライブし、クラスター上で開発者が使用できるようにできます。アプリケーション Operator は Operator Lifecycle Manager (OLM) によって管理されます。
Operator に問題が発生した場合には、Operator Subscription のステータスを確認します。クラスター全体で Operator Pod の正常性を確認し、診断用に Operator ログを収集します。
7.6.1. Operator サブスクリプションの状態のタイプ リンクのコピーリンクがクリップボードにコピーされました!
サブスクリプションは状態に関する以下のタイプを報告します。
| 状態 | 説明 |
|---|---|
|
| 解決に使用される一部のまたはすべてのカタログソースは正常ではありません。 |
|
| サブスクリプションのインストール計画がありません。 |
|
| サブスクリプションのインストール計画はインストールの保留中です。 |
|
| サブスクリプションのインストール計画が失敗しました。 |
|
| サブスクリプションの依存関係の解決に失敗しました。 |
デフォルトの OpenShift Container Platform Cluster Operator は Cluster Version Operator (CVO) によって管理され、これらの Operator には Subscription オブジェクトがありません。アプリケーション Operator は Operator Lifecycle Manager (OLM) によって管理され、それらには Subscription オブジェクトがあります。
7.6.3. CLI を使用した Operator サブスクリプションステータスの表示 リンクのコピーリンクがクリップボードにコピーされました!
CLI を使用して Operator サブスクリプションステータスを表示できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
Operator サブスクリプションをリスト表示します。
$ oc get subs -n <operator_namespace>oc describeコマンドを使用して、Subscriptionリソースを検査します。$ oc describe sub <subscription_name> -n <operator_namespace>コマンド出力で、
Conditionsセクションで Operator サブスクリプションの状態タイプのステータスを確認します。以下の例では、利用可能なすべてのカタログソースが正常であるため、CatalogSourcesUnhealthy状態タイプのステータスはfalseになります。出力例
Name: cluster-logging Namespace: openshift-logging Labels: operators.coreos.com/cluster-logging.openshift-logging= Annotations: <none> API Version: operators.coreos.com/v1alpha1 Kind: Subscription # ... Conditions: Last Transition Time: 2019-07-29T13:42:57Z Message: all available catalogsources are healthy Reason: AllCatalogSourcesHealthy Status: False Type: CatalogSourcesUnhealthy # ...注記デフォルトの OpenShift Container Platform Cluster Operator は Cluster Version Operator (CVO) によって管理され、これらの Operator には
Subscriptionオブジェクトがありません。アプリケーション Operator は Operator Lifecycle Manager (OLM) によって管理され、それらにはSubscriptionオブジェクトがあります。
7.6.4. CLI を使った Operator カタログソースのステータスの表示 リンクのコピーリンクがクリップボードにコピーされました!
Operator カタログソースのステータスは、CLI を使用して確認できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
namespace のカタログソースをリスト表示します。たとえば、クラスター全体のカタログソースに使用されている
openshift-marketplacenamespace を確認することができます。$ oc get catalogsources -n openshift-marketplace出力例
NAME DISPLAY TYPE PUBLISHER AGE certified-operators Certified Operators grpc Red Hat 55m community-operators Community Operators grpc Red Hat 55m example-catalog Example Catalog grpc Example Org 2m25s redhat-operators Red Hat Operators grpc Red Hat 55mカタログソースの詳細やステータスを確認するには、
oc describeコマンドを使用します。$ oc describe catalogsource example-catalog -n openshift-marketplace出力例
Name: example-catalog Namespace: openshift-marketplace Labels: <none> Annotations: operatorframework.io/managed-by: marketplace-operator target.workload.openshift.io/management: {"effect": "PreferredDuringScheduling"} API Version: operators.coreos.com/v1alpha1 Kind: CatalogSource # ... Status: Connection State: Address: example-catalog.openshift-marketplace.svc:50051 Last Connect: 2021-09-09T17:07:35Z Last Observed State: TRANSIENT_FAILURE Registry Service: Created At: 2021-09-09T17:05:45Z Port: 50051 Protocol: grpc Service Name: example-catalog Service Namespace: openshift-marketplace # ...前述の出力例では、最後に観測された状態が
TRANSIENT_FAILUREとなっています。この状態は、カタログソースの接続確立に問題があることを示しています。カタログソースが作成された namespace の Pod をリストアップします。
$ oc get pods -n openshift-marketplace出力例
NAME READY STATUS RESTARTS AGE certified-operators-cv9nn 1/1 Running 0 36m community-operators-6v8lp 1/1 Running 0 36m marketplace-operator-86bfc75f9b-jkgbc 1/1 Running 0 42m example-catalog-bwt8z 0/1 ImagePullBackOff 0 3m55s redhat-operators-smxx8 1/1 Running 0 36mnamespace にカタログソースを作成すると、その namespace にカタログソース用の Pod が作成されます。前述の出力例では、
example-catalog-bwt8zPod のステータスがImagePullBackOffになっています。このステータスは、カタログソースのインデックスイメージのプルに問題があることを示しています。oc describeコマンドを使用して、より詳細な情報を得るために Pod を検査します。$ oc describe pod example-catalog-bwt8z -n openshift-marketplace出力例
Name: example-catalog-bwt8z Namespace: openshift-marketplace Priority: 0 Node: ci-ln-jyryyg2-f76d1-ggdbq-worker-b-vsxjd/10.0.128.2 ... Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 48s default-scheduler Successfully assigned openshift-marketplace/example-catalog-bwt8z to ci-ln-jyryyf2-f76d1-fgdbq-worker-b-vsxjd Normal AddedInterface 47s multus Add eth0 [10.131.0.40/23] from openshift-sdn Normal BackOff 20s (x2 over 46s) kubelet Back-off pulling image "quay.io/example-org/example-catalog:v1" Warning Failed 20s (x2 over 46s) kubelet Error: ImagePullBackOff Normal Pulling 8s (x3 over 47s) kubelet Pulling image "quay.io/example-org/example-catalog:v1" Warning Failed 8s (x3 over 47s) kubelet Failed to pull image "quay.io/example-org/example-catalog:v1": rpc error: code = Unknown desc = reading manifest v1 in quay.io/example-org/example-catalog: unauthorized: access to the requested resource is not authorized Warning Failed 8s (x3 over 47s) kubelet Error: ErrImagePull前述の出力例では、エラーメッセージは、カタログソースのインデックスイメージが承認問題のために正常にプルできないことを示しています。例えば、インデックスイメージがログイン認証情報を必要とするレジストリーに保存されている場合があります。
7.6.6. Query Operator Pod ステータス リンクのコピーリンクがクリップボードにコピーされました!
クラスター内の Operator Pod およびそれらのステータスをリスト表示できます。詳細な Operator Pod の要約を収集することもできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
クラスターで実行されている Operators をリスト表示します。出力には、Operator バージョン、可用性、およびアップタイムの情報が含まれます。
$ oc get clusteroperatorsOperator の namespace で実行されている Operator Pod をリスト表示し、Pod のステータス、再起動、および経過時間をリスト表示します。
$ oc get pod -n <operator_namespace>詳細な Operator Pod の要約を出力します。
$ oc describe pod <operator_pod_name> -n <operator_namespace>Operator の問題がノード固有の問題である場合、クエリーを実行してそのノードの Operator コンテナーのステータスを取得します。
ノードのデバッグ Pod を起動します。
$ oc debug node/my-node/hostをデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の/hostにホストの root ファイルシステムをマウントします。root ディレクトリーを/hostに変更すると、ホストの実行パスに含まれるバイナリーを実行できます。# chroot /host注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、
oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。状態および関連付けられた Pod ID を含む、ノードのコンテナーの詳細をリスト表示します。
# crictl psノード上の特定の Operator コンテナーに関する情報をリスト表示します。以下の例では、
network-operatorコンテナーに関する情報をリスト表示します。# crictl ps --name network-operator- デバッグシェルを終了します。
7.6.7. Operator ログの収集 リンクのコピーリンクがクリップボードにコピーされました!
Operator の問題が発生した場合、Operator Pod ログから詳細な診断情報を収集できます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。 - コントロールプレーンまたはコントロールプレーンマシンの完全修飾ドメイン名がある。
手順
Operator の namespace で実行されている Operator Pod、Pod のステータス、再起動、および経過時間をリスト表示します。
$ oc get pods -n <operator_namespace>Operator Pod のログを確認します。
$ oc logs pod/<pod_name> -n <operator_namespace>Operator Pod に複数のコンテナーがある場合、前述のコマンドにより各コンテナーの名前が含まれるエラーが生成されます。個別のコンテナーに対して、ログのクエリーを実行します。
$ oc logs pod/<operator_pod_name> -c <container_name> -n <operator_namespace>API が機能しない場合には、代わりに SSH を使用して各コントロールプレーンノードで Operator Pod およびコンテナーログを確認します。
<master-node>.<cluster_name>.<base_domain>を適切な値に置き換えます。各コントロールプレーンノードの Pod をリスト表示します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl podsOperator Pod で
Readyステータスが表示されない場合は、Pod のステータスを詳細に検査します。<operator_pod_id>を直前のコマンドの出力にリスト表示されている Operator Pod の ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspectp <operator_pod_id>Operator Pod に関連するコンテナーをリスト表示します。
$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl ps --pod=<operator_pod_id>Readyステータスが Operator コンテナーに表示されない場合は、コンテナーのステータスを詳細に検査します。<container_id>を前述のコマンドの出力に一覧表示されているコンテナー ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspect <container_id>Readyステータスが表示されない Operator コンテナーのログを確認します。<container_id>を前述のコマンドの出力に一覧表示されているコンテナー ID に置き換えます。$ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl logs -f <container_id>注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。SSH 経由で診断データの収集を試行する前に、
oc adm must gatherおよびその他のocコマンドを実行して収集されるデータが十分であるかどうかを確認してください。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。
7.6.8. Machine Config Operator の自動再起動の無効化 リンクのコピーリンクがクリップボードにコピーされました!
設定変更が Machine Config Operator (MCO) によって行われる場合、Red Hat Enterprise Linux CoreOS (RHCOS) を再起動して変更を反映する必要があります。設定の変更が自動または手動であるかどうかにかかわらず、RHCOS ノードは、一時停止されない限り自動的に再起動します。
MCO が以下の変更のいずれかを検出すると、ノードの drain (Pod の退避) の実行または再起動を行わずに更新を適用します。
-
マシン設定の
spec.config.passwd.users.sshAuthorizedKeysパラメーターの SSH キーの変更。 -
openshift-confignamespace でのグローバルプルシークレットまたはプルシークレットへの変更。 -
Kubernetes API Server Operator による
/etc/kubernetes/kubelet-ca.crt認証局 (CA) の自動ローテーション。
-
マシン設定の
MCO は、
/etc/containers/registries.confファイルへの変更 (ImageDigestMirrorSet、ImageTagMirrorSet、またはImageContentSourcePolicyオブジェクトの編集など) を検出すると、対応するノードの drain (Pod の退避) を実行し、変更を適用して、ノードをスケジューリング対象に戻します。次の変更ではノードの drain (Pod の退避) の実行は発生しません。-
pull-from-mirror = "digest-only"パラメーターがミラーごとに設定されたレジストリーの追加。 -
pull-from-mirror = "digest-only"パラメーターがレジストリーに設定されたミラーの追加。 -
unqualified-search-registriesへのアイテムの追加。
-
不要な中断を防ぐために、マシン設定プール (MCP) を変更して、Operator がマシン設定を変更した後に自動再起動を防ぐことができます。
7.6.8.1. コンソールの使用による Machine Config Operator の自動再起動の無効化 リンクのコピーリンクがクリップボードにコピーされました!
Machine Config Operator (MCO) の変更から不要な中断を防ぐには、OpenShift Container Platform Web コンソールを使用してマシン設定プール (MCP) を変更し、MCO がそのプール内のノードに変更を加えられないようにすることができます。
これにより、通常 MCO 更新プロセスの一部として実行される再起動ができなくなります。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。
手順
-
cluster-adminロールを持つユーザーとして OpenShift Container Platform Web コンソールにログインします。 -
Compute
MachineConfigPools をクリックします。 - MachineConfigPools ページで、再起動を一時停止するノードに合わせて master または worker のいずれかをクリックします。
- master または worker ページで、YAML をクリックします。
YAML で、
spec.pausedフィールドをtrueに更新します。MachineConfigPool オブジェクトのサンプル
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfigPool # ... spec: # ... paused: true # ...spec.pausedフィールドをtrueに更新し、再起動を一時停止します。MCP が一時停止されていることを確認するには、MachineConfigPools ページに戻ります。
MachineConfigPools ページの Paused 列では、変更した MCP に対して True が報告されます。
MCP が一時停止中に保留中の変更がある場合は、Updated 列は False であり、Updating は False になります。Updated が True であり、Updating が False の場合、保留中の変更はありません。
重要保留中の変更がある場合 (Updated および Updating 列の両方が False の場合)、できるだけ早期に再起動のメンテナンス期間をスケジュールすることが推奨されます。自動再起動プロセスの一時停止を解除して、最後に再起動してからキューに追加された変更を適用するには、以下の手順に従います。
- 自動再起動プロセスの一時停止を解除するには、以下を実行します。
-
cluster-adminロールを持つユーザーとして OpenShift Container Platform Web コンソールにログインします。 -
Compute
MachineConfigPools をクリックします。 - MachineConfigPools ページで、再起動を一時停止するノードに合わせて master または worker のいずれかをクリックします。
- master または worker ページで、YAML をクリックします。
YAML で、
spec.pausedフィールドをfalseに更新します。MachineConfigPool オブジェクトのサンプル
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfigPool # ... spec: # ... paused: false # ...spec.pausedフィールドをfalseに更新し、再起動を許可します。注記MCP の一時停止を解除すると、MCO は一時停止したすべての変更を適用し、必要に応じて Red Hat Enterprise Linux CoreOS (RHCOS) を再起動します。
MCP が一時停止されていることを確認するには、MachineConfigPools ページに戻ります。
MachineConfigPools ページの Paused 列では、変更した MCP に対して False が報告されます。
MCP が保留中の変更を適用する場合、Updated 列は False になり、Updating 列は True になります。Updated が True であり、Updating が False の場合、追加の変更は加えられません。
7.6.8.2. CLI の使用による Machine Config Operator の自動再起動の無効化 リンクのコピーリンクがクリップボードにコピーされました!
Machine Config Operator (MCO) によって加えられる変更から生じる不要な中断を防ぐには、OpenShift CLI (oc) を使用してマシン設定プール (MCP) を変更し、MCO がそのプール内のノードに変更を加えられないようにすることができます。
これにより、通常 MCO 更新プロセスの一部として実行される再起動ができなくなります。
Machine Config Operator の自動再起動の無効化 の 2 つ目の NOTE を参照してください。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
自動 MCO 更新の再起動の一時停止または一時停止を解除するには、以下を実行します。
MachineConfigPoolカスタムリソースを、spec.pausedフィールドをtrueに設定するように更新します。コントロールプレーン (マスター) ノード
$ oc patch --type=merge --patch='{"spec":{"paused":true}}' machineconfigpool/masterワーカーノード
$ oc patch --type=merge --patch='{"spec":{"paused":true}}' machineconfigpool/workerMCP が一時停止されていることを確認します。
コントロールプレーン (マスター) ノード
$ oc get machineconfigpool/master --template='{{.spec.paused}}'ワーカーノード
$ oc get machineconfigpool/worker --template='{{.spec.paused}}'出力例
truespec.pausedフィールドはtrueであり、MCP は一時停止されます。MCP に保留中の変更があるかどうかを判別します。
# oc get machineconfigpool出力例
NAME CONFIG UPDATED UPDATING master rendered-master-33cf0a1254318755d7b48002c597bf91 True False worker rendered-worker-e405a5bdb0db1295acea08bcca33fa60 False FalseUPDATED 列が False であり、UPDATING が False の場合は、保留中の変更があります。UPDATED が True であり、UPDATING が False の場合、保留中の変更はありません。この例では、ワーカーノードに保留中の変更があります。コントロールプレーンノードには保留中の変更がありません。
重要保留中の変更がある場合 (Updated および Updating 列の両方が False の場合)、できるだけ早期に再起動のメンテナンス期間をスケジュールすることが推奨されます。自動再起動プロセスの一時停止を解除して、最後に再起動してからキューに追加された変更を適用するには、以下の手順に従います。
自動再起動プロセスの一時停止を解除するには、以下を実行します。
MachineConfigPoolカスタムリソースを、spec.pausedフィールドをfalseに設定するように更新します。コントロールプレーン (マスター) ノード
$ oc patch --type=merge --patch='{"spec":{"paused":false}}' machineconfigpool/masterワーカーノード
$ oc patch --type=merge --patch='{"spec":{"paused":false}}' machineconfigpool/worker注記MCP の一時停止を解除すると、MCO は一時停止したすべての変更を適用し、必要に応じて Red Hat Enterprise Linux CoreOS (RHCOS) を再起動します。
MCP の一時停止が解除されていることを確認します。
コントロールプレーン (マスター) ノード
$ oc get machineconfigpool/master --template='{{.spec.paused}}'ワーカーノード
$ oc get machineconfigpool/worker --template='{{.spec.paused}}'出力例
falsespec.pausedフィールドはfalseであり、マシン設定プールの一時停止は解除されます。MCP に保留中の変更があるかどうかを判別します。
$ oc get machineconfigpool出力例
NAME CONFIG UPDATED UPDATING master rendered-master-546383f80705bd5aeaba93 True False worker rendered-worker-b4c51bb33ccaae6fc4a6a5 False TrueMCP が保留中の変更を適用する場合、UPDATED 列は False で、UPDATING 列は True になります。UPDATED が True であり、UPDATING が False の場合、追加の変更は加えられません。直前の例では、MCO はワーカーノードを更新しています。
7.6.9. 障害のあるサブスクリプションの更新 リンクのコピーリンクがクリップボードにコピーされました!
Operator Lifecycle Manager (OLM) で、ネットワークでアクセスできないイメージを参照する Operator をサブスクライブする場合、以下のエラーを出して失敗した openshift-marketplace namespace でジョブを見つけることができます。
ImagePullBackOff for
Back-off pulling image "example.com/openshift4/ose-elasticsearch-operator-bundle@sha256:6d2587129c846ec28d384540322b40b05833e7e00b25cca584e004af9a1d292e"
rpc error: code = Unknown desc = error pinging docker registry example.com: Get "https://example.com/v2/": dial tcp: lookup example.com on 10.0.0.1:53: no such host
その結果、サブスクリプションはこの障害のある状態のままとなり、Operator はインストールまたはアップグレードを実行できません。
サブスクリプション、クラスターサービスバージョン (CSV) その他の関連オブジェクトを削除して、障害のあるサブスクリプションを更新できます。サブスクリプションを再作成した後に、OLM は Operator の正しいバージョンを再インストールします。
前提条件
- アクセス不可能なバンドルイメージをプルできない障害のあるサブスクリプションがある。
- 正しいバンドルイメージにアクセスできることを確認している。
手順
Operator がインストールされている namespace から
SubscriptionおよびClusterServiceVersionオブジェクトの名前を取得します。$ oc get sub,csv -n <namespace>出力例
NAME PACKAGE SOURCE CHANNEL subscription.operators.coreos.com/elasticsearch-operator elasticsearch-operator redhat-operators 5.0 NAME DISPLAY VERSION REPLACES PHASE clusterserviceversion.operators.coreos.com/elasticsearch-operator.5.0.0-65 OpenShift Elasticsearch Operator 5.0.0-65 Succeededサブスクリプションを削除します。
$ oc delete subscription <subscription_name> -n <namespace>クラスターサービスバージョンを削除します。
$ oc delete csv <csv_name> -n <namespace>openshift-marketplacenamespace の失敗したジョブおよび関連する config map の名前を取得します。$ oc get job,configmap -n openshift-marketplace出力例
NAME COMPLETIONS DURATION AGE job.batch/1de9443b6324e629ddf31fed0a853a121275806170e34c926d69e53a7fcbccb 1/1 26s 9m30s NAME DATA AGE configmap/1de9443b6324e629ddf31fed0a853a121275806170e34c926d69e53a7fcbccb 3 9m30sジョブを削除します。
$ oc delete job <job_name> -n openshift-marketplaceこれにより、アクセスできないイメージのプルを試行する Pod は再作成されなくなります。
config map を削除します。
$ oc delete configmap <configmap_name> -n openshift-marketplace- Web コンソールのソフトウェアカタログを使用して Operator を再インストールします。
検証
Operator が正常に再インストールされていることを確認します。
$ oc get sub,csv,installplan -n <namespace>
7.6.10. アンインストール失敗後の Operator の再インストール リンクのコピーリンクがクリップボードにコピーされました!
同じ Operator の再インストールを試行する前に、Operator を正常かつ完全にアンインストールする必要があります。
Operator を適切かつ完全にアンインストールできていない場合、プロジェクトや namespace などのリソースが "Terminating" ステータスでスタックし、"error resolving resource" メッセージが表示されます。以下に例を示します。
Project リソースの説明例
...
message: 'Failed to delete all resource types, 1 remaining: Internal error occurred:
error resolving resource'
...
これらのタイプの問題は、Operator の正常な再インストールを妨げる可能性があります。
namespace を強制的に削除しても、"Terminating" 状態の問題が解決される可能性は低く、クラスターの動作が不安定または予測不能になる可能性があるため、namespace の削除を妨げている可能性のある関連リソースの特定に注力することが推奨されます。詳細は、Red Hat Knowledgebase Solution #4165791 を参照し、特に注意と警告に注目してください。
次の手順では、以前インストールされた Operator からの既存カスタムリソース定義 (CRD) が原因で関連する namespace が正常に削除されないために Operator を再インストールできない場合のトラブルシューティングを示します。
手順
"Terminating" 状態のままになっている Operator に関連する namespace があるかどうかを確認します。
$ oc get namespaces出力例
operator-ns-1 Terminatingアンインストールの失敗後も Operator に関連する CRD があるか確認します。
$ oc get crds注記CRD はグローバルクラスター定義です。CRD に関連する実際のカスタムリソース (CR) インスタンスは、他の namespace にあるか、グローバルクラスターインスタンスである可能性があります。
Operator によって提供または管理されている CRD があり、その CRD をアンインストール後に削除する必要がある場合は、CRD を削除します。
$ oc delete crd <crd_name>アンインストールした後も Operator に関連する CR インスタンスが残っているか確認し、残っている場合は CR を削除します。
アンインストール後は、検索する CR のタイプの判断が困難になり、Operator が管理する CRD を把握している必要がある場合もあります。たとえば、
EtcdClusterCRD を提供する etcd Operator のアンインストールをトラブルシューティングする場合、namespace で残りのEtcdClusterCR を検索できます。$ oc get EtcdCluster -n <namespace_name>もしくは、すべての namespace で検索できます。
$ oc get EtcdCluster --all-namespaces削除する必要のある CR が残っている場合は、インスタンスを削除します。
$ oc delete <cr_name> <cr_instance_name> -n <namespace_name>
namespace の削除が正常に解決されたことを確認します。
$ oc get namespace <namespace_name>重要namespace やその他の Operator リソースが正常にアンインストールされていない場合は、Red Hat サポートにお問い合わせください。
- Web コンソールのソフトウェアカタログを使用して Operator を再インストールします。
検証
Operator が正常に再インストールされていることを確認します。
$ oc get sub,csv,installplan -n <namespace>
7.7. Pod の問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform は、ホスト上に共にデプロイされる 1 つ以上のコンテナーである Pod の Kubernetes の概念を活用しています。Pod は、OpenShift Container Platform 4.21 で定義、デプロイ、管理できる最小のコンピュート単位です。
Pod が定義されると、そのコンテナーが終了するか、Pod が削除されるまで、Pod はノードで実行されるように割り当てられます。ポリシーと終了コードに応じて、Pod は終了後に削除されるか、ログにアクセスできるように保持されます。
Pod の問題が発生した場合には、まず Pod のステータスをチェックします。Pod の明示的な障害が発生した場合には、Pod のエラー状態をチェックして、特定のイメージ、コンテナー、または Pod ネットワークの問題を特定してください。エラー状態に基づく診断データの収集を行います。Pod イベントメッセージおよび Pod およびコンテナーのログ情報を確認します。コマンドライン上で実行中の Pod にアクセスするか、問題のある Pod のデプロイメント設定に基づいて root アクセスでデバッグ Pod を起動して問題を動的に診断します。
7.7.1. Pod のエラー状態について リンクのコピーリンクがクリップボードにコピーされました!
Pod に障害が発生すると、明示的なエラー状態が返されます。このエラー状態は、oc get pods の出力の status フィールドで確認できます。Pod のエラー状態は、イメージ、コンテナー、およびコンテナーネットワークに関連する障害に関する状態を示します。
以下の表は、Pod のエラー状態のリストをそれらの説明を記載しています。
| Pod のエラー状態 | 説明 |
|---|---|
|
| 一般的なイメージの取得エラー。 |
|
| イメージの取得に失敗し、取り消されました。 |
|
| 指定されたイメージ名は無効です。 |
|
| イメージの検査に失敗しました。 |
|
|
|
|
| レジストリーからイメージの取得を試みる際に、HTTP エラーが発生しました。 |
|
| 指定されたコンテナーが宣言された Pod 内にないか、kubelet によって管理されていません。 |
|
| コンテナーの初期化に失敗しました。 |
|
| Pod のコンテナーのいずれも正常に起動しませんでした。 |
|
| Pod のコンテナーのいずれも正常に強制終了されませんでした。 |
|
| コンテナーが終了しました。kubelet は再起動を試行しません。 |
|
| コンテナーまたはイメージが root 権限で実行を試行しました。 |
|
| Pod サンドボックスの作成が成功しませんでした。 |
|
| Pod サンドボックス設定を取得できませんでした。 |
|
| Pod サンドボックスは正常に停止しませんでした。 |
|
| ネットワークの初期化に失敗しました。 |
|
| ネットワークの終了に失敗しました。 |
7.7.2. Pod ステータスの確認 リンクのコピーリンクがクリップボードにコピーされました!
Pod のステータスおよびエラー状態をクエリーできます。Pod に関連するデプロイメント設定をクエリーし、ベースイメージの可用性を確認することもできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。 -
skopeoがインストールされている。
手順
プロジェクトに切り替えます。
$ oc project <project_name>namespace 内で実行されている Pod、Pod のステータス、エラーの状態、再起動、および経過時間をリスト表示します。
$ oc get podsnamespace がデプロイメント設定で管理されているかどうかを判別します。
$ oc statusnamespace がデプロイメント設定で管理される場合、出力には、デプロイメント設定名とベースイメージの参照が含まれます。
前述のコマンドの出力で参照されているベースイメージを検査します。
$ skopeo inspect docker://<image_reference>ベースイメージの参照が正しくない場合は、デプロイメント設定の参照を更新します。
$ oc edit deployment/my-deploymentデプロイメント設定が終了時に変更されると、設定が自動的に再デプロイされます。デプロイメントの進行中に Pod ステータスを確認し、問題が解決されているかどうかを判別します。
$ oc get pods -wPod の失敗に関連する診断情報は、namespace 内でイベントを確認します。
$ oc get events
7.7.3. Pod およびコンテナーログの検査 リンクのコピーリンクがクリップボードにコピーされました!
明示的な Pod の失敗に関連する警告およびエラーメッセージの有無について Pod およびコンテナーログを検査できます。ポリシーおよび終了コードによっては、Pod およびコンテナーログは Pod の終了後も利用可能のままになります。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
特定 Pod のログのクエリーを実行します。
$ oc logs <pod_name>クエリーを実行して、Pod 内の特定コンテナーのログを取得します。
$ oc logs <pod_name> -c <container_name>前述の
oc logsコマンドを使用して取得されるログは、Pod またはコンテナー内の標準出力 (stdout) に送信されるメッセージで構成されます。Pod 内の
/var/log/に含まれるログを検査します。Pod 内の
/var/logに含まれるファイルおよびサブディレクトリーをリスト表示します。$ oc exec <pod_name> -- ls -alh /var/log出力例
total 124K drwxr-xr-x. 1 root root 33 Aug 11 11:23 . drwxr-xr-x. 1 root root 28 Sep 6 2022 .. -rw-rw----. 1 root utmp 0 Jul 10 10:31 btmp -rw-r--r--. 1 root root 33K Jul 17 10:07 dnf.librepo.log -rw-r--r--. 1 root root 69K Jul 17 10:07 dnf.log -rw-r--r--. 1 root root 8.8K Jul 17 10:07 dnf.rpm.log -rw-r--r--. 1 root root 480 Jul 17 10:07 hawkey.log -rw-rw-r--. 1 root utmp 0 Jul 10 10:31 lastlog drwx------. 2 root root 23 Aug 11 11:14 openshift-apiserver drwx------. 2 root root 6 Jul 10 10:31 private drwxr-xr-x. 1 root root 22 Mar 9 08:05 rhsm -rw-rw-r--. 1 root utmp 0 Jul 10 10:31 wtmpPod 内の
/var/logに含まれる特定のログファイルのクエリーを実行します。$ oc exec <pod_name> cat /var/log/<path_to_log>出力例
2023-07-10T10:29:38+0000 INFO --- logging initialized --- 2023-07-10T10:29:38+0000 DDEBUG timer: config: 13 ms 2023-07-10T10:29:38+0000 DEBUG Loaded plugins: builddep, changelog, config-manager, copr, debug, debuginfo-install, download, generate_completion_cache, groups-manager, needs-restarting, playground, product-id, repoclosure, repodiff, repograph, repomanage, reposync, subscription-manager, uploadprofile 2023-07-10T10:29:38+0000 INFO Updating Subscription Management repositories. 2023-07-10T10:29:38+0000 INFO Unable to read consumer identity 2023-07-10T10:29:38+0000 INFO Subscription Manager is operating in container mode. 2023-07-10T10:29:38+0000 INFO特定のコンテナー内の
/var/logに含まれるログファイルおよびサブディレクトリーをリスト表示します。$ oc exec <pod_name> -c <container_name> ls /var/log特定のコンテナー内の
/var/logに含まれる特定のログファイルのクエリーを実行します。$ oc exec <pod_name> -c <container_name> cat /var/log/<path_to_log>
7.7.4. 実行中の Pod へのアクセス リンクのコピーリンクがクリップボードにコピーされました!
Pod 内でシェルを開くか、ポート転送によりネットワークアクセスを取得して、実行中の Pod を動的に確認することができます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
アクセスする Pod が含まれるプロジェクトに切り替えます。これは、
oc rshコマンドが-nnamespace オプションを受け入れないために必要です。$ oc project <namespace>リモートシェルを Pod で起動します。
$ oc rsh <pod_name>各項目の説明:
<pod_name>-
Pod に複数のコンテナーがある場合、
oc rshは-c <container_name>が指定されていない限り最初のコンテナーにデフォルト設定されます。
Pod 内の特定のコンテナーでリモートシェルを起動します。
$ oc rsh -c <container_name> pod/<pod_name>Pod のポートへのポート転送セッションを作成します。
$ oc port-forward <pod_name> <host_port>:<pod_port>各項目の説明:
<pod_name> <host_port>:<pod_port>-
ポート転送セッションをキャンセルするには、
Ctrl+Cを入力します。
7.7.5. root アクセスでデバッグ Pod を起動する リンクのコピーリンクがクリップボードにコピーされました!
問題のある Pod のデプロイメントまたはデプロイメント設定に基づいて、root アクセスでデバッグ Pod を起動できます。通常、Pod ユーザーは root 以外の権限で実行しますが、問題を調査するために一時的な root 権限で Pod のトラブルシューティングを実行することは役に立ちます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
デプロイメントに基づいて、root アクセスでデバッグ Pod を起動します。
プロジェクトのデプロイメント名を取得します。
$ oc get deployment -n <project_name>デプロイメントに基づいて、root 権限でデバッグ Pod を起動します。
$ oc debug deployment/my-deployment --as-root -n <project_name>
デプロイメント設定に基づいて、root アクセスでデバッグ Pod を起動します。
プロジェクトのデプロイメント設定名を取得します。
$ oc get deploymentconfigs -n <project_name>デプロイメント設定に基づいて、root 権限でデバッグ Pod を起動します。
$ oc debug deploymentconfig/my-deployment-configuration --as-root -n <project_name>注記インタラクティブなシェルを実行する代わりに、
-- <command>を前述のoc debugコマンドに追加し、デバッグ Pod 内で個々のコマンドを実行することができます。
7.7.6. Pod およびコンテナーへの/からのファイルのコピー リンクのコピーリンクがクリップボードにコピーされました!
Pod に/からファイルをコピーして、設定変更をテストしたり、診断情報を収集したりできます。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
ファイルを Pod にコピーします。
$ oc cp <local_path> <pod_name>:/<path> -c <container_name>-c <container_name>は、Pod 内の目的のコンテナーを指定します。-cオプションでコンテナーを指定しない場合、Pod 内の最初のコンテナーが選択されます。Pod からファイルをコピーします。
$ oc cp <pod_name>:/<path> -c <container_name> <local_path>-c <container_name>は、Pod 内の目的のコンテナーを指定します。-cオプションでコンテナーを指定しない場合、Pod 内の最初のコンテナーが選択されます。注記oc cpが機能するには、tarバイナリーがコンテナー内で利用可能である必要があります。
7.8. Source-to-Image (S2I) プロセスのトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
クラスター管理者は、S2I の各段階を監視することで、S2I プロセスのどの段階で障害が発生したかを特定し、診断データを収集して Source-to-Image の問題を解決できます。
7.8.1. Source-to-Image (S2I) のトラブルシューティングのストラテジー リンクのコピーリンクがクリップボードにコピーされました!
Source-to-Image (S2I) を使用して、再現可能な Docker 形式のコンテナーイメージをビルドします。アプリケーションソースコードをコンテナーイメージに注入し、新規イメージをアセンブルして実行可能なイメージを作成できます。新規イメージには、ベースイメージ (ビルダー) およびビルドされたソースが組み込まれています。
手順
S2I プロセスで障害が発生する場所を特定するには、以下の各 S2I ステージに関連する Pod の状態を確認できます。
- ビルド設定の段階 で、ビルド Pod はベースイメージおよびアプリケーションのソースコードからアプリケーションコンテナーイメージを作成するために使用されます。
- デプロイメント設定の段階 で、デプロイメント Pod はビルド設定段階でビルドされたアプリケーションコンテナーイメージからアプリケーション Pod をデプロイするために使用されます。デプロイメント Pod は、サービスやルートなどの他のリソースもデプロイします。デプロイメント設定は、ビルド設定が成功すると開始されます。
-
デプロイメント Pod のアプリケーション Pod の起動後 に、アプリケーションの障害が実行中のアプリケーション Pod 内で発生する可能性があります。たとえば、アプリケーション Pod が
Running状態であっても、アプリケーションは予想通りに動作しない可能性があります。このシナリオでは、実行中のアプリケーション Pod にアクセスして、Pod 内のアプリケーションの障害を調査できます。
S2I の問題のトラブルシューティングを行う際には、以下のストラテジーに従います。
- ビルド、デプロイメント、およびアプリケーション Pod ステータスを監視します。
- 問題が発生した S2I プロセスのステージを判別します。
- 失敗したステージに対応するログを確認します。
7.8.2. Source-to-Image 診断データの収集 リンクのコピーリンクがクリップボードにコピーされました!
S2I ツールは、ビルド Pod とデプロイメント Pod を順番に実行します。デプロイメント Pod は、ビルドステージで作成されたアプリケーションコンテナーイメージに基づいてアプリケーション Pod をデプロイします。
S2I プロセスで障害が発生する場所を判別するために、ビルド、デプロイメント、およびアプリケーション Pod のステータスを監視します。次に、これに応じて診断データを収集します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - API サービスが機能している。
-
OpenShift CLI (
oc) がインストールされている。
手順
S2I プロセス全体での Pod のステータスを確認し、障害が発生するステージを判別します。
$ oc get pods -w-wフラグを使用すると、Ctrl+Cを使用してコマンドを終了するまで、Pod の変更を監視できます。障害のある Pod のログでエラーの有無を確認します。
ビルド Pod が失敗する場合、ビルド Pod のログを確認します。
$ oc logs -f pod/<application_name>-<build_number>-build注記または、
oc logs -f bc/<application_name>を使用して、ビルド設定のログを確認できます。ビルド設定のログには、ビルド Pod からのログが含まれます。デプロイメント Pod が失敗する場合、デプロイメント Pod のログを確認します。
$ oc logs -f pod/<application_name>-<build_number>-deploy注記または、
oc logs -f dc/<application_name>を使用して、デプロイメント設定のログを確認できます。これにより、デプロイメント Pod が正常に実行されるまで、デプロイメント Pod からログが出力されます。デプロイメント Pod の完了後に実行すると、コマンドはアプリケーション Pod からログを出力します。デプロイメント Pod の完了後も、oc logs -f pod/<application_name>-<build_number>-deployを実行してログにアクセスできます。アプリケーション Pod が失敗した場合や、アプリケーションが実行中のアプリケーション Pod 内で予想通りに動作しない場合、アプリケーション Pod のログを確認します。
$ oc logs -f pod/<application_name>-<build_number>-<random_string>
7.8.3. アプリケーションの障害を調査するためのアプリケーション診断データの収集 リンクのコピーリンクがクリップボードにコピーされました!
アプリケーションの障害は実行中のアプリケーション Pod 内で発生する可能性があります。このような状態では、以下のストラテジーを使用して診断情報を取得できます。
- アプリケーション Pod に関連するイベントを確認します。
- アプリケーション Pod からログを確認します。これには、OpenShift Logging フレームワークによって収集されないアプリケーション固有のログファイルが含まれます。
- アプリケーション機能を対話的にテストし、アプリケーションコンテナーで診断ツールを実行します。
前提条件
-
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
特定のアプリケーション Pod に関連するイベントをリスト表示します。以下の例では、
my-app-1-akdlgという名前のアプリケーション Pod のイベントを取得します。$ oc describe pod/my-app-1-akdlgアプリケーション Pod からのログを確認します。
$ oc logs -f pod/my-app-1-akdlg実行中のアプリケーション Pod 内で特定のログを照会します。標準出力 (stdout) に送信されるログは OpenShift Logging フレームワークによって収集され、これは前述のコマンドの出力に含まれます。以下のクエリーは、標準出力 (stdout) に送信されないログにのみ必要です。
Pod 内で root 権限なしにアプリケーションログにアクセスできる場合は、以下のようにログファイルを表示します。
$ oc exec my-app-1-akdlg -- cat /var/log/my-application.logアプリケーションログの表示に root アクセスが必要な場合は、root 権限でデバッグコンテナーを起動し、コンテナー内でログファイルを表示できます。プロジェクトの
DeploymentConfigオブジェクトからデバッグコンテナーを起動します。通常、Pod ユーザーは root 以外の権限で実行しますが、問題を調査するために一時的な root 権限で Pod のトラブルシューティングを実行することは役に立ちます。$ oc debug dc/my-deployment-configuration --as-root -- cat /var/log/my-application.log注記oc debug dc/<deployment_configuration> --as-rootを-- <command>を追加せずに実行する場合、デバッグ Pod 内で root アクセスでインタラクティブなシェルにアクセスできます。
インタラクティブなシェルでアプリケーション機能を対話的にテストし、アプリケーションコンテナーで診断ツールを実行します。
アプリケーションコンテナーでインタラクティブなシェルを起動します。
$ oc exec -it my-app-1-akdlg /bin/bash- シェルからアプリケーションの機能を対話的にテストします。たとえば、コンテナーのエントリーポイントコマンドを実行して、結果を確認することができます。次に、ソースコードを更新し、S2I プロセスでアプリケーションコンテナーを再ビルドする前に、コマンドラインから直接に変更をテストします。
コンテナー内で利用可能な診断バイナリーを実行します。
注記一部の診断バイナリーを実行するには、root 権限が必要です。このような状況では、
oc debug dc/<deployment_configuration> --as-rootを実行して、問題のある Pod のDeploymentConfigオブジェクトに基づいて、root 権限でデバッグ Pod を起動できます。次に、デバッグ Pod 内から診断バイナリーを root として実行できます。
診断バイナリーがコンテナー内で利用できない場合は、
nsenterを使用して、コンテナーの namespace 内でホストの診断バイナリーを実行できます。以下の例では、ホストのipバイナリーを使用して、コンテナーの namespace 内でip adを実行します。ターゲットノードのデバッグセッションに入ります。この手順は、
<node_name>-debugというデバッグ Pod をインスタンス化します。$ oc debug node/my-cluster-node/hostをデバッグシェル内の root ディレクトリーとして設定します。デバッグ Pod は、Pod 内の/hostにホストの root ファイルシステムをマウントします。root ディレクトリーを/hostに変更すると、ホストの実行パスに含まれるバイナリーを実行できます。# chroot /host注記Red Hat Enterprise Linux CoreOS (RHCOS) を実行する OpenShift Container Platform 4.21 クラスターノードは、イミュータブルです。クラスターの変更を適用するには、Operator を使用します。SSH を使用したクラスターノードへのアクセスは推奨されません。ただし、OpenShift Container Platform API が利用できない場合や、kubelet がターゲットノードで適切に機能しない場合、
oc操作がその影響を受けます。この場合は、代わりにssh core@<node>.<cluster_name>.<base_domain>を使用してノードにアクセスできます。ターゲットコンテナー ID を判別します。
# crictl psコンテナーのプロセス ID を確認します。この例では、ターゲットコンテナー ID は
a7fe32346b120です。# crictl inspect a7fe32346b120 --output yaml | grep 'pid:' | awk '{print $2}'ホストの
ipバイナリーを使用して、コンテナーの namespace 内でip adを実行します。この例では、31150をコンテナーのプロセス ID として使用します。nsenterコマンドは、ターゲットプロセスの namespace を入力し、その namespace でコマンドを実行します。この例のターゲットプロセスはコンテナーのプロセス ID であるため、ip adコマンドは、ホストからコンテナーの namespace で実行されます。# nsenter -n -t 31150 -- ip ad注記デバッグノードなどの特権付きコンテナーを使用している場合のみ、コンテナーの namespace 内でホストの診断バイナリーを実行できます。
7.9. ストレージの問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
障害のあるノードがアタッチしたボリュームをアンマウントできないことが原因で、新しいノードにボリュームをマウントできない場合、マルチアタッチストレージエラーが発生します。クラスター管理者は、RWX ボリュームを使用して複数のアタッチメントを有効にするか、RWO ボリュームを使用している場合は障害が発生したノードを復旧/削除することで、マルチアタッチストレージの問題を解決できます。
7.9.1. 複数割り当てエラーの解決 リンクのコピーリンクがクリップボードにコピーされました!
ノードが予期せずにクラッシュまたはシャットダウンすると、割り当てられた ReadWriteOnce (RWO) ボリュームがノードからアンマウントされ、その後は別のノードでスケジュールされる Pod で使用可能になることが予想されます。
ただし、障害が発生したノードは割り当てられたボリュームをアンマウントできないため、新規ノードにマウントすることはできません。
複数割り当てのエラーが報告されます。
Unable to attach or mount volumes: unmounted volumes=[sso-mysql-pvol], unattached volumes=[sso-mysql-pvol default-token-x4rzc]: timed out waiting for the condition
Multi-Attach error for volume "pvc-8837384d-69d7-40b2-b2e6-5df86943eef9" Volume is already used by pod(s) sso-mysql-1-ns6b4
手順
複数割り当ての問題を解決するには、以下のソリューションのいずれかを使用します。
RWX ボリュームを使用して、複数割り当てを有効にします。
ほとんどのストレージソリューションでは、ReadWriteMany (RWX) ボリュームを使用して、複数割り当てエラーを防ぐことができます。
RWO ボリュームの使用時に障害が発生したノードを回復するか、削除します。
VMware vSphere などの RWX をサポートしないストレージの場合、RWO ボリュームが代わりに使用される必要があります。ただし、RWO ボリュームは複数のノードにマウントできません。
複数割り当てのエラーメッセージが RWO ボリュームと共に表示される場合には、シャットダウンまたはクラッシュしたノードで Pod を強制的に削除し、動的永続ボリュームの割り当て時などの重要なワークロードでのデータ損失を回避します。
$ oc delete pod <old_pod> --force=true --grace-period=0このコマンドは、シャットダウンまたはクラッシュしたノードで停止したボリュームを 6 分後に削除します。
7.10. Windows コンテナーのワークロード関連の問題のトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
Windows コンテナーのワークロードに関する問題のトラブルシューティングには、以下のセクションを参照してください。
7.10.1. Windows Machine Config Operator がインストールされない リンクのコピーリンクがクリップボードにコピーされました!
Windows Machine Config Operator (WMCO) のインストールプロセスを完了しているが、Operator が InstallWaiting フェーズのままである場合、問題はネットワークに関係する問題によって引き起こされている可能性があります。
WMCO では、OVN-Kubernetes を使用して OpenShift Container Platform クラスターをハイブリッドネットワークで設定する必要があります。WMCO はハイブリッドネットワークが利用可能でない状態でインストールプロセスを完了できません。これは、複数のオペレーティングシステム (OS) および OS バリアント上でノードを管理するために必要です。これは、クラスターのインストール時に完了する必要があります。
7.10.2. Windows マシンがコンピュートノードにならない理由の調査 リンクのコピーリンクがクリップボードにコピーされました!
Windows マシンがコンピュートノードにならない理由には、各種の理由があります。この問題を調査する最適な方法として、Windows Machine Config Operator (WMCO) ログを収集することができます。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
手順
以下のコマンドを実行して WMCO ログを収集します。
$ oc logs -f deployment/windows-machine-config-operator -n openshift-windows-machine-config-operator
7.10.3. Windows ノードのアクセス方法 リンクのコピーリンクがクリップボードにコピーされました!
oc debug node コマンドを使用して Windows ノードにアクセスすることはできません。これは、Windows でサポートされていない特権付き Pod を実行している必要があるためです。代わりに、SSH bastion 経由でセキュアシェル(SSH)または Remote Desktop Protocol (RDP)を使用して Windows ノードにアクセスします。
7.10.3.1. SSH を使用した Windows ノードへのアクセス リンクのコピーリンクがクリップボードにコピーされました!
セキュアシェル (SSH) を使用して Windows ノードにアクセスできます。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
-
cloud-private-keyシークレットで使用されるキーおよび ssh-agent に対してクラスターを作成する際に使用されるキーを追加している。セキュリティー上の理由から、キーは使用後は ssh-agent から削除するようにしてください。 -
ssh-bastionPod を使用して Windows ノードに接続している。
手順
以下のコマンドを実行して Windows ノードにアクセスします。
$ ssh -t -o StrictHostKeyChecking=no -o ProxyCommand='ssh -A -o StrictHostKeyChecking=no \ -o ServerAliveInterval=30 -W %h:%p core@$(oc get service --all-namespaces -l run=ssh-bastion \ -o go-template="{{ with (index (index .items 0).status.loadBalancer.ingress 0) }}{{ or .hostname .ip }}{{end}}")' <username>@<windows_node_internal_ip>ここでは、以下のようになります。
<username>-
Amazon Web Services (AWS) の
Administrator、または Microsoft Azure のcapiなどのクラウドプロバイダーのユーザー名を指定します。 <windows_node_internal_ip>次のコマンドを実行して検出可能な、ノードの内部 IP アドレスを指定します。
$ oc get nodes <node_name> -o jsonpath={.status.addresses[?\(@.type==\"InternalIP\"\)].address}
7.10.3.2. RDP を使用した Windows ノードへのアクセス リンクのコピーリンクがクリップボードにコピーされました!
Remote Desktop Protocol (RDP) を使用して Windows ノードにアクセスできます。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
-
cloud-private-keyシークレットで使用されるキーおよび ssh-agent に対してクラスターを作成する際に使用されるキーを追加している。セキュリティー上の理由から、キーは使用後は ssh-agent から削除するようにしてください。 -
ssh-bastionPod を使用して Windows ノードに接続している。
手順
以下のコマンドを実行して SSH トンネルを設定します。
$ ssh -L 2020:<windows_node_internal_ip>:3389 \ core@$(oc get service --all-namespaces -l run=ssh-bastion -o go-template="{{ with (index (index .items 0).status.loadBalancer.ingress 0) }}{{ or .hostname .ip }}{{end}}")ここでは、以下のようになります。
<windows_node_internal_ip>次のコマンドを実行して検出可能な、ノードの内部 IP アドレスを指定します。
$ oc get nodes <node_name> -o jsonpath={.status.addresses[?\(@.type==\"InternalIP\"\)].address}
生成されるシェル内で Windows ノードに対して SSH を実行し、以下のコマンドを実行してユーザーのパスワードを作成します。
C:\> net user <username> *AWS の
Administrator、または Azure のcapiなどのクラウドプロバイダーのユーザー名を指定します。RDP クライアントを使用して、localhost:2020で Windows ノードにリモートでアクセスできるようになりました。
7.10.4. Windows コンテナーの Kubernetes ノードログを収集します。 リンクのコピーリンクがクリップボードにコピーされました!
Windows コンテナーロギングは Linux コンテナーロギングとは異なる仕方で機能します。Windows ワークロードの Kubernetes ノードログは、デフォルトで C:\var\logs ディレクトリーにストリーミングされます。したがって、そのディレクトリーから Windows ノードのログを収集する必要があります。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
手順
C:\var\logsのすべてのディレクトリー下でログを表示するには、以下のコマンドを実行します。$ oc adm node-logs -l kubernetes.io/os=windows --path= \ /ip-10-0-138-252.us-east-2.compute.internal containers \ /ip-10-0-138-252.us-east-2.compute.internal hybrid-overlay \ /ip-10-0-138-252.us-east-2.compute.internal kube-proxy \ /ip-10-0-138-252.us-east-2.compute.internal kubelet \ /ip-10-0-138-252.us-east-2.compute.internal pods同じコマンドを使用してディレクトリー内のファイルをリスト表示し、個別のログファイルを表示できるようになりました。たとえば、kubelet ログを表示するには、以下のコマンドを実行します。
$ oc adm node-logs -l kubernetes.io/os=windows --path=/kubelet/kubelet.log
7.10.5. Windows アプリケーションイベントログを収集します。 リンクのコピーリンクがクリップボードにコピーされました!
kubelet logs エンドポイントの Get-WinEvent shim は、Windows マシンからアプリケーションイベントログを収集するために使用できます。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
手順
Windows マシンのイベントログですべてのアプリケーションロギングのログを表示するには、以下を実行します。
$ oc adm node-logs -l kubernetes.io/os=windows --path=journal同じコマンドが
oc adm must-gatherでログを収集する際に実行されます。イベントログの他の Windows アプリケーションログは、それぞれのサービスを
-uフラグで指定して収集することもできます。たとえば、以下のコマンドを実行して containerd コンテナーランタイムサービスのログを収集できます。$ oc adm node-logs -l kubernetes.io/os=windows --path=journal -u containerd
7.10.6. Windows コンテナーのコンテナーログの収集 リンクのコピーリンクがクリップボードにコピーされました!
Windows containerd コンテナーサービスは、データを標準出力(stdout)にストリーミングせず、ログを Windows イベントログにストリーミングします。containerd イベントログを表示して、Windows containerd コンテナーサービスによって発生したと思われる問題を調査できます。
前提条件
- Operator Lifecycle Manager (OLM) を使用して Windows Machine Config Operator (WMCO) をインストールしている。
- Windows コンピュートマシンセットを作成しました。
手順
次のコマンドを実行して、containerd ログを表示します。
$ oc adm node-logs -l kubernetes.io/os=windows --path=containerd
7.11. モニタリング関連の問題の調査 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform には、コアプラットフォームコンポーネントのモニタリングを提供する事前に設定され、事前にインストールされた自己更新型のモニタリングスタックが含まれます。OpenShift Container Platform 4.21 では、クラスター管理者は必要に応じてユーザー定義プロジェクトのモニタリングを有効にできます。
次の問題が発生した場合は、このセクションの手順に従ってください。
- 独自のメトリクスが利用できない。
- Prometheus が大量のディスク容量を消費している。
-
Prometheus に対して
KubePersistentVolumeFillingUpアラートが発生している。
7.11.3. Prometheus が大量のディスク領域を消費している理由の特定 リンクのコピーリンクがクリップボードにコピーされました!
開発者は、キーと値のペアの形式でメトリクスの属性を定義するためにラベルを作成できます。使用できる可能性のあるキーと値のペアの数は、属性に使用できる可能性のある値の数に対応します。数が無制限の値を持つ属性は、バインドされていない属性と呼ばれます。たとえば、customer_id 属性は、使用できる値が無限にあるため、バインドされていない属性になります。
割り当てられるキーと値のペアにはすべて、一意の時系列があります。ラベルに多数のバインドされていない値を使用すると、作成される時系列の数が指数関数的に増加する可能性があります。これは Prometheus のパフォーマンスに影響する可能性があり、多くのディスク領域を消費する可能性があります。
Prometheus が多くのディスクを消費する場合、以下の手段を使用できます。
- どのラベルが最も多くの時系列データを作成しているか詳しく知るには、Prometheus HTTP API を使用して時系列データベース (TSDB) のステータスを確認 します。これを実行するには、クラスター管理者権限が必要です。
- 収集されている スクレイプサンプルの数を確認 します。
ユーザー定義メトリクスに割り当てられるバインドされていない属性の数を減らすことで、作成される一意の時系列の数を減らします。
注記使用可能な値の制限されたセットにバインドされる属性を使用すると、可能なキーと値のペアの組み合わせの数が減ります。
- ユーザー定義のプロジェクト全体で スクレイピングできるサンプルの数に制限を適用 します。これには、クラスター管理者の権限が必要です。
前提条件
-
cluster-adminクラスターロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
-
OpenShift Container Platform Web コンソールで、Observe
Metrics に移動します。 Expression フィールドに、Prometheus Query Language (PromQL) クエリーを入力します。次のクエリー例は、ディスク領域の消費量の増加につながる可能性のある高カーディナリティメトリクスを識別するのに役立ちます。
次のクエリーを実行すると、スクレイプサンプルの数が最も多いジョブを 10 個特定できます。
topk(10, max by(namespace, job) (topk by(namespace, job) (1, scrape_samples_post_metric_relabeling)))次のクエリーを実行すると、過去 1 時間に最も多くの時系列データを作成したジョブを 10 個特定して、時系列のチャーンを正確に特定できます。
topk(10, sum by(namespace, job) (sum_over_time(scrape_series_added[1h])))
想定よりもサンプルのスクレイプ数が多いメトリクスに割り当てられたラベルで、値が割り当てられていないものの数を確認します。
- メトリクスがユーザー定義のプロジェクトに関連する場合、ワークロードに割り当てられたメトリクスのキーと値のペアを確認します。これらのライブラリーは、アプリケーションレベルで Prometheus クライアントライブラリーを使用して実装されます。ラベルで参照されるバインドされていない属性の数の制限を試行します。
- メトリクスが OpenShift Container Platform のコアプロジェクトに関連する場合、Red Hat サポートケースを Red Hat カスタマーポータル で作成してください。
クラスター管理者としてログインしてから、次の手順に従い Prometheus HTTP API を使用して TSDB ステータスを確認します。
次のコマンドを実行して、Prometheus API ルート URL を取得します。
$ HOST=$(oc -n openshift-monitoring get route prometheus-k8s -ojsonpath='{.status.ingress[].host}')次のコマンドを実行して認証トークンを抽出します。
$ TOKEN=$(oc whoami -t)次のコマンドを実行して、Prometheus の TSDB ステータスのクエリーを実行します。
$ curl -H "Authorization: Bearer $TOKEN" -k "https://$HOST/api/v1/status/tsdb"出力例
"status": "success","data":{"headStats":{"numSeries":507473, "numLabelPairs":19832,"chunkCount":946298,"minTime":1712253600010, "maxTime":1712257935346},"seriesCountByMetricName": [{"name":"etcd_request_duration_seconds_bucket","value":51840}, {"name":"apiserver_request_sli_duration_seconds_bucket","value":47718}, ...
7.11.5. Prometheus の KubePersistentVolumeFillingUp アラート実行の解決 リンクのコピーリンクがクリップボードにコピーされました!
クラスター管理者は、Prometheus に対してトリガーされている KubePersistentVolumeFillingUp アラートを解決できます。
openshift-monitoring プロジェクトの prometheus-k8s-* Pod によって要求された永続ボリューム (PV) の合計残り容量が 3% 未満になると、重大アラートが発生します。これにより、Prometheus の動作異常が発生する可能性があります。
KubePersistentVolumeFillingUp アラートは 2 つあります。
-
重大アラート: マウントされた PV の合計残り容量が 3% 未満になると、
severity="critical"ラベルの付いたアラートがトリガーされます。 -
警告アラート: マウントされた PV の合計空き容量が 15% 未満になり、4 日以内にいっぱいになると予想される場合、
severity="warning"ラベルの付いたアラートがトリガーされます。
この問題に対処するには、Prometheus 時系列データベース (TSDB) のブロックを削除して、PV 用のスペースを増やすことができます。
前提条件
-
cluster-adminクラスターロールを持つユーザーとしてクラスターにアクセスできる。 -
OpenShift CLI (
oc) がインストールされている。
手順
次のコマンドを実行して、すべての TSDB ブロックのサイズを古いものから新しいものの順にリスト表示します。
$ oc debug <prometheus_k8s_pod_name> -n openshift-monitoring \ -c prometheus --image=$(oc get po -n openshift-monitoring <prometheus_k8s_pod_name> \ -o jsonpath='{.spec.containers[?(@.name=="prometheus")].image}') \ -- sh -c 'cd /prometheus/;du -hs $(ls -dtr */ | grep -Eo "[0-9|A-Z]{26}")'<prometheus_k8s_pod_name>は、KubePersistentVolumeFillingUpアラートの説明に記載されている Pod に置き換えます。出力例
308M 01HVKMPKQWZYWS8WVDAYQHNMW6 52M 01HVK64DTDA81799TBR9QDECEZ 102M 01HVK64DS7TRZRWF2756KHST5X 140M 01HVJS59K11FBVAPVY57K88Z11 90M 01HVH2A5Z58SKT810EM6B9AT50 152M 01HV8ZDVQMX41MKCN84S32RRZ1 354M 01HV6Q2N26BK63G4RYTST71FBF 156M 01HV664H9J9Z1FTZD73RD1563E 216M 01HTHXB60A7F239HN7S2TENPNS 104M 01HTHMGRXGS0WXA3WATRXHR36B削除できるブロックとその数を特定し、ブロックを削除します。次のコマンド例は、
prometheus-k8s-0Pod から最も古い 3 つの Prometheus TSDB ブロックを削除します。$ oc debug prometheus-k8s-0 -n openshift-monitoring \ -c prometheus --image=$(oc get po -n openshift-monitoring prometheus-k8s-0 \ -o jsonpath='{.spec.containers[?(@.name=="prometheus")].image}') \ -- sh -c 'ls -latr /prometheus/ | egrep -o "[0-9|A-Z]{26}" | head -3 | \ while read BLOCK; do rm -r /prometheus/$BLOCK; done'次のコマンドを実行して、マウントされた PV の使用状況を確認し、十分な空き容量があることを確認します。
$ oc debug <prometheus_k8s_pod_name> -n openshift-monitoring \ --image=$(oc get po -n openshift-monitoring <prometheus_k8s_pod_name> \ -o jsonpath='{.spec.containers[?(@.name=="prometheus")].image}') -- df -h /prometheus/<prometheus_k8s_pod_name>は、KubePersistentVolumeFillingUpアラートの説明に記載されている Pod に置き換えます。次の出力例は、
prometheus-k8s-0Pod によって要求されるマウントされた PV に、63% の空き容量が残っていることを示しています。出力例
Starting pod/prometheus-k8s-0-debug-j82w4 ... Filesystem Size Used Avail Use% Mounted on /dev/nvme0n1p4 40G 15G 40G 37% /prometheus Removing debug pod ...
7.12. OpenShift CLI (oc) 関連の問題の診断 リンクのコピーリンクがクリップボードにコピーされました!
ログレベルを上げてより詳細な診断情報を取得し、OpenShift CLI (oc) の問題を調査できます。
7.12.1. OpenShift CLI (oc)ログレベルについて リンクのコピーリンクがクリップボードにコピーされました!
OpenShift CLI (oc) を使用すると、ターミナルからアプリケーションを作成し、OpenShift Container Platform プロジェクトを管理できます。
oc コマンド固有の問題が発生した場合は、oc のログレベルを引き上げ、コマンドで生成される API 要求、API 応答、および curl 要求の詳細を出力します。これにより、特定の oc コマンドの基礎となる操作の詳細ビューが得られます。これにより、障害の性質に関する洞察が得られる可能性があります。
oc ログレベルは、1 から 10 まであります。以下の表は、oc ログレベルのリストとそれらの説明を示しています。
| ログレベル | 説明 |
|---|---|
| 1 - 5 | 標準エラー (stderr) への追加のロギングはありません。 |
| 6 | 標準エラー (stderr) に API 要求のログを記録します。 |
| 7 | 標準エラー (stderr) に API 要求およびヘッダーのログを記録します。 |
| 8 | 標準エラー (stderr) に API 要求、ヘッダーおよび本体、ならびに API 応答ヘッダーおよび本体のログを記録します。 |
| 9 |
標準エラー (stderr) に API 要求、ヘッダーおよび本体、API 応答ヘッダーおよび本体、 |
| 10 |
標準エラー (stderr) に API 要求、ヘッダーおよび本体、API 応答ヘッダーおよび本体、 |
7.12.2. OpenShift CLI (oc)ログレベルの指定 リンクのコピーリンクがクリップボードにコピーされました!
コマンドのログレベルを引き上げて、OpenShift CLI (oc) の問題を調査できます。
通常、OpenShift Container Platform ユーザーの現行セッショントークンは、必要に応じてログに記録される curl 要求に含まれます。また、oc コマンドの基礎となるプロセスを手順ごとにテストする際に使用するために、現行ユーザーのセッショントークンを手動で取得することもできます。
前提条件
-
OpenShift CLI (
oc) がインストールされている。
手順
ocコマンドの実行時にocログレベルを指定します。$ oc <command> --loglevel <log_level>ここでは、以下のようになります。
- <command>
- 実行しているコマンドを指定します。
- <log_level>
- コマンドに適用するログレベルを指定します。
現行ユーザーのセッショントークンを取得するには、次のコマンドを実行します。
$ oc whoami -t出力例
sha256~RCV3Qcn7H-OEfqCGVI0CvnZ6...