トラブルシューティング

クラスターにログインします。データおよびディレクトリーの収集に使用する Red Hat Advanced Cluster Management for Kubernetes イメージを追加します。以下のコマンドを実行して、出力用にイメージとディレクトリーを挿入します。

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.5.0 --dest-dir=<directory>

通常のユースケースでは、ハブクラスターにログインして、must-gather を実行する必要があります。

注記: マネージドクラスターを確認する場合は、cluster-scoped-resources ディレクトリーにある gather-managed.log ファイルを検索します。

<your-directory>/cluster-scoped-resources/gather-managed.log>

JOINED および AVAILABLE 列に True が設定されていないマネージドクラスターがないかを確認します。must-gather コマンドは、ステータスが True として関連付けられていないクラスター上で、実行できます。

指定したディレクトリーに移動し、以下のレベルに整理されている出力を確認します。

以下のスクリプトをファイルにコピーします。

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
helm ls --namespace $ACM_NAMESPACE | cut -f 1 | tail -n +2 | xargs -n 1 helm delete --namespace $ACM_NAMESPACE
oc delete apiservice v1beta1.webhook.certmanager.k8s.io v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete configmap -n $ACM_NAMESPACE cert-manager-controller cert-manager-cainjector-leader-election cert-manager-cainjector-leader-election-core
oc delete consolelink acm-console-link
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io searchservices.search.acm.com discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io
oc delete oauthclient multicloudingress
oc delete rolebinding -n kube-system cert-manager-webhook-webhook-authentication-reader
oc delete scc kui-proxy-scc
oc delete validatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook

スクリプトの <namespace> は、Red Hat Advanced Cluster Management がインストールされている namespace 名に置き換えます。namespace が消去され削除されるため、正しい namespace を指定するようにしてください。

マネージドクラスターが利用可能かどうかを確認します。これは、Red Hat Advanced Cluster Management コンソールの Clusters エリアで確認できます。

利用不可の場合は、マネージドクラスターの再起動を試行します。

マネージドクラスターのステータスがオフラインのままの場合は、以下の手順を実行します。

Red Hat Advanced Cluster Management ハブクラスターで以下のコマンドを実行し、Red Hat Advanced Cluster Management インポートコントローラーが実行していることを確認します。

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

実行中の Pod が 2 つ表示されるはずです。Pod のいずれかが実行されていない場合には、以下のコマンドを実行してログを表示して理由を判別します。

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

Red Hat Advanced Cluster Management ハブクラスターで以下のコマンドを実行し、Red Hat Advanced Cluster Management インポートコントローラーでマネージドクラスターのインポートシークレットが正常に生成されたかどうかを確認します。

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

インポートシークレットが存在しない場合は、以下のコマンドを実行してインポートコントローラーのログエントリーを表示し、作成されていない理由を判断します。

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

Red Hat Advanced Cluster Management ハブクラスターで、マネージドクラスターが local-cluster で、Hive によってプロビジョニングされるか、または自動インポートシークレットがある場合は、以下のコマンドを実行してマネージドクラスターのインポートステータスを確認します。

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

ManagedClusterImportSucceeded が true でない場合には、コマンドの結果で失敗の理由が表示されます。

次のコマンドを実行して、your-managed-cluster-name をマネージドクラスターの名前に置き換えて、マネージドクラスターの名前を指定します。

cluster_name=<your-managed-cluster-name>

次のコマンドを実行して、マネージドクラスター kubeconfig シークレット名を取得します。

kubeconfig_secret_name=$(oc -n ${cluster_name} get clusterdeployments ${cluster_name} -ojsonpath='{.spec.clusterMetadata.adminKubeconfigSecretRef.name}')

次のコマンドを実行して、kubeconfig を新しいファイルにエクスポートします。

oc -n ${cluster_name} get secret ${kubeconfig_secret_name} -ojsonpath={.data.kubeconfig} | base64 -d > kubeconfig.old

export KUBECONFIG=kubeconfig.old

次のコマンドを実行して、kubeconfig を使用してマネージドクラスターから namespace を取得します。

oc get ns

次のコマンドを実行して、your-managed-cluster-name をマネージドクラスターの名前に置き換えて、マネージドクラスターの名前を指定します。

cluster_name=<your-managed-cluster-name>

次のコマンドを実行して、マネージドクラスターの新しい kubeconfig を更新します。

kubeconfig=$(cat <your-new-valid-kubeconfig-file-path> | base64 -w0)
kubeconfig_patch="[{\"op\":\"replace\", \"path\":\"/data/kubeconfig\", \"value\":\"${kubeconfig}\"}]"
kubeconfig_secret_name=$(oc -n ${cluster_name} get clusterdeployments ${cluster_name} -ojsonpath='{.spec.clusterMetadata.adminKubeconfigSecretRef.name}')

oc -n ${cluster_name} patch secrets ${kubeconfig_secret_name} --type='json' -p=${kubeconfig_patch}

マネージドクラスターで以下のコマンドを実行し、問題のある Kubernetes Pod 名を表示します。

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

マネージドクラスターで以下のコマンドを実行し、エラーのログエントリーを探します。

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

registration_agent_pod は、手順 1 で特定した Pod 名に置き換えます。

ハブクラスターで以下のコマンドを実行して、問題のあるポート番号を取得します。

oc get infrastructure cluster -o yaml | grep apiServerURL

マネージドクラスターのホスト名が解決でき、ホストおよびポートへの送信接続が機能していることを確認します。

マネージドクラスターで通信が確立できない場合は、クラスターのインポートが完了していません。マネージドクラスターのクラスターステータスは、Pending import になります。

ハブクラスターで、次のコマンドを実行してマネージドクラスターのインポートシークレットを再作成します。

oc delete secret -n <cluster_name> <cluster_name>-import

<cluster_name> を、インポートするマネージドクラスターの名前に置き換えます。

ハブクラスターで、次のコマンドを実行して、マネージドクラスターのインポートシークレットを YAML ファイルに公開します。

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

<cluster_name> を、インポートするマネージドクラスターの名前に置き換えます。

マネージドクラスターで、次のコマンドを実行して import.yaml ファイルを適用します。

oc apply -f import.yaml

次のコマンドを実行して、<cluster_name> namespace に残っているリソースのリストを作成します。

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

cluster_name は、削除を試みたクラスターの namespace 名に置き換えます。

以下のコマンドを入力してリストを編集し、ステータスが Delete ではないリストから特定したリソースを削除します。

oc edit <resource_kind> <resource_name> -n <namespace>

resource_kind は、リソースの種類に置き換えます。resource_name は、リソース名に置き換えます。namespace は、リソースの namespace に置き換えます。

以下のコマンドを入力して namespace を削除します。

oc delete ns <cluster-name>

cluster-name を、削除する namespace の名前に置き換えます。

既存の auto-import-secret を手動で削除するには、ハブクラスターで以下のコマンドを実行します。

oc delete secret auto-import-secret -n <cluster-namespace>

namespace は、お使いのクラスターの namespace に置き換えます。

次のコマンドを入力して、ハブクラスターで ManagedCluster の仕様を編集します。

oc edit managedcluster <cluster-name>

cluster-name は、マネージドクラスターの名前に置き換えます。

Red Hat Advanced Cluster Management クラスターで以下のコマンドを実行し、ファイルを適用します。

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

open-cluster-management namespace で以下のコマンドを実行して advanced-cluster-management.<version, example 2.5.0> CSV を編集します。

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

以下のコンテナーを見つけます。

この更新では open-cluster-management namespace に以下の Pod を作成します。

新たに作成した Pod が新規 docker イメージで実行していることを確認します。以下のコマンドを実行して、新しい docker イメージを見つけます。

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

マネージドクラスターのイメージを更新します。

ハブクラスターで、次のコマンドを実行して、multicluster_operators_subscription キーのイメージ値を使用するイメージに更新します。

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

既存の multicluster-operators-hub-subscription Pod を再起動します。

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

これにより、マネージドクラスターの open-cluster-management-agent-addon namespace に application-manager-<random-characters> Pod が再作成されます。

コンソールまたは CLI を使用してアプリケーションを作成する場合は、チャネル仕様に insecureSkipVerify: true を手動で追加します。以下の例を参照してください。

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

Grafana のデフォルト設定に想定のタイムアウト設定があることを確認します。

Grafana のデフォルト設定にタイムアウト設定が想定される場合には、以下のコマンドを実行して open-cluster-management namespace に multicloud-console ルートを設定できます。

oc annotate route multicloud-console -n open-cluster-management --overwrite haproxy.router.openshift.io/timeout=300s

マネージドクラスターの一覧に local-cluster が含まれていること、配置ルールの decisions リストで local-cluster が表示されていないことを確認します。以下のコマンドを実行して結果を表示します。

% oc get managedclusters

出力例を確認すると、local-cluster が結合されているものの、PlacementRule の YAML にないことが分かります。

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

YAML ファイルに Role を作成し、local-cluster namespace に managedcluster 管理パーミッションを付与します。以下の例を参照してください。

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

RoleBinding リソースを作成し、配置ルールユーザーに local-cluster namespace へのアクセスを許可します。以下の例を参照してください。

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

リソースの apiVersion を更新します。たとえば、サブスクリプション YAML ファイルの Deployment の種類のエラーが表示された場合は、apiVersion を extensions/v1beta1 から apps/v1 に更新する必要があります。

以下の例を参照してください。

apiVersion: apps/v1
kind: Deployment

マネージドクラスターで以下のコマンドを実行して、利用可能なバージョンを確認します。

kubectl explain <resource>

インストール後に、マルチクラスターサブスクリプションコミュニティー Operator をサブスクライブする Operator サブスクリプション CR を検索します。以下のコマンドを実行します。

% oc get sub -n open-cluster-management acm-operator-subscription

Operator サブスクリプションカスタムリソースを編集し、リソース制限を定義する spec.config.resources .yaml ファイルを追加します。

注記: 同じマルチクラスターサブスクリプションコミュニティー Operator をサブスクライブする Operator サブスクリプションのカスタムリソースを新たに作成しないでください。2 つの Operator サブスクリプションが 1 つの Operator にリンクされているため、この 2 つの Operator サブスクリプションカスタムリソースは、Operator Pod を kill して再起動します。

以下の更新後の .yaml ファイルの例を参照してください。

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: multicluster-operators-subscription-alpha-community-operators-openshift-marketplace
  namespace: open-cluster-management
spec:
  channel: release-2.2
  config:
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
  installPlanApproval: Automatic
  name: multicluster-operators-subscription
  source: community-operators
  sourceNamespace: openshift-marketplace

リソースの保存後に、スタンドアロンのサブスクリプション Pod が 2GB のメモリー上限で再起動されるようにします。以下のコマンドを実行します。

% oc get pods -n open-cluster-management multicluster-operators-standalone-subscription-7c8cbf885f-c94kz -o yaml

apiVersion: v1
kind: Pod
...
spec:
  containers:
  - image: quay.io/open-cluster-management/multicluster-operators-subscription:community-2.2
...
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
...
status:
  qosClass: Burstable

マネージドクラスターで以下のコマンドを実行して、Klusterlet のステータスを表示します

kubectl get klusterlets klusterlet -oyaml

ハブクラスターで、 klusterletaddonconfig にアノテーションを付けてレプリケーションを一時停止します。以下のコマンドを使用します。

oc annotate klusterletaddonconfig -n ${CLUSTER_NAME} ${CLUSTER_NAME} klusterletaddonconfig-pause=true --  overwrite=true

ハブクラスターで、 klusterlet-addon-operator をスケールダウンします。以下のコマンドを使用します。

oc edit manifestwork ${CLUSTER_NAME}-klusterlet-addon-operator -n ${CLUSTER_NAME}

klusterlet-addon-operator デプロイメントを探し、その仕様に replicas: 0 を追加してスケールダウンします。

- apiVersion: apps/v1
  kind: Deployment
  metadata:
    labels:
      app: cluster1
    name: klusterlet-addon-operator
    namespace: open-cluster-management-agent-addon
    spec:
      replicas: 0

マネージドクラスターでは、 open-cluster-management-agent-addon / klusterlet-addon-operator Pod が終了します。

マネージドクラスターにログインして、appmgr Pod のメモリー制限を手動で増やします。

以下のコマンドを実行します。

% oc edit deployments -n open-cluster-management-agent-addon klusterlet-addon-appmgr

たとえば、制限が 5G の場合は、8G に増やします。

resources:
  limits:
    memory: 2Gi  -> 8Gi
  requests:
    memory: 128Mi -> 256Mi

サブスクリプションオペレーターに単一の調整を生成するために、サブスクリプション CR にアノテーションを付けます。以下の data 仕様を参照してください。

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

oc annotate を実行してテストします。

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

可観測性コンポーネントがインストールされていることを確認します。

以下のコマンドを実行し、ハブクラスター namespace の Pod イベントを確認します。

oc describe pod search-redisgraph-0

searchcustomization CR を作成した場合は、ストレージクラスおよびストレージサイズが有効かどうかを確認し、PVC を作成できるかどうかを確認します。以下のコマンドを実行して PVC を一覧表示します。

oc get pvc  <storageclassname>-search-redisgraph-0

PVC を search-redisgraph-0 Pod にバインドできることを確認します。問題が解決されない場合は、StatefulSet search-redisgraph を削除します。検索 Operator は StatefulSet を再作成します。以下のコマンドを実行します。

oc delete statefulset -n open-cluster-management search-redisgraph

open-cluster-management-addon-observability namespace にある observability-controller-open-cluster-management.io-observability-signer-client-cert というシークレットを削除します。以下のコマンドを実行します。

oc delete observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

注記: observability-controller-open-cluster-management.io-observability-signer-client-cert は、新しい証明書で自動的に再作成されます。

Submariner のコンポーネントが正しく展開されているかどうかを判断するには、次の要件を確認してください。

問題を開きます。他の手順で問題が特定されない場合は、次の情報を使用して問題を開きます。