トラブルシューティング

クラスターにログインします。データおよびディレクトリーの収集に使用する Red Hat Advanced Cluster Management for Kubernetes イメージを追加します。以下のコマンドを実行して、出力用にイメージとディレクトリーを挿入します。

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.9 --dest-dir=<directory>

通常のユースケースでは、ハブ クラスターにログインして、must-gather を実行する必要があります。

注記: マネージドクラスターを確認する場合は、cluster-scoped-resources ディレクトリーにある gather-managed.log ファイルを検索します。

<your-directory>/cluster-scoped-resources/gather-managed.log>

JOINED および AVAILABLE 列に True が設定されていないマネージドクラスターがないかを確認します。must-gather コマンドは、ステータスが True として関連付けられていないクラスター上で、実行できます。

指定したディレクトリーに移動し、以下のレベルに整理されている出力を確認します。

次のコマンドを実行してすべての情報を収集します。<2.x> は、<acm-must-gather> (例 2.9) と <multicluster-engine/must-gather> (例 2.4) の両方でサポートされているバージョンに置き換えます。

REGISTRY=<internal.repo.address:port>
IMAGE1=$REGISTRY/rhacm2/acm-must-gather-rhel8:v<2.x>

oc adm must-gather --image=$IMAGE1 --dest-dir=<directory>

以下のスクリプトをファイルにコピーします。

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
oc delete apiservice v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete clusterrole multiclusterengines.multicluster.openshift.io-v1-admin multiclusterengines.multicluster.openshift.io-v1-crdview multiclusterengines.multicluster.openshift.io-v1-edit multiclusterengines.multicluster.openshift.io-v1-view open-cluster-management:addons:application-manager open-cluster-management:admin-aggregate open-cluster-management:cert-policy-controller-hub open-cluster-management:cluster-manager-admin-aggregate open-cluster-management:config-policy-controller-hub open-cluster-management:edit-aggregate open-cluster-management:iam-policy-controller-hub open-cluster-management:policy-framework-hub open-cluster-management:view-aggregate
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io multicluster-observability-operator
oc delete validatingwebhookconfiguration channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook multicluster-observability-operator multiclusterengines.multicluster.openshift.io

スクリプトの <namespace> は、Red Hat Advanced Cluster Management がインストールされている namespace 名に置き換えます。namespace が消去され削除されるため、正しい namespace を指定するようにしてください。

cluster-manager を以前のリリースに戻します。

以下のコマンドを実行して、ManagedClusterSets および ManagedClusterSetBindings カスタムリソース定義を以前のリリースに戻します。

oc annotate crds managedclustersets.cluster.open-cluster-management.io operator.open-cluster-management.io/version-
oc annotate crds  managedclustersetbindings.cluster.open-cluster-management.io operator.open-cluster-management.io/version-

cluster-manager を再起動し、カスタムリソース定義が再作成されるまで待ちます。以下のコマンドを実行します。

oc -n multicluster-engine delete pods -l app=cluster-manager
oc wait crds managedclustersets.cluster.open-cluster-management.io --for=jsonpath="{.metadata.annotations['operator\.open-cluster-management\.io/version']}"="2.3.3" --timeout=120s
oc wait crds managedclustersetbindings.cluster.open-cluster-management.io --for=jsonpath="{.metadata.annotations['operator\.open-cluster-management\.io/version']}"="2.3.3" --timeout=120s

以下のコマンドを使用して、ストレージバージョンの移行を開始します。

oc patch StorageVersionMigration managedclustersets.cluster.open-cluster-management.io --type='json' -p='[{"op":"replace", "path":"/spec/resource/version", "value":"v1beta1"}]'
oc patch StorageVersionMigration managedclustersets.cluster.open-cluster-management.io --type='json' --subresource status -p='[{"op":"remove", "path":"/status/conditions"}]'
oc patch StorageVersionMigration managedclustersetbindings.cluster.open-cluster-management.io --type='json' -p='[{"op":"replace", "path":"/spec/resource/version", "value":"v1beta1"}]'
oc patch StorageVersionMigration managedclustersetbindings.cluster.open-cluster-management.io --type='json' --subresource status -p='[{"op":"remove", "path":"/status/conditions"}]'

次のコマンドを実行して、移行が完了するまで待ちます。

oc wait storageversionmigration managedclustersets.cluster.open-cluster-management.io --for=condition=Succeeded --timeout=120s
oc wait storageversionmigration managedclustersetbindings.cluster.open-cluster-management.io --for=condition=Succeeded --timeout=120s

cluster-manager を Red Hat Advanced Cluster Management 2.9 に復元します。これには数分の時間がかかる場合があります。以下のコマンドを実行します。

oc annotate mce multiclusterengine pause-
oc patch clustermanager cluster-manager --type='json' -p='[{"op": "replace", "path": "/spec/registrationImagePullSpec", "value": "'$ORIGIN_REGISTRATION_IMAGE'"}]'

マネージドクラスターが利用可能かどうかを確認します。これは、Red Hat Advanced Cluster Management コンソールの Clusters エリアで確認できます。

利用不可の場合は、マネージドクラスターの再起動を試行します。

マネージドクラスターのステータスがオフラインのままの場合は、以下の手順を実行します。

Red Hat Advanced Cluster Management ハブクラスターで以下のコマンドを実行し、Red Hat Advanced Cluster Management インポートコントローラーが実行していることを確認します。

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

実行中の Pod が 2 つ表示されるはずです。Pod のいずれかが実行されていない場合には、以下のコマンドを実行してログを表示して理由を判別します。

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

Red Hat Advanced Cluster Management ハブクラスターで以下のコマンドを実行し、Red Hat Advanced Cluster Management インポートコントローラーでマネージドクラスターのインポートシークレットが正常に生成されたかどうかを確認します。

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

インポートシークレットが存在しない場合は、以下のコマンドを実行してインポートコントローラーのログエントリーを表示し、作成されていない理由を判断します。

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

Red Hat Advanced Cluster Management ハブクラスターで、マネージドクラスターが local-cluster で、Hive によってプロビジョニングされるか、自動インポートシークレットがある場合は、以下のコマンドを実行してマネージドクラスターのインポートステータスを確認します。

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

ManagedClusterImportSucceeded が true でない場合には、コマンドの結果で失敗の理由が表示されます。

マネージドクラスターで以下のコマンドを実行し、問題のある Kubernetes Pod 名を表示します。

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

マネージドクラスターで以下のコマンドを実行し、エラーのログエントリーを探します。

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

registration_agent_pod は、手順 1 で特定した Pod 名に置き換えます。

ハブクラスターで以下のコマンドを実行して、問題のあるポート番号を取得します。

oc get infrastructure cluster -o yaml | grep apiServerURL

マネージドクラスターのホスト名が解決でき、ホストおよびポートへの送信接続が機能していることを確認します。

マネージドクラスターで通信が確立できない場合は、クラスターのインポートが完了していません。マネージドクラスターのクラスターステータスは、Pending import になります。

clouds.yaml ファイルは、cacert パラメーターで ca.crt ファイルへのパスを指定する必要があります。ignition shim の生成時に、cacert パラメーターが OpenShift インストーラーに渡されます。以下の例を参照してください。

clouds:
  openstack:
    cacert: "/etc/pki/ca-trust/source/anchors/ca.crt"

certificatesSecretRef パラメーターは、ca.crt ファイルと一致するファイル名を持つシークレットを参照する必要があります。以下の例を参照してください。

spec:
  baseDomain: dev09.red-chesterfield.com
  clusterName: txue-osspoke
  platform:
    openstack:
      cloud: openstack
      credentialsSecretRef:
        name: txue-osspoke-openstack-creds
      certificatesSecretRef:
        name: txue-osspoke-openstack-certificatebundle

一致するファイル名でシークレットを作成するには、次のコマンドを実行します。

oc create secret generic txue-osspoke-openstack-certificatebundle --from-file=ca.crt=ca.crt.pem -n $CLUSTERNAME

ハブクラスターで、次のコマンドを実行してマネージドクラスターのインポートシークレットを再作成します。

oc delete secret -n <cluster_name> <cluster_name>-import

<cluster_name> を、インポートするマネージドクラスターの名前に置き換えます。

ハブクラスターで、次のコマンドを実行して、マネージドクラスターのインポートシークレットを YAML ファイルに公開します。

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

<cluster_name> を、インポートするマネージドクラスターの名前に置き換えます。

マネージドクラスターで、次のコマンドを実行して import.yaml ファイルを適用します。

oc apply -f import.yaml

次のコマンドを実行して、<cluster_name> namespace に残っているリソースのリストを作成します。

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

cluster_name は、削除を試みたクラスターの namespace 名に置き換えます。

以下のコマンドを入力してリストを編集し、ステータスが Delete ではないリストから特定したリソースを削除します。

oc edit <resource_kind> <resource_name> -n <namespace>

resource_kind は、リソースの種類に置き換えます。resource_name は、リソース名に置き換えます。namespace は、リソースの namespace に置き換えます。

以下のコマンドを入力して namespace を削除します。

oc delete ns <cluster-name>

cluster-name を、削除する namespace の名前に置き換えます。

既存の auto-import-secret を手動で削除するには、ハブクラスターで以下のコマンドを実行します。

oc delete secret auto-import-secret -n <cluster-namespace>

namespace は、お使いのクラスターの namespace に置き換えます。

force-create パラメーターを true に変更します。以下のサンプル YAML を参照してください。

apiVersion: snapshot.storage.k8s.io/v1
deletionPolicy: Delete
driver: cinder.csi.openstack.org
kind: VolumeSnapshotClass
metadata:
  annotations:
    snapshot.storage.kubernetes.io/is-default-class: 'true'
  name: standard-csi
parameters:
  force-create: 'true'

グローバルハブクラスターにログインします。一般的な使用例では、グローバルハブクラスターにログインしているときに次のコマンドを実行します。

oc adm must-gather --image=quay.io/stolostron/must-gather:SNAPSHOTNAME

マネージドハブクラスターを確認する場合は、それらのクラスターで must-gather コマンドを実行します。

オプション: 結果を SOMENAME ディレクトリーに保存する場合は、前の手順で 1 つではなく次のコマンドを実行できます。

oc adm must-gather --image=quay.io/stolostron/must-gather:SNAPSHOTNAME --dest-dir=<SOMENAME> ; tar -cvzf <SOMENAME>.tgz <SOMENAME>

ディレクトリーには別の名前を指定できます。

注記: コマンドには、gzipped tarball ファイルを作成するために必要な追加が含まれます。

ターゲットがパーティション化されていることを確認してください。

SELECT relname, relkind FROM pg_class WHERE relname = 'local_policies';

テーブルの出力は次の例のようになります。

relkind が p の場合、現在のテーブルはパーティション化されます。存在する場合は、残りの手順をスキップして、他のテーブルをアップグレードできます。

通常のテーブルをパーティションテーブルに変換します。

-- start a transaction
BEGIN;
-- Rename the legacy TABLE_NAME
ALTER TABLE event.local_policies RENAME TO local_policies_old;
-- Partition tables: https://github.com/stolostron/multicluster-global-hub/blob/main/operator/pkg/controllers/hubofhubs/database/2.tables.sql#L283-L318
CREATE TABLE IF NOT EXISTS event.local_policies (
    event_name character varying(63) NOT NULL,
    policy_id uuid NOT NULL,
    cluster_id uuid NOT NULL,
    leaf_hub_name character varying(63) NOT NULL,
    message text,
    reason text,
    count integer NOT NULL DEFAULT 0,
    source jsonb,
    created_at timestamp without time zone DEFAULT now() NOT NULL,
    compliance local_status.compliance_type NOT NULL,
    -- Rename the constraint to avoid conflicts
    CONSTRAINT local_policies_unique_partition_constraint UNIQUE (event_name, count, created_at)
) PARTITION BY RANGE (created_at);
-- Create partitions, load the old data to the previous partition table
CREATE TABLE IF NOT EXISTS event.local_policies_2023_08 PARTITION OF event.local_policies FOR VALUES FROM ('2023-08-01') TO ('2023-09-01');
CREATE TABLE IF NOT EXISTS event.local_policies_2023_07 PARTITION OF event.local_policies FOR VALUES FROM ('2000-01-01') TO ('2023-08-01');

-- Move the records from regular table to partition table
INSERT INTO event.local_policies SELECT * FROM event.local_polcies_old;
DROP TABLE IF EXISTS event.local_policies_old;
-- commit the transaction
COMMIT;

テーブル名と現在の日付に従って、次の値を置き換えることができます。

次のコマンドを入力してハブクラスターの ManagedCluster 仕様を編集します。ただし、cluster-name はマネージドクラスターの名前に置き換えます。

oc edit managedcluster <cluster-name>

以下のサンプル YAML にあるように、ManagedCluster 仕様の leaseDurationSeconds の値を増やします。

apiVersion: cluster.open-cluster-management.io/v1
kind: ManagedCluster
metadata:
  name: <cluster-name>
spec:
  hubAcceptsClient: true
  leaseDurationSeconds: 60

Red Hat Advanced Cluster Management クラスターで以下のコマンドを実行し、ファイルを適用します。

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

open-cluster-management namespace で以下のコマンドを実行して advanced-cluster-management.<version, example 2.5.0> CSV を編集します。

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

以下のコンテナーを見つけます。

この更新では open-cluster-management namespace に以下の Pod を作成します。

新たに作成した Pod が新規 docker イメージで実行していることを確認します。以下のコマンドを実行して、新しい docker イメージを見つけます。

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

マネージドクラスターのイメージを更新します。

ハブクラスターで、次のコマンドを実行して、multicluster_operators_subscription キーのイメージ値を使用するイメージに更新します。

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

既存の multicluster-operators-hub-subscription Pod を再起動します。

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

これにより、マネージドクラスターの open-cluster-management-agent-addon namespace に application-manager-<random-characters> Pod が再作成されます。

コンソールまたは CLI を使用してアプリケーションを作成する場合は、チャネル仕様に insecureSkipVerify: true を手動で追加します。以下の例を参照してください。

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

Grafana のデフォルト設定に想定のタイムアウト設定があることを確認します。

Grafana のデフォルト設定に予想されるタイムアウト設定があることを確認した場合は、次のコマンドを実行して、open-cluster-management-observability namespace で Grafana を設定できます。

oc annotate route grafana -n open-cluster-management-observability --overwrite haproxy.router.openshift.io/timeout=300s

マネージドクラスターのリストに local-cluster が含まれていること、配置ルールの decisions リストで local-cluster が表示されていないことを確認します。以下のコマンドを実行して結果を表示します。

% oc get managedclusters

出力例を確認すると、local-cluster が結合されているものの、PlacementRule の YAML にないことが分かります。

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

YAML ファイルに Role を作成し、local-cluster namespace に managedcluster 管理パーミッションを付与します。以下の例を参照してください。

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

RoleBinding リソースを作成し、配置ルールユーザーに local-cluster namespace へのアクセスを許可します。以下の例を参照してください。

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

リソースの apiVersion を更新します。たとえば、サブスクリプション YAML ファイルの Deployment の種類のエラーが表示された場合は、apiVersion を extensions/v1beta1 から apps/v1 に更新する必要があります。

以下の例を参照してください。

apiVersion: apps/v1
kind: Deployment

マネージドクラスターで以下のコマンドを実行して、利用可能なバージョンを確認します。

kubectl explain <resource>

マネージドクラスターで以下のコマンドを実行して、Klusterlet のステータスを表示します

kubectl get klusterlets klusterlet -oyaml

サブスクリプションオペレーターに単一の調整を生成するために、サブスクリプション CR にアノテーションを付けます。以下の data 仕様を参照してください。

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

oc annotate を実行してテストします。

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

可観測性コンポーネントがインストールされていることを確認します。

open-cluster-management-addon-observability namespace にある observability-controller-open-cluster-management.io-observability-signer-client-cert というシークレットを削除します。以下のコマンドを実行します。

oc delete secret observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

注記: observability-controller-open-cluster-management.io-observability-signer-client-cert は、新しい証明書で自動的に再作成されます。

次のコマンドを実行して、open-cluster-management プロジェクトに切り替えます。

oc project open-cluster-management

search-postgres Pod のメモリーを増やします。次のコマンドは、メモリーを 16Gi に増やします。

oc patch search -n open-cluster-management search-v2-operator --type json -p '[{"op": "add", "path": "/spec/deployments/database/resources", "value": {"limits": {"memory": "16Gi"}, "requests": {"memory": "32Mi", "cpu": "25m"}}}]'

次のコマンドを実行して、検索 Operator が変更を上書きしないようにします。

oc annotate search search-v2-operator search-pause=true

次のコマンドを実行して、search-postgres YAML ファイル内のリソースを更新します。

oc edit cm search-postgres -n open-cluster-management

リソースを増やすには、次の例を参照してください。

  postgresql.conf: |-
    work_mem = '128MB' # Higher values allocate more memory
    max_parallel_workers_per_gather = '0' # Disables parallel queries
    shared_buffers = '1GB' # Higher values allocate more memory

終了する前に、必ず変更を保存してください。

次のコマンドを実行して、postgres と api Pod を再起動します。

oc delete pod search-postgres-xyz search-api-xzy

変更を確認するには、search-postgres YAML ファイルを開き、次のコマンドを実行して postgresql.conf: に加えた変更が存在することを確認します。

oc get cm search-postgres -n open-cluster-management -o yaml

オブジェクトストレージ設定に thanos bucket verify コマンドを追加して、ブロックエラーを解決します。次のコマンドを使用して、observability-thanos-compact Pod を設定します。

oc rsh observability-thanos-compact-0
[..]
thanos tools bucket verify -r --objstore.config="$OBJSTORE_CONFIG" --objstore-backup.config="$OBJSTORE_CONFIG" --id=01HKZYEZ2DVDQXF1STVEXAMPLE

前のコマンドが機能しない場合は、ブロックが破損している可能性があるため、削除対象としてマークする必要があります。以下のコマンドを実行します。

thanos tools bucket mark --id "01HKZYEZ2DVDQXF1STVEXAMPLE" --objstore.config="$OBJSTORE_CONFIG" --marker=deletion-mark.json --details=DELETE

削除をブロックした場合は、次のコマンドを実行してマークされたブロックをクリーンアップします。

thanos tools bucket cleanup --objstore.config="$OBJSTORE_CONFIG"

Submariner のコンポーネントが正しくデプロイメントされているかどうかを判断するには、次の要件を確認してください。