第8章 クラスターの操作


8.1. OpenShift Container Platform クラスター内のシステムイベント情報の表示

OpenShift Container Platform では、OpenShift Container Platform クラスター内の API オブジェクトに発生したイベントに基づいたイベントを表示できます。

8.1.1. イベントについて

以下の情報を確認して、OpenShift Container Platform がリソースに依存しない方法で、実際のイベントに関する情報を記録するために イベント をどのように利用しているかを把握します。イベントにより、開発者および管理者は、統一された方法でシステムコンポーネントに関する情報を使用できるようにもなります。

8.1.2. CLI を使用したイベントの表示

CLI を使用すると、特定のプロジェクト内のイベントリストを取得できます。

手順

  • プロジェクト内のイベントを表示するには、次のようなコマンドを使用します。

    $ oc get events [-n <project>]

    各項目の説明:

    project
    プロジェクトの名前を指定します。

    以下に例を示します。

    $ oc get events -n openshift-config

    出力例

    LAST SEEN   TYPE      REASON                   OBJECT                      MESSAGE
    97m         Normal    Scheduled                pod/dapi-env-test-pod       Successfully assigned openshift-config/dapi-env-test-pod to ip-10-0-171-202.ec2.internal
    97m         Normal    Pulling                  pod/dapi-env-test-pod       pulling image "gcr.io/google_containers/busybox"
    97m         Normal    Pulled                   pod/dapi-env-test-pod       Successfully pulled image "gcr.io/google_containers/busybox"
    97m         Normal    Created                  pod/dapi-env-test-pod       Created container
    9m5s        Warning   FailedCreatePodSandBox   pod/dapi-volume-test-pod    Failed create pod sandbox: rpc error: code = Unknown desc = failed to create pod network sandbox k8s_dapi-volume-test-pod_openshift-config_6bc60c1f-452e-11e9-9140-0eec59c23068_0(748c7a40db3d08c07fb4f9eba774bd5effe5f0d5090a242432a73eee66ba9e22): Multus: Err adding pod to network "ovn-kubernetes": cannot set "ovn-kubernetes" ifname to "eth0": no netns: failed to Statfs "/proc/33366/ns/net": no such file or directory
    8m31s       Normal    Scheduled                pod/dapi-volume-test-pod    Successfully assigned openshift-config/dapi-volume-test-pod to ip-10-0-171-202.ec2.internal
    #...

  • OpenShift Container Platform コンソールからプロジェクトのイベントを表示します。

    1. OpenShift Container Platform コンソールを起動します。
    2. Home Events をクリックし、プロジェクトを選択します。
    3. イベントを表示するリソースに移動します。たとえば、Home Projects <project-name> <resource-name> の順に移動します。

      Pod やデプロイメントなど、多くのオブジェクトには Events タブがあり、そのオブジェクトに関連するイベントが表示されます。

8.1.3. イベントのリスト

OpenShift Container Platform のイベントについて理解するには、このセクションの情報を確認してください。

表8.1 設定イベント
名前説明

FailedValidation

Pod 設定の検証に失敗しました。

表8.2 コンテナーイベント
名前説明

BackOff

バックオフ (再起動) によりコンテナーが失敗しました。

Created

コンテナーが作成されました。

Failed

プル/作成/起動が失敗しました。

Killing

コンテナーを強制終了しています。

Started

コンテナーが起動しました。

Preempting

他の Pod のプリエンプションを実行します。

ExceededGracePeriod

コンテナーランタイムは、指定の猶予期間以内に Pod を停止しませんでした。

表8.3 正常性に関するイベント
名前説明

Unhealthy

コンテナーが正常ではありません。

表8.4 イメージイベント
名前説明

BackOff

バックオフ (コンテナー起動、イメージのプル)。

ErrImageNeverPull

イメージの NeverPull Policy の違反があります。

Failed

イメージのプルに失敗しました。

InspectFailed

イメージの検査に失敗しました。

Pulled

イメージのプルに成功し、コンテナーイメージがマシンにすでに置かれています。

Pulling

イメージをプルしています。

表8.5 イメージマネージャーイベント
名前説明

FreeDiskSpaceFailed

空きディスク容量に関連する障害が発生しました。

InvalidDiskCapacity

無効なディスク容量です。

表8.6 ノードイベント
名前説明

FailedMount

ボリュームのマウントに失敗しました。

HostNetworkNotSupported

ホストのネットワークがサポートされていません。

HostPortConflict

ホスト/ポートの競合

KubeletSetupFailed

Kubelet のセットアップに失敗しました。

NilShaper

シェイパーが定義されていません。

NodeNotReady

ノードの準備ができていません。

NodeNotSchedulable

ノードがスケジュール可能ではありません。

NodeReady

ノードの準備ができています。

NodeSchedulable

ノードがスケジュール可能です。

NodeSelectorMismatching

ノードセレクターの不一致があります。

OutOfDisk

ディスクの空き容量が不足しています。

Rebooted

ノードが再起動しました。

Starting

kubelet を起動しています。

FailedAttachVolume

ボリュームの割り当てに失敗しました。

FailedDetachVolume

ボリュームの割り当て解除に失敗しました。

VolumeResizeFailed

ボリュームの拡張/縮小に失敗しました。

VolumeResizeSuccessful

正常にボリュームを拡張/縮小しました。

FileSystemResizeFailed

ファイルシステムの拡張/縮小に失敗しました。

FileSystemResizeSuccessful

正常にファイルシステムが拡張/縮小されました。

FailedUnMount

ボリュームのマウント解除に失敗しました。

FailedMapVolume

ボリュームのマッピングに失敗しました。

FailedUnmapDevice

デバイスのマッピング解除に失敗しました。

AlreadyMountedVolume

ボリュームがすでにマウントされています。

SuccessfulDetachVolume

ボリュームの割り当てが正常に解除されました。

SuccessfulMountVolume

ボリュームが正常にマウントされました。

SuccessfulUnMountVolume

ボリュームのマウントが正常に解除されました。

ContainerGCFailed

コンテナーのガベージコレクションに失敗しました。

ImageGCFailed

イメージのガベージコレクションに失敗しました。

FailedNodeAllocatableEnforcement

システム予約の Cgroup 制限の実施に失敗しました。

NodeAllocatableEnforced

システム予約の Cgroup 制限を有効にしました。

UnsupportedMountOption

マウントオプションが非対応です。

SandboxChanged

Pod のサンドボックスが変更されました。

FailedCreatePodSandBox

Pod のサンドボックスの作成に失敗しました。

FailedPodSandBoxStatus

Pod サンドボックスの状態取得に失敗しました。

表8.7 Pod ワーカーイベント
名前説明

FailedSync

Pod の同期が失敗しました。

表8.8 システムイベント
名前説明

SystemOOM

クラスターに OOM (out of memory) 状態が発生しました。

表8.9 Pod に関するイベント
名前説明

FailedKillPod

Pod の停止に失敗しました。

FailedCreatePodContainer

Pod コンテナーの作成に失敗しました。

Failed

Pod データディレクトリーの作成に失敗しました。

NetworkNotReady

ネットワークの準備ができていません。

FailedCreate

作成エラー: <error-msg>

SuccessfulCreate

作成された Pod: <pod-name>

FailedDelete

削除エラー: <error-msg>

SuccessfulDelete

削除した Pod: <pod-id>

表8.10 Horizontal Pod AutoScaler に関するイベント
名前説明

SelectorRequired

セレクターが必要です。

InvalidSelector

セレクターを適切な内部セレクターオブジェクトに変換できませんでした。

FailedGetObjectMetric

HPA はレプリカ数を計算できませんでした。

InvalidMetricSourceType

不明なメトリクスソースタイプです。

ValidMetricFound

HPA は正常にレプリカ数を計算できました。

FailedConvertHPA

指定の HPA への変換に失敗しました。

FailedGetScale

HPA コントローラーは、ターゲットの現在のスケーリングを取得できませんでした。

SucceededGetScale

HPA コントローラーは、ターゲットの現在のスケールを取得できました。

FailedComputeMetricsReplicas

表示されているメトリクスに基づく必要なレプリカ数の計算に失敗しました。

FailedRescale

新しいサイズ: <size>、理由: <msg>、エラー: <error-msg>。

SuccessfulRescale

新しいサイズ: <size>、理由: <msg>。

FailedUpdateStatus

状況の更新に失敗しました。

表8.11 ボリュームイベント
名前説明

FailedBinding

利用可能な永続ボリュームがなく、ストレージクラスが設定されていません。

VolumeMismatch

ボリュームサイズまたはクラスが要求の内容と異なります。

VolumeFailedRecycle

再利用 Pod の作成エラー

VolumeRecycled

ボリュームの再利用時に発生します。

RecyclerPod

Pod の再利用時に発生します。

VolumeDelete

ボリュームの削除時に発生します。

VolumeFailedDelete

ボリュームの削除時のエラー。

ExternalProvisioning

要求のボリュームが手動または外部ソフトウェアでプロビジョニングされる場合に発生します。

ProvisioningFailed

ボリュームのプロビジョニングに失敗しました。

ProvisioningCleanupFailed

プロビジョニングしたボリュームの消去エラー

ProvisioningSucceeded

ボリュームが正常にプロビジョニングされる場合に発生します。

WaitForFirstConsumer

Pod のスケジューリングまでバインドが遅延します。

表8.12 ライフサイクルフック
名前説明

FailedPostStartHook

ハンドラーが Pod の起動に失敗しました。

FailedPreStopHook

ハンドラーが pre-stop に失敗しました。

UnfinishedPreStopHook

Pre-stop フックが完了しませんでした。

表8.13 デプロイメント
名前説明

DeploymentCancellationFailed

デプロイメントのキャンセルに失敗しました。

DeploymentCancelled

デプロイメントがキャンセルされました。

DeploymentCreated

新規レプリケーションコントローラーが作成されました。

IngressIPRangeFull

サービスに割り当てる Ingress IP がありません。

表8.14 スケジューラーイベント
名前説明

FailedScheduling

Pod のスケジューリングに失敗: <pod-namespace>/<pod-name>。このイベントは AssumePodVolumes の失敗、バインドの拒否など、複数の理由で発生します。

Preempted

ノード <node-name> にある <preemptor-namespace>/<preemptor-name>

Scheduled

<pod-name> が <node-name> に正常に割り当てられました。

表8.15 デーモンセットイベント
名前説明

SelectingAll

このデーモンセットは全 Pod を選択しています。空でないセレクターが必要です。

FailedPlacement

<node-name> への Pod の配置に失敗しました。

FailedDaemonPod

ノード <node-name> で問題のあるデーモン Pod <pod-name> が見つかりました。この Pod の終了を試行します。

表8.16 LoadBalancer サービスイベント
名前説明

CreatingLoadBalancerFailed

ロードバランサーの作成エラー

DeletingLoadBalancer

ロードバランサーを削除します。

EnsuringLoadBalancer

ロードバランサーを確保します。

EnsuredLoadBalancer

ロードバランサーを確保しました。

UnAvailableLoadBalancer

LoadBalancer サービスに利用可能なノードがありません。

LoadBalancerSourceRanges

新規の LoadBalancerSourceRanges を表示します。例: <old-source-range> <new-source-range>

LoadbalancerIP

新しい IP アドレスを表示します。例: <old-ip> <new-ip>

ExternalIP

外部 IP アドレスを表示します。例: Added: <external-ip>

UID

新しい UID を表示します。例: <old-service-uid> <new-service-uid>

ExternalTrafficPolicy

新しい ExternalTrafficPolicy を表示します。例: <old-policy> <new-policy>

HealthCheckNodePort

新しい HealthCheckNodePort を表示します。例: <old-node-port> new-node-port>

UpdatedLoadBalancer

新規ホストでロードバランサーを更新しました。

LoadBalancerUpdateFailed

新規ホストでのロードバランサーの更新に失敗しました。

DeletingLoadBalancer

ロードバランサーを削除します。

DeletingLoadBalancerFailed

ロードバランサーの削除エラー。

DeletedLoadBalancer

ロードバランサーを削除しました。

8.2. OpenShift Container Platform のノードが保持できる Pod の数の見積り

クラスター管理者は、OpenShift Cluster Capacity Tool を使用して、クラスター内でスケジュール可能な Pod の数を確認できます。これにより、リソースが枯渇する前に現在のリソースを増やすことができ、将来の Pod のスケジュール設定も確実に行えるようになります。この容量は、クラスター内の個別ノードからのものを集めたものであり、これには CPU、メモリー、ディスク領域などが含まれます。

8.2.1. OpenShift Cluster Capacity Tool について

以下の情報を参照して、OpenShift Cluster Capacity Tool の使用方法を確認します。このツールを使用すると、クラスターのリソースが枯渇するまでに、入力した Pod のインスタンスをいくつスケジューリングできるか、一連のスケジューリング決定をシミュレーションして判定できます。

注記

ノード間に分散しているすべてのリソースがカウントされないため、残りの割り当て可能な容量は概算となります。これは、残りのリソースのみを分析し、クラスター内でスケジュール可能な、特定の要件を満たす Pod のインスタンス数という観点から、まだ消費可能な利用可能な容量を推定します。

Pod のスケジューリングはその選択およびアフィニティー条件に基づいて特定のノードセットだけがサポートされる可能性があります。そのため、クラスターでスケジュール可能な残りの Pod 数を見積もることが困難になる場合があります。

OpenShift Cluster Capacity Tool は、コマンドラインからスタンドアロンのユーティリティーとして実行することも、OpenShift Container Platform クラスター内の Pod でジョブとして実行することもできます。これを Pod 内のジョブとしてツールを実行すると、介入なしに複数回実行することができます。

8.2.2. コマンドラインでの OpenShift Cluster Capacity Tool の実行

コマンドラインから OpenShift Cluster Capacity Tool を実行して、クラスターにスケジュール設定可能な Pod 数を見積ることができます。

ツールがリソース使用状況を見積もるために使用するサンプル Pod 仕様ファイルを作成します。pod spec はそのリソース要件を limits または requests として指定します。クラスター容量ツールは、Pod のリソース要件をその見積もりの分析に反映します。

前提条件

  1. OpenShift Cluster Capacity Tool を実行します。これは、Red Hat エコシステムカタログからコンテナーイメージとして入手できます。
  2. サンプルの Pod 仕様ファイルを作成します。

    1. 以下のような YAML ファイルを作成します。

      apiVersion: v1
      kind: Pod
      metadata:
        name: small-pod
        labels:
          app: guestbook
          tier: frontend
      spec:
        securityContext:
          runAsNonRoot: true
          seccompProfile:
            type: RuntimeDefault
        containers:
        - name: php-redis
          image: gcr.io/google-samples/gb-frontend:v4
          imagePullPolicy: Always
          resources:
            limits:
              cpu: 150m
              memory: 100Mi
            requests:
              cpu: 150m
              memory: 100Mi
          securityContext:
            allowPrivilegeEscalation: false
            capabilities:
              drop: [ALL]
    2. クラスターロールを作成します。

      $ oc create -f <file_name>.yaml

      以下に例を示します。

      $ oc create -f pod-spec.yaml

手順

  1. ターミナルから、Red Hat レジストリーにログインします。

    $ podman login registry.redhat.io
  2. クラスター容量ツールのイメージをプルします。

    $ podman pull registry.redhat.io/openshift4/ose-cluster-capacity
  3. クラスター容量ツールを実行します。

    $ podman run -v $HOME/.kube:/kube:Z -v $(pwd):/cc:Z  ose-cluster-capacity \
    /bin/cluster-capacity --kubeconfig /kube/config --<pod_spec>.yaml /cc/<pod_spec>.yaml \
    --verbose

    各項目の説明:

    <pod_spec>.yaml
    使用する Pod の仕様を指定します。
    verbose
    クラスター内の各ノードでスケジュールできる Pod の数の詳細な説明を出力します。

    出力例

    small-pod pod requirements:
    	- CPU: 150m
    	- Memory: 100Mi
    
    The cluster can schedule 88 instance(s) of the pod small-pod.
    
    Termination reason: Unschedulable: 0/5 nodes are available: 2 Insufficient cpu,
    3 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't
    tolerate.
    
    Pod distribution among nodes:
    small-pod
    	- 192.168.124.214: 45 instance(s)
    	- 192.168.124.120: 43 instance(s)

    上記の例では、クラスターにスケジュールできる推定 Pod の数は 88 です。

8.2.3. OpenShift Cluster Capacity Tool を Pod 内のジョブとして実行する

ConfigMap オブジェクトを使用することで、OpenShift Cluster Capacity Tool を Pod 内のジョブとして実行できます。これにより、ユーザーの介入なしにツールを複数回実行できます。

前提条件

  • cluster-capacity リポジトリーから OpenShift Cluster Capacity Tool をダウンロードしてインストールしてください。

手順

  1. クラスターロールを作成します。

    1. 以下のような YAML ファイルを作成します。

      kind: ClusterRole
      apiVersion: rbac.authorization.k8s.io/v1
      metadata:
        name: cluster-capacity-role
      rules:
      - apiGroups: [""]
        resources: ["pods", "nodes", "persistentvolumeclaims", "persistentvolumes", "services", "replicationcontrollers"]
        verbs: ["get", "watch", "list"]
      - apiGroups: ["apps"]
        resources: ["replicasets", "statefulsets"]
        verbs: ["get", "watch", "list"]
      - apiGroups: ["policy"]
        resources: ["poddisruptionbudgets"]
        verbs: ["get", "watch", "list"]
      - apiGroups: ["storage.k8s.io"]
        resources: ["storageclasses"]
        verbs: ["get", "watch", "list"]
    2. 次のコマンドを実行して、クラスターのロールを作成します。

      $ oc create -f <file_name>.yaml

      以下に例を示します。

      $ oc create sa cluster-capacity-sa
  2. サービスアカウントを作成します。

    $ oc create sa cluster-capacity-sa -n default
  3. ロールをサービスアカウントに追加します。

    $ oc adm policy add-cluster-role-to-user cluster-capacity-role \
        system:serviceaccount:<namespace>:cluster-capacity-sa

    各項目の説明:

    <namespace>
    Pod が配置されている namespace を指定します。
  4. Pod 仕様を定義して、作成します。

    1. 以下のような YAML ファイルを作成します。

      apiVersion: v1
      kind: Pod
      metadata:
        name: small-pod
        labels:
          app: guestbook
          tier: frontend
      spec:
        securityContext:
          runAsNonRoot: true
          seccompProfile:
            type: RuntimeDefault
        containers:
        - name: php-redis
          image: gcr.io/google-samples/gb-frontend:v4
          imagePullPolicy: Always
          resources:
            limits:
              cpu: 150m
              memory: 100Mi
            requests:
              cpu: 150m
              memory: 100Mi
          securityContext:
            allowPrivilegeEscalation: false
            capabilities:
              drop: [ALL]
    2. 以下のコマンドを実行して Pod を作成します。

      $ oc create -f <file_name>.yaml

      以下に例を示します。

      $ oc create -f pod.yaml
  5. 以下のコマンドを実行して config map オブジェクトを作成します。

    $ oc create configmap cluster-capacity-configmap \
        --from-file=pod.yaml=pod.yaml

    クラスター容量分析は、cluster-capacity-configmap という名前の config map オブジェクトを使用してボリュームにマウントされ、入力 Pod 仕様ファイル pod.yaml はパス /test-pod のボリューム test-volume にマウントされます。

  6. ジョブ仕様ファイルの以下のサンプルを使用して、ジョブを作成します。

    1. 以下のような YAML ファイルを作成します。

      apiVersion: batch/v1
      kind: Job
      metadata:
        name: cluster-capacity-job
      spec:
        parallelism: 1
        completions: 1
        template:
          metadata:
            name: cluster-capacity-pod
          spec:
              containers:
              - name: cluster-capacity
                image: openshift/origin-cluster-capacity
                imagePullPolicy: "Always"
                volumeMounts:
                - mountPath: /test-pod
                  name: test-volume
                env:
                - name: CC_INCLUSTER
                  value: "true"
                command:
                - "/bin/sh"
                - "-ec"
                - |
                  /bin/cluster-capacity --podspec=/test-pod/pod.yaml --verbose
              restartPolicy: "Never"
              serviceAccountName: cluster-capacity-sa
              volumes:
              - name: test-volume
                configMap:
                  name: cluster-capacity-configmap

      各項目の説明:

      spec.template.spec.containers.env
      Cluster Capacity Tool がクラスター内で Pod として実行されていることを示す、必須の環境変数を指定します。
      ConfigMap の pod.yaml キーは Pod 仕様ファイル名と同じですが、これは必須ではありません。これを実行することで、入力 Pod 仕様ファイルは /test-pod/pod.yaml として Pod 内でアクセスできます。
    2. 次のコマンドを実行して、クラスター容量イメージを Pod 内のジョブとして実行します。

      $ oc create -f cluster-capacity-job.yaml

検証

  1. ジョブログを確認し、クラスター内でスケジュールできる Pod の数を確認します。

    $ oc logs jobs/cluster-capacity-job

    出力例

    small-pod pod requirements:
            - CPU: 150m
            - Memory: 100Mi
    
    The cluster can schedule 52 instance(s) of the pod small-pod.
    
    Termination reason: Unschedulable: No nodes are available that match all of the
    following predicates:: Insufficient cpu (2).
    
    Pod distribution among nodes:
    small-pod
            - 192.168.124.214: 26 instance(s)
            - 192.168.124.120: 26 instance(s)

8.3. 制限範囲によるリソース消費の制限

制限範囲を使用すると、プロジェクト内の特定のオブジェクトのリソース消費を制限できます。

デフォルトで、コンテナーは OpenShift Container Platform クラスターのバインドされていないコンピュートリソースで実行されます。

以下のオブジェクトのリソース消費量を設定できます。

  • Pod およびコンテナー: Pod およびそれらのコンテナーの CPU およびメモリーの最小および最大要件を設定できます。
  • イメージストリーム: ImageStream オブジェクトのイメージおよびタグの数に制限を設定できます。
  • イメージ: 内部レジストリーにプッシュできるイメージのサイズを制限することができます。
  • 永続ボリューム要求 (PVC): 要求できる PVC のサイズを制限できます。

Pod が制限範囲で課される制約を満たさない場合、Pod を namespace に作成することはできません。

8.3.1. 制限範囲について

LimitRange オブジェクトを定義することで、特定のプロジェクト内の Pod、コンテナー、イメージ、イメージストリーム、または永続ボリューム要求 (PVC) に対して、特定のリソース制限を設定できます。制限範囲を設定することで、そのプロジェクトにおけるリソース消費量を制限できます。

すべてのリソース作成および変更要求は、プロジェクトのそれぞれの LimitRange オブジェクトに対して評価されます。リソースが列挙される制約のいずれかに違反する場合、そのリソースは拒否されます。

以下は、Pod、コンテナー、イメージ、イメージストリーム、または PVC のすべてのコンポーネントの制限範囲オブジェクトを示しています。同じオブジェクト内のこれらのコンポーネントのいずれかまたはすべての制限を設定できます。リソースを制御するプロジェクトごとに、異なる制限範囲オブジェクトを作成します。

コンテナーの制限オブジェクトのサンプル

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: "Container"
      max:
        cpu: "2"
        memory: "1Gi"
      min:
        cpu: "100m"
        memory: "4Mi"
      default:
        cpu: "300m"
        memory: "200Mi"
      defaultRequest:
        cpu: "200m"
        memory: "100Mi"
      maxLimitRequestRatio:
        cpu: "10"

8.3.2. コンポーネントの制限について

LimitRange オブジェクトを作成または編集する際に、各コンポーネントに指定できる制限範囲パラメーターについては、以下の例を参照してください。

これらの例は明確にするために使用されます。必要に応じて、いずれかまたはすべてのコンポーネントの単一の LimitRange オブジェクトを作成できます。

コンテナーの制限

制限範囲により、Pod の各コンテナーが特定のプロジェクトに要求できる最小および最大 CPU およびメモリーを指定できます。コンテナーがプロジェクトに作成される場合、Pod 仕様のコンテナー CPU およびメモリー要求は LimitRange オブジェクトに設定される値に準拠する必要があります。そうでない場合には、Pod は作成されません。以下の要件が満たされなければなりません。

  • コンテナーの CPU またはメモリーの要求および制限は、LimitRange オブジェクトで指定されるコンテナーの min リソース制約以上である必要があります。
  • コンテナーの CPU またはメモリーの要求と制限は、LimitRange オブジェクトで指定されたコンテナーの max リソース制約以下である必要があります。

LimitRange オブジェクトが max CPU を定義する場合、Pod 仕様に CPU request 値を定義する必要はありません。ただし、制限範囲で指定される最大 CPU 制約を満たす CPU limit 値を指定する必要があります。以下の要件が満たされなければなりません。

  • コンテナー制限の要求に対する比率は、LimitRange オブジェクトに指定されるコンテナーの maxLimitRequestRatio 値以下である必要があります。

    LimitRange オブジェクトで maxLimitRequestRatio 制約を定義する場合、新規コンテナーには request および limit 値の両方が必要になります。OpenShift Container Platform は、limit を request で除算して制限の要求に対する比率を算出します。この値は、1 より大きい正の整数でなければなりません。

    たとえば、コンテナーの limit 値が cpu: 500 で、request 値が cpu: 100 である場合、cpu の要求に対する制限の比は 5 になります。この比率は maxLimitRequestRatio より小さいか等しくなければなりません。

Pod 仕様でコンテナーリソースメモリーまたは制限を指定しない場合、制限範囲オブジェクトに指定されるコンテナーの default または defaultRequest CPU およびメモリー値はコンテナーに割り当てられます。

コンテナー LimitRange オブジェクトの定義

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: "Container"
      max:
        cpu: "2"
        memory: "1Gi"
      min:
        cpu: "100m"
        memory: "4Mi"
      default:
        cpu: "300m"
        memory: "200Mi"
      defaultRequest:
        cpu: "200m"
        memory: "100Mi"
      maxLimitRequestRatio:
        cpu: "10"

各項目の説明:

metadata.name
制限範囲オブジェクトの名前を指定します。
spec.limit.max.cpu
Pod の単一コンテナーが要求できる CPU の最大量を指定します。
spec.limit.max.memory
Pod の単一コンテナーが要求できるメモリーの最大量を指定します。
spec.limit.min.cpu
Pod の単一コンテナーが要求できる CPU の最小量を指定します。
spec.limit.min.memory
Pod の単一コンテナーが要求できるメモリーの最小量を指定します。
spec.limit.default.cpu
コンテナーが使用できる CPU のデフォルト量 (Pod 仕様に指定されていない場合) を指定します。
spec.limit.default.memory
コンテナーが使用できるメモリーのデフォルト量 (Pod 仕様に指定されていない場合) を指定します。
spec.limit.defaultRequest.cpu
コンテナーが要求できる CPU のデフォルト量 (Pod 仕様に指定されていない場合) を指定します。
spec.limit.defaultRequest.memory
コンテナーが要求できるメモリーのデフォルト量 (Pod 仕様に指定されていない場合) を指定します。
spec.limit.maxLimitRequestRatio.cpu
コンテナーの最大制限対リクエスト比率を指定します。
Pod の制限

制限範囲により、所定プロジェクトの Pod 全体でのすべてのコンテナーの CPU およびメモリーの最小および最大の制限を指定できます。コンテナーをプロジェクトに作成するには、Pod 仕様のコンテナー CPU およびメモリー要求は LimitRange オブジェクトに設定される値に準拠する必要があります。そうでない場合には、Pod は作成されません。

Pod 仕様でコンテナーリソースメモリーまたは制限を指定しない場合、制限範囲オブジェクトに指定されるコンテナーの default または defaultRequest CPU およびメモリー値はコンテナーに割り当てられます。

Pod 内のすべてのコンテナーにおいて、以下の要件が満たされる必要があります。

  • コンテナーの CPU またはメモリーの要求および制限は、LimitRange オブジェクトに指定される Pod の min リソース制約以上である必要があります。
  • コンテナーの CPU またはメモリーの要求および制限は、LimitRange オブジェクトに指定される Pod の max リソース制約以下である必要があります。
  • コンテナー制限の要求に対する比率は、LimitRange オブジェクトに指定される maxLimitRequestRatio 制約以下である必要があります。

Pod LimitRange オブジェクト定義

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: "Pod"
      max:
        cpu: "2"
        memory: "1Gi"
      min:
        cpu: "200m"
        memory: "6Mi"
      maxLimitRequestRatio:
        cpu: "10"

各項目の説明:

metadata.name
制限範囲オブジェクトの名前を指定します。
spec.limit.max.cpu
すべてのコンテナーにおいて Pod が要求できる CPU の最大量を指定します。
spec.limit.max.memory
すべてのコンテナーにおいて Pod が要求できるメモリーの最大量を指定します。
spec.limit.min.cpu
すべてのコンテナーにおいて Pod が要求できる CPU の最小量を指定します。
spec.limit.min.memory
すべてのコンテナーにおいて Pod が要求できるメモリーの最小量を指定します。
spec.limit.maxLimitRequestRatio.cpu
コンテナーの最大制限対リクエスト比率を指定します。
イメージの制限

制限範囲を使用すると、OpenShift イメージレジストリーにプッシュできるイメージの最大サイズを指定できます。

OpenShift イメージレジストリーにイメージをプッシュする場合、以下の要件を満たす必要があります。

  • イメージのサイズは、LimitRange オブジェクトで指定されるイメージの max サイズ以下である必要があります。

イメージ LimitRange オブジェクトの定義

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: openshift.io/Image
      max:
        storage: 1Gi

各項目の説明:

metadata.name
制限範囲オブジェクトの名前を指定します。
spec.limit.max.storage
OpenShift イメージレジストリーにプッシュできるイメージの最大サイズを指定します。
注記

制限を超える Blob がレジストリーにアップロードされないようにするために、クォータを実施するようレジストリーを設定する必要があります。

警告

イメージのサイズは、アップロードされるイメージのマニフェストで常に表示される訳ではありません。これは、とりわけ Docker 1.10 以上で作成され、v2 レジストリーにプッシュされたイメージの場合に該当します。このようなイメージが古い Docker デーモンでプルされると、イメージマニフェストはレジストリーによってスキーマ v1 に変換されますが、この場合サイズ情報が欠落します。イメージに設定されるストレージの制限がこのアップロードを防ぐことはありません。

この問題は現在対応中です。

イメージストリームの制限

制限の範囲により、イメージストリームの制限を指定できます。

各イメージストリームについて、以下の要件を満たす必要があります。

  • imagestream.spec.tags から派生した一意の参照の数は、LimitRange オブジェクト内の openshift.io/image-tags 制約以下である必要があります。
  • imagestream.status.tags に記録される一意のイメージアイデンティティーの数は、LimitRange オブジェクトの openshift.io/images 制約以下である必要があります。
重要

openshift.io/image-tags と openshift.io/images という名称は、タグ名の最大数と、タグごとのイメージの最大数を意味するものではありません。最初の制限は、ImageStream spec.tags リソース内のタグ定義とその参照に適用されます。2 つ目は、ImageStream status.tags リソースに記録された、個別に解決されたイメージ (通常はダイジェストによる) に適用されます。タグの作成または更新 (OpenShift イメージレジストリーへのプッシュを含む) は、いずれかの制限を超える場合は拒否されることがあります。

イメージストリーム LimitRange オブジェクト定義

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: openshift.io/ImageStream
      max:
        openshift.io/image-tags: 20
        openshift.io/images: 30

各項目の説明:

metadata.name
LimitRange オブジェクトの名前を指定します。
spec.limit.max.openshift.io/image-tags
imagestream.spec.tags 内のタグ定義からカウントされる、重複のない参照の最大数を指定します。
spec.limit.max.openshift.io/images
imagestream.status.tags に記録される一意のイメージアイデンティティー (ダイジェストと同じイメージ名) の最大数を指定します。

openshift.io/image-tags の制限は、imagestream.spec.tags のエントリーからの一意の参照をカウントします。参照は、ImageStreamTag、ImageStreamImage、または DockerImage のいずれかです。タグ定義は、oc tag または oc import-image を使用して追加できます。内部参照と外部参照は同じように扱われ、仕様内の重複のない参照はそれぞれ 1 回としてカウントされます。更新によってカウントが制限値を超える場合、OpenShift イメージレジストリーへのプッシュによって更新が行われる場合も含め、要求は拒否されます。

openshift.io/images の制限は、imagestream.status.tags 内の一意のイメージアイデンティティーをカウントし、イメージストリームがステータスに保持できる異なるイメージの数を制限します。内部参照か外部参照であるかの区別はありません。

Persistent Volume Claim (永続ボリューム要求、PVC) の制限

制限の範囲により、Persistent Volume Claim(永続ボリューム要求、PVC) で要求されるストレージを制限できます。

プロジェクト内のすべての永続的なボリューム要求において、以下の要件が満たされている必要があります。

  • 永続ボリューム要求 (PVC) のリソース要求は、LimitRange オブジェクトに指定される PVC の min 制約以上である必要があります。
  • 永続ボリューム要求 (PVC) のリソース要求は、LimitRange オブジェクトに指定される PVC の max 制約以下である必要があります。

PVC LimitRange オブジェクト定義

apiVersion: "v1"
kind: "LimitRange"
metadata:
  name: "resource-limits"
spec:
  limits:
    - type: "PersistentVolumeClaim"
      min:
        storage: "2Gi"
      max:
        storage: "50Gi"

各項目の説明:

metadata.name
LimitRange オブジェクトの名前を指定します。
spec.limit.min.storage
永続ボリューム要求で要求できるストレージの最小量を指定します。
spec.limit.max.storage
永続ボリューム要求で要求できるストレージの最大量を指定します。

8.3.3. 制限範囲の作成

LimitRange オブジェクトを定義することで、特定のプロジェクト内の Pod、コンテナー、イメージ、イメージストリーム、または永続ボリューム要求 (PVC) に対して、特定のリソース制限を設定できます。制限範囲を設定することで、そのプロジェクトにおけるリソース消費量を制限できます。

手順

  1. 必要な仕様で LimitRange オブジェクトを作成します。

    apiVersion: "v1"
    kind: "LimitRange"
    metadata:
      name: "resource-limits"
    spec:
      limits:
        - type: "Pod"
          max:
            cpu: "2"
            memory: "1Gi"
          min:
            cpu: "200m"
            memory: "6Mi"
        - type: "Container"
          max:
            cpu: "2"
            memory: "1Gi"
          min:
            cpu: "100m"
            memory: "4Mi"
          default:
            cpu: "300m"
            memory: "200Mi"
          defaultRequest:
            cpu: "200m"
            memory: "100Mi"
          maxLimitRequestRatio:
            cpu: "10"
        - type: openshift.io/Image
          max:
            storage: 1Gi
        - type: openshift.io/ImageStream
          max:
            openshift.io/image-tags: 20
            openshift.io/images: 30
        - type: "PersistentVolumeClaim"
          min:
            storage: "2Gi"
          max:
            storage: "50Gi"

    各項目の説明:

    metadata.name
    LimitRange オブジェクトの名前を指定します。
    spec.limit.type.Pod
    Pod の制限を指定します。必要に応じて、CPU とメモリーの最小値と最大値を指定します。
    spec.limit.type.Container
    コンテナーの制限を指定します。必要に応じて、CPU とメモリーの最小値と最大値を指定します。
    spec.limit.type.default
    コンテナーの場合、Pod 仕様で指定されていない場合に、コンテナーが使用できるデフォルトの CPU またはメモリー量を指定します。このパラメーターは任意です。
    spec.limit.type.defaultRequest
    コンテナーの場合、Pod 仕様で指定されていない場合に、コンテナーが要求できるデフォルトの CPU またはメモリー量を指定します。このパラメーターは任意です。
    spec.limit.type.maxLimitRequestRatio
    コンテナーの場合、Pod 仕様内で指定可能な制限対要求の最大比率を指定します。このパラメーターは任意です。
    spec.limit.type.openshift.io/Image
    イメージオブジェクトの制限を指定します。OpenShift イメージレジストリーにプッシュできるイメージの最大サイズを設定します。
    spec.limit.type.openshift.io/ImageStream
    イメージストリームの制限を指定します。openshift.io/image-tags は spec.tags からの一意の参照を制限し、openshift.io/images は status.tags に記録された一意のイメージを制限します。
    spec.limit.type.openshift.io/PersistentVolueClaim
    永続的なボリューム要求の制限を指定します。要求可能なストレージ容量の最小値と最大値を設定します。
  2. オブジェクトを作成します。

    $ oc create -f <limit_range_file> -n <project>

    各項目の説明:

    <limit_range_file>
    作成した YAML ファイルの名前を指定します。
    <project>
    制限を適用するプロジェクトを指定します。

8.3.4. 制限を表示します。

プロジェクトで定義されている制限事項は、Web コンソールでプロジェクトの Quota ページに移動することで確認できます。これにより、プロジェクト内の各制限範囲の詳細を確認できます。

CLI を使用して制限範囲の詳細を表示することもできます。

手順

  1. プロジェクト内で定義されている LimitRange オブジェクトのリストを取得します。たとえば、demoproject というプロジェクトの場合は以下のようになります。

    $ oc get limits -n demoproject
    NAME              CREATED AT
    resource-limits   2020-07-15T17:14:23Z
  2. 関連のある LimitRange オブジェクトを記述します。たとえば、resource-limits 制限範囲の場合は以下のようになります。

    $ oc describe limits resource-limits -n demoproject
    Name:                           resource-limits
    Namespace:                      demoproject
    Type                            Resource                Min     Max     Default Request Default Limit   Max Limit/Request Ratio
    ----                            --------                ---     ---     --------------- -------------   -----------------------
    Pod                             cpu                     200m    2       -               -               -
    Pod                             memory                  6Mi     1Gi     -               -               -
    Container                       cpu                     100m    2       200m            300m            10
    Container                       memory                  4Mi     1Gi     100Mi           200Mi           -
    openshift.io/Image              storage                 -       1Gi     -               -               -
    openshift.io/ImageStream        openshift.io/image      -       12      -               -               -
    openshift.io/ImageStream        openshift.io/image-tags -       10      -               -               -
    PersistentVolumeClaim           storage                 -       50Gi    -               -               -

8.3.5. 制限範囲の削除

アクティブな LimitRange オブジェクトを削除することで、プロジェクト内の制限が適用されなくなります。

手順

  • 以下のコマンドを実行します。

    $ oc delete limits <limit_name>

8.4. コンテナーメモリーとリスク要件を満たすためのクラスターメモリーの設定

クラスター管理者は、アプリケーションのメモリー使用量を管理することで、クラスターの効率的な動作を支援できます。

アプリケーションのメモリーを管理するには、以下のいずれかの操作を実行します。

  • コンテナー化されたアプリケーションコンポーネントのメモリー要件とリスク要件を特定し、それらの要件に合わせてコンテナーのメモリーパラメーターを設定します。
  • コンテナー化されたアプリケーションランタイム (たとえば、OpenJDK) が、設定されたコンテナーメモリーパラメーターに最適に準拠するように設定します。
  • コンテナー内で実行する際に発生するメモリー関連のエラー状態を診断し、解決します。

8.4.1. アプリケーションメモリーの管理方法について

OpenShift Container Platform がコンピュートリソースを管理する仕組みについては、以下のコンセプトを参照してください。これらの仕組みを理解することで、クラスターの効率的な稼働を維持できるようになります。

各種のリソース (メモリー、CPU、ストレージ) に応じて、OpenShift Container Platform ではオプションの 要求 および 制限 の値を Pod の各コンテナーに設定できます。

メモリー要求とメモリー制限に関する以下の情報に注意してください。

  • メモリーリクエスト

    • メモリー要求値は、指定される場合 OpenShift Container Platform スケジューラーに影響を与えます。スケジューラーは、コンテナーのノードへのスケジュール時にメモリー要求を考慮し、コンテナーの使用のために選択されたノードで要求されたメモリーをフェンスオフします。
    • ノードのメモリーが使い切られると、OpenShift Container Platform はメモリー使用がメモリー要求を最も超過しているコンテナーの退避を優先します。深刻なメモリー枯渇の場合、ノードの OOM キラーは、同様のメトリクスに基づいてコンテナー内のプロセスを選択して強制終了する可能性があります。
    • クラスター管理者は、メモリー要求値に対してクォータを割り当てるか、デフォルト値を割り当てることができます。
    • クラスター管理者は、クラスターのオーバーコミットを管理するために開発者が指定するメモリー要求の値をオーバーライドできます。
  • メモリー制限

    • メモリー制限値が指定されている場合、コンテナーのすべてのプロセスに割り当て可能なメモリーにハード制限を指定します。
    • コンテナー内のすべてのプロセスによって割り当てられたメモリーがメモリー制限を超えた場合、ノードのメモリー不足 (OOM) キラーは、コンテナー内のプロセスを即座に選択して強制終了します。
    • メモリー要求とメモリー制限の両方が指定される場合、メモリー制限の値はメモリー要求の値よりも大きいか、これと等しくなければなりません。
    • クラスター管理者は、メモリーの制限値に対してクォータを割り当てるか、デフォルト値を割り当てることができます。
    • 最小メモリー制限は 12 MB です。Cannot allocate memory Pod イベントのためにコンテナーの起動に失敗すると、メモリー制限は低くなります。メモリー制限を引き上げるか、これを削除します。制限を削除すると、Pod は制限のないノードのリソースを消費できるようになります。

OpenShift Container Platform でアプリケーションメモリーをサイジングする手順は以下の通りです。

  1. 予想されるコンテナーのメモリー使用の判別

    コンテナーのメモリー使用量の平均値とピーク値を算出します。たとえば、負荷テストを個別に実施することもできます。コンテナー内で並行して実行される可能性のあるすべてのプロセス、たとえばメインアプリケーションによって生成される可能性のある補助スクリプトなどを考慮することを忘れないでください。

  2. リスク選好 (risk appetite) の判別

    エビクションのリスク選好を判別します。リスク選好のレベルが低い場合、コンテナーは予想されるピーク時の使用量と安全マージンのパーセンテージに応じてメモリーを要求します。リスク許容度が高い場合は、予想される平均使用量に基づいてメモリーを要求する方が適切な場合があります。

  3. コンテナーのメモリー要求の設定

    上記に基づいてコンテナーのメモリー要求を設定します。要求内容は、アプリケーションのメモリー使用量をできる限り正確に反映する必要があります。要求が高すぎる場合には、クラスターおよびクォータの使用が非効率となります。要求が低すぎる場合、アプリケーションのエビクションの可能性が高まります。

  4. コンテナーのメモリー制限の設定 (必要な場合)

    必要に応じて、コンテナーのメモリー制限を設定します。制限を設定すると、コンテナー内のすべてのプロセスのメモリー使用量の合計が制限を超えた場合に、コンテナープロセスが即座に強制終了される効果があります。制限を設定することで、予期しない過剰なメモリー使用を早期に表面化 (フェイルファスト) させることができます。しかし、制限を設定すると、プロセスが突然終了してしまうという問題も生じます。

    OpenShift Container Platform のクラスターによっては、制限値を設定する必要がある場合があります。また、制限値に基づいてリクエストをオーバーライドする場合もあります。さらに、一部のアプリケーションイメージは、リクエスト値よりも検出が容易なため、制限値が設定されていることを前提としています。

    メモリー制限が設定される場合、これは予想されるピーク時のコンテナーのメモリー使用量と安全マージンのパーセンテージよりも低い値に設定することはできません。

  5. アプリケーションがチューニングされていることを確認します。

    必要に応じて、アプリケーションが設定された要求値と制限値に合わせてチューニングされていることを確認します。この手順は、JVM などのメモリーをプールするアプリケーションにおいてとくに当てはまります。残りの部分では、これについて説明します。

8.4.2. OpenShift Container Platform の OpenJDK 設定について

クラスター内で OpenJDK アプリケーションを効果的にデプロイする方法については、以下のコンセプトを参照してください。

デフォルトの OpenJDK 設定はコンテナー化された環境では機能しません。そのため、コンテナーで OpenJDK を実行する場合は常に追加の Java メモリー設定を指定する必要があります。

JVM のメモリーレイアウトは複雑で、バージョンに依存しており、この詳細はこのドキュメントでは説明しません。ただし、コンテナーで OpenJDK を実行する際のスタートにあたって少なくとも以下の 3 つのメモリー関連のタスクが主なタスクになります。

JVM 最大ヒープサイズをオーバーライドする

OpenJDK は、デフォルトで、使用可能なメモリーの最大 25% を heap メモリーに使用します。その際、コンテナーに設定されたメモリー制限も考慮されます。このデフォルト値は保守的な値であり、適切に設定されたコンテナー環境では、コンテナーに割り当てられたメモリーの 75% がほとんど使用されずに済むことになります。コンテナーレベルでメモリー制限が課されるコンテナーコンテキストでは、JVM がヒープメモリーに使用する割合を 80% などかなり高く設定する方が適しています。

ほとんどの Red Hat コンテナーには、JVM の起動時に値を更新して OpenJDK のデフォルト設定を置き換える起動スクリプトが含まれています。

たとえば、Red Hat build of OpenJDK コンテナーのデフォルト値は 80% です。この値は、JAVA_MAX_RAM_RATIO 環境変数を定義することで異なるパーセンテージに設定できます。

その他の OpenJDK デプロイメントの場合、次のコマンドを使用してデフォルト値の 25% を変更できます。

例:

$ java -XX:MaxRAMPercentage=80.0

JVM が未使用メモリーをオペレーティングシステムに解放するよう促す (適切な場合)。

デフォルトで、OpenJDK は未使用メモリーをオペレーティングシステムに積極的に返しません。この設定は、コンテナー化された多くの Java ワークロードに適していますが、注目すべき例外もあります。具体的には、ネイティブプロセス、追加の JVM、あるいはその両方の組み合わせなど、JVM 以外のプロセスが同じコンテナー内で共存するワークロードがその例外に該当します。

Java ベースのエージェントは、次の JVM 引数を使用して、JVM が未使用のメモリーをオペレーティングシステムに解放するように促すことができます。

-XX:+UseParallelGC
-XX:MinHeapFreeRatio=5 -XX:MaxHeapFreeRatio=10 -XX:GCTimeRatio=4
-XX:AdaptiveSizePolicyWeight=90

これらの引数は、割り当てられたメモリーが使用中のメモリー (-XX:MaxHeapFreeRatio) の 110% を超え、ガベージコレクター (-XX:GCTimeRatio) での CPU 時間の 20% を使用する場合は常にヒープメモリーをオペレーティングシステムに返すことが意図されています。アプリケーションのヒープ割り当てが初期のヒープ割り当て (-XX:InitialHeapSize / -Xms でオーバーライドされる) を下回ることはありません。詳細は、Tuning Java’s footprint in OpenShift (Part 1)、Tuning Java’s footprint in OpenShift (Part 2)、および OpenJDK and Containers を参照してください。

コンテナー内のすべての JVM プロセスが適切に設定されていることを確認する

複数の JVM が同じコンテナーで実行される場合、それらすべてが適切に設定されていることを確認する必要があります。多くのワークロードでは、それぞれの JVM に memory budget のパーセンテージを付与する必要があります。これにより大きな安全マージンが残される場合があります。

多くの Java ツールは JVM を設定するために各種の異なる環境変数 (JAVA_OPTS、GRADLE_OPTS など) を使用します。適切な設定が適切な JVM に渡されていることを確認するのが容易でない場合もあります。

JAVA_TOOL_OPTIONS 環境変数は OpenJDK によって常に考慮されます。JAVA_TOOL_OPTIONS で指定した値は、JVM コマンドラインで指定した他のオプションによってオーバーライドされます。デフォルトでは、Java ベースのエージェントイメージで実行されるすべての JVM ワークロードでこれらのオプションがデフォルトで使用されるように、OpenShift Container Platform Jenkins Maven エージェントイメージは次の変数を設定します。

JAVA_TOOL_OPTIONS="-Dsun.zip.disableMemoryMapping=true"

この設定は、追加オプションが要求されないことを保証する訳ではなく、有用な開始点になることを意図しています。コンテナーでの実行に向けて JVM ワークロードを最適に調整する方法はこのドキュメントでは扱いませんが、これには複数の JVM オプションを追加で設定することが必要になる場合があります。

8.4.3. Pod 内からメモリー要求および制限を検索する

Downward API を使用するようにコンテナーを設定することで、Pod 内からメモリー要求と制限を動的に検出できます。これにより、アプリケーションは API サーバーを使用することなく、これらのリソースをより適切に管理できるようになります。

手順

  • MEMORY_REQUEST と MEMORY_LIMIT スタンザを追加するように Pod を設定します。

    1. 以下のような YAML ファイルを作成します。

      apiVersion: v1
      kind: Pod
      metadata:
        name: test
      spec:
        securityContext:
          runAsNonRoot: false
          seccompProfile:
            type: RuntimeDefault
        containers:
        - name: test
          image: fedora:latest
          command:
          - sleep
          - "3600"
          env:
          - name: MEMORY_REQUEST
            valueFrom:
              resourceFieldRef:
                containerName: test
                resource: requests.memory
          - name: MEMORY_LIMIT
            valueFrom:
              resourceFieldRef:
                containerName: test
                resource: limits.memory
          resources:
            requests:
              memory: 384Mi
            limits:
              memory: 512Mi
          securityContext:
            allowPrivilegeEscalation: false
            capabilities:
              drop: [ALL]

      各項目の説明:

      spec.consinters.env.name.MEMORY_REQUEST
      このスタンザは、アプリケーションのメモリー要求値を検出します。
      spec.consinters.env.name.MEMORY_LIMIT
      このスタンザは、アプリケーションのメモリー制限値を検出します。
    2. 以下のコマンドを実行して Pod を作成します。

      $ oc create -f <file_name>.yaml

検証

  1. リモートシェルを使用して Pod にアクセスします。

    $ oc rsh test
  2. 要求された値が適用されていることを確認します。

    $ env | grep MEMORY | sort

    出力例

    MEMORY_LIMIT=536870912
    MEMORY_REQUEST=402653184

注記

メモリー制限値は、/sys/fs/cgroup/memory/memory.limit_in_bytes ファイルによってコンテナー内から読み取ることもできます。

8.4.4. OOM の強制終了ポリシーについて

OpenShift Container Platform は、コンテナーのすべてのプロセスのメモリー使用量の合計がメモリー制限を超えるか、ノードのメモリーを使い切られるなどの深刻な状態が生じる場合にコンテナーのプロセスを強制終了できます。

プロセスがメモリー不足 (OOM) で強制終了された場合、コンテナーは即座に終了する可能性があります。コンテナーの PID 1 プロセスが SIGKILL を受信すると、コンテナーは直ちに終了します。それ以外の場合、コンテナーの動作は他のプロセスの動作に依存します。

たとえば、コンテナーのプロセスは、SIGKILL シグナルを受信したことを示すコード 137 で終了します。

コンテナーがすぐに終了しない場合は、以下の手順を使用して、メモリー不足による強制終了が発生したかどうかを検出します。

手順

  1. リモートシェルを使用して Pod にアクセスします。

    # oc rsh <pod name>
  2. 以下のコマンドを実行して、/sys/fs/cgroup/memory/memory.oom_control で現在の OOM kill カウントを表示します。

    $ grep '^oom_kill ' /sys/fs/cgroup/memory/memory.oom_control

    出力例

    oom_kill 0

  3. 以下のコマンドを実行して、Out Of Memory (OOM) による強制終了を促します。

    $ sed -e '' </dev/zero

    出力例

    Killed

  4. 以下のコマンドを実行して、/sys/fs/cgroup/memory/memory.oom_control の OOM kill カウンターの増分を表示します。

    $ grep '^oom_kill ' /sys/fs/cgroup/memory/memory.oom_control

    出力例

    oom_kill 1

    Pod の 1 つ以上のプロセスが OOM で強制終了され、Pod がこれに続いて終了する場合 (即時であるかどうかは問わない)、フェーズは Failed、理由は OOMKilled になります。OOM で強制終了された Pod は restartPolicy の値によって再起動する場合があります。再起動されない場合は、レプリケーションコントローラーなどのコントローラーが Pod の失敗したステータスを認識し、古い Pod に置き換わる新規 Pod を作成します。

    Pod のステータスを取得するには、次のコマンドを使用します。

    $ oc get pod test

    出力例

    NAME      READY     STATUS      RESTARTS   AGE
    test      0/1       OOMKilled   0          1m

    • Pod が再起動されていない場合は、以下のコマンドを実行して Pod を表示します。

      $ oc get pod test -o yaml

      出力例

      apiVersion: v1
      kind: Pod
      metadata:
        name: test
      # ...
      status:
        containerStatuses:
        - name: test
          ready: false
          restartCount: 0
          state:
            terminated:
              exitCode: 137
              reason: OOMKilled
        phase: Failed

    • 再起動した場合は、以下のコマンドを実行して Pod を表示します。

      $ oc get pod test -o yaml

      出力例

      apiVersion: v1
      kind: Pod
      metadata:
        name: test
      # ...
      status:
        containerStatuses:
        - name: test
          ready: true
          restartCount: 1
          lastState:
            terminated:
              exitCode: 137
              reason: OOMKilled
          state:
            running:
        phase: Running

8.4.5. Pod エビクションについて

OpenShift Container Platform の Pod エビクションポリシーを理解するには、以下の概念を確認してください。

OpenShift Container Platform は、ノードのメモリーが枯渇した場合、そのノードから Pod をエビクトできます。メモリー消費の度合いによっては、エビクションが円滑に行われる場合もあれば、そうでない場合もある。グレースフルなエビクションとは、各コンテナーのメインプロセス (PID 1) が SIGTERM シグナルを受信し、それでもプロセスがまだ終了していない場合に、しばらくしてから SIGKILL シグナルを受信することを意味します。グレースフルではないエビクションとは、各コンテナーのメインプロセスが直ちに SIGKILL シグナルを受信することを意味します。

退避した Pod のフェーズは Failed になり、理由は Evicted になります。restartPolicy の値に関係なく、再起動されません。ただし、レプリケーションコントローラーなどのコントローラーは Pod の失敗したステータスを認識し、古い Pod に置き換わる新規 Pod を作成します。

$ oc get pod test

出力例

NAME      READY     STATUS    RESTARTS   AGE
test      0/1       Evicted   0          1m

$ oc get pod test -o yaml

出力例

apiVersion: v1
kind: Pod
metadata:
  name: test
...
status:
  message: 'Pod The node was low on resource: [MemoryPressure].'
  phase: Failed
  reason: Evicted

8.5. オーバーコミットされたノード上に Pod を配置するためのクラスターの設定

OpenShift Container Platform 管理者は、ClusterResourceOverride Operator を使用して、オーバーコミットのレベルを制御し、開発者コンテナーのコンテナー密度を管理できます。

注記

OpenShift Container Platform では、クラスターレベルのオーバーコミットを有効にする必要があります。ノードのオーバーコミットはデフォルトで有効にされています。

オーバーコミット とは、コンテナーの計算リソース要求と制限の合計が、そのシステムで利用できるリソースを超えた状態のことです。オーバーコミットの使用は、容量に対して保証されたパフォーマンスのトレードオフが許容可能である開発環境において必要になる場合があります。

コンテナーは、コンピュートリソース要求および制限を指定することができます。要求はコンテナーのスケジューリングに使用され、最小限のサービス保証を提供します。制限は、ノード上で消費できるコンピュートリソースの量を制限します。

スケジューラーは、クラスター内のすべてのノードにおけるコンピュートリソース使用の最適化を試行します。これは Pod のコンピュートリソース要求とノードの利用可能な容量を考慮に入れて Pod を特定のノードに配置します。

8.5.1. リソース要求とオーバーコミット

オーバーコミットメント環境では、リソース要求を利用することで、クラスターが適切に設定されていることを確認できます。

コンテナーは、各コンピューティングリソースに対して、リソース要求と制限を指定できます。スケジューリングの決定は要求に基づいて行われ、ノードに要求される値を満たす十分な容量があることが確認されます。コンテナーが制限を指定するものの、要求を省略する場合、要求はデフォルトで制限値に設定されます。コンテナーは、ノードの指定される制限を超えることはできません。

制限の実施方法は、コンピュートリソースのタイプによって異なります。コンテナーが要求または制限を指定しない場合、コンテナーはリソース保証のない状態でノードにスケジュールされます。実際に、コンテナーはローカルの最も低い優先順位で利用できる指定リソースを消費できます。リソースが不足する状態では、リソース要求を指定しないコンテナーに最低レベルの quality of service が設定されます。

スケジューリングは要求されたリソースに基づいて行われ、クォータとハードリミットはリソースの上限を指し、要求されたリソースよりも高く設定できます。要求値と制限値の差によって、オーバーコミットのレベルが決まります。たとえば、コンテナーに 1Gi のメモリー要求と 2Gi のメモリー制限が与えられた場合、コンテナーはノード上で 1Gi の要求が利用可能であることを前提としてスケジュールされますが、最大 2Gi まで使用できるため、100% オーバーコミットされます。

8.5.2. Cluster Resource Override Operator を使用したクラスターレベルのオーバーコミット

Cluster Resource Override Operator を使用すると、オーバーコミットのレベルを制御し、クラスター内のすべてのノードにおけるコンテナー密度を管理できます。Operator (アドミッション Webhook) は、特定のプロジェクト内のノードが定義されたメモリーおよび CPU 制限を超えることを制御します。

重要

Cluster Resource Override Operator は現在、OpenShift Container Platform 4.21 では利用できません。Operator は近い将来リリースされる予定です。

Operator は、開発者コンテナーに設定されている要求と制限の比率を変更します。制限とデフォルトを指定するプロジェクトごとの制限範囲と組み合わせることで、必要なレベルのオーバーコミットを実現できます。

次のセクションに示すように、OpenShift Container Platform コンソールまたは CLI を使用して、Cluster Resource Override Operator をインストールする必要があります。Cluster Resource Override Operator をデプロイすると、この Operator が特定の namespace 内のすべての新しい Pod を変更します。この Operator は、Operator をデプロイする前に存在していた Pod は編集しません。

インストール時に、以下の例のように、オーバーコミットのレベルを設定する ClusterResourceOverride カスタムリソース (CR) を作成します。

apiVersion: operator.autoscaling.openshift.io/v1
kind: ClusterResourceOverride
metadata:
    name: cluster
spec:
  podResourceOverride:
    spec:
      memoryRequestToLimitPercent: 50
      cpuRequestToLimitPercent: 25
      limitCPUToMemoryPercent: 200
# ...

各項目の説明:

metadata.name
オブジェクトの名前を指定します。名前は cluster でなければなりません。
spec.podResourceOverride.spec.memoryRequestToLimitPercent
コンテナーのメモリー制限が指定されているか、デフォルトに設定されている場合、メモリー要求は制限のパーセンテージ (1-100) に対してオーバーライドされます。デフォルトは 50 です。
spec.podResourceOverride.spec.cpuRequestToLimitPercent
コンテナーの CPU 制限が指定されているか、デフォルトに設定されている場合、CPU 要求は、1-100 までの制限のパーセンテージに対応してオーバーライドされます。デフォルトは 25 です。
spec.podResourceOverride.spec.limitCPUToMemoryPercent
コンテナーのメモリー制限が指定されているか、デフォルトに設定されている場合、CPU 制限は、指定されている場合にメモリーのパーセンテージに対してオーバーライドされます。1Gi の RAM の 100 パーセントでのスケーリングは、1 CPU コアに等しくなります。これは CPU 要求をオーバーライドする前に処理されます (設定した場合)。デフォルトは 200 です。
注記

コンテナーに制限が設定されていない場合、Cluster Resource Override Operator のオーバーライドは効果がありません。個別プロジェクトごとのデフォルト制限を使用して LimitRange オブジェクトを作成するか、Pod 仕様で制限を設定し、オーバーライドが適用されるようにします。

設定したら、オーバーライドを適用する各プロジェクトの Namespace オブジェクトに次のラベルを適用することで、プロジェクトごとにオーバーライドを有効にできます。たとえば、インフラストラクチャーコンポーネントがオーバーライドの対象にならないようにオーバーライドを設定できます。

apiVersion: v1
kind: Namespace
metadata:

# ...

  labels:
    clusterresourceoverrides.admission.autoscaling.openshift.io/enabled: "true"

# ...

Operator は ClusterResourceOverride CR の有無を監視し、ClusterResourceOverride 受付 Webhook が Operator と同じ namespace にインストールされるようにします。

たとえば、Pod に次のリソース制限があるとします。

apiVersion: v1
kind: Pod
metadata:
  name: my-pod
  namespace: my-namespace
# ...
spec:
  containers:
    - name: hello-openshift
      image: openshift/hello-openshift
      resources:
        limits:
          memory: "512Mi"
          cpu: "2000m"
# ...

Cluster Resource Override Operator は、元の Pod 要求をインターセプトし、ClusterResourceOverride オブジェクトに設定された設定に従ってリソースをオーバーライドします。

apiVersion: v1
kind: Pod
metadata:
  name: my-pod
  namespace: my-namespace
# ...
spec:
  containers:
  - image: openshift/hello-openshift
    name: hello-openshift
    resources:
      limits:
        cpu: "1"
        memory: 512Mi
      requests:
        cpu: 250m
        memory: 256Mi
# ...

各項目の説明:

spec.containers.resources.limits.cpu
ClusterResourceOverride オブジェクトで limitCPUToMemoryPercent パラメーターが 200 に設定されているため、CPU 制限が 1 にオーバーライドされたことを指定します。メモリー制限の 200% は 512 Mi であり、CPU で言えば 1 CPU コアです。
spec.containers.resources.memory.cpu
ClusterResourceOverride オブジェクトで cpuRequestToLimit が 25 に設定されているため、CPU 要求は 250m になったことを指定します。1 CPU コアの 25% は 250m です。

8.5.2.1. Web コンソールを使用した Cluster Resource Override Operator のインストール

OpenShift Container Platform の Web コンソールを使用して Cluster Resource Override Operator をインストールすることで、クラスター内のオーバーコミットを制御できます。

デフォルトでは、インストールプロセスによって、clusterresourceoverride-operator namespace のワーカーノードに Cluster Resource Override Operator Pod が作成されます。必要に応じて、この Pod をインフラストラクチャーノードなどの別のノードに移動できます。インフラストラクチャーノードは、環境の実行に必要なサブスクリプションの合計数にカウントされません。詳細は、「Cluster Resource Override Operator Pod の移動」を参照してください。

前提条件

  • 制限がコンテナーに設定されていない場合、Cluster Resource Override Operator は影響を与えません。LimitRange オブジェクトを使用してプロジェクトのデフォルト制限を指定するか、Pod 仕様で制限を設定してオーバーライドが適用されるようにする必要があります。

手順

  1. OpenShift Container Platform Web コンソールで、Home Projects に移動します。

    1. Create Project をクリックします。
    2. clusterresourceoverride-operator をプロジェクトの名前として指定します。
    3. Create をクリックします。
  2. Ecosystem Software Catalog に移動します。

    1. 利用可能な Operator のリストから ClusterResourceOverride Operator を選択し、Install をクリックします。
    2. Install Operator ページで、A specific Namespace on the cluster が Installation Mode に選択されていることを確認します。
    3. clusterresourceoverride-operator が Installed Namespace に選択されていることを確認します。
    4. Update Channel および Approval Strategy を選択します。
    5. Install をクリックします。
  3. Installed Operators ページで、ClusterResourceOverride をクリックします。

    1. ClusterResourceOverride Operator 詳細ページで、Create ClusterResourceOverride をクリックします。
    2. Create ClusterResourceOverride ページで、YAML view をクリックして、YAML テンプレートを編集し、必要に応じてオーバーコミット値を設定します。

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
        name: cluster
      spec:
        podResourceOverride:
          spec:
            memoryRequestToLimitPercent: 50
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200

      各項目の説明:

      metadata.name
      CR の名前を指定します。名前は cluster でなければなりません。
      spec.podResourceOverride.spec.memoryRequestToLimitPercent
      コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 50 です。このパラメーターは任意です。
      spec.podResourceOverride.spec.cpuRequestToLimitPercent
      コンテナー CPU の制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 25 です。このパラメーターは任意です。
      spec.podResourceOverride.spec.limitCPUToMemoryPercent
      コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを指定します。1 Gi の RAM を 100 パーセントでスケーリングすることは、1 CPU コアに相当します。これは CPU 要求をオーバーライドする前に処理されます (設定した場合)。デフォルトは 200 です。このパラメーターは任意です。
    3. Create をクリックします。
  4. クラスターカスタムリソースのステータスをチェックして、受付 Webhook の現在の状態を確認します。

    1. ClusterResourceOverride Operator ページで、cluster をクリックします。
    2. ClusterResourceOverride Details ページで、YAML をクリックします。mutatingWebhookConfigurationRef セクションは、Webhook が呼び出されたときに表示されます。

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
        annotations:
          kubectl.kubernetes.io/last-applied-configuration: |
            {"apiVersion":"operator.autoscaling.openshift.io/v1","kind":"ClusterResourceOverride","metadata":{"annotations":{},"name":"cluster"},"spec":{"podResourceOverride":{"spec":{"cpuRequestToLimitPercent":25,"limitCPUToMemoryPercent":200,"memoryRequestToLimitPercent":50}}}}
        creationTimestamp: "2019-12-18T22:35:02Z"
        generation: 1
        name: cluster
        resourceVersion: "127622"
        selfLink: /apis/operator.autoscaling.openshift.io/v1/clusterresourceoverrides/cluster
        uid: 978fc959-1717-4bd1-97d0-ae00ee111e8d
      spec:
        podResourceOverride:
          spec:
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200
            memoryRequestToLimitPercent: 50
      status:
      
      # ...
      
          mutatingWebhookConfigurationRef:
            apiVersion: admissionregistration.k8s.io/v1
            kind: MutatingWebhookConfiguration
            name: clusterresourceoverrides.admission.autoscaling.openshift.io
            resourceVersion: "127621"
            uid: 98b3b8ae-d5ce-462b-8ab5-a729ea8f38f3
      
      # ...

      各項目の説明:

      status.mutatingWebhookConfigurationRef
      ClusterResourceOverride のアドミッション Webhook を指定します。

8.5.2.2. CLI を使用した Cluster Resource Override Operator のインストール

OpenShift CLI を使用して Cluster Resource Override Operator をインストールすることで、クラスター内のオーバーコミットを制御できます。

デフォルトでは、インストールプロセスによって、clusterresourceoverride-operator namespace のワーカーノードに Cluster Resource Override Operator Pod が作成されます。必要に応じて、この Pod をインフラストラクチャーノードなどの別のノードに移動できます。インフラストラクチャーノードは、環境の実行に必要なサブスクリプションの合計数にカウントされません。詳細は、「Cluster Resource Override Operator Pod の移動」を参照してください。

前提条件

  • 制限がコンテナーに設定されていない場合、Cluster Resource Override Operator は影響を与えません。LimitRange オブジェクトを使用してプロジェクトのデフォルト制限を指定するか、Pod 仕様で制限を設定してオーバーライドが適用されるようにする必要があります。

手順

  1. Cluster Resource Override の namespace を作成します。

    1. Cluster Resource Override Operator の Namespace オブジェクト YAML ファイル (cro-namespace.yaml など) を作成します。

      apiVersion: v1
      kind: Namespace
      metadata:
        name: clusterresourceoverride-operator
    2. namespace を作成します。

      $ oc create -f <file-name>.yaml

      以下に例を示します。

      $ oc create -f cro-namespace.yaml
  2. Operator グループを作成します。

    1. Cluster Resource Override Operator の OperatorGroup オブジェクトの YAML ファイル (cro-og.yaml など) を作成します。

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: clusterresourceoverride-operator
        namespace: clusterresourceoverride-operator
      spec:
        targetNamespaces:
          - clusterresourceoverride-operator
    2. Operator グループを作成します。

      $ oc create -f <file-name>.yaml

      以下に例を示します。

      $ oc create -f cro-og.yaml
  3. サブスクリプションを作成します。

    1. Cluster Resource Override Operator の Subscription オブジェクト YAML ファイル (cro-sub.yaml など) を作成します。

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: clusterresourceoverride
        namespace: clusterresourceoverride-operator
      spec:
        channel: "stable"
        name: clusterresourceoverride
        source: redhat-operators
        sourceNamespace: openshift-marketplace
    2. サブスクリプションを作成します。

      $ oc create -f <file-name>.yaml

      以下に例を示します。

      $ oc create -f cro-sub.yaml
  4. ClusterResourceOverride カスタムリソース (CR) オブジェクトを clusterresourceoverride-operator namespace に作成します。

    1. clusterresourceoverride-operator namespace に切り替えます。

      $ oc project clusterresourceoverride-operator
    2. Cluster Resource Override Operator の ClusterResourceOverride オブジェクト YAML ファイル (cro-cr.yaml など) を作成します。

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
          name: cluster
      spec:
        podResourceOverride:
          spec:
            memoryRequestToLimitPercent: 50
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200

      各項目の説明:

      metadata.name
      CR の名前を指定します。名前は cluster でなければなりません。
      spec.podResourceOverride.spec.memoryRequestToLimitPercent
      コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 50 です。このパラメーターは任意です。
      spec.podResourceOverride.spec.cpuRequestToLimitPercent
      コンテナー CPU の制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 25 です。このパラメーターは任意です。
      spec.podResourceOverride.spec.limitCPUToMemoryPercent
      コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを指定します。1 Gi の RAM を 100 パーセントでスケーリングすることは、1 CPU コアに相当します。これは CPU 要求をオーバーライドする前に処理されます (設定した場合)。デフォルトは 200 です。このパラメーターは任意です。
    3. ClusterResourceOverride オブジェクトを作成します。

      $ oc create -f <file-name>.yaml

      以下に例を示します。

      $ oc create -f cro-cr.yaml
  5. クラスターカスタムリソースのステータスをチェックして、受付 Webhook の現在の状態を確認します。

    $ oc get clusterresourceoverride cluster -n clusterresourceoverride-operator -o yaml

    mutatingWebhookConfigurationRef セクションは、Webhook が呼び出されたときに表示されます。

    出力例

    apiVersion: operator.autoscaling.openshift.io/v1
    kind: ClusterResourceOverride
    metadata:
      annotations:
        kubectl.kubernetes.io/last-applied-configuration: |
          {"apiVersion":"operator.autoscaling.openshift.io/v1","kind":"ClusterResourceOverride","metadata":{"annotations":{},"name":"cluster"},"spec":{"podResourceOverride":{"spec":{"cpuRequestToLimitPercent":25,"limitCPUToMemoryPercent":200,"memoryRequestToLimitPercent":50}}}}
      creationTimestamp: "2019-12-18T22:35:02Z"
      generation: 1
      name: cluster
      resourceVersion: "127622"
      selfLink: /apis/operator.autoscaling.openshift.io/v1/clusterresourceoverrides/cluster
      uid: 978fc959-1717-4bd1-97d0-ae00ee111e8d
    spec:
      podResourceOverride:
        spec:
          cpuRequestToLimitPercent: 25
          limitCPUToMemoryPercent: 200
          memoryRequestToLimitPercent: 50
    status:
    
    # ...
    
        mutatingWebhookConfigurationRef:
          apiVersion: admissionregistration.k8s.io/v1
          kind: MutatingWebhookConfiguration
          name: clusterresourceoverrides.admission.autoscaling.openshift.io
          resourceVersion: "127621"
          uid: 98b3b8ae-d5ce-462b-8ab5-a729ea8f38f3
    
    # ...

    各項目の説明:

    status.mutatingWebhookConfigurationRef
    ClusterResourceOverride のアドミッション Webhook を指定します。

8.5.2.3. クラスターレベルのオーバーコミットの設定

OpenShift CLI を使用して Cluster Resource Override Operator を設定することで、クラスター内のオーバーコミットを制御できます。

Cluster Resource Override Operator には、Operator がオーバーコミットを制御する必要のある各プロジェクトの ClusterResourceOverride カスタムリソース (CR) およびラベルが必要です。

デフォルトでは、インストールプロセスによって、clusterresourceoverride-operator namespace のコントロールプレーンノードに 2 つの Cluster Resource Override Pod が作成されます。必要に応じて、これらの Pod をインフラストラクチャーノードなどの他のノードに移動できます。インフラストラクチャーノードは、環境の実行に必要なサブスクリプションの合計数にカウントされません。詳細は、「Cluster Resource Override Operator Pod の移動」を参照してください。

前提条件

  • 制限がコンテナーに設定されていない場合、Cluster Resource Override Operator は影響を与えません。LimitRange オブジェクトを使用してプロジェクトのデフォルト制限を指定するか、Pod 仕様で制限を設定してオーバーライドが適用されるようにする必要があります。

手順

  1. ClusterResourceOverride CR を編集します。

    apiVersion: operator.autoscaling.openshift.io/v1
    kind: ClusterResourceOverride
    metadata:
        name: cluster
    spec:
      podResourceOverride:
        spec:
          memoryRequestToLimitPercent: 50
          cpuRequestToLimitPercent: 25
          limitCPUToMemoryPercent: 200
    # ...

    各項目の説明:

    spec.podResourceOverride.spec.memoryRequestToLimitPercent
    コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 50 です。このパラメーターは任意です。
    spec.podResourceOverride.spec.cpuRequestToLimitPercent
    コンテナー CPU の制限をオーバーライドするためのパーセンテージが使用される場合は、これを 1-100 までの値で指定します。デフォルトは 25 です。このパラメーターは任意です。
    spec.podResourceOverride.spec.limitCPUToMemoryPercent
    コンテナーメモリーの制限をオーバーライドするためのパーセンテージが使用される場合は、これを指定します。1Gi の RAM の 100 パーセントでのスケーリングは、1 CPU コアに等しくなります。これは CPU 要求をオーバーライドする前に処理されます (設定した場合)。デフォルトは 200 です。このパラメーターは任意です。
  2. 以下のラベルが Cluster Resource Override Operator がオーバーコミットを制御する必要のある各プロジェクトの namespace オブジェクトに追加されていることを確認します。

    apiVersion: v1
    kind: Namespace
    metadata:
    
    # ...
    
      labels:
        clusterresourceoverrides.admission.autoscaling.openshift.io/enabled: "true"
    
    # ...

    各項目の説明:

    metadata.labels.clusterresourceoverrides.admission.autoscaling.openshift.io/enabled: "true"
    このプロジェクトで Cluster Resource Override Operator を使用することを指定します。

8.5.2.4. Cluster Resource Override Operator Pod の移動

デフォルトでは、Cluster Resource Override Operator のインストールプロセスにより、clusterresourceoverride-operator namespace のノードに Operator Pod と 2 つの Cluster Resource Override Pod が作成されます。必要に応じて、これらの Pod をインフラストラクチャーノードなどの他のノードに移動できます。

インフラストラクチャーノードを作成して使用し、デフォルトルーター、統合コンテナーイメージレジストリー、クラスターメトリクスとモニタリングのコンポーネントなどのインフラストラクチャーコンポーネントのみをホストできます。これらのインフラストラクチャーノードは、環境の実行に必要なサブスクリプションの合計数にカウントされません。インフラストラクチャーノードの詳細は、「インフラストラクチャーマシンセットの作成」を参照してください。

以下の例は、クラスターリソースオーバーライド Pod がコントロールプレーンノードにデプロイされることを示しています。

NAME                                                READY   STATUS    RESTARTS   AGE   IP            NODE                                        NOMINATED NODE   READINESS GATES
clusterresourceoverride-786b8c898c-9wrdq            1/1     Running   0          23s   10.128.2.32   ip-10-0-14-183.us-west-2.compute.internal   <none>           <none>
clusterresourceoverride-786b8c898c-vn2lf            1/1     Running   0          26s   10.130.2.10   ip-10-0-20-140.us-west-2.compute.internal   <none>           <none>
clusterresourceoverride-operator-6b8b8b656b-lvr62   1/1     Running   0          56m   10.131.0.33   ip-10-0-2-39.us-west-2.compute.internal     <none>           <none>

以下の例は、Cluster Resource Override OperatorPod がワーカーノードにデプロイされる様子を示しています。

NAME                                        STATUS   ROLES                  AGE   VERSION
ip-10-0-14-183.us-west-2.compute.internal   Ready    control-plane,master   65m   v1.34.2
ip-10-0-2-39.us-west-2.compute.internal     Ready    worker                 58m   v1.34.2
ip-10-0-20-140.us-west-2.compute.internal   Ready    control-plane,master   65m   v1.34.2
ip-10-0-23-244.us-west-2.compute.internal   Ready    infra                  55m   v1.34.2
ip-10-0-77-153.us-west-2.compute.internal   Ready    control-plane,master   65m   v1.34.2
ip-10-0-99-108.us-west-2.compute.internal   Ready    worker                 24m   v1.34.2
ip-10-0-24-233.us-west-2.compute.internal   Ready    infra                  55m   v1.34.2
ip-10-0-88-109.us-west-2.compute.internal   Ready    worker                 24m   v1.34.2
ip-10-0-67-453.us-west-2.compute.internal   Ready    infra                  55m   v1.34.2

手順

  1. Cluster Resource Override Operator の Subscription カスタムリソース (CR) にノードセレクターを追加して、Cluster Resource Override Operator Pod を移動します。

    1. CR を編集します。

      $ oc edit -n clusterresourceoverride-operator subscriptions.operators.coreos.com clusterresourceoverride
    2. Cluster Resource Override Operator Pod をインストールするノードのノードロールラベルと一致するノードセレクターを追加します。

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: clusterresourceoverride
        namespace: clusterresourceoverride-operator
      # ...
      spec:
        config:
          nodeSelector:
            node-role.kubernetes.io/infra: ""

      各項目の説明:

      spec.config.nodeSelector
      Cluster Resource Override Operator Pod をデプロイするノードのロールを指定します。
    注記

    infra ノードが taint を使用する場合は、toleration を Subscription CR に追加する必要があります。以下に例を示します。

    apiVersion: operators.coreos.com/v1alpha1
    kind: Subscription
    metadata:
      name: clusterresourceoverride
      namespace: clusterresourceoverride-operator
    # ...
    spec:
      config:
        nodeSelector:
          node-role.kubernetes.io/infra: ""
        tolerations:
        - key: "node-role.kubernetes.io/infra"
          operator: "Exists"
          effect: "NoSchedule"

    各項目の説明:

    spec.config.tolerations
    infra ノードの taint の toleration を指定します。
  2. ClusterResourceOverride カスタムリソース (CR) にノードセレクターを追加して、Cluster Resource Override Pod を移動します。

    1. CR を編集します。

      $ oc edit ClusterResourceOverride cluster -n clusterresourceoverride-operator
    2. infra ノードのノードロールラベルに一致するノードセレクターを追加します。

      apiVersion: operator.autoscaling.openshift.io/v1
      kind: ClusterResourceOverride
      metadata:
        name: cluster
        resourceVersion: "37952"
      spec:
        podResourceOverride:
          spec:
            cpuRequestToLimitPercent: 25
            limitCPUToMemoryPercent: 200
            memoryRequestToLimitPercent: 50
        deploymentOverrides:
          replicas: 1
          nodeSelector:
            node-role.kubernetes.io/infra: ""
      # ...

      各項目の説明:

      spec.deploymentOverrides.replicas
      デプロイする Cluster Resource Override Pod の数を指定します。デフォルトは 2 です。ノードごとに 1 つの Pod のみが許可されます。このパラメーターは任意です。
      spec.deploymentOverrides.nodeSelector
      Cluster Resource Override Pod をデプロイするノードのロールを指定します。このパラメーターは任意です。
    注記

    インフラノードが taint を使用する場合は、ClusterResourceOverride CR に toleration を追加する必要があります。以下に例を示します。

    apiVersion: operator.autoscaling.openshift.io/v1
    kind: ClusterResourceOverride
    metadata:
      name: cluster
    # ...
    spec:
      podResourceOverride:
        spec:
          memoryRequestToLimitPercent: 50
          cpuRequestToLimitPercent: 25
          limitCPUToMemoryPercent: 200
      deploymentOverrides:
        replicas: 3
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        tolerations:
        - key: "key"
          operator: "Equal"
          value: "value"
          effect: "NoSchedule"

    各項目の説明:

    spec.deploymentOverrides.tolerations
    infra ノードの taint の toleration を指定します。

検証

  • 次のコマンドを使用して、Pod が移動したことを確認できます。

    $ oc get pods -n clusterresourceoverride-operator -o wide

    クラスターリソースオーバーライド Pod がインフラノードにデプロイされました。

    出力例

    NAME                                                READY   STATUS    RESTARTS   AGE   IP            NODE                                        NOMINATED NODE   READINESS GATES
    clusterresourceoverride-786b8c898c-9wrdq            1/1     Running   0          23s   10.127.2.25   ip-10-0-23-244.us-west-2.compute.internal   <none>           <none>
    clusterresourceoverride-786b8c898c-vn2lf            1/1     Running   0          26s   10.128.0.80   ip-10-0-24-233.us-west-2.compute.internal   <none>           <none>
    clusterresourceoverride-operator-6b8b8b656b-lvr62   1/1     Running   0          56m   10.129.0.71   ip-10-0-67-453.us-west-2.compute.internal   <none>           <none>

8.5.3. ノードレベルのオーバーコミット

quality of service (QoS) 保証、CPU 制限、またはリソースの予約など、特定ノードでオーバーコミットを制御するさまざまな方法を使用できます。特定のノードおよび特定のプロジェクトのオーバーコミットを無効にすることもできます。

8.5.3.1. コンテナーの CPU とメモリー要求を理解する

コンテナーの CPU とメモリー要求に関する以下の情報を確認し、クラスターが適切に設定されていることを確認します。

コンテナーには要求する CPU の量が保証され、さらにコンテナーで指定される任意の制限までノードで利用可能な CPU を消費できます。複数のコンテナーが追加の CPU の使用を試行する場合、CPU 時間が各コンテナーで要求される CPU の量に基づいて分配されます。

たとえば、あるコンテナーが 500m の CPU 時間を要求し、別のコンテナーが 250m の CPU 時間を要求した場合、ノード上で利用可能な余剰 CPU 時間は、2:1 の比率でコンテナー間で分配されます。コンテナーが制限を指定している場合、指定した制限を超えて CPU を使用しないようにスロットリングされます。CPU 要求は、Linux カーネルの CFS 共有サポートを使用して適用されます。デフォルトで、CPU 制限は、Linux カーネルの CFS クォータサポートを使用して 100ms の測定間隔で適用されます。ただし、これは無効にすることができます。

コンテナーには要求するメモリー量が保証されます。コンテナーは要求したよりも多くのメモリーを使用できますが、いったん要求した量を超えた場合には、ノードのメモリーが不足している状態では強制終了される可能性があります。コンテナーが要求した量よりも少ないメモリーを使用する場合、システムタスクやデーモンがノードのリソース予約で確保されている分よりも多くのメモリーを必要としない限りそれが強制終了されることはありません。コンテナーがメモリーの制限を指定する場合、その制限量を超えると即時に強制終了されます。

8.5.3.2. オーバーコミットメントと quality of service クラスについて

オーバーコミット環境では、Quality of Service (QoS) クラスを使用することで、クラスターが適切に設定されていることを確認できます。

ノードは、要求を指定しない Pod がスケジュールされている場合やノードのすべての Pod での制限の合計が利用可能なマシンの容量を超える場合に オーバーコミット されます。

オーバーコミットメント環境では、ノード上の Pod が、特定の時点で利用可能なコンピューティングリソースよりも多くのリソースを使用しようとする可能性があります。これが生じると、ノードはそれぞれの Pod に優先順位を指定する必要があります。この決定を行うために使用される機能は、Quality of Service (QoS) クラスと呼ばれます。

Pod は、優先度の高い順に 3 つの QoS クラスの 1 つとして指定されます。

表8.17 Quality of Service クラス
優先順位クラス名説明

1 (最高)

Guaranteed

制限およびオプションの要求がすべてのリソースに設定されている場合 (0 と等しくない) でそれらの値が等しい場合、Pod は Guaranteed として分類されます。

2

Burstable

制限およびオプションの要求がすべてのリソースに設定されている場合 (0 と等しくない) でそれらの値が等しくない場合、Pod は Burstable として分類されます。

3 (最低)

BestEffort

要求および制限がリソースのいずれにも設定されない場合、Pod は BestEffort として分類されます。

メモリーは圧縮できないリソースであるため、メモリー不足の状態では、最も優先順位の低いコンテナーが最初に強制終了されます。

  • Guaranteed コンテナーは優先順位が最も高いコンテナーとして見なされ、保証されます。強制終了されるのは、これらのコンテナーで制限を超えるか、システムがメモリー不足の状態にあるものの、退避できる優先順位の低いコンテナーが他にない場合のみです。
  • システムメモリー負荷が高い状況下では、Burstable なコンテナーは、要求容量を超過し、かつ他に BestEffort コンテナーが存在しない場合、終了される可能性が高くなります。
  • BestEffort コンテナーは優先順位の最も低いコンテナーとして処理されます。これらのコンテナーのプロセスは、システムがメモリー不足になると最初に強制終了されます。
8.5.3.2.1. Quality of Service (QoS) 層でのメモリーの予約方法について

qos-reserved パラメーターを使用して、特定の QoS レベルの Pod で予約されるメモリーのパーセンテージを指定することができます。この機能は、要求されたリソースを予約することで、QoS クラスの低い Pod が QoS クラスの高い Pod によって要求されたリソースを使用できないようにすることを目的としています。

OpenShift Container Platform は、以下のように qos-reserved パラメーターを使用します。

  • qos-reserved=memory=100% という値を設定すると、Burstable および BestEffort QoS クラスが、より上位の QoS クラスによって要求されたメモリーを消費することを防止します。これにより、Guaranteed および Burstable ワークロードのメモリーリソースの保証レベルを上げることが優先され、BestEffort および Burstable ワークロードでの OOM が発生するリスクが高まります。
  • qos-reserved=memory=50% という値を設定すると、Burstable および BestEffort QoS クラスは、上位の QoS クラスが要求するメモリーの半分を消費できるようになります。
  • qos-reserved=memory=0% の値を設定すると、Burstable および BestEffort QoS クラスは、利用可能な場合はノードに割り当て可能な最大量までメモリーを消費できますが、Guaranteed ワークロードが要求されたメモリーにアクセスできないリスクが高まります。この状況により、この機能は無効にされています。

8.5.3.3. swap メモリーと QoS について

以下の情報を確認して、オーバーコミット環境におけるスワップメモリーと QoS の相互作用を理解し、クラスターが適切に設定されていることを確認します。

Quality of Service (QoS) 保証を維持するため、swap はノード上でデフォルトで無効にすることができます。そうしない場合、ノードの物理リソースがオーバーサブスクライブし、Pod の配置時の Kubernetes スケジューラーによるリソース保証が影響を受ける可能性があります。

たとえば、2 つの Guaranteed Pod がメモリー制限に達した場合、それぞれのコンテナーが swap メモリーを使用し始める可能性があります。十分な swap 領域がない場合には、pod のプロセスはシステムのオーバーサブスクライブのために終了する可能性があります。

スワップを無効にしないと、ノードは MemoryPressure が発生していることを認識できず、結果として Pod はスケジューリング要求で指定したメモリーを受け取ることができません。結果として、追加の Pod がノードに配置され、メモリー不足の状態が加速し、最終的にはシステムの Out Of Memory (OOM) イベントが発生するリスクが高まります。

重要

swap が有効にされている場合、利用可能なメモリーに関するリソース不足の処理 (out-of-resource handling) のエビクションしきい値は予期どおりに機能しなくなります。リソース不足処理により、メモリー不足に陥ったノードから Pod がエビクトされ、メモリー不足のない別のノードに再スケジュールされます。

8.5.3.4. ノードのオーバーコミットについて

OpenShift Container Platform において、オーバーコミットメント環境で最適なシステムパフォーマンスと安定性を維持するには、リソース競合を効果的に管理するようにノードを設定します。

ノードが起動すると、メモリー管理用のカーネルの調整可能なフラグが適切に設定されます。カーネルは、物理メモリーが不足しない限り、メモリーの割り当てに失敗するこはありません。

この動作を確認するため、OpenShift Container Platform は、vm.overcommit_memory パラメーターを 1 に設定し、デフォルトのオペレーティングシステムの設定をオーバーライドすることで、常にメモリーをオーバーコミットするようにカーネルを設定します。

OpenShift Container Platform では、vm.panic_on_oom パラメーターを 0 に設定することで、メモリー不足時にカーネルがパニックを起こさないように設定されています。0 に設定すると、カーネルはメモリー不足 (OOM) 状態になったときに OOM キラーを呼び出し、優先度に基づいてプロセスを強制終了します。

現在の設定は、ノードに以下のコマンドを実行して表示できます。

$ sysctl -a |grep commit

出力例

#...
vm.overcommit_memory = 0
#...

$ sysctl -a |grep panic

出力例

#...
vm.panic_on_oom = 0
#...

注記

前述のコマンドはすでにノードに設定されているはずなので、それ以上の操作は必要ありません。

各ノードに対して以下の設定を実行することもできます。

  • CPU CFS クォータを使用した CPU 制限の無効化または実行
  • システムプロセスのリソース予約
  • Quality of Service (QoS) 層でのメモリー予約

8.5.3.5. CPU CFS クォータを使用した CPU 制限の無効化または実行

マシン設定プール内のノードに対して、CPU 制限のデフォルト適用を無効化できます。

デフォルトでは、ノードは Linux カーネルの Completely Fair Scheduler (CFS) クォータサポートを使用して、指定された CPU 制限を適用します。

CPU 制限の適用を無効にする場合、それがノードに与える影響を理解しておくことが重要になります。

  • コンテナーに CPU 要求がある場合、これは Linux カーネルの CFS 共有によって引き続き適用されます。
  • コンテナーに CPU 要求がなく、CPU 制限がある場合は、CPU 要求はデフォルトで指定される CPU 制限に設定され、Linux カーネルの CFS 共有によって適用されます。
  • コンテナーに CPU 要求と制限の両方がある場合、CPU 要求は Linux カーネルの CFS 共有によって適用され、CPU 制限はノードに影響を与えません。

前提条件

  • 設定するノードタイプの静的な MachineConfigPool CRD に関連付けられたラベルを取得している。

手順

  1. 設定変更のためのカスタムリソース (CR) を作成します。

    CPU 制限を無効化する設定例

    apiVersion: machineconfiguration.openshift.io/v1
    kind: KubeletConfig
    metadata:
      name: disable-cpu-units
    spec:
      machineConfigPoolSelector:
        matchLabels:
          pools.operator.machineconfiguration.openshift.io/worker: ""
      kubeletConfig:
        cpuCfsQuota: false

    各項目の説明:

    metadata.name
    CR の名前を指定します。
    spec.machineConfigPoolSelector.matchLabels
    マシン設定プールからラベルを指定します。
    spec.kubeletConfig.cpuCfsQuota
    cpuCfsQuota パラメーターを false に指定します。
  2. 以下のコマンドを実行して CR を作成します。

    $ oc create -f <file_name>.yaml

8.5.3.6. システムリソースのリソース予約

スケジューリングに使用可能なリソースを指定することでノードリソースを割り当て、Pod 以外のプロセス用にリソースを明示的に予約できます。

スケジューリングの信頼性を向上させ、ノードリソースのオーバーコミットを最小限に抑えるために、各ノードではリソースの一部を予約できます。予約されたリソースは、クラスターを機能させるために各ノードで実行が必要なシステムデーモンによって使用されます。

注記

メモリーなどの圧縮できないリソース用にリソースを予約することを推奨します。

詳細については、ノードのリソースの割り当てを参照してください。

8.5.3.7. ノードのオーバーコミットの無効化

ノードでオーバーコミットメントが有効化されている場合、そのノードでオーバーコミットメントを無効化できます。オーバーコミットメントの無効化は、クラスターの予測可能性、安定性、および高いパフォーマンスを確保するのに役立ちます。

手順

  • ノード上で以下のコマンドを実行すると、そのノードでのオーバーコミットメントが無効化されます。

    $ sysctl -w vm.overcommit_memory=0

8.5.4. プロジェクトレベルの制限

オーバーコミットを制御するには、プロジェクトごとのリソース制限の範囲を設定し、オーバーコミットが超過できないプロジェクトのメモリーおよび CPU 制限およびデフォルト値を指定できます。

プロジェクトレベルのリソース制限に関する情報は、関連情報 セクションを参照してください。

または、特定のプロジェクトのオーバーコミットを無効にすることもできます。

8.5.4.1. プロジェクトのオーバーコミットメントを無効にする

オーバーコミットがプロジェクトで有効にされている場合、そのプロジェクトのオーバーコミットメントを無効にすることができます。これにより、インフラストラクチャーコンポーネントをオーバーコミットメントとは独立して設定することが可能になります。

手順

  1. namespace オブジェクトファイルを作成または編集します。
  2. 以下のアノテーションを追加します。

    apiVersion: v1
    kind: Namespace
    metadata:
      annotations:
        quota.openshift.io/cluster-resource-override-enabled: "false"
    # ...

    各項目の説明:

    metadata.annotations.quota.openshift.io/cluster-resource-override-enabled.false
    この namespace ではオーバーコミットが無効になっていることを指定します。

8.6. フィーチャーゲートを使用した機能の有効化

管理者は、フィーチャーゲートを使用してデフォルトの機能セットに含まれていない機能を有効にし、これらのデフォルト以外の機能をクラスターで使用できるようになります。

8.6.1. フィーチャーゲートについて

FeatureGate カスタムリソース (CR) を使用すると、特定の機能セットを有効にして、クラスター内でデフォルト以外の特定の機能を使用できるようになります。

機能セットは、デフォルトで有効にされない OpenShift Container Platform 機能のコレクションです。

FeatureGate CR を使用して、以下の機能セットをアクティブにすることができます。

  • TechPreviewNoUpgrade: この機能セットは、現在のテクノロジープレビュー機能のサブセットです。この機能セットを使用すると、テストクラスターでこれらのテクノロジープレビュー機能を有効にすることができます。そこでは、これらの機能を完全にテストできますが、運用クラスターでは機能を無効にしたままにできます。

    警告

    クラスターで TechPreviewNoUpgrade 機能セットを有効にすると、元に戻すことができず、マイナーバージョンの更新が妨げられます。本番クラスターでは、この機能セットを有効にしないでください。

    この機能セットにより、以下のテクノロジープレビュー機能が有効になります。

    • AdditionalRoutingCapabilities
    • AdminNetworkPolicy
    • AlibabaPlatform
    • AutomatedEtcdBackup
    • AWSClusterHostedDNS
    • AWSClusterHostedDNSInstall
    • AWSDedicatedHosts
    • AWSDualStackInstall
    • AWSServiceLBNetworkSecurityGroup
    • AzureClusterHostedDNSInstall
    • AzureDedicatedHosts
    • AzureDualStackInstall
    • AzureMultiDisk
    • AzureWorkloadIdentity
    • BootcNodeManagement
    • BootImageSkewEnforcement
    • BuildCSIVolumes
    • CBORServingAndStorage
    • ClientsPreferCBOR
    • ClusterAPIInstallIBMCloud
    • ClusterAPIMachineManagement
    • ClusterMonitoringConfig
    • ClusterVersionOperatorConfiguration
    • ConsolePluginContentSecurityPolicy
    • CPMSMachineNamePrefix
    • CRDCompatibilityRequirementOperator
    • DNSNameResolver
    • DualReplica
    • DyanmicServiceEndpointIBMCloud
    • EtcdBackendQuota
    • EventTTL
    • Example
    • ExternalOIDC
    • ExternalOIDCWithUIDAndExtraClaimMappings
    • GatewayAPI
    • GatewayAPIController
    • GCPClusterHostedDNS
    • GCPClusterHostedDNSInstall
    • GCPDualStackInstall
    • GCPCustomAPIEndpoints
    • GCPCustomAPIEndpointsInstall
    • HighlyAvailableArbiter
    • HyperShiftOnlyDynamicResourceAllocation
    • ImageModeStatusReporting
    • ImageStreamImportMode
    • ImageVolume
    • InsightsConfig
    • InsightsOnDemandDataGather
    • IrreconcilableMachineConfig
    • KMSEncryptionProvider
    • KMSv1
    • MachineAPIMigration
    • MachineConfigNodes
    • ManagedBootImages
    • ManagedBootImagesAWS
    • ManagedBootImagesAzure
    • ManagedBootImagesCPMS
    • ManagedBootImagesvSphere
    • MaxUnavailableStatefulSet
    • MetricsCollectionProfiles
    • MinimumKubeletVersion
    • MixedCPUsAllocation
    • MultiDiskSetup
    • MutableCSINodeAllocatableCount
    • MutatingAdmissionPolicy
    • NetworkDiagnosticsConfig
    • NetworkLiveMigration
    • NetworkSegmentation
    • NewOLM
    • NewOLMCatalogdAPIV1Metas
    • NewOLMOwnSingleNamespace
    • NewOLMPreflightPermissionChecks
    • NewOLMWebhookProviderOpenshiftServiceCA
    • NoRegistryClusterInstall
    • NutanixMultiSubnets
    • OnPremDNSRecords
    • OpenShiftPodSecurityAdmission
    • OSStreams
    • OVNObservability
    • PinnedImages
    • PreconfiguredUDNAddresses
    • ProcMountType
    • RouteAdvertisements
    • RouteExternalCertificate
    • SELinuxMount
    • ServiceAccountTokenNodeBinding
    • SignatureStores
    • SigstoreImageVerification
    • SigstoreImageVerificationPKI
    • StoragePerformantSecurityPolicy
    • TranslateStreamCloseWebsocketRequests
    • UpgradeStatus
    • UserNamespacesPodSecurityStandards
    • UserNamespacesSupport
    • VolumeAttributesClass
    • VolumeGroupSnapshot
    • VSphereConfigurableMaxAllowedBlockVolumesPerNode
    • VSphereHostVMGroupZonal
    • VSphereMixedNodeEnv
    • VSphereMultiDisk
    • VSphereMultiNetworks

これらの機能の一部については、関連情報 セクションを参照してください。

8.6.2. インストール時の機能セットの有効化

クラスターをデプロイする前に install-config.yaml ファイルを編集することで、クラスター内のすべてのノードの機能セットを有効にすることができます。これにより、クラスター内でデフォルト以外の機能を使用できるようになります。

前提条件

  • install-config.yaml ファイルがある。

手順

  1. featureSet パラメーターを使用して、有効にする機能セットの名前 (TechPreviewNoUpgrade など) を指定します。

    警告

    クラスターで TechPreviewNoUpgrade 機能セットを有効にすると、元に戻すことができず、マイナーバージョンの更新が妨げられます。本番クラスターでは、この機能セットを有効にしないでください。

    機能セットが有効になっている install-config.yaml ファイルのサンプル

    compute:
    - hyperthreading: Enabled
      name: worker
      platform:
        aws:
          rootVolume:
            iops: 2000
            size: 500
            type: io1
          metadataService:
            authentication: Optional
          type: c5.4xlarge
          zones:
          - us-west-2c
      replicas: 3
    featureSet: TechPreviewNoUpgrade

  2. ファイルを保存し、インストールプログラムを使用してクラスターをデプロイメントするときに参照します。

検証

ノードが準備完了状態に戻った後、ノード上の kubelet.conf ファイルを確認することで、フィーチャーゲートが有効になっていることを確認できます。

  1. Web コンソールの Administrator パースペクティブで、Compute Nodes に移動します。
  2. ノードを選択します。
  3. Node details ページで Terminal をクリックします。
  4. ターミナルウィンドウで、root ディレクトリーを /host に切り替えます。

    sh-4.2# chroot /host
  5. kubelet.conf ファイルを表示します。

    sh-4.2# cat /etc/kubernetes/kubelet.conf

    出力例

    # ...
    featureGates:
      InsightsOperatorPullingSCA: true,
      LegacyNodeRoleBehavior: false
    # ...

    true として一覧表示されている機能は、クラスターで有効になっています。

    注記

    一覧表示される機能は、OpenShift Container Platform のバージョンによって異なります。

8.6.3. Web コンソールで機能セットの有効化

FeatureGate カスタムリソース (CR) を編集して、OpenShift Container Platform Web コンソールを使用してクラスター内のすべてのノードの機能セットを有効にすることができます。このタスクを完了すると、クラスターでデフォルト以外の機能が有効になります。

手順

  1. OpenShift Container Platform Web コンソールで、Administration Custom Resource Definitions ページに切り替えます。
  2. Custom Resource Definitions ページで、FeatureGate をクリックします。
  3. Custom Resource Definition Details ページで、Instances タブをクリックします。
  4. cluster フィーチャーゲートをクリックし、YAML タブをクリックします。
  5. cluster インスタンスを編集して特定の機能セットを追加します。

    警告

    クラスターで TechPreviewNoUpgrade 機能セットを有効にすると、元に戻すことができず、マイナーバージョンの更新が妨げられます。本番クラスターでは、この機能セットを有効にしないでください。

    フィーチャーゲートカスタムリソースのサンプル

    apiVersion: config.openshift.io/v1
    kind: FeatureGate
    metadata:
      name: cluster 
    1
    
    # ...
    spec:
      featureSet: TechPreviewNoUpgrade 
    2

    各項目の説明:

    metadata.name
    FeatureGate CR の名前を指定します。名前には cluster を指定する必要があります。
    spec.featureSet

    有効にする機能セットを指定します。

    • TechPreviewNoUpgrade は、特定のテクノロジープレビュー機能を有効にします。

    変更を保存すると、新規マシン設定が作成され、マシン設定プールが更新され、変更が適用されている間に各ノードのスケジューリングが無効になります。

検証

ノードが準備完了状態に戻った後、ノード上の kubelet.conf ファイルを確認することで、フィーチャーゲートが有効になっていることを確認できます。

  1. Web コンソールの Administrator パースペクティブで、Compute Nodes に移動します。
  2. ノードを選択します。
  3. Node details ページで Terminal をクリックします。
  4. ターミナルウィンドウで、root ディレクトリーを /host に切り替えます。

    sh-4.2# chroot /host
  5. kubelet.conf ファイルを表示します。

    sh-4.2# cat /etc/kubernetes/kubelet.conf

    出力例

    # ...
    featureGates:
      InsightsOperatorPullingSCA: true,
      LegacyNodeRoleBehavior: false
    # ...

    true として一覧表示されている機能は、クラスターで有効になっています。

    注記

    一覧表示される機能は、OpenShift Container Platform のバージョンによって異なります。

8.6.4. CLI を使用した機能セットの有効化

FeatureGate カスタムリソース (CR) を編集し、OpenShift CLI (oc) を使用してクラスター内のすべてのノードの機能セットを有効にすることができます。このタスクを完了すると、クラスターでデフォルト以外の機能が有効になります。

前提条件

  • OpenShift CLI (oc) がインストールされている。

手順

  • cluster という名前の FeatureGate CR を編集します。

    $ oc edit featuregate cluster
    警告

    クラスターで TechPreviewNoUpgrade 機能セットを有効にすると、元に戻すことができず、マイナーバージョンの更新が妨げられます。本番クラスターでは、この機能セットを有効にしないでください。

    FeatureGate カスタムリソースのサンプル

    apiVersion: config.openshift.io/v1
    kind: FeatureGate
    metadata:
      name: cluster
    # ...
    spec:
      featureSet: TechPreviewNoUpgrade

    各項目の説明:

    metadata.name
    FeatureGate CR の名前を指定します。これは cluster である必要があります。
    spec.featureSet

    有効にする機能セットを指定します。

    • TechPreviewNoUpgrade は、特定のテクノロジープレビュー機能を有効にします。

    変更を保存すると、新規マシン設定が作成され、マシン設定プールが更新され、変更が適用されている間に各ノードのスケジューリングが無効になります。

検証

ノードが準備完了状態に戻った後、ノード上の kubelet.conf ファイルを確認することで、フィーチャーゲートが有効になっていることを確認できます。

  1. Web コンソールの Administrator パースペクティブで、Compute Nodes に移動します。
  2. ノードを選択します。
  3. Node details ページで Terminal をクリックします。
  4. ターミナルウィンドウで、root ディレクトリーを /host に切り替えます。

    sh-4.2# chroot /host
  5. kubelet.conf ファイルを表示します。

    sh-4.2# cat /etc/kubernetes/kubelet.conf

    出力例

    # ...
    featureGates:
      InsightsOperatorPullingSCA: true,
      LegacyNodeRoleBehavior: false
    # ...

    true として一覧表示されている機能は、クラスターで有効になっています。

    注記

    一覧表示される機能は、OpenShift Container Platform のバージョンによって異なります。

以下の情報を確認して、ワーカーレイテンシープロファイル について理解します。ワーカーレイテンシープロファイルは、Pod にアクセスできない場合に、Kubelet と Kubernetes Controller Manager がアクションを実行する前にステータス更新を待つ頻度を調整します。

クラスター管理者がレイテンシーテストを実行してプラットフォームを検証した際に、レイテンシーが大きい場合でも安定性を確保するために、クラスターの動作を調整する必要性が判明することがあります。

クラスター管理者が変更する必要があるのは、ファイルに記録されている 1 つのパラメーターだけです。このパラメーターは、監視プロセスがステータスを読み取り、クラスターの健全性を解釈する方法に影響を与える 4 つのパラメーターを制御するものです。1 つのパラメーターのみを変更し、サポートしやすく簡単な方法でクラスターをチューニングできます。

Kubelet プロセスは、クラスターの健全性を監視する上での出発点です。Kubelet は、OpenShift Container Platform クラスター内のすべてのノードのステータス値を設定します。Kubernetes コントローラーマネージャー (kube controller) は、デフォルトで 10 秒ごとにステータス値を読み取ります。ノードのステータス値を読み取ることができない場合、設定期間が経過すると、kube controller とそのノードとの接続が失われます。デフォルトの動作は次のとおりです。

  1. コントロールプレーン上のノードコントローラーが、ノードの健全性を Unhealthy に更新し、ノードの Ready 状態を Unknown とマークします。
  2. この操作に応じて、スケジューラーはそのノードへの Pod のスケジューリングを停止します。
  3. ノードライフサイクルコントローラーが、NoExecute effect を持つ node.kubernetes.io/unreachable taint をノードに追加し、デフォルトでノード上のすべての Pod を 5 分後にエビクトするようにスケジュールします。

この動作は、ネットワークがレイテンシーの問題を起こしやすい場合、特にネットワークエッジにノードがある場合に問題が発生する可能性があります。場合によっては、ネットワークレイテンシーが原因で、Kubernetes コントローラーマネージャーが正常なノードから更新を受信できないことがあります。Kubelet は、ノードが正常であっても、ノードから Pod を退避させます。

この問題を回避するには、ワーカーレイテンシープロファイル を使用して、Kubelet と Kubernetes コントローラーマネージャーがアクションを実行する前にステータスの更新を待機する頻度を調整できます。これらの調整により、コントロールプレーンとワーカーノード間のネットワークレイテンシーが最適でない場合に、クラスターが適切に動作するようになります。

これらのワーカーレイテンシープロファイルには、3 つのパラメーターセットが含まれています。パラメーターは、レイテンシーの増加に対するクラスターの反応を制御するように、慎重に調整された値で事前定義されています。試験により手作業で最良の値を見つける必要はありません。

クラスターのインストール時、またはクラスターネットワークのレイテンシーの増加に気付いたときはいつでも、ワーカーレイテンシープロファイルを設定できます。

8.7.1. ワーカーレイテンシープロファイルについて

以下の情報を確認して、ワーカーレイテンシープロファイルについて理解を深めてください。ワーカーレイテンシープロファイルを使用すると、手動で最適な値を決定する必要なく、レイテンシーの問題に対するクラスターの反応を制御できます。

ワーカーレイテンシープロファイルは、4 つの異なるカテゴリーからなる慎重に調整されたパラメーターです。これらの値を実装する 4 つのパラメーターは、node-status-update-frequency、node-monitor-grace-period、default-not-ready-toleration-seconds、および default-unreachable-toleration-seconds です。

重要

これらのパラメーターの手動設定はサポートされていません。パラメーター設定が正しくないと、クラスターの安定性に悪影響が及びます。

すべてのワーカーレイテンシープロファイルは、次のパラメーターを設定します。

node-status-update-frequency
kubelet がノードのステータスを API サーバーにポストする頻度を指定します。
node-monitor-grace-period
Kubernetes コントローラーマネージャーが、ノードを異常とマークし、node.kubernetes.io/not-ready または node.kubernetes.io/unreachable taint をノードに追加する前に、kubelet からの更新を待機する時間を秒単位で指定します。
default-not-ready-toleration-seconds
ノードを異常とマークした後、Kube API Server Operator がそのノードから Pod を退避させるまでに待機する時間を秒単位で指定します。
default-unreachable-toleration-seconds
ノードを到達不能とマークした後、Kube API Server Operator がそのノードから Pod を退避させるまでに待機する時間を秒単位で指定します。

次の Operator は、ワーカーレイテンシープロファイルの変更を監視し、それに応じて対応します。

  • Machine Config Operator (MCO) は、コンピュートノード上の node-status-update-frequency パラメーターを更新します。
  • Kubernetes コントローラーマネージャーは、コントロールプレーンノードの node-monitor-grace-period パラメーターを更新します。
  • Kubernetes API Server Operator は、コントロールプレーンノードの default-not-ready-toleration-seconds および default-unreachable-toleration-seconds パラメーターを更新します。

ほとんどの場合はデフォルト設定が機能しますが、OpenShift Container Platform は、ネットワークで通常よりも高いレイテンシーが発生している状況に対して、他に 2 つのワーカーレイテンシープロファイルを提供します。次のセクションでは、3 つのワーカーレイテンシープロファイルを説明します。

デフォルトのワーカーレイテンシープロファイル

Default プロファイルを使用すると、各 Kubelet が 10 秒ごとにステータスを更新します (node-status-update-frequency)。Kube Controller Manager は、5 秒ごとに Kubelet のステータスをチェックします。

Kubernetes Controller Manager は、Kubelet からのステータス更新を 40 秒 (node-monitor-grace-period) 待機した後、Kubelet が異常だと判断します。ステータスが提供されない場合、Kubernetes コントローラーマネージャーは、ノードに node.kubernetes.io/not-ready または node.kubernetes.io/unreachable taint のマークを付け、そのノードの Pod を退避させます。

Pod が NoExecute taint を持つノード上にある場合、Pod は tolerationSeconds に従って実行されます。ノードに taint がない場合、そのノードは 300 秒以内に退避させられます (Kube API Server の default-not-ready-toleration-seconds および default-unreachable-toleration-seconds 設定)。

プロファイルコンポーネントパラメーター値

デフォルト

kubelet

node-status-update-frequency

10s

Kubelet コントローラーマネージャー

node-monitor-grace-period

40s

Kubernetes API Server Operator

default-not-ready-toleration-seconds

300s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

300s

中規模のワーカーレイテンシープロファイル

ネットワークレイテンシーが通常よりもわずかに高い場合は、MediumUpdateAverageReaction プロファイルを使用します。

MediumUpdateAverageReaction プロファイルは、kubelet の更新の頻度を 20 秒に減らし、Kubernetes コントローラーマネージャーがそれらの更新を待機する期間を 2 分に変更します。そのノード上の Pod の Pod 排除期間は 60 秒に短縮されます。Pod に tolerationSeconds パラメーターがある場合、エビクションはそのパラメーターで指定された期間待機します。

Kubernetes コントローラーマネージャーは、ノードが異常であると判断するまでに 2 分間待機します。別の 1 分間でエビクションプロセスが開始されます。

プロファイルコンポーネントパラメーター値

MediumUpdateAverageReaction

kubelet

node-status-update-frequency

20s

Kubelet コントローラーマネージャー

node-monitor-grace-period

2m

Kubernetes API Server Operator

default-not-ready-toleration-seconds

60s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

60s

ワーカーの低レイテンシープロファイル

ネットワークレイテンシーが非常に高い場合は、LowUpdateSlowReaction プロファイルを使用します。

LowUpdateSlowReaction プロファイルは、kubelet の更新頻度を 1 分に減らし、Kubernetes コントローラーマネージャーがそれらの更新を待機する時間を 5 分に変更します。そのノード上の Pod の Pod 排除期間は 60 秒に短縮されます。Pod に tolerationSeconds パラメーターがある場合、エビクションはそのパラメーターで指定された期間待機します。

Kubernetes コントローラーマネージャーは、ノードが異常であると判断するまでに 5 分間待機します。別の 1 分間でエビクションプロセスが開始されます。

プロファイルコンポーネントパラメーター値

LowUpdateSlowReaction

kubelet

node-status-update-frequency

1m

Kubelet コントローラーマネージャー

node-monitor-grace-period

5m

Kubernetes API Server Operator

default-not-ready-toleration-seconds

60s

Kubernetes API Server Operator

default-unreachable-toleration-seconds

60s

注記

レイテンシープロファイルは、カスタムのマシン設定プールをサポートしていません。デフォルトのワーカーマシン設定プールのみをサポートしていします。

8.7.2. ワーカーレイテンシープロファイルの使用と変更

node.config オブジェクトを編集することで、ネットワークレイテンシーに対応するために、ワーカーのレイテンシープロファイルをいつでも変更できます。この設定により、コントロールプレーンとコンピュートノード間のネットワークレイテンシーが変動した場合でも、クラスターを適切に動作させることができます。

ワーカーレイテンシープロファイルは、一度に 1 つずつ移行する必要があります。たとえば、Default プロファイルから LowUpdateSlowReaction ワーカーレイテンシープロファイルに直接移行することはできません。Default ワーカーレイテンシープロファイルから、MediumUpdateAverageReaction プロファイル、そして LowUpdateSlowReaction プロファイルへと移行する必要があります。同様に、Default プロファイルに戻る場合は、まずロープロファイルからミディアムプロファイルに移行し、次に Default に移行する必要があります。

注記

OpenShift Container Platform クラスターのインストール時にワーカーレイテンシープロファイルを設定することもできます。

手順

  1. 中程度のワーカーレイテンシープロファイルに移動します。

    1. node.config オブジェクトを編集します。

      $ oc edit nodes.config/cluster
    2. spec.workerLatencyProfile: MediumUpdateAverageReaction を追加します。

      node.config オブジェクトの例

      apiVersion: config.openshift.io/v1
      kind: Node
      metadata:
        annotations:
          include.release.openshift.io/ibm-cloud-managed: "true"
          include.release.openshift.io/self-managed-high-availability: "true"
          include.release.openshift.io/single-node-developer: "true"
          release.openshift.io/create-only: "true"
        creationTimestamp: "2022-07-08T16:02:51Z"
        generation: 1
        name: cluster
        ownerReferences:
        - apiVersion: config.openshift.io/v1
          kind: ClusterVersion
          name: version
          uid: 36282574-bf9f-409e-a6cd-3032939293eb
        resourceVersion: "1865"
        uid: 0c0f7a4c-4307-4187-b591-6155695ac85b
      spec:
        workerLatencyProfile: MediumUpdateAverageReaction
      # ...

      各項目の説明:

      spec.workerLatencyProfile.MediumUpdateAverageReaction
      中程度のワーカーレイテンシーポリシーを使用することを指定します。

      変更が適用されている間は、各コンピュートノードでのスケジューリングは無効になります。

  2. 必要に応じて、ワーカーのレイテンシーが低いプロファイルに移動します。

    1. node.config オブジェクトを編集します。

      $ oc edit nodes.config/cluster
    2. spec.workerLatencyProfile の値を LowUpdateSlowReaction に変更します。

      node.config オブジェクトの例

      apiVersion: config.openshift.io/v1
      kind: Node
      metadata:
        annotations:
          include.release.openshift.io/ibm-cloud-managed: "true"
          include.release.openshift.io/self-managed-high-availability: "true"
          include.release.openshift.io/single-node-developer: "true"
          release.openshift.io/create-only: "true"
        creationTimestamp: "2022-07-08T16:02:51Z"
        generation: 1
        name: cluster
        ownerReferences:
        - apiVersion: config.openshift.io/v1
          kind: ClusterVersion
          name: version
          uid: 36282574-bf9f-409e-a6cd-3032939293eb
        resourceVersion: "1865"
        uid: 0c0f7a4c-4307-4187-b591-6155695ac85b
      spec:
        workerLatencyProfile: LowUpdateSlowReaction
      # ...

      各項目の説明:

      spec.workerLatencyProfile.LowUpdateSlowReaction
      ワーカーのレイテンシーを低く抑えるポリシーを使用することを指定します。

      変更が適用されている間は、各コンピュートノードでのスケジューリングは無効になります。

検証

  • 全ノードが Ready 状態に戻ると、以下のコマンドを使用して Kubernetes Controller Manager を確認し、これが適用されていることを確認できます。

    $ oc get KubeControllerManager -o yaml | grep -i workerlatency -A 5 -B 5

    出力例

    # ...
        - lastTransitionTime: "2022-07-11T19:47:10Z"
          reason: ProfileUpdated
          status: "False"
          type: WorkerLatencyProfileProgressing
        - lastTransitionTime: "2022-07-11T19:47:10Z"
          message: all static pod revision(s) have updated latency profile
          reason: ProfileUpdated
          status: "True"
          type: WorkerLatencyProfileComplete
        - lastTransitionTime: "2022-07-11T19:20:11Z"
          reason: AsExpected
          status: "False"
          type: WorkerLatencyProfileDegraded
        - lastTransitionTime: "2022-07-11T19:20:36Z"
          status: "False"
    # ...

    各項目の説明:

    status.message: all static pod revision(s) have updated latency profile
    プロファイルが適用され、アクティブであることを指定します。

    ミディアムプロファイルからデフォルト、またはデフォルトからミディアムに変更する場合、node.config オブジェクトを編集し、spec.workerLatencyProfile パラメーターを適切な値に設定します。

Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

Red Hat ドキュメントについて

Legal Notice

Theme

© 2026 Red Hat
トップに戻る