第5章 インストール後の設定


5.1. インストール後の設定

OpenShift Virtualization をインストールした後、環境が適切に設定されていることを確認するために実行できる手順がいくつかあります。ご自身の環境に関連するコンポーネントを設定できます。

  • クラスター管理者は、自己検証チェックを実行することで、実稼働ワークロードをデプロイする前に、環境が完全に機能し自立して稼働しているかを検証できます。
  • ホストパスプロビジョナーは、OpenShift Virtualization 用に設計されたローカルストレージプロビジョナーです。仮想マシンのローカルストレージを設定する必要がある場合、まずホストパスプロビジョナーを有効にする必要があります。
  • OpenShift Virtualization Operator、ワークロード、およびコントローラーのノード配置ルール。
  • ネットワーク設定:

    • Kubernetes NMState および SR-IOV Operator のインストール
    • 仮想マシンへの外部アクセスのための Linux ブリッジネットワークの設定
    • ライブマイグレーション用の専用セカンダリーネットワークの設定
    • SR-IOV ネットワークの設定
    • OpenShift Container Platform Web コンソールを使用したロードバランサーサービスの作成の有効化
  • ストレージ設定:

    • Container Storage Interface (CSI) のデフォルトのストレージクラスの定義
    • ホストパスプロビジョナー (HPP) を使用したローカルストレージの設定

5.2. OpenShift Virtualization コンポーネントのノードの指定

ノード配置ルールを設定することで、OpenShift Virtualization Operator、ワークロード、およびコントローラーをどこにデプロイするかを指定できます。カスタム配置ルールを使用すると、仮想マシン (VM) のトラフィックを分離したり、重要なワークロードに専用のコンピュートリソースを割り当てたりすることができます。

重要

OpenShift Virtualization のインストール後に一部のコンポーネントに対してノード配置ルールを設定できますが、ワークロードに対してノード配置ルールを設定する場合は仮想マシンが存在できません。

5.2.1. OpenShift Virtualization コンポーネントのノード配置ルールについて

ノード配置ルールを使用すると、仮想化ワークロード用のノードにのみ仮想マシンをデプロイしたり、インフラストラクチャーノードにのみ Operator をデプロイしたり、ワークロード間の分離を維持したりすることができます。

オブジェクトに応じて、以下のルールタイプを 1 つ以上使用できます。

nodeSelector
このフィールドで指定したキーと値のペアでラベル付けされたノードで Pod をスケジュールできるようにします。ノードには、リスト表示されたすべてのペアに一致するラベルがなければなりません。
affinity
より表現的な構文を使用して、ノードと Pod に一致するルールを設定できます。アフィニティーを使用すると、ルールの適用方法に追加のニュアンスを持たせることができます。たとえば、ルールが要件ではなく設定であると指定できます。ルールが優先の場合、ルールが満たされていない場合でも Pod はスケジュールされます。
tolerations
一致する taint を持つノードに Pod をスケジュールすることを許容します。ノードに taint が適用されると、そのノードはその taint を許容する Pod のみを受け入れます。

IBM Z または IBM LinuxONE (s390x) クラスターで複数のハイパーバイザーを使用している場合は、仮想マシンを実行するためにサポートされているノードについて、次の表を参照してください。

表5.1 IBM Z® ノードオプション
ノードアーキテクチャーHypervisor仮想マシンデプロイメントノードの選択仮想マシンアーキテクチャー

s390x

LPAR

サポート対象

LPAR ノードのノードセレクターを設定

s390x

s390x

z/VM

サポート対象外

z/VM ノードのアンチアフィニティーを設定

該当なし

s390x

KVM

サポート対象外

KVM ノードのアンチアフィニティーを設定

該当なし

注記

デフォルトでは、スケジューラーが、s390x 上の z/VM ノードや KVM ノードよりも、LPAR ノードを優先的に選択することはありません。サポートされている s390x 仮想マシンを使用するには、少なくとも 1 つの s390x LPAR ノードをスケジューリング可能なコンピュートノードとして設定し、仮想マシンをデプロイする前にノードセレクターを設定する必要があります。

5.2.2. ノードの配置ルールの適用

ノード配置ルールを適用することで、仮想化コンポーネントがワークロード要件に最適なノードで実行されるようにすることができます。OpenShift Virtualization オブジェクトを編集することで、ノード配置ルールを適用できます。

前提条件

  • OpenShift CLI (oc) がインストールされている。
  • クラスター管理者の権限でログインしています。

手順

  1. 次のコマンドを実行して、デフォルトのエディターでオブジェクトを編集します。

    $ oc edit <resource_type> <resource_name> -n openshift-cnv
  2. 変更を適用するためにファイルを保存します。

5.2.3. ノード配置ルールの例

OpenShift Virtualization コンポーネントのデプロイ先を決定する、さまざまなオブジェクトに対するノード配置ルールの例。

5.2.3.1. サブスクリプションオブジェクトノード配置ルールの例

OLM が OpenShift Virtualization Operator をデプロイするノードを指定するには、OpenShift Virtualization のインストール時に Subscription オブジェクトを編集します。

注記
  • Web コンソールを使用して、Subscription オブジェクトのノードの配置ルールを設定することはできません。
  • Subscription オブジェクトは、affinity ノードの配置ルールをサポートしていません。

nodeSelector ルールが含まれる Subscription オブジェクトの例:

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: hco-operatorhub
  namespace: openshift-cnv
spec:
  source: redhat-operators
  sourceNamespace: openshift-marketplace
  name: kubevirt-hyperconverged
  startingCSV: kubevirt-hyperconverged-operator.v4.21.24
  channel: "stable"
  config:
    nodeSelector:
      example.io/example-infra-key: example-infra-value

OLM は、example.io/example-infra-key = example-infra-value というラベルのノードに OpenShift Virtualization Operator をデプロイします。

次の Pod は、Subscription オブジェクトノードの配置ルールの影響を受けます。これらの Pod は、HyperConverged カスタムリソース(CR)がない場合でも、OpenShift Virtualization Operator の初回インストール時に作成されます。

  • aaq-operator
  • cdi-operator
  • cluster-network-addons-operator
  • hco-operator
  • hco-webhook
  • hostpath-provisioner-operator
  • hyperconverged-cluster-cli-download
  • kubevirt-migration-operator
  • ssp-operator
  • virt-operator

容認 ルールが含まれる Subscription オブジェクトの例:

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: hco-operatorhub
  namespace: openshift-cnv
spec:
  source:  redhat-operators
  sourceNamespace: openshift-marketplace
  name: kubevirt-hyperconverged
  startingCSV: kubevirt-hyperconverged-operator.v4.21.24
  channel: "stable"
  config:
    tolerations:
    - key: "key"
      operator: "Equal"
      value: "virtualization"
      effect: "NoSchedule"

OLM は、key = virtualization:NoSchedule taint のラベルが付けられているノードに OpenShift Virtualization Operator をデプロイします。このノードには、一致する toleration を持つ Pod のみがスケジュールされます。

5.2.3.2. HyperConverged オブジェクトノード配置ルールの例

OpenShift Virtualization がそのコンポーネントをデプロイするノードを指定するには、OpenShift Virtualization のインストール時に作成する HyperConverged カスタムリソース (CR) ファイルの nodePlacement オブジェクトを編集します。

nodeSelector ルールを含む HyperConverged オブジェクトの例:

apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
  name: kubevirt-hyperconverged
  namespace: openshift-cnv
spec:
  deployment:
    nodePlacements:
      infra:
        nodeSelector:
          example.io/example-infra-key: example-infra-value
      workload:
        nodeSelector:
          example.io/example-workloads-key: example-workloads-value
  • インフラストラクチャーリソースは、example.io/example-infra-key = example-infra-value というラベルの付いたノードに配置されます。
  • ワークロードは、example.io/example-workloads-key = example-workloads-value というラベルの付いたノードに配置されます。

アフィニティー ルールのある HyperConverged オブジェクトの例:

apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
  name: kubevirt-hyperconverged
  namespace: openshift-cnv
spec:
  deployment:
    nodePlacements:
      infra:
        affinity:
          nodeAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
              nodeSelectorTerms:
              - matchExpressions:
                - key: example.io/example-infra-key
                  operator: In
                  values:
                  - example-infra-value
      workload:
        affinity:
          nodeAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
              nodeSelectorTerms:
              - matchExpressions:
                - key: example.io/example-workloads-key
                  operator: In
                  values:
                  - example-workloads-value
            preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 1
              preference:
                matchExpressions:
                - key: example.io/num-cpus
                  operator: Gt
                  values:
                  - 8
  • インフラストラクチャーリソースは、example.io/example-infra-key = example-value というラベルの付いたノードに配置されます。
  • ワークロードは、example.io/example-workloads-key = example-workloads-value というラベルの付いたノードに配置されます。
  • ワークロード用には 9 つ以上の CPU を持つノードが優先されますが、それらが利用可能ではない場合も、Pod は依然としてスケジュールされます。

容認 ルールを含む HyperConverged オブジェクトの例:

apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
  name: kubevirt-hyperconverged
  namespace: openshift-cnv
spec:
  deployment:
    nodePlacements:
      workload:
        tolerations:
        - key: "key"
          operator: "Equal"
          value: "virtualization"
          effect: "NoSchedule"

OpenShift Virtualization コンポーネント用に予約されているノードには、key = virtualization:NoSchedule taint のラベルが付けられています。予約済みノードには、一致する toleration を持つ Pod のみがスケジュールされます。

次の Pod は、HyperConverged オブジェクトノードの配置ルールの影響を受けます。これらの Pod は HyperConverged CR がデプロイされる際に作成されます。

  • cdi-apiserver
  • cdi-deployment
  • cdi-uploadproxy
  • KubeMacPool-cert-manager
  • KubeMacPool-mac-controller-manager
  • kubevirt-apiserver-proxy
  • kubevirt-console-plugin
  • kubevirt-ipam-controller-manager
  • kubevirt-migration-controller
  • virt-api
  • virt-controller
  • virt-exportproxy
  • virt-template-validator

5.2.3.3. HostPathProvisioner オブジェクトノード配置ルールの例

HostPathProvisioner オブジェクトは、直接編集することも、Web コンソールを使用して編集することもできます。

警告

ホストパスプロビジョナー (HPP) と OpenShift Virtualization コンポーネントを同じノード上でスケジュールする必要があります。スケジュールしない場合は、ホストパスプロビジョナーを使用する仮想化 Pod を実行できません。仮想マシンを実行することはできません。

HPP ストレージクラスを使用して仮想マシン (VM) をデプロイした後、ノードセレクターを使用して同じノードからホストパスプロビジョナー Pod を削除できます。ただし、少なくともその特定のノードは、まずその変更を元に戻し、仮想マシンを削除しようとする前に Pod が実行されるのを待つ必要があります。

ノード配置ルールを設定するには、ホストパスプロビジョナーのインストール時に作成する HostPathProvisioner オブジェクトの spec.workload フィールドに nodeSelector、affinity、または tolerations を指定します。

nodeSelector ルールを含む HostPathProvisioner オブジェクトの例:

apiVersion: hostpathprovisioner.kubevirt.io/v1beta1
kind: HostPathProvisioner
metadata:
  name: hostpath-provisioner
spec:
  imagePullPolicy: IfNotPresent
  pathConfig:
    path: "</path/to/backing/directory>"
    useNamingPrefix: false
  workload:
    nodeSelector:
      example.io/example-workloads-key: example-workloads-value

ワークロードは、example.io/example-workloads-key = example-workloads-value というラベルの付いたノードに配置されます。

5.3. インストール後のネットワーク設定

デフォルトでは、OpenShift Virtualization はインストール後に単一の内部 Pod ネットワークを使用します。

OpenShift Virtualization をインストールした後、ネットワーク Operator をインストールし、追加のネットワークを設定できます。

  • ライブマイグレーションまたは仮想マシン (VM) への外部アクセス用に Linux ブリッジネットワークを設定するには、Kubernetes NMState Operator をインストールする必要があります。
  • SR-IOV Operator をインストールして、SR-IOV ネットワークデバイスとネットワークアタッチメントを管理できます。
  • MetalLB Operator を追加すると、クラスター上の MetalLB インスタンスのライフサイクルを管理できます。

5.3.1. Linux ブリッジ ノード ネットワーク設定ポリシーを作成する

NodeNetworkConfigurationPolicy (NNCP)マニフェストを作成して、ライブマイグレーションや仮想マシンへの外部アクセス用に Linux ブリッジネットワークを設定できます。

前提条件

  • Kubernetes NMState Operator がインストールされている。

手順

  1. NNCP マニフェストを設定します。この例には、独自の情報で置き換える必要のあるサンプルの値が含まれます。

    apiVersion: nmstate.io/v1
    kind: NodeNetworkConfigurationPolicy
    metadata:
      name: br1-eth1-policy
    spec:
      desiredState:
        interfaces:
          - name: br1
            description: Linux bridge with eth1 as a port
            type: linux-bridge
            state: up
            ipv4:
              enabled: false
            bridge:
              options:
                stp:
                  enabled: false
              port:
                - name: eth1
    • metadata.name: ノードネットワーク設定ポリシーの名前を定義します。
    • spec.desiredState.interfaces.name: 新しい Linux ブリッジの名前を定義します。
    • spec.desiredState.interfaces.description: ブリッジの人間が判読できる説明を定義するために使用できるオプションフィールド。
    • spec.desiredState.interfaces.type: インターフェイスタイプを定義します。この例では、タイプは Linux ブリッジです。
    • spec.desiredState.interfaces.state: 作成後にインターフェイスの要求された状態を定義します。
    • spec.desiredState.interfaces.ipv4.enabled: ipv4 プロトコルがアクティブであるかどうかを定義します。これを false に設定すると、このブリッジでの IPv4 アドレス指定が無効になります。
    • spec.desiredState.interfaces.bridge.options.stp.enabled: Spanning Tree Protocol (STP)がアクティブかどうかを定義します。これを false に設定すると、このブリッジでの STP が無効になります。
    • spec.desiredState.interfaces.bridge.port.name: ブリッジが接続されているノード NIC を定義します。

      注記

      IBM Z® で Open Systems Adapter (OSA) を使用する Linux ブリッジ用の NNCP マニフェストを作成するには、NodeNetworkConfigurationPolicy マニフェストで rx-vlan-filter を false に設定して VLAN フィルタリングを無効にする必要があります。

      または、ノードへの SSH アクセス権がある場合は、次のコマンドを実行して VLAN フィルタリングを無効にできます。

      $ sudo ethtool -K <osa-interface-name> rx-vlan-filter off
  2. NNCP マニフェストを作成します。

    $ oc apply -f linux-bridge-nncp.yaml

5.3.2. Web コンソールを使用した Linux ブリッジ NAD の作成

OpenShift Container Platform Web コンソールを使用して、Pod および仮想マシンをレイヤー 2 ネットワークに接続する NetworkAttachmentDefinition (net-attach-def)を作成します。

警告

仮想マシンの Network Attachment Definition での IP アドレス管理 (IPAM) の設定はサポートされていません。

手順

  1. Web コンソールで、Networking NetworkAttachmentDefinitions をクリックします。
  2. Create Network Attachment Definition をクリックします。

    注記

    network attachment definition は Pod または仮想マシンと同じ namespace にある必要があります。

  3. 一意の Name およびオプションの Description を入力します。
  4. Network Type リストから CNV Linux bridge を選択します。
  5. Bridge Name フィールドにブリッジの名前を入力します。
  6. オプション: リソースに VLAN ID が設定されている場合、VLAN Tag Number フィールドに ID 番号を入力します。

    注記

    IBM Z® の Open Systems Adapter (OSA) インターフェイスは VLAN フィルタリングをサポートしておらず、VLAN タグ付きトラフィックを破棄します。OSA インターフェイスで VLAN タグ付けされた NetworkAttachmentDefinitions を使用しないでください。

  7. オプション: MAC Spoof Check を選択して、MAC スプーフフィルタリングを有効にします。この機能により、Pod を終了するための MAC アドレスを 1 つだけ許可することで、MAC スプーフィング攻撃に対してセキュリティーを確保します。
  8. オプション: YAML タブで、spec.config.disableContainerInterface フィールドを追加します。true に設定すると、Bridge CNI プラグインは Pod のネットワーク namespace 内での標準のコンテナー仮想イーサネット (veth) インターフェイスの作成をスキップします。これにより、仮想化ネットワークバックエンドは、標準のコンテナーではなく、レイヤー2インターフェイスをゲスト仮想マシンに直接アタッチできるようになります。

    YAML の例:

    apiVersion: "k8s.cni.cncf.io/v1"
    kind: NetworkAttachmentDefinition
    metadata:
      name: bridge-network
      annotations:
        k8s.v1.cni.cncf.io/resourceName: bridge.network.kubevirt.io/br1
    spec:
      config: |
        {
    # ...
          "disableContainerInterface": true,
    # ...
        }
  9. Create をクリックします。

5.3.3. ライブマイグレーション専用のセカンダリーネットワークの設定

ライブマイグレーション専用のセカンダリーネットワークを設定し、ライブマイグレーション中のテナントワークロードに対するネットワークの飽和性を最小限に抑えます。

前提条件

  • OpenShift CLI (oc) がインストールされている。
  • cluster-admin ロールを持つユーザーとしてクラスターにログインしている。
  • 各ノードには少なくとも 2 つのネットワークインターフェイスカード (NIC) があります。
  • ライブマイグレーション用の NIC は同じ VLAN に接続されます。
  • Linux ブリッジネットワークを設定している。

手順

  1. 次の例に従って、NetworkAttachmentDefinition マニフェストを作成します。

    apiVersion: "k8s.cni.cncf.io/v1"
    kind: NetworkAttachmentDefinition
    metadata:
      name: my-secondary-network
      namespace: openshift-cnv
    spec:
      config: '{
        "cniVersion": "0.3.1",
        "name": "migration-bridge",
        "type": "macvlan",
        "master": "eth1",
        "mode": "bridge",
        "ipam": {
          "type": "whereabouts",
          "range": "10.200.5.0/24"
        }
      }'
    • metadata.name: NetworkAttachmentDefinition オブジェクトの名前を定義します。
    • config.master: ライブマイグレーションに使用する NIC の名前を定義します。
    • config.type: NetworkAttachmentDefinition のネットワークを提供する CNI プラグインの名前を定義します。
    • config.range: セカンダリーネットワークの IP アドレス範囲を定義します。この範囲は、メインネットワークの IP アドレスと重複してはなりません。
  2. 以下のコマンドを実行して、デフォルトのエディターで HyperConverged CR を開きます。

    $ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv
  3. NetworkAttachmentDefinition オブジェクトの名前を HyperConverged CR の spec.virtualization.liveMigrationConfig スタンザに追加します。

    HyperConverged マニフェストの例:

    apiVersion: hco.kubevirt.io/v1
    kind: HyperConverged
    metadata:
      name: kubevirt-hyperconverged
      namespace: openshift-cnv
    spec:
      virtualization:
        liveMigrationConfig:
          completionTimeoutPerGiB: 800
          network: <network>
          parallelMigrationsPerCluster: 5
          parallelOutboundMigrationsPerNode: 2
          progressTimeout: 150
    # ...
    • spec.virtualization.liveMigrationConfig.network: ライブマイグレーションに使用される Multus NetworkAttachmentDefinition オブジェクトの名前を定義します。
  4. 変更を保存し、エディターを終了します。virt-handler Pod が再起動し、セカンダリーネットワークに接続されます。

検証

  • 仮想マシンが実行されるノードがメンテナンスモードに切り替えられると、仮想マシンは自動的にクラスター内の別のノードに移行します。仮想マシンインスタンス (VMI) メタデータのターゲット IP アドレスを確認して、デフォルトの Pod ネットワークではなく、セカンダリーネットワーク上で移行が発生したことを確認できます。

    $ oc get vmi <vmi_name> -o jsonpath='{.status.migrationState.targetNodeAddress}'

5.3.4. Web コンソールを使用して専用の移行ネットワークを選択する

OpenShift Container Platform Web コンソールを使用して、ライブマイグレーション用の専用ネットワークを選択できます。

前提条件

  • ライブマイグレーション用に Multus ネットワークが設定されている。
  • ネットワークの network attachment definition を作成している。

手順

  1. OpenShift Container Platform の Web コンソールで、Virtualization > Overview に移動します。
  2. Settings タブをクリックし、Live migration をクリックします。
  3. Live migration network リストからネットワークを選択します。

5.3.5. SR-IOV ネットワークデバイスの設定

SR-IOV Network Operator は SriovNetworkNodePolicy.sriovnetwork.openshift.io カスタムリソース定義 (CRD) を OpenShift Container Platform に追加します。SR-IOV ネットワークデバイスは、SriovNetworkNodePolicy カスタムリソース (CR) を作成して設定できます。

注記

SriovNetworkNodePolicy CR で指定された設定を適用する際に、SR-IOV Operator はノードの drain (Pod の退避) を実行する可能性があり、場合によってはノードの再起動を行う場合があります。再起動は次の場合にのみ行われます。

  • Mellanox NIC (mlx5 ドライバー) の場合、Physical Function (PF) 上の Virtual Function (VF) の数が増加するたびにノードの再起動が行われます。
  • Intel NIC の場合、カーネルパラメーターに intel_iommu=on と iommu=pt が含まれていない場合にのみ再起動が行われます。

設定の変更が適用されるまでに数分かかる場合があります。

前提条件

  • OpenShift CLI (oc) がインストールされている。
  • cluster-admin ロールを持つユーザーとしてクラスターにアクセスできる。
  • SR-IOV Network Operator がインストールされている。
  • drain (Pod の退避) が実行されたノードからエビクトされたワークロードを処理するために、クラスター内に利用可能な十分なノードがある。
  • SR-IOV ネットワークデバイス設定にコントロールプレーンノードを選択していない。

手順

  1. SriovNetworkNodePolicy オブジェクトを作成してから、YAML を <name>-sriov-node-network.yaml ファイルに保存します。<name> をこの設定の名前に置き換えます。

    apiVersion: sriovnetwork.openshift.io/v1
    kind: SriovNetworkNodePolicy
    metadata:
      name: <name>
      namespace: openshift-sriov-network-operator
    spec:
      resourceName: <sriov_resource_name>
      nodeSelector:
        feature.node.kubernetes.io/network-sriov.capable: "true"
      priority: <priority>
      mtu: <mtu>
      numVfs: <num>
      nicSelector:
        vendor: "<vendor_code>"
        deviceID: "<device_id>"
        pfNames: ["<pf_name>", ...]
        rootDevices: ["<pci_bus_id>", "..."]
      deviceType: vfio-pci
      isRdma: false
    • metadata.name は、SriovNetworkNodePolicy オブジェクトの名前を定義します。
    • metadata.namespace は、SR-IOV Network Operator がインストールされている namespace を定義します。
    • spec.resourceName は、SR-IOV デバイスプラグインのリソース名を定義します。1 つのリソース名に複数の SriovNetworkNodePolicy オブジェクトを作成できます。
    • spec.nodeSelector.feature.node.kubernetes.io/network-sriov.capable は、設定対象となるノードを選択するためのノードセレクターを定義します。選択したノード上の SR-IOV ネットワークデバイスのみが設定されます。SR-IOV Container Network Interface (CNI) プラグインおよびデバイスプラグインは、選択したノードにのみデプロイされます。
    • spec.priority は、0 から 99 までの整数値を定義するオプションのフィールドです。数値が小さいほど優先度が高くなります。したがって、10 は 99 よりも優先度が高くなります。デフォルト値は 99 です。
    • spec.mtu は、Virtual Function の最大伝送単位 (MTU) の値を定義するオプションのフィールドです。MTU の最大値は NIC モデルによって異なります。
    • spec.numVfs は、SR-IOV 物理ネットワークデバイス用に作成する Virtual Function (VF) の数を定義します。Intel ネットワークインターフェイスコントローラー (NIC) の場合、VF の数はデバイスがサポートする VF の合計よりも大きくすることはできません。Mellanox NIC の場合、VF の数は 127 よりも大きくすることはできません。
    • spec.nicSelector は、Operator が設定するイーサネットデバイスを定義します。すべてのパラメーターの値を指定する必要はありません。

      注記

      意図せずにイーサネットデバイスを選択する可能性を最低限に抑えるために、イーサネットアダプターを正確に特定できるようにすることが推奨されます。rootDevices を指定する場合は、vendor、deviceID、または pfNames の値も指定する必要があります。

      pfNames と rootDevices の両方を同時に指定する場合、それらが同一のデバイスをポイントすることを確認します。

    • spec.nicSelector.vendor は、SR-IOV ネットワークデバイスのベンダーの 16 進コードを定義するオプションのフィールドです。許可される値は 8086 または 15b3 のいずれかのみになります。
    • spec.nicSelector.deviceID は、SR-IOV ネットワークデバイスのデバイスの 16 進コードを定義するオプションのフィールドです。許可される値は 158b、1015、1017 のみになります。
    • spec.nicSelector.pfNames は、イーサネットデバイスの 1 つ以上の Physical Function (PF) 名の配列を定義するオプションのフィールドです。
    • spec.nicSelector.rootDevices は、イーサネットデバイスの Physical Function に対応する 1 つ以上の PCI バスアドレスの配列を定義するオプションのフィールドです。以下の形式でアドレスを指定します: 0000:02:00.1
    • spec.deviceType は、ドライバータイプを定義します。OpenShift Virtualization の仮想機能には、vfio-pci ドライバータイプが必要です。
    • spec.isRdma は、Remote Direct Memory Access (RDMA) モードを有効化するかどうかを定義するオプションのフィールドです。Mellanox カードの場合、isRdma を false に設定します。デフォルト値は false です。

      注記

      isRDMA フラグが true に設定される場合、引き続き RDMA 対応の VF を通常のネットワークデバイスとして使用できます。デバイスはどちらのモードでも使用できます。

  2. オプション: SR-IOV 対応のクラスターノードにまだラベルが付いていない場合は、SriovNetworkNodePolicy.Spec.NodeSelector でラベルを付けます。ノードのラベル付けの詳細は、「ノードのラベルを更新する方法について」を参照してください。
  3. SriovNetworkNodePolicy オブジェクトを作成します。以下のコマンドを実行する際は、<name> をこの設定の名前に置き換えます。

    $ oc create -f <name>-sriov-node-network.yaml

    設定の更新が適用された後に、sriov-network-operator namespace のすべての Pod が Running ステータスに移行します。

  4. SR-IOV ネットワークデバイスの設定を確認するには、次のコマンドを入力します。<node_name> はデバイスを設定したノードの名前に置き換えます。

    $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

5.3.6. Web コンソールを使用してロードバランサーサービスを有効にする

OpenShift Container Platform Web コンソールから仮想マシン(VM)のロードバランサーサービスの作成を有効にすることができます。SSH アクセス用のロードバランサーサービスを作成する前に、この設定をオンにする必要があります。

前提条件

  • クラスターのロードバランサーが設定されました。
  • cluster-admin ロールを持つユーザーとしてログインしている。
  • ネットワークの network attachment definition を作成している。

手順

  1. Virtualization Overview に移動します。
  2. Settings タブで、Cluster をクリックします。
  3. Expand General settings と SSH configuration を展開します。
  4. SSH over LoadBalancer service をオンに設定します。

5.3.7. cdi-uploadproxy サービスへの追加ルートの設定

cdi-uploadproxy サービスへの追加のルートを設定し、ユーザーがクラスター外から仮想マシンイメージをアップロードできるようにします。

前提条件

  • OpenShift CLI (oc) がインストールされている。
  • cluster-admin ロールを持つユーザーとしてクラスターにログインしている。

手順

  1. 次のコマンドを実行して、外部ホストへのルートを設定します。

    $ oc create route reencrypt <route_name> -n openshift-cnv \
        --insecure-policy=Redirect \
        --hostname=<host_name_or_address> \
        --service=cdi-uploadproxy

    各項目の説明:

    <route_name>
    このカスタムルートに割り当てる名前を指定します。
    <host_name_or_address>
    イメージのアップロードアクセスを提供する外部ホストの完全修飾ドメイン名または IP アドレスを指定します。
  2. 次のコマンドを実行して、ルートにアノテーションを付けます。これにより、証明書がローテーションされるときに、正しい Containerized Data Importer (CDI) CA 証明書が注入されます。

    $ oc annotate route <route_name> -n openshift-cnv \
        operator.cdi.kubevirt.io/injectUploadProxyCert="true"

    各項目の説明:

    <route_name>
    作成したルートの名前を指定します。

5.4. インストール後のストレージ設定

OpenShift Virtualization をインストールした後、デフォルトのストレージクラスを設定する必要があります。ストレージクラスを設定することで、クラスターはブートソースの自動更新を受信できるようになります。ストレージプロバイダーがコンテナー化データインポーター (CDI) に認識されない場合は、OpenShift Virtualization のインストール後にストレージプロファイルを設定する必要があります。ストレージプロファイルは、関連付けられたストレージクラスに基づいて推奨されるストレージ設定を提供します。

オプション: ホストパスプロビジョナー (HPP) を使用して、ローカルストレージを設定できます。

CDI、データボリューム、自動ブートソース更新の設定など、その他のオプションについては、「ストレージ設定の概要」ドキュメントを参照してください。

5.4.1. HPP を使用したローカルストレージの設定

OpenShift Virtualization Operator のインストール時に、Hostpath Provisioner (HPP) Operator は自動的にインストールされます。HPP Operator は HPP プロビジョナーを作成します。

HPP は、OpenShift Virtualization 用に設計されたローカルストレージプロビジョナーです。HPP を使用するには、HPP カスタムリソース (CR) を作成する必要があります。

重要

HPP ストレージプールは、オペレーティングシステムと同じパーティションにあってはなりません。そうしないと、ストレージプールがオペレーティングシステムパーティションをいっぱいにする可能性があります。オペレーティングシステムのパーティションがいっぱいになると、パフォーマンスに悪影響が生じたり、ノードが不安定になったり使用できなくなったりする可能性があります。

5.4.1.1. storagePools スタンザを使用して CSI ドライバーのストレージクラスを作成します。

ホストパスプロビジョナー (HPP) を使用するには、コンテナーストレージインターフェイス (CSI) ドライバーに関連するストレージクラスを作成する必要があります。

注記

ストレージクラスの作成時に、ストレージクラスに属する永続ボリューム (PV) の動的プロビジョニングに影響するパラメーターを設定します。StorageClass オブジェクトの作成後には、このオブジェクトのパラメーターを更新できません。

手順

  1. storageclass_csi.yaml ファイルを作成して、ストレージクラスを定義します。

    apiVersion: storage.k8s.io/v1
    kind: StorageClass
    metadata:
      name: hostpath-csi
    provisioner: kubevirt.io.hostpath-provisioner
    reclaimPolicy: Delete
    volumeBindingMode: WaitForFirstConsumer
    parameters:
      storagePool: my-storage-pool
    • reclaimPolicy は、ユーザーが PVC を削除したときに、基礎となるストレージが削除されるか保持されるかを定義します。reclaimPolicy には、Delete および Retain の 2 つの値があります。値を指定しない場合、デフォルト値は Delete です。
    • volumeBindingMode は、PV 作成のタイミングを定義します。この例では、WaitForFirstConsumer 設定により、スケジューラーが特定のノードに Pod を割り当てるまで、PV の作成が遅延されます。

      注記

      仮想マシンは、特定のノード上に存在するローカル PV に基づいたデータボリュームを使用します。システムが仮想マシン用のディスクイメージを準備する際、スケジューラーはローカルストレージ PV を固定したノードに仮想マシンを配置しない場合があります。

      + この問題を解決するには、Kubernetes Pod スケジューラーを使用して、永続ボリューム要求 (PVC) を正しいノードの PV にバインドします。StorageClass の volumeBindingMode パラメーターを WaitForFirstConsumer に設定すると、PVC を使用する Pod が作成されるまで PV のバインディングとプロビジョニングが遅延されます。

    • parameters.storagePool は、HPP カスタムリソース (CR) で定義されているストレージプールの名前を定義します。
  2. ファイルを保存して終了します。
  3. 次のコマンドを実行して、StorageClass オブジェクトを作成します。

    $ oc create -f storageclass_csi.yaml

5.5. 自己検証チェック

自己検証チェックアップでは、重要なサブシステムに対して適合性テストを実行し、実稼働ワークロードをデプロイする前に、環境が完全に機能し、自己維持可能であることを確認します。

5.5.1. Web コンソールで自己検証チェックを実行する

自己検証チェックを実行することで、機能テストの実行プロセスが効率化され、ワークロードをデプロイする前に、OpenShift Virtualization インストールの安定性、健全性、およびコンプライアンスを検証できます。

前提条件

  • クラスター管理者の権限がある。
  • OpenShift Virtualization がインストールされている OpenShift Container Platform クラスターへアクセスできる。
  • OpenShift Container Platform Web コンソールにログインしている。

手順

  1. OpenShift Container Platform の Web コンソールで、Virtualization Checkups に移動します。
  2. Self validation タブに移動します。
  3. Run checkup をクリックします。
  4. 実行したいテストの設定を行います。
  5. オプション: Advanced settings をクリックし、Dry run ボタンを切り替えることで、ドライランテストを有効にできます。
  6. Run をクリックします。Self validation checkup details ページが表示されます。

    自己検証チェックがリアルタイムで実行される様子を観察できます。テスト完了まで数時間かかる場合があります。

  7. テストが完了すると、Self validation checkup details ページで、失敗したテストの名前を含む概要結果を確認できます。
  8. オプション: Self validation checkup details ページにある Download results をクリックすると、詳細な結果を ZIP ファイルとしてダウンロードできます。

5.6. 仮想マシンに物理コアを割り当てる

クラスター管理者は、異なる仮想マシンが同じ物理コアを共有することを許可するのではなく、物理コア全体を特定の仮想マシンに割り当てることができます。物理コア全体のみを使用するように仮想マシンを設定することで、高スループットまたはレイテンシーが重要な仮想マシンのパフォーマンスを最適化できます。

同時マルチスレッディング (SMT) 対応システムでは、次の利点があるため、物理コア全体のみを割り当てることが重要です。

  • ノイジーネイバーやリソースの競合の防止
  • パフォーマンスの低下の軽減
  • 予測可能なレイテンシー
  • 排他的な CPU リソースの確保

5.6.1. 仮想マシンに物理コアを完全に割り当てるように設定する

KubeletConfig カスタムリソース (CR) の cpuManagerPolicy および cpuManagerPolicyOptions 設定を変更することで、物理コア全体の割り当てを設定できます。コア全体の割り当てにより、仮想マシンはコアを排他的に使用して、ノード上の他のワークロードとの競合を防ぐことができます。

前提条件

  • OpenShift Virtualization がインストールされた OpenShift Container Platform クラスターへのクラスター管理者アクセス権がある。
  • OpenShift CLI (oc) がインストールされている。
  • 仮想マシンが実行されているノードで CPU Manager が有効になっている。

手順

  1. KubeletConfig CR を編集して、必要な cpuManagerPolicy および cpuManagerPolicyOptions 設定を追加します。

    apiVersion: machineconfiguration.openshift.io/v1
    kind: KubeletConfig
    # ...
    cpuManagerPolicy: static
    cpuManagerPolicyOptions:
      full-pcpus-only: true
    kubeReserved:
      cpu: "1"
    # ...
    • 排他的 CPU 割り当てを有効にするには、cpuManagerPolicy: static ポリシーを設定する必要があります。この設定は、cpuManagerPolicyOptions 設定を指定するための前提条件です。
    • full-pcpus-only: true ポリシーオプションを設定して、静的 CPU Manager ポリシーが物理コア全体のみ割り当てるようにする必要があります。
    • kubeReserved 設定で cpu: "1" を設定して、システム用に 1 つの CPU を予約する必要があります。そうすることで、システムのコア機能は正常に動作するために必要な CPU に常時アクセスできるようになり、クラスターの安定性が確保されます。
  2. 次のコマンドを実行して、KubeletConfig CR に変更を適用します。

    $ oc apply -f <filename>.yaml

検証

  • 次のコマンドを実行して出力を調べ、変更を適用したノード上の kubelet 設定を調査します。

    $ oc debug node/<node_name> -- chroot /host cat /etc/kubernetes/kubelet.conf | grep -E -A 2 'cpuManagerPolicy|kubeReserved'

    出力例:

    cpuManagerPolicy: static
    cpuManagerPolicyOptions:
      full-pcpus-only: true
    --
    kubeReserved:
      cpu: "1"

5.7. より高い仮想マシンワークロード密度の設定

メモリー (RAM) をオーバーコミットすることで、ノード上の仮想マシン数を増やすことができます。類似したワークロードが多数存在する場合や、使用頻度の低いワークロードが存在する場合は、仮想マシンのワークロード密度を高めることが有効な場合があります。

注記

使用率の高いシステムでは、メモリーのオーバーコミットによりワークロードのパフォーマンスが低下する可能性があります。

5.7.1. wasp-agent を使用した仮想マシンのワークロードの密度の増加

ワーカーノードでスワップ領域をプロビジョニングし、OpenShift Virtualization のメモリーオーバーコミットの割合を設定できます。wasp-agent コンポーネントは、スワップリソースを VM ワークロードに割り当てます。

HyperConverged カスタムリソース (CR) の初回作成時に memoryOvercommitPercentage が 100 より大きい値に設定されている場合、wasp-agent コンポーネントが自動的にデプロイされます。

前提条件

  • OpenShift CLI (oc) がインストールされている。
  • cluster-admin ロールでクラスターにログイン済みである。
  • メモリーオーバーコミット率が定義済みである。
  • ノードはワーカープールに属している。
注記

wasp-agent コンポーネントは、Open Container Initiative (OCI) フックをデプロイして、ノードレベルでコンテナーのスワップ使用を有効にします。低レベルの性質上、DaemonSet オブジェクトには特権が必要です。

手順

  • MachineConfig オブジェクトを作成してスワップをプロビジョニングします。

    1. 次の例に示すパラメーターを使用して MachineConfig ファイルを作成します。

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfig
      metadata:
        labels:
          machineconfiguration.openshift.io/role: worker
        name: 90-worker-swap
      spec:
        config:
          ignition:
            version: 3.5.0
          storage:
            files:
            - contents:
                source: data:text/plain;charset=utf-8;base64,YXBpVmVyc2lvbjoga3ViZWxldC5jb25maWcuazhzLmlvL3YxYmV0YTEKa2luZDogS3ViZWxldENvbmZpZ3VyYXRpb24KZmFpbFN3YXBPbjogZmFsc2UK
              mode: 420
              overwrite: true
              path: /etc/openshift/kubelet.conf.d/90-swap.conf
          systemd:
            units:
              - contents: |
                  [Unit]
                  Description=Enable swap
                  ConditionFirstBoot=no
                  ConditionPathExists=/var/tmp/swapfile
      
                  [Service]
                  Type=oneshot
                  ExecStart=/bin/sh -c "sudo swapon /var/tmp/swapfile"
      
                  [Install]
                  RequiredBy=kubelet-dependencies.target
                enabled: true
                name: swap-enable.service
              - contents: |
                  [Unit]
                  Description=Provision and enable swap
                  ConditionFirstBoot=no
                  ConditionPathExists=!/var/tmp/swapfile
      
                  [Service]
                  Type=oneshot
                  Environment=SWAP_SIZE_MB=5000
                  ExecStart=/bin/sh -c "sudo fallocate -l ${SWAP_SIZE_MB}M /var/tmp/swapfile && \
                  sudo chmod 600 /var/tmp/swapfile && \
                  sudo mkswap /var/tmp/swapfile && \
                  sudo swapon /var/tmp/swapfile && \
                  free -h"
      
                  [Install]
                  RequiredBy=kubelet-dependencies.target
                enabled: true
                name: swap-provision.service
              - contents: |
                  [Unit]
                  Description=Restrict swap for system slice
                  ConditionFirstBoot=no
      
                  [Service]
                  Type=oneshot
                  ExecStart=/bin/sh -c "sudo systemctl set-property --runtime system.slice MemorySwapMax=0 IODeviceLatencyTargetSec=\"/ 50ms\""
      
                  [Install]
                  RequiredBy=kubelet-dependencies.target
                enabled: true
                name: cgroup-system-slice-config.service

      最悪のシナリオに備えて十分なスワップ領域を確保するには、オーバーコミットされた RAM と同量以上のスワップ領域をプロビジョニングしておく必要があります。次の式を使用して、ノードにプロビジョニングするスワップ領域の量を計算します。

      NODE_SWAP_SPACE = NODE_RAM * (MEMORY_OVER_COMMIT_PERCENT / 100% - 1)

      例:

      NODE_SWAP_SPACE = 16 GB * (150% / 100% - 1)
                     = 16 GB * (1.5 - 1)
                     = 16 GB * (0.5)
                     =  8 GB
    2. 次のコマンドを実行して、ワーカーノードが新しい設定と同期されるまで待ちます。

      $ oc wait mcp worker --for condition=Updated=True --timeout=-1s
      1. Web コンソールまたは CLI を使用して、OpenShift Virtualization でメモリーのオーバーコミットを有効にします。

        • Web コンソール

          1. OpenShift Container Platform Web コンソールで、Virtualization Overview Settings General settings Memory density に移動します。
          2. Configure memory density をオンに設定します。
          3. Current memory density の行を展開します。
          4. Requested memory density スライダーを動かして、密度値を設定します。密度は 100% から 400% まで、25% 刻みで引き上げることができます。

            Memory density フィールドには、実際の値と要求された値が表示されます。

          5. Save をクリックします。
        • CLI

          • より高いメモリー密度を有効にし、オーバーコミットレートを設定するように OpenShift Virtualization を設定します。

            $ oc -n openshift-cnv patch HyperConverged/kubevirt-hyperconverged --type='json' -p='[ \
              { \
              "op": "replace", \
              "path": "/spec/higherWorkloadDensity/memoryOvercommitPercentage", \
              "value": 150 \
              } \
            ]'

            正常な出力:

            hyperconverged.hco.kubevirt.io/kubevirt-hyperconverged patched

検証

  1. wasp-agent のデプロイメントを確認するには、次のコマンドを実行します。

    $ oc rollout status ds wasp-agent -n openshift-cnv

    デプロイメントが成功すると、次のメッセージが表示されます。

    出力例:

    daemon set "wasp-agent" successfully rolled out
  2. スワップが正しくプロビジョニングされていることを確認するには、次の手順を実行します。

    1. 次のコマンドを実行して、ワーカーノードのリストを表示します。

      $ oc get nodes -l node-role.kubernetes.io/worker
    2. リストからノードを選択し、次のコマンドを実行してそのメモリー使用量を表示します。

      $ oc debug node/<selected_node> -- free -m

      <selected_node> をノード名に置き換えます。

      スワップがプロビジョニングされている場合、Swap: 行にゼロより大きい値が表示されます。

      表5.2 出力例
       

      total

      used

      free

      shared

      buff/cache

      available

      Mem:

      31846

      23155

      1044

      6014

      14483

      8690

      Swap:

      8191

      2337

      5854

         
  3. 次のコマンドを実行して、OpenShift Virtualization のメモリーオーバーコミットメント設定を確認します。

    $ oc -n openshift-cnv get HyperConverged/kubevirt-hyperconverged -o jsonpath='{.spec.higherWorkloadDensity}{"\n"}'

    出力例:

    {"memoryOvercommitPercentage":150}

    返される値は、以前に設定した値と一致する必要があります。

5.7.2. wasp-agent コンポーネントを削除します。

メモリーのオーバーコミットが不要になった場合は、クラスターから wasp-agent コンポーネントと関連リソースを削除できます。

前提条件

  • cluster-admin ロールでクラスターにログイン済みである。
  • OpenShift CLI (oc) がインストールされている。

手順

  1. 次のコマンドを実行して、メモリーのオーバーコミット設定を元に戻します。

    $ oc -n openshift-cnv patch HyperConverged/kubevirt-hyperconverged \
      --type='json' \
      -p='[{"op": "remove", "path": "/spec/higherWorkloadDensity"}]'
  2. 次のコマンドを実行して、スワップメモリーをプロビジョニングする MachineConfig を削除します。

    $ oc delete machineconfig 90-worker-swap

検証

  • 次のコマンドを実行して出力を観察し、ノード上でスワップが有効になっていないことを確認します。

    $ oc debug node/<selected_node> -- free -m

    Swap: 行に 0 と表示されていること、またはスワップ領域がプロビジョニング済みと表示されないことを確認します。

5.8. 証明書ローテーションの設定

証明書ローテーションパラメーターを設定して、既存の証明書を置き換えます。

5.8.1. 証明書のローテーションの設定

Web コンソールで OpenShift Virtualization のインストール時に証明書のローテーションを設定しなかった場合は、HyperConverged カスタムリソース(CR)を使用して、インストール後に設定を適用できます。

前提条件

  • OpenShift CLI (oc) がインストールされている。

手順

  1. 以下のコマンドを実行して HyperConverged CR を開きます。

    $ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv
  2. 次の例に示すように、spec.security.certConfig フィールドを編集します。システムのオーバーロードを避けるには、すべての値が 10 分以上であることを確認します。golang ParseDuration 形式に準拠する文字列として、すべての値を表現します。

    apiVersion: hco.kubevirt.io/v1
    kind: HyperConverged
    metadata:
      name: kubevirt-hyperconverged
      namespace: openshift-cnv
    spec:
      security:
        certConfig:
          ca:
            duration: 48h0m0s
            renewBefore: 24h0m0s
          server:
            duration: 24h0m0s
            renewBefore: 12h0m0s
    • ca.renewBefore: ca.duration の値以下に設定します。
    • server.duration: ca.duration の値以下に設定します。
    • server.renewBefore: server.duration の値以下に設定します。
  3. 次のコマンドを実行して、HyperConverged CR に更新を適用します。

    $ oc apply -f <filename>.yaml

    以下に例を示します。

    $ oc apply -f kubevirt-hyperconverged.yaml

5.8.2. 証明書ローテーションパラメーターのトラブルシューティング

HyperConverged カスタムリソース (CR) 内で 1 つ以上の certConfig 値を削除すると、certConfig 値はデフォルト値に戻ります。

デフォルト値が次のいずれかの条件と競合する場合は、代わりにエラーメッセージが表示されます。

  • ca.renewBefore の値は ca.duration の値以下である必要があります。
  • server.duration の値は ca.duration の値以下である必要があります。
  • server.renewBefore の値は server.duration の値以下である必要があります。

たとえば、server.duration 値を削除すると、デフォルト値の 24h0m0s は ca.duration の値よりも大きくなり、指定された条件と競合します。

apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
  name: kubevirt-hyperconverged
  namespace: openshift-cnv
spec:
  # ...
  security:
    certConfig:
      ca:
        duration: 4h0m0s
        renewBefore: 1h0m0s
      server:
        duration: 4h0m0s
        renewBefore: 4h0m0s
# ...

これにより、以下のエラーメッセージが表示されます。

error: hyperconvergeds.hco.kubevirt.io "kubevirt-hyperconverged" could not be patched: admission webhook "validate-hco.kubevirt.io" denied the request: spec.certConfig: ca.duration is smaller than server.duration

エラーメッセージには、最初の競合のみが記載されます。続行する前に、すべての certConfig の値を確認します。

Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

Red Hat ドキュメントについて

Legal Notice

Theme

© 2026 Red Hat
トップに戻る