第5章 インストール後の設定
5.1. インストール後の設定 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Virtualization をインストールした後、環境が適切に設定されていることを確認するために実行できる手順がいくつかあります。ご自身の環境に関連するコンポーネントを設定できます。
- クラスター管理者は、自己検証チェックを実行することで、実稼働ワークロードをデプロイする前に、環境が完全に機能し自立して稼働しているかを検証できます。
- ホストパスプロビジョナーは、OpenShift Virtualization 用に設計されたローカルストレージプロビジョナーです。仮想マシンのローカルストレージを設定する必要がある場合、まずホストパスプロビジョナーを有効にする必要があります。
- OpenShift Virtualization Operator、ワークロード、およびコントローラーのノード配置ルール。
ネットワーク設定:
- Kubernetes NMState および SR-IOV Operator のインストール
- 仮想マシンへの外部アクセスのための Linux ブリッジネットワークの設定
- ライブマイグレーション用の専用セカンダリーネットワークの設定
- SR-IOV ネットワークの設定
- OpenShift Container Platform Web コンソールを使用したロードバランサーサービスの作成の有効化
ストレージ設定:
- Container Storage Interface (CSI) のデフォルトのストレージクラスの定義
- ホストパスプロビジョナー (HPP) を使用したローカルストレージの設定
5.2. OpenShift Virtualization コンポーネントのノードの指定 リンクのコピーリンクがクリップボードにコピーされました!
ノード配置ルールを設定することで、OpenShift Virtualization Operator、ワークロード、およびコントローラーをどこにデプロイするかを指定できます。カスタム配置ルールを使用すると、仮想マシン (VM) のトラフィックを分離したり、重要なワークロードに専用のコンピュートリソースを割り当てたりすることができます。
OpenShift Virtualization のインストール後に一部のコンポーネントに対してノード配置ルールを設定できますが、ワークロードに対してノード配置ルールを設定する場合は仮想マシンが存在できません。
5.2.1. OpenShift Virtualization コンポーネントのノード配置ルールについて リンクのコピーリンクがクリップボードにコピーされました!
ノード配置ルールを使用すると、仮想化ワークロード用のノードにのみ仮想マシンをデプロイしたり、インフラストラクチャーノードにのみ Operator をデプロイしたり、ワークロード間の分離を維持したりすることができます。
オブジェクトに応じて、以下のルールタイプを 1 つ以上使用できます。
nodeSelector- このフィールドで指定したキーと値のペアでラベル付けされたノードで Pod をスケジュールできるようにします。ノードには、リスト表示されたすべてのペアに一致するラベルがなければなりません。
affinity- より表現的な構文を使用して、ノードと Pod に一致するルールを設定できます。アフィニティーを使用すると、ルールの適用方法に追加のニュアンスを持たせることができます。たとえば、ルールが要件ではなく設定であると指定できます。ルールが優先の場合、ルールが満たされていない場合でも Pod はスケジュールされます。
tolerations- 一致する taint を持つノードに Pod をスケジュールすることを許容します。ノードに taint が適用されると、そのノードはその taint を許容する Pod のみを受け入れます。
IBM Z または IBM LinuxONE (s390x) クラスターで複数のハイパーバイザーを使用している場合は、仮想マシンを実行するためにサポートされているノードについて、次の表を参照してください。
| ノードアーキテクチャー | Hypervisor | 仮想マシンデプロイメント | ノードの選択 | 仮想マシンアーキテクチャー |
|---|---|---|---|---|
| s390x | LPAR | サポート対象 | LPAR ノードのノードセレクターを設定 | s390x |
| s390x | z/VM | サポート対象外 | z/VM ノードのアンチアフィニティーを設定 | 該当なし |
| s390x | KVM | サポート対象外 | KVM ノードのアンチアフィニティーを設定 | 該当なし |
デフォルトでは、スケジューラーが、s390x 上の z/VM ノードや KVM ノードよりも、LPAR ノードを優先的に選択することはありません。サポートされている s390x 仮想マシンを使用するには、少なくとも 1 つの s390x LPAR ノードをスケジューリング可能なコンピュートノードとして設定し、仮想マシンをデプロイする前にノードセレクターを設定する必要があります。
5.2.2. ノードの配置ルールの適用 リンクのコピーリンクがクリップボードにコピーされました!
ノード配置ルールを適用することで、仮想化コンポーネントがワークロード要件に最適なノードで実行されるようにすることができます。OpenShift Virtualization オブジェクトを編集することで、ノード配置ルールを適用できます。
前提条件
-
OpenShift CLI (
oc) がインストールされている。 - クラスター管理者の権限でログインしています。
手順
次のコマンドを実行して、デフォルトのエディターでオブジェクトを編集します。
$ oc edit <resource_type> <resource_name> -n openshift-cnv- 変更を適用するためにファイルを保存します。
5.2.3. ノード配置ルールの例 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Virtualization コンポーネントのデプロイ先を決定する、さまざまなオブジェクトに対するノード配置ルールの例。
5.2.3.1. サブスクリプションオブジェクトノード配置ルールの例 リンクのコピーリンクがクリップボードにコピーされました!
OLM が OpenShift Virtualization Operator をデプロイするノードを指定するには、OpenShift Virtualization のインストール時に Subscription オブジェクトを編集します。
-
Web コンソールを使用して、
Subscriptionオブジェクトのノードの配置ルールを設定することはできません。 -
Subscriptionオブジェクトは、affinityノードの配置ルールをサポートしていません。
nodeSelector ルールが含まれる Subscription オブジェクトの例:
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
name: hco-operatorhub
namespace: openshift-cnv
spec:
source: redhat-operators
sourceNamespace: openshift-marketplace
name: kubevirt-hyperconverged
startingCSV: kubevirt-hyperconverged-operator.v4.21.24
channel: "stable"
config:
nodeSelector:
example.io/example-infra-key: example-infra-value
OLM は、example.io/example-infra-key = example-infra-value というラベルのノードに OpenShift Virtualization Operator をデプロイします。
次の Pod は、Subscription オブジェクトノードの配置ルールの影響を受けます。これらの Pod は、HyperConverged カスタムリソース(CR)がない場合でも、OpenShift Virtualization Operator の初回インストール時に作成されます。
-
aaq-operator -
cdi-operator -
cluster-network-addons-operator -
hco-operator -
hco-webhook -
hostpath-provisioner-operator -
hyperconverged-cluster-cli-download -
kubevirt-migration-operator -
ssp-operator -
virt-operator
容認 ルールが含まれる Subscription オブジェクトの例:
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
name: hco-operatorhub
namespace: openshift-cnv
spec:
source: redhat-operators
sourceNamespace: openshift-marketplace
name: kubevirt-hyperconverged
startingCSV: kubevirt-hyperconverged-operator.v4.21.24
channel: "stable"
config:
tolerations:
- key: "key"
operator: "Equal"
value: "virtualization"
effect: "NoSchedule"
OLM は、key = virtualization:NoSchedule taint のラベルが付けられているノードに OpenShift Virtualization Operator をデプロイします。このノードには、一致する toleration を持つ Pod のみがスケジュールされます。
5.2.3.2. HyperConverged オブジェクトノード配置ルールの例 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Virtualization がそのコンポーネントをデプロイするノードを指定するには、OpenShift Virtualization のインストール時に作成する HyperConverged カスタムリソース (CR) ファイルの nodePlacement オブジェクトを編集します。
nodeSelector ルールを含む HyperConverged オブジェクトの例:
apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
name: kubevirt-hyperconverged
namespace: openshift-cnv
spec:
deployment:
nodePlacements:
infra:
nodeSelector:
example.io/example-infra-key: example-infra-value
workload:
nodeSelector:
example.io/example-workloads-key: example-workloads-value
-
インフラストラクチャーリソースは、
example.io/example-infra-key = example-infra-valueというラベルの付いたノードに配置されます。 -
ワークロードは、
example.io/example-workloads-key = example-workloads-valueというラベルの付いたノードに配置されます。
アフィニティー ルールのある HyperConverged オブジェクトの例:
apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
name: kubevirt-hyperconverged
namespace: openshift-cnv
spec:
deployment:
nodePlacements:
infra:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: example.io/example-infra-key
operator: In
values:
- example-infra-value
workload:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: example.io/example-workloads-key
operator: In
values:
- example-workloads-value
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: example.io/num-cpus
operator: Gt
values:
- 8
-
インフラストラクチャーリソースは、
example.io/example-infra-key = example-valueというラベルの付いたノードに配置されます。 -
ワークロードは、
example.io/example-workloads-key = example-workloads-valueというラベルの付いたノードに配置されます。 - ワークロード用には 9 つ以上の CPU を持つノードが優先されますが、それらが利用可能ではない場合も、Pod は依然としてスケジュールされます。
容認 ルールを含む HyperConverged オブジェクトの例:
apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
name: kubevirt-hyperconverged
namespace: openshift-cnv
spec:
deployment:
nodePlacements:
workload:
tolerations:
- key: "key"
operator: "Equal"
value: "virtualization"
effect: "NoSchedule"
OpenShift Virtualization コンポーネント用に予約されているノードには、key = virtualization:NoSchedule taint のラベルが付けられています。予約済みノードには、一致する toleration を持つ Pod のみがスケジュールされます。
次の Pod は、HyperConverged オブジェクトノードの配置ルールの影響を受けます。これらの Pod は HyperConverged CR がデプロイされる際に作成されます。
-
cdi-apiserver -
cdi-deployment -
cdi-uploadproxy -
KubeMacPool-cert-manager -
KubeMacPool-mac-controller-manager -
kubevirt-apiserver-proxy -
kubevirt-console-plugin -
kubevirt-ipam-controller-manager -
kubevirt-migration-controller -
virt-api -
virt-controller -
virt-exportproxy -
virt-template-validator
5.2.3.3. HostPathProvisioner オブジェクトノード配置ルールの例 リンクのコピーリンクがクリップボードにコピーされました!
HostPathProvisioner オブジェクトは、直接編集することも、Web コンソールを使用して編集することもできます。
ホストパスプロビジョナー (HPP) と OpenShift Virtualization コンポーネントを同じノード上でスケジュールする必要があります。スケジュールしない場合は、ホストパスプロビジョナーを使用する仮想化 Pod を実行できません。仮想マシンを実行することはできません。
HPP ストレージクラスを使用して仮想マシン (VM) をデプロイした後、ノードセレクターを使用して同じノードからホストパスプロビジョナー Pod を削除できます。ただし、少なくともその特定のノードは、まずその変更を元に戻し、仮想マシンを削除しようとする前に Pod が実行されるのを待つ必要があります。
ノード配置ルールを設定するには、ホストパスプロビジョナーのインストール時に作成する HostPathProvisioner オブジェクトの spec.workload フィールドに nodeSelector、affinity、または tolerations を指定します。
nodeSelector ルールを含む HostPathProvisioner オブジェクトの例:
apiVersion: hostpathprovisioner.kubevirt.io/v1beta1
kind: HostPathProvisioner
metadata:
name: hostpath-provisioner
spec:
imagePullPolicy: IfNotPresent
pathConfig:
path: "</path/to/backing/directory>"
useNamingPrefix: false
workload:
nodeSelector:
example.io/example-workloads-key: example-workloads-value
ワークロードは、example.io/example-workloads-key = example-workloads-value というラベルの付いたノードに配置されます。
5.3. インストール後のネットワーク設定 リンクのコピーリンクがクリップボードにコピーされました!
デフォルトでは、OpenShift Virtualization はインストール後に単一の内部 Pod ネットワークを使用します。
OpenShift Virtualization をインストールした後、ネットワーク Operator をインストールし、追加のネットワークを設定できます。
- ライブマイグレーションまたは仮想マシン (VM) への外部アクセス用に Linux ブリッジネットワークを設定するには、Kubernetes NMState Operator をインストールする必要があります。
- SR-IOV Operator をインストールして、SR-IOV ネットワークデバイスとネットワークアタッチメントを管理できます。
- MetalLB Operator を追加すると、クラスター上の MetalLB インスタンスのライフサイクルを管理できます。
5.3.1. Linux ブリッジ ノード ネットワーク設定ポリシーを作成する リンクのコピーリンクがクリップボードにコピーされました!
NodeNetworkConfigurationPolicy (NNCP)マニフェストを作成して、ライブマイグレーションや仮想マシンへの外部アクセス用に Linux ブリッジネットワークを設定できます。
前提条件
- Kubernetes NMState Operator がインストールされている。
手順
NNCPマニフェストを設定します。この例には、独自の情報で置き換える必要のあるサンプルの値が含まれます。apiVersion: nmstate.io/v1 kind: NodeNetworkConfigurationPolicy metadata: name: br1-eth1-policy spec: desiredState: interfaces: - name: br1 description: Linux bridge with eth1 as a port type: linux-bridge state: up ipv4: enabled: false bridge: options: stp: enabled: false port: - name: eth1-
metadata.name: ノードネットワーク設定ポリシーの名前を定義します。 -
spec.desiredState.interfaces.name: 新しい Linux ブリッジの名前を定義します。 -
spec.desiredState.interfaces.description: ブリッジの人間が判読できる説明を定義するために使用できるオプションフィールド。 -
spec.desiredState.interfaces.type: インターフェイスタイプを定義します。この例では、タイプは Linux ブリッジです。 -
spec.desiredState.interfaces.state: 作成後にインターフェイスの要求された状態を定義します。 -
spec.desiredState.interfaces.ipv4.enabled: ipv4 プロトコルがアクティブであるかどうかを定義します。これをfalseに設定すると、このブリッジでの IPv4 アドレス指定が無効になります。 -
spec.desiredState.interfaces.bridge.options.stp.enabled: Spanning Tree Protocol (STP)がアクティブかどうかを定義します。これをfalseに設定すると、このブリッジでの STP が無効になります。 spec.desiredState.interfaces.bridge.port.name: ブリッジが接続されているノード NIC を定義します。注記IBM Z® で Open Systems Adapter (OSA) を使用する Linux ブリッジ用の NNCP マニフェストを作成するには、
NodeNetworkConfigurationPolicyマニフェストでrx-vlan-filterをfalseに設定して VLAN フィルタリングを無効にする必要があります。または、ノードへの SSH アクセス権がある場合は、次のコマンドを実行して VLAN フィルタリングを無効にできます。
$ sudo ethtool -K <osa-interface-name> rx-vlan-filter off
-
NNCPマニフェストを作成します。$ oc apply -f linux-bridge-nncp.yaml
5.3.2. Web コンソールを使用した Linux ブリッジ NAD の作成 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform Web コンソールを使用して、Pod および仮想マシンをレイヤー 2 ネットワークに接続する NetworkAttachmentDefinition (net-attach-def)を作成します。
仮想マシンの Network Attachment Definition での IP アドレス管理 (IPAM) の設定はサポートされていません。
手順
-
Web コンソールで、Networking
NetworkAttachmentDefinitions をクリックします。 Create Network Attachment Definition をクリックします。
注記network attachment definition は Pod または仮想マシンと同じ namespace にある必要があります。
- 一意の Name およびオプションの Description を入力します。
- Network Type リストから CNV Linux bridge を選択します。
- Bridge Name フィールドにブリッジの名前を入力します。
オプション: リソースに VLAN ID が設定されている場合、VLAN Tag Number フィールドに ID 番号を入力します。
注記IBM Z® の Open Systems Adapter (OSA) インターフェイスは VLAN フィルタリングをサポートしておらず、VLAN タグ付きトラフィックを破棄します。OSA インターフェイスで VLAN タグ付けされた
NetworkAttachmentDefinitionsを使用しないでください。- オプション: MAC Spoof Check を選択して、MAC スプーフフィルタリングを有効にします。この機能により、Pod を終了するための MAC アドレスを 1 つだけ許可することで、MAC スプーフィング攻撃に対してセキュリティーを確保します。
オプション: YAML タブで、
spec.config.disableContainerInterfaceフィールドを追加します。trueに設定すると、Bridge CNI プラグインは Pod のネットワーク namespace 内での標準のコンテナー仮想イーサネット (veth) インターフェイスの作成をスキップします。これにより、仮想化ネットワークバックエンドは、標準のコンテナーではなく、レイヤー2インターフェイスをゲスト仮想マシンに直接アタッチできるようになります。YAML の例:
apiVersion: "k8s.cni.cncf.io/v1" kind: NetworkAttachmentDefinition metadata: name: bridge-network annotations: k8s.v1.cni.cncf.io/resourceName: bridge.network.kubevirt.io/br1 spec: config: | { # ... "disableContainerInterface": true, # ... }- Create をクリックします。
5.3.3. ライブマイグレーション専用のセカンダリーネットワークの設定 リンクのコピーリンクがクリップボードにコピーされました!
ライブマイグレーション専用のセカンダリーネットワークを設定し、ライブマイグレーション中のテナントワークロードに対するネットワークの飽和性を最小限に抑えます。
前提条件
-
OpenShift CLI (
oc) がインストールされている。 -
cluster-adminロールを持つユーザーとしてクラスターにログインしている。 - 各ノードには少なくとも 2 つのネットワークインターフェイスカード (NIC) があります。
- ライブマイグレーション用の NIC は同じ VLAN に接続されます。
- Linux ブリッジネットワークを設定している。
手順
次の例に従って、
NetworkAttachmentDefinitionマニフェストを作成します。apiVersion: "k8s.cni.cncf.io/v1" kind: NetworkAttachmentDefinition metadata: name: my-secondary-network namespace: openshift-cnv spec: config: '{ "cniVersion": "0.3.1", "name": "migration-bridge", "type": "macvlan", "master": "eth1", "mode": "bridge", "ipam": { "type": "whereabouts", "range": "10.200.5.0/24" } }'-
metadata.name:NetworkAttachmentDefinitionオブジェクトの名前を定義します。 -
config.master: ライブマイグレーションに使用する NIC の名前を定義します。 -
config.type:NetworkAttachmentDefinitionのネットワークを提供する CNI プラグインの名前を定義します。 -
config.range: セカンダリーネットワークの IP アドレス範囲を定義します。この範囲は、メインネットワークの IP アドレスと重複してはなりません。
-
以下のコマンドを実行して、デフォルトのエディターで
HyperConvergedCR を開きます。$ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnvNetworkAttachmentDefinitionオブジェクトの名前をHyperConvergedCR のspec.virtualization.liveMigrationConfigスタンザに追加します。HyperConvergedマニフェストの例:apiVersion: hco.kubevirt.io/v1 kind: HyperConverged metadata: name: kubevirt-hyperconverged namespace: openshift-cnv spec: virtualization: liveMigrationConfig: completionTimeoutPerGiB: 800 network: <network> parallelMigrationsPerCluster: 5 parallelOutboundMigrationsPerNode: 2 progressTimeout: 150 # ...-
spec.virtualization.liveMigrationConfig.network: ライブマイグレーションに使用される MultusNetworkAttachmentDefinitionオブジェクトの名前を定義します。
-
-
変更を保存し、エディターを終了します。
virt-handlerPod が再起動し、セカンダリーネットワークに接続されます。
検証
仮想マシンが実行されるノードがメンテナンスモードに切り替えられると、仮想マシンは自動的にクラスター内の別のノードに移行します。仮想マシンインスタンス (VMI) メタデータのターゲット IP アドレスを確認して、デフォルトの Pod ネットワークではなく、セカンダリーネットワーク上で移行が発生したことを確認できます。
$ oc get vmi <vmi_name> -o jsonpath='{.status.migrationState.targetNodeAddress}'
5.3.4. Web コンソールを使用して専用の移行ネットワークを選択する リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform Web コンソールを使用して、ライブマイグレーション用の専用ネットワークを選択できます。
前提条件
- ライブマイグレーション用に Multus ネットワークが設定されている。
- ネットワークの network attachment definition を作成している。
手順
- OpenShift Container Platform の Web コンソールで、Virtualization > Overview に移動します。
- Settings タブをクリックし、Live migration をクリックします。
- Live migration network リストからネットワークを選択します。
5.3.5. SR-IOV ネットワークデバイスの設定 リンクのコピーリンクがクリップボードにコピーされました!
SR-IOV Network Operator は SriovNetworkNodePolicy.sriovnetwork.openshift.io カスタムリソース定義 (CRD) を OpenShift Container Platform に追加します。SR-IOV ネットワークデバイスは、SriovNetworkNodePolicy カスタムリソース (CR) を作成して設定できます。
SriovNetworkNodePolicy CR で指定された設定を適用する際に、SR-IOV Operator はノードの drain (Pod の退避) を実行する可能性があり、場合によってはノードの再起動を行う場合があります。再起動は次の場合にのみ行われます。
-
Mellanox NIC (
mlx5ドライバー) の場合、Physical Function (PF) 上の Virtual Function (VF) の数が増加するたびにノードの再起動が行われます。 -
Intel NIC の場合、カーネルパラメーターに
intel_iommu=onとiommu=ptが含まれていない場合にのみ再起動が行われます。
設定の変更が適用されるまでに数分かかる場合があります。
前提条件
-
OpenShift CLI (
oc) がインストールされている。 -
cluster-adminロールを持つユーザーとしてクラスターにアクセスできる。 - SR-IOV Network Operator がインストールされている。
- drain (Pod の退避) が実行されたノードからエビクトされたワークロードを処理するために、クラスター内に利用可能な十分なノードがある。
- SR-IOV ネットワークデバイス設定にコントロールプレーンノードを選択していない。
手順
SriovNetworkNodePolicyオブジェクトを作成してから、YAML を<name>-sriov-node-network.yamlファイルに保存します。<name>をこの設定の名前に置き換えます。apiVersion: sriovnetwork.openshift.io/v1 kind: SriovNetworkNodePolicy metadata: name: <name> namespace: openshift-sriov-network-operator spec: resourceName: <sriov_resource_name> nodeSelector: feature.node.kubernetes.io/network-sriov.capable: "true" priority: <priority> mtu: <mtu> numVfs: <num> nicSelector: vendor: "<vendor_code>" deviceID: "<device_id>" pfNames: ["<pf_name>", ...] rootDevices: ["<pci_bus_id>", "..."] deviceType: vfio-pci isRdma: false-
metadata.nameは、SriovNetworkNodePolicyオブジェクトの名前を定義します。 -
metadata.namespaceは、SR-IOV Network Operator がインストールされている namespace を定義します。 -
spec.resourceNameは、SR-IOV デバイスプラグインのリソース名を定義します。1 つのリソース名に複数のSriovNetworkNodePolicyオブジェクトを作成できます。 -
spec.nodeSelector.feature.node.kubernetes.io/network-sriov.capableは、設定対象となるノードを選択するためのノードセレクターを定義します。選択したノード上の SR-IOV ネットワークデバイスのみが設定されます。SR-IOV Container Network Interface (CNI) プラグインおよびデバイスプラグインは、選択したノードにのみデプロイされます。 -
spec.priorityは、0から99までの整数値を定義するオプションのフィールドです。数値が小さいほど優先度が高くなります。したがって、10は99よりも優先度が高くなります。デフォルト値は99です。 -
spec.mtuは、Virtual Function の最大伝送単位 (MTU) の値を定義するオプションのフィールドです。MTU の最大値は NIC モデルによって異なります。 -
spec.numVfsは、SR-IOV 物理ネットワークデバイス用に作成する Virtual Function (VF) の数を定義します。Intel ネットワークインターフェイスコントローラー (NIC) の場合、VF の数はデバイスがサポートする VF の合計よりも大きくすることはできません。Mellanox NIC の場合、VF の数は127よりも大きくすることはできません。 spec.nicSelectorは、Operator が設定するイーサネットデバイスを定義します。すべてのパラメーターの値を指定する必要はありません。注記意図せずにイーサネットデバイスを選択する可能性を最低限に抑えるために、イーサネットアダプターを正確に特定できるようにすることが推奨されます。
rootDevicesを指定する場合は、vendor、deviceID、またはpfNamesの値も指定する必要があります。pfNamesとrootDevicesの両方を同時に指定する場合、それらが同一のデバイスをポイントすることを確認します。-
spec.nicSelector.vendorは、SR-IOV ネットワークデバイスのベンダーの 16 進コードを定義するオプションのフィールドです。許可される値は8086または15b3のいずれかのみになります。 -
spec.nicSelector.deviceIDは、SR-IOV ネットワークデバイスのデバイスの 16 進コードを定義するオプションのフィールドです。許可される値は158b、1015、1017のみになります。 -
spec.nicSelector.pfNamesは、イーサネットデバイスの 1 つ以上の Physical Function (PF) 名の配列を定義するオプションのフィールドです。 -
spec.nicSelector.rootDevicesは、イーサネットデバイスの Physical Function に対応する 1 つ以上の PCI バスアドレスの配列を定義するオプションのフィールドです。以下の形式でアドレスを指定します:0000:02:00.1 -
spec.deviceTypeは、ドライバータイプを定義します。OpenShift Virtualization の仮想機能には、vfio-pciドライバータイプが必要です。 spec.isRdmaは、Remote Direct Memory Access (RDMA) モードを有効化するかどうかを定義するオプションのフィールドです。Mellanox カードの場合、isRdmaをfalseに設定します。デフォルト値はfalseです。注記isRDMAフラグがtrueに設定される場合、引き続き RDMA 対応の VF を通常のネットワークデバイスとして使用できます。デバイスはどちらのモードでも使用できます。
-
-
オプション: SR-IOV 対応のクラスターノードにまだラベルが付いていない場合は、
SriovNetworkNodePolicy.Spec.NodeSelectorでラベルを付けます。ノードのラベル付けの詳細は、「ノードのラベルを更新する方法について」を参照してください。 SriovNetworkNodePolicyオブジェクトを作成します。以下のコマンドを実行する際は、<name>をこの設定の名前に置き換えます。$ oc create -f <name>-sriov-node-network.yaml設定の更新が適用された後に、
sriov-network-operatornamespace のすべての Pod がRunningステータスに移行します。SR-IOV ネットワークデバイスの設定を確認するには、次のコマンドを入力します。
<node_name>はデバイスを設定したノードの名前に置き換えます。$ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'
5.3.6. Web コンソールを使用してロードバランサーサービスを有効にする リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Container Platform Web コンソールから仮想マシン(VM)のロードバランサーサービスの作成を有効にすることができます。SSH アクセス用のロードバランサーサービスを作成する前に、この設定をオンにする必要があります。
前提条件
- クラスターのロードバランサーが設定されました。
-
cluster-adminロールを持つユーザーとしてログインしている。 - ネットワークの network attachment definition を作成している。
手順
-
Virtualization
Overview に移動します。 - Settings タブで、Cluster をクリックします。
- Expand General settings と SSH configuration を展開します。
- SSH over LoadBalancer service をオンに設定します。
5.3.7. cdi-uploadproxy サービスへの追加ルートの設定 リンクのコピーリンクがクリップボードにコピーされました!
cdi-uploadproxy サービスへの追加のルートを設定し、ユーザーがクラスター外から仮想マシンイメージをアップロードできるようにします。
前提条件
-
OpenShift CLI (
oc) がインストールされている。 -
cluster-adminロールを持つユーザーとしてクラスターにログインしている。
手順
次のコマンドを実行して、外部ホストへのルートを設定します。
$ oc create route reencrypt <route_name> -n openshift-cnv \ --insecure-policy=Redirect \ --hostname=<host_name_or_address> \ --service=cdi-uploadproxy各項目の説明:
<route_name>- このカスタムルートに割り当てる名前を指定します。
<host_name_or_address>- イメージのアップロードアクセスを提供する外部ホストの完全修飾ドメイン名または IP アドレスを指定します。
次のコマンドを実行して、ルートにアノテーションを付けます。これにより、証明書がローテーションされるときに、正しい Containerized Data Importer (CDI) CA 証明書が注入されます。
$ oc annotate route <route_name> -n openshift-cnv \ operator.cdi.kubevirt.io/injectUploadProxyCert="true"各項目の説明:
<route_name>- 作成したルートの名前を指定します。
5.4. インストール後のストレージ設定 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Virtualization をインストールした後、デフォルトのストレージクラスを設定する必要があります。ストレージクラスを設定することで、クラスターはブートソースの自動更新を受信できるようになります。ストレージプロバイダーがコンテナー化データインポーター (CDI) に認識されない場合は、OpenShift Virtualization のインストール後にストレージプロファイルを設定する必要があります。ストレージプロファイルは、関連付けられたストレージクラスに基づいて推奨されるストレージ設定を提供します。
オプション: ホストパスプロビジョナー (HPP) を使用して、ローカルストレージを設定できます。
CDI、データボリューム、自動ブートソース更新の設定など、その他のオプションについては、「ストレージ設定の概要」ドキュメントを参照してください。
5.4.1. HPP を使用したローカルストレージの設定 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift Virtualization Operator のインストール時に、Hostpath Provisioner (HPP) Operator は自動的にインストールされます。HPP Operator は HPP プロビジョナーを作成します。
HPP は、OpenShift Virtualization 用に設計されたローカルストレージプロビジョナーです。HPP を使用するには、HPP カスタムリソース (CR) を作成する必要があります。
HPP ストレージプールは、オペレーティングシステムと同じパーティションにあってはなりません。そうしないと、ストレージプールがオペレーティングシステムパーティションをいっぱいにする可能性があります。オペレーティングシステムのパーティションがいっぱいになると、パフォーマンスに悪影響が生じたり、ノードが不安定になったり使用できなくなったりする可能性があります。
5.4.1.1. storagePools スタンザを使用して CSI ドライバーのストレージクラスを作成します。 リンクのコピーリンクがクリップボードにコピーされました!
ホストパスプロビジョナー (HPP) を使用するには、コンテナーストレージインターフェイス (CSI) ドライバーに関連するストレージクラスを作成する必要があります。
ストレージクラスの作成時に、ストレージクラスに属する永続ボリューム (PV) の動的プロビジョニングに影響するパラメーターを設定します。StorageClass オブジェクトの作成後には、このオブジェクトのパラメーターを更新できません。
手順
storageclass_csi.yamlファイルを作成して、ストレージクラスを定義します。apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: hostpath-csi provisioner: kubevirt.io.hostpath-provisioner reclaimPolicy: Delete volumeBindingMode: WaitForFirstConsumer parameters: storagePool: my-storage-pool-
reclaimPolicyは、ユーザーが PVC を削除したときに、基礎となるストレージが削除されるか保持されるかを定義します。reclaimPolicyには、DeleteおよびRetainの 2 つの値があります。値を指定しない場合、デフォルト値はDeleteです。 volumeBindingModeは、PV 作成のタイミングを定義します。この例では、WaitForFirstConsumer設定により、スケジューラーが特定のノードに Pod を割り当てるまで、PV の作成が遅延されます。注記仮想マシンは、特定のノード上に存在するローカル PV に基づいたデータボリュームを使用します。システムが仮想マシン用のディスクイメージを準備する際、スケジューラーはローカルストレージ PV を固定したノードに仮想マシンを配置しない場合があります。
+ この問題を解決するには、Kubernetes Pod スケジューラーを使用して、永続ボリューム要求 (PVC) を正しいノードの PV にバインドします。
StorageClassのvolumeBindingModeパラメーターをWaitForFirstConsumerに設定すると、PVC を使用する Pod が作成されるまで PV のバインディングとプロビジョニングが遅延されます。-
parameters.storagePoolは、HPP カスタムリソース (CR) で定義されているストレージプールの名前を定義します。
-
- ファイルを保存して終了します。
次のコマンドを実行して、
StorageClassオブジェクトを作成します。$ oc create -f storageclass_csi.yaml
5.5. 自己検証チェック リンクのコピーリンクがクリップボードにコピーされました!
自己検証チェックアップでは、重要なサブシステムに対して適合性テストを実行し、実稼働ワークロードをデプロイする前に、環境が完全に機能し、自己維持可能であることを確認します。
5.5.1. Web コンソールで自己検証チェックを実行する リンクのコピーリンクがクリップボードにコピーされました!
自己検証チェックを実行することで、機能テストの実行プロセスが効率化され、ワークロードをデプロイする前に、OpenShift Virtualization インストールの安定性、健全性、およびコンプライアンスを検証できます。
前提条件
- クラスター管理者の権限がある。
- OpenShift Virtualization がインストールされている OpenShift Container Platform クラスターへアクセスできる。
- OpenShift Container Platform Web コンソールにログインしている。
手順
-
OpenShift Container Platform の Web コンソールで、Virtualization
Checkups に移動します。 - Self validation タブに移動します。
- Run checkup をクリックします。
- 実行したいテストの設定を行います。
- オプション: Advanced settings をクリックし、Dry run ボタンを切り替えることで、ドライランテストを有効にできます。
Run をクリックします。Self validation checkup details ページが表示されます。
自己検証チェックがリアルタイムで実行される様子を観察できます。テスト完了まで数時間かかる場合があります。
- テストが完了すると、Self validation checkup details ページで、失敗したテストの名前を含む概要結果を確認できます。
- オプション: Self validation checkup details ページにある Download results をクリックすると、詳細な結果を ZIP ファイルとしてダウンロードできます。
5.6. 仮想マシンに物理コアを割り当てる リンクのコピーリンクがクリップボードにコピーされました!
クラスター管理者は、異なる仮想マシンが同じ物理コアを共有することを許可するのではなく、物理コア全体を特定の仮想マシンに割り当てることができます。物理コア全体のみを使用するように仮想マシンを設定することで、高スループットまたはレイテンシーが重要な仮想マシンのパフォーマンスを最適化できます。
同時マルチスレッディング (SMT) 対応システムでは、次の利点があるため、物理コア全体のみを割り当てることが重要です。
- ノイジーネイバーやリソースの競合の防止
- パフォーマンスの低下の軽減
- 予測可能なレイテンシー
- 排他的な CPU リソースの確保
5.6.1. 仮想マシンに物理コアを完全に割り当てるように設定する リンクのコピーリンクがクリップボードにコピーされました!
KubeletConfig カスタムリソース (CR) の cpuManagerPolicy および cpuManagerPolicyOptions 設定を変更することで、物理コア全体の割り当てを設定できます。コア全体の割り当てにより、仮想マシンはコアを排他的に使用して、ノード上の他のワークロードとの競合を防ぐことができます。
前提条件
- OpenShift Virtualization がインストールされた OpenShift Container Platform クラスターへのクラスター管理者アクセス権がある。
-
OpenShift CLI (
oc) がインストールされている。 - 仮想マシンが実行されているノードで CPU Manager が有効になっている。
手順
KubeletConfigCR を編集して、必要なcpuManagerPolicyおよびcpuManagerPolicyOptions設定を追加します。apiVersion: machineconfiguration.openshift.io/v1 kind: KubeletConfig # ... cpuManagerPolicy: static cpuManagerPolicyOptions: full-pcpus-only: true kubeReserved: cpu: "1" # ...-
排他的 CPU 割り当てを有効にするには、
cpuManagerPolicy: staticポリシーを設定する必要があります。この設定は、cpuManagerPolicyOptions設定を指定するための前提条件です。 -
full-pcpus-only: trueポリシーオプションを設定して、静的 CPU Manager ポリシーが物理コア全体のみ割り当てるようにする必要があります。 -
kubeReserved設定でcpu: "1"を設定して、システム用に 1 つの CPU を予約する必要があります。そうすることで、システムのコア機能は正常に動作するために必要な CPU に常時アクセスできるようになり、クラスターの安定性が確保されます。
-
排他的 CPU 割り当てを有効にするには、
次のコマンドを実行して、
KubeletConfigCR に変更を適用します。$ oc apply -f <filename>.yaml
検証
次のコマンドを実行して出力を調べ、変更を適用したノード上の kubelet 設定を調査します。
$ oc debug node/<node_name> -- chroot /host cat /etc/kubernetes/kubelet.conf | grep -E -A 2 'cpuManagerPolicy|kubeReserved'出力例:
cpuManagerPolicy: static cpuManagerPolicyOptions: full-pcpus-only: true -- kubeReserved: cpu: "1"
5.7. より高い仮想マシンワークロード密度の設定 リンクのコピーリンクがクリップボードにコピーされました!
メモリー (RAM) をオーバーコミットすることで、ノード上の仮想マシン数を増やすことができます。類似したワークロードが多数存在する場合や、使用頻度の低いワークロードが存在する場合は、仮想マシンのワークロード密度を高めることが有効な場合があります。
使用率の高いシステムでは、メモリーのオーバーコミットによりワークロードのパフォーマンスが低下する可能性があります。
5.7.1. wasp-agent を使用した仮想マシンのワークロードの密度の増加 リンクのコピーリンクがクリップボードにコピーされました!
ワーカーノードでスワップ領域をプロビジョニングし、OpenShift Virtualization のメモリーオーバーコミットの割合を設定できます。wasp-agent コンポーネントは、スワップリソースを VM ワークロードに割り当てます。
HyperConverged カスタムリソース (CR) の初回作成時に memoryOvercommitPercentage が 100 より大きい値に設定されている場合、wasp-agent コンポーネントが自動的にデプロイされます。
前提条件
-
OpenShift CLI (
oc) がインストールされている。 -
cluster-adminロールでクラスターにログイン済みである。 - メモリーオーバーコミット率が定義済みである。
- ノードはワーカープールに属している。
wasp-agent コンポーネントは、Open Container Initiative (OCI) フックをデプロイして、ノードレベルでコンテナーのスワップ使用を有効にします。低レベルの性質上、DaemonSet オブジェクトには特権が必要です。
手順
MachineConfigオブジェクトを作成してスワップをプロビジョニングします。次の例に示すパラメーターを使用して
MachineConfigファイルを作成します。apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfig metadata: labels: machineconfiguration.openshift.io/role: worker name: 90-worker-swap spec: config: ignition: version: 3.5.0 storage: files: - contents: source: data:text/plain;charset=utf-8;base64,YXBpVmVyc2lvbjoga3ViZWxldC5jb25maWcuazhzLmlvL3YxYmV0YTEKa2luZDogS3ViZWxldENvbmZpZ3VyYXRpb24KZmFpbFN3YXBPbjogZmFsc2UK mode: 420 overwrite: true path: /etc/openshift/kubelet.conf.d/90-swap.conf systemd: units: - contents: | [Unit] Description=Enable swap ConditionFirstBoot=no ConditionPathExists=/var/tmp/swapfile [Service] Type=oneshot ExecStart=/bin/sh -c "sudo swapon /var/tmp/swapfile" [Install] RequiredBy=kubelet-dependencies.target enabled: true name: swap-enable.service - contents: | [Unit] Description=Provision and enable swap ConditionFirstBoot=no ConditionPathExists=!/var/tmp/swapfile [Service] Type=oneshot Environment=SWAP_SIZE_MB=5000 ExecStart=/bin/sh -c "sudo fallocate -l ${SWAP_SIZE_MB}M /var/tmp/swapfile && \ sudo chmod 600 /var/tmp/swapfile && \ sudo mkswap /var/tmp/swapfile && \ sudo swapon /var/tmp/swapfile && \ free -h" [Install] RequiredBy=kubelet-dependencies.target enabled: true name: swap-provision.service - contents: | [Unit] Description=Restrict swap for system slice ConditionFirstBoot=no [Service] Type=oneshot ExecStart=/bin/sh -c "sudo systemctl set-property --runtime system.slice MemorySwapMax=0 IODeviceLatencyTargetSec=\"/ 50ms\"" [Install] RequiredBy=kubelet-dependencies.target enabled: true name: cgroup-system-slice-config.service最悪のシナリオに備えて十分なスワップ領域を確保するには、オーバーコミットされた RAM と同量以上のスワップ領域をプロビジョニングしておく必要があります。次の式を使用して、ノードにプロビジョニングするスワップ領域の量を計算します。
NODE_SWAP_SPACE = NODE_RAM * (MEMORY_OVER_COMMIT_PERCENT / 100% - 1)例:
NODE_SWAP_SPACE = 16 GB * (150% / 100% - 1) = 16 GB * (1.5 - 1) = 16 GB * (0.5) = 8 GB次のコマンドを実行して、ワーカーノードが新しい設定と同期されるまで待ちます。
$ oc wait mcp worker --for condition=Updated=True --timeout=-1sWeb コンソールまたは CLI を使用して、OpenShift Virtualization でメモリーのオーバーコミットを有効にします。
Web コンソール
-
OpenShift Container Platform Web コンソールで、Virtualization
Overview Settings General settings Memory density に移動します。 - Configure memory density をオンに設定します。
- Current memory density の行を展開します。
Requested memory density スライダーを動かして、密度値を設定します。密度は 100% から 400% まで、25% 刻みで引き上げることができます。
Memory density フィールドには、実際の値と要求された値が表示されます。
- Save をクリックします。
-
OpenShift Container Platform Web コンソールで、Virtualization
CLI
より高いメモリー密度を有効にし、オーバーコミットレートを設定するように OpenShift Virtualization を設定します。
$ oc -n openshift-cnv patch HyperConverged/kubevirt-hyperconverged --type='json' -p='[ \ { \ "op": "replace", \ "path": "/spec/higherWorkloadDensity/memoryOvercommitPercentage", \ "value": 150 \ } \ ]'正常な出力:
hyperconverged.hco.kubevirt.io/kubevirt-hyperconverged patched
検証
wasp-agentのデプロイメントを確認するには、次のコマンドを実行します。$ oc rollout status ds wasp-agent -n openshift-cnvデプロイメントが成功すると、次のメッセージが表示されます。
出力例:
daemon set "wasp-agent" successfully rolled outスワップが正しくプロビジョニングされていることを確認するには、次の手順を実行します。
次のコマンドを実行して、ワーカーノードのリストを表示します。
$ oc get nodes -l node-role.kubernetes.io/workerリストからノードを選択し、次のコマンドを実行してそのメモリー使用量を表示します。
$ oc debug node/<selected_node> -- free -m<selected_node>をノード名に置き換えます。スワップがプロビジョニングされている場合、
Swap:行にゼロより大きい値が表示されます。表5.2 出力例 total
used
free
shared
buff/cache
available
Mem:
31846
23155
1044
6014
14483
8690
Swap:
8191
2337
5854
次のコマンドを実行して、OpenShift Virtualization のメモリーオーバーコミットメント設定を確認します。
$ oc -n openshift-cnv get HyperConverged/kubevirt-hyperconverged -o jsonpath='{.spec.higherWorkloadDensity}{"\n"}'出力例:
{"memoryOvercommitPercentage":150}返される値は、以前に設定した値と一致する必要があります。
5.7.2. wasp-agent コンポーネントを削除します。 リンクのコピーリンクがクリップボードにコピーされました!
メモリーのオーバーコミットが不要になった場合は、クラスターから wasp-agent コンポーネントと関連リソースを削除できます。
前提条件
-
cluster-adminロールでクラスターにログイン済みである。 -
OpenShift CLI (
oc) がインストールされている。
手順
次のコマンドを実行して、メモリーのオーバーコミット設定を元に戻します。
$ oc -n openshift-cnv patch HyperConverged/kubevirt-hyperconverged \ --type='json' \ -p='[{"op": "remove", "path": "/spec/higherWorkloadDensity"}]'次のコマンドを実行して、スワップメモリーをプロビジョニングする
MachineConfigを削除します。$ oc delete machineconfig 90-worker-swap
検証
次のコマンドを実行して出力を観察し、ノード上でスワップが有効になっていないことを確認します。
$ oc debug node/<selected_node> -- free -mSwap:行に0と表示されていること、またはスワップ領域がプロビジョニング済みと表示されないことを確認します。
5.8. 証明書ローテーションの設定 リンクのコピーリンクがクリップボードにコピーされました!
証明書ローテーションパラメーターを設定して、既存の証明書を置き換えます。
5.8.1. 証明書のローテーションの設定 リンクのコピーリンクがクリップボードにコピーされました!
Web コンソールで OpenShift Virtualization のインストール時に証明書のローテーションを設定しなかった場合は、HyperConverged カスタムリソース(CR)を使用して、インストール後に設定を適用できます。
前提条件
-
OpenShift CLI (
oc) がインストールされている。
手順
以下のコマンドを実行して
HyperConvergedCR を開きます。$ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv次の例に示すように、
spec.security.certConfigフィールドを編集します。システムのオーバーロードを避けるには、すべての値が 10 分以上であることを確認します。golangParseDuration形式に準拠する文字列として、すべての値を表現します。apiVersion: hco.kubevirt.io/v1 kind: HyperConverged metadata: name: kubevirt-hyperconverged namespace: openshift-cnv spec: security: certConfig: ca: duration: 48h0m0s renewBefore: 24h0m0s server: duration: 24h0m0s renewBefore: 12h0m0s-
ca.renewBefore:ca.durationの値以下に設定します。 -
server.duration:ca.durationの値以下に設定します。 -
server.renewBefore:server.durationの値以下に設定します。
-
次のコマンドを実行して、
HyperConvergedCR に更新を適用します。$ oc apply -f <filename>.yaml以下に例を示します。
$ oc apply -f kubevirt-hyperconverged.yaml
5.8.2. 証明書ローテーションパラメーターのトラブルシューティング リンクのコピーリンクがクリップボードにコピーされました!
HyperConverged カスタムリソース (CR) 内で 1 つ以上の certConfig 値を削除すると、certConfig 値はデフォルト値に戻ります。
デフォルト値が次のいずれかの条件と競合する場合は、代わりにエラーメッセージが表示されます。
-
ca.renewBeforeの値はca.durationの値以下である必要があります。 -
server.durationの値はca.durationの値以下である必要があります。 -
server.renewBeforeの値はserver.durationの値以下である必要があります。
たとえば、server.duration 値を削除すると、デフォルト値の 24h0m0s は ca.duration の値よりも大きくなり、指定された条件と競合します。
apiVersion: hco.kubevirt.io/v1
kind: HyperConverged
metadata:
name: kubevirt-hyperconverged
namespace: openshift-cnv
spec:
# ...
security:
certConfig:
ca:
duration: 4h0m0s
renewBefore: 1h0m0s
server:
duration: 4h0m0s
renewBefore: 4h0m0s
# ...
これにより、以下のエラーメッセージが表示されます。
error: hyperconvergeds.hco.kubevirt.io "kubevirt-hyperconverged" could not be patched: admission webhook "validate-hco.kubevirt.io" denied the request: spec.certConfig: ca.duration is smaller than server.duration
エラーメッセージには、最初の競合のみが記載されます。続行する前に、すべての certConfig の値を確認します。