13.4. ネットワークが制限された環境での RHV へのクラスターのインストール

手順

1. RHV のバージョンが OpenShift Container Platform バージョン 4.7 のインストールをサポートすることを確認します。

   1. RHV Administration Portal の右上にある ? ヘルプアイコンをクリックし、About を選択します。
   2. 開かれるウィンドウで、RHV ソフトウェアのバージョン をメモします。
   3. RHV のバージョンが 4.4 であることを確認します。サポートされるバージョンの組み合わせについての詳細は、Support Matrix for OpenShift Container Platform on RHV を参照してください。

2. データセンター、クラスター、およびストレージを検査します。

   1. RHV 管理ポータルで、Compute Data Centers をクリックします。
   2. OpenShift Container Platform をインストールする予定のデータセンターにアクセスできることを確認します。
   3. そのデータセンターの名前をクリックします。
   4. データセンターの詳細の Storage タブで、OpenShift Container Platform をインストールする予定のストレージドメインが Active であることを確認します。
   5. 後で使用できるように ドメイン名 を記録します。
   6. 空き領域 に 230 GiB 以上あることを確認します。
   7. ストレージドメインが これらの etcd バックエンドのパフォーマンス要件 を満たしていることを確認します。これは、fio パフォーマンスベンチマークツールを使用して測定できます。
   8. データセンターの詳細で、Clusters タブをクリックします。
   9. OpenShift Container Platform をインストールする予定の RHV クラスターを見つけます。後で使用できるようにクラスター名を記録します。

3. RHV ホストリソースを確認します。

   1. RHV 管理ポータルで、Compute > Clusters をクリックします。
   2. OpenShift Container Platform をインストールする予定のクラスターをクリックします。
   3. クラスターの詳細で、Hosts タブをクリックします。
   4. ホストを検査し、それらに OpenShift Container Platform クラスター 専用 として利用可能な 論理 CPU コア の合計が 28 つ以上であることを確認します。
   5. 後で使用できるように、利用可能な 論理 CPU コア の数を記録します。
   6. これらの CPU コアが分散され、インストール時に作成された 7 つの仮想マシンのそれぞれに 4 つのコアを持たせることができることを確認します。

   7. ホストには、以下の OpenShift Container Platform マシンのそれぞれの要件を満たすように 新規仮想マシンをスケジュールするための最大空きメモリー として 112 GiB があることを確認します。

      • ブートストラップマシンに 16 GiB が必要です。
      • 3 つのコントロールプレーンマシンのそれぞれに 16 GiB が必要です。
      • 3 つのコンピュートマシンのそれぞれに 16 GiB が必要です。
   8. 後で使用できるように 新規仮想マシンをスケジュールするための最大空きメモリー の量を記録します。

4. OpenShift Container Platform をインストールするための仮想ネットワークが RHV Manager の REST API にアクセスできることを確認します。このネットワーク上の仮想マシンから、RHV Manager の REST API に到達するために curl を使用します。

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   <username> については、RHV で OpenShift Container Platform クラスターを作成および管理する権限を持つ RHV アカウントのユーザー名を指定します。<profile> には、ログインプロファイルを指定します。ログインプロファイルは、RHV Administration Portal ログインページに移動し、 Profile ドロップダウンリストで確認できます。<password> に、そのユーザー名のパスワードを指定します。

   2

   <engine-fqdn> に、RHV 環境の完全修飾ドメイン名を指定します。

   以下に例を示します。

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

1. API ロードバランサー: プラットフォームと対話およびプラットフォームを設定するためのユーザー向けの共通のエンドポイントを提供します。以下の条件を設定します。

   • Layer 4 の負荷分散のみ。これは、Raw TCP、SSL パススルー、または SSL ブリッジモードと呼ばれます。SSL ブリッジモードを使用する場合は、API ルートの Server Name Indication (SNI) を有効にする必要があります。
   • ステートレス負荷分散アルゴリズム。オプションは、ロードバランサーの実装によって異なります。
   重要

   API ロードバランサーのセッションの永続性は設定しないでください。

   ロードバランサーのフロントとバックの両方で以下のポートを設定します。

   表13.14 API ロードバランサー

   ポート	バックエンドマシン (プールメンバー)	内部	外部	説明
   6443	ブートストラップおよびコントロールプレーン。ブートストラップマシンがクラスターのコントロールプレーンを初期化した後に、ブートストラップマシンをロードバランサーから削除します。API サーバーのヘルスチェックプローブの /readyz エンドポイントを設定する必要があります。	X	X	Kubernetes API サーバー
   22623	ブートストラップおよびコントロールプレーン。ブートストラップマシンがクラスターのコントロールプレーンを初期化した後に、ブートストラップマシンをロードバランサーから削除します。	X		マシン設定サーバー

   注記

   ロードバランサーは、API サーバーが /readyz エンドポイントをオフにしてからプールから API サーバーインスタンスを削除するまで最大 30 秒かかるように設定する必要があります。/readyz の後の時間枠内でエラーが返されたり、正常になったりする場合は、エンドポイントが削除または追加されているはずです。5 秒または 10 秒ごとにプローブし、2 つの正常な要求が正常な状態になり、3 つの要求が正常な状態になりません。これらは十分にテストされた値です。

2. Application Ingress ロードバランサー: クラスター外から送られるアプリケーショントラフィックの Ingress ポイントを提供します。以下の条件を設定します。

   • Layer 4 の負荷分散のみ。これは、Raw TCP、SSL パススルー、または SSL ブリッジモードと呼ばれます。SSL ブリッジモードを使用する場合は、Ingress ルートの Server Name Indication (SNI) を有効にする必要があります。
   • 選択可能なオプションやプラットフォーム上でホストされるアプリケーションの種類に基づいて、接続ベースの永続化またはセッションベースの永続化が推奨されます。

   ロードバランサーのフロントとバックの両方で以下のポートを設定します。

   表13.15 アプリケーション Ingress ロードバランサー

   ポート	バックエンドマシン (プールメンバー)	内部	外部	説明
   443	デフォルトで Ingress ルーター Pod、コンピュート、またはワーカーを実行するマシン。	X	X	HTTPS トラフィック
   80	デフォルトで Ingress ルーター Pod、コンピュート、またはワーカーを実行するマシン。	X	X	HTTP トラフィック

手順

1. Python3 および Ansible を更新またはインストールします。以下に例を示します。

   # dnf update python3 ansible

2. python3-ovirt-engine-sdk4 パッケージをインストール して、Python Software Development Kit を取得します。

3. ovirt.image-template Ansible ロールをインストールします。RHV Manager およびその他の Red Hat Enterprise Linux (RHEL) マシンでは、このロールは ovirt-ansible-image-template パッケージとして提供されます。たとえば、 以下を入力します。

   # dnf install ovirt-ansible-image-template

4. ovirt.vm-infra Ansible ロールをインストールします。RHV Manager およびその他の RHEL マシンでは、このロールは ovirt-ansible-vm-infra パッケージとして提供されます。

   # dnf install ovirt-ansible-vm-infra

5. 環境変数を作成し、その環境変数に絶対パスまたは相対パスを割り当てます。たとえば、 以下を入力します。

   $ export ASSETS_DIR=./wrk

   注記

   インストールプログラムはこの変数を使用して、重要なインストール関連のファイルを保存するディレクトリーを作成します。その後、インストールプロセスはこの変数を再利用して、これらのアセットファイルを見つけます。このアセットディレクトリーを削除しないでください。これは、クラスターのアンインストールに必要になります。

手順

1. 以下の 2 つの方法のいずれかを使用して CA 証明書をダウンロードします。

   • Manager の Web ページ (https://<engine-fqdn>/ovirt-engine/) に移動します。次に、Downloads で CA Certificate のリンクをクリックします。

   • 以下のコマンドを実行します。

     $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1

     1

     <engine-fqdn> には、RHV Manager の完全修飾ドメイン名 (例: rhv-env.virtlab.example.com) を指定します。

2. ルートレスユーザーに Manager へのアクセスを付与するように CA ファイルを設定します。CA ファイルのパーミッションを 8 進数の 0644 に設定します (シンボリック値: -rw-r—​r--):

   $ sudo chmod 0644 /tmp/ca.pem

3. Linux の場合は、サーバー証明書のディレクトリーに CA 証明書をコピーします。-p を使用してパーミッションを保存します。

   $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem

4. オペレーティングシステム用の証明書マネージャーに証明書を追加します。

   • MacOS の場合は、証明書ファイルをダブルクリックして、Keychain Access ユーティリティーを使用してファイルを System キーチェーンに追加します。

   • Linux の場合は、CA 信頼を更新します。

     $ sudo update-ca-trust

     注記

     独自の認証局を使用する場合は、システムがこれを信頼することを確認します。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、新規 SSH キーのパスおよびファイル名を指定します。既存のキーペアがある場合は、公開鍵が ~/.ssh ディレクトリーにあることを確認します。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

   注記

   FIPS で検証済み/進行中のモジュール (Modules in Process) 暗号ライブラリーを使用する OpenShift Container Platform クラスターを x86_64 アーキテクチャーにインストールする予定の場合は、ed25519 アルゴリズムを使用するキーは作成しないでください。代わりに、rsa アルゴリズムまたは ecdsa アルゴリズムを使用するキーを作成します。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"

   出力例

   Agent pid 31874

   注記

   クラスターが FIPS モードにある場合は、FIPS 準拠のアルゴリズムのみを使用して SSH キーを生成します。鍵は RSA または ECDSA のいずれかである必要があります。

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1

   出力例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. インストールする OpenShift Container Platform バージョンの RHCOS イメージダウンロードページを見つけます (例: /pub/openshift-v4/dependencies/rhcos/latest/latest のインデックス)。
2. そのダウンロードページから、https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.7/latest/rhcos-openstack.x86_64.qcow2.gz などの OpenStack qcow2 イメージの URL をコピーします。

3. 先のステップでダウンロードした inventory.yml Playbook を編集します。この中で、URL を image_url の値として貼り付けます。以下に例を示します。

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.7/latest/rhcos-openstack.x86_64.qcow2.gz"

手順

1. インストールプログラムを実行します。

   $ openshift-install create install-config --dir $ASSETS_DIR

2. インストールプログラムのプロンプトに応答し、システムに関する情報を提供します。

   出力例

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

手順

1. コンピュートノードの数をゼロ (0) レプリカに設定します。

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. マシンネットワークの IP 範囲を設定します。たとえば、範囲を 172.16.0.0/16 に設定するには、以下を実行します。

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. ovirt セクションを削除し、プラットフォームを none に変更します。

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   警告

   Red Hat Virtualization は現在、oVirt プラットフォーム上にあるユーザーによってプロビジョニングされるインフラストラクチャーでのインストールをサポートしていません。そのため、プラットフォームを none に設定し、OpenShift Container Platform が各ノードをベアメタルノードとして、およびクラスターをベアメタルクラスターとして識別できるようにします。これは、任意のプラットフォームにクラスターをインストールする のと同じであり、次の制限があります。

   1. クラスタープロバイダーがないため、各マシンを手動で追加する必要があり、ノードスケーリング機能はありません。
   2. oVirt CSI ドライバーはインストールされず、CSI 機能はありません。

手順

1. オプション: install-config.yaml ファイルのバックアップコピーを作成します。

   $ cp install-config.yaml install-config.yaml.backup

2. アセットディレクトリーにマニフェストのセットを生成します。

   $ openshift-install create manifests --dir $ASSETS_DIR

   このコマンドにより、以下の情報が表示されます。

   出力例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   このコマンドにより、以下のマニフェストファイルが生成されます。

   出力例

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

手順

1. コントロールプレーンノードをスケジュール対象外にするには、以下を入力します。

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

手順

1. Ignition ファイルをビルドするには、以下を入力します。

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   出力例

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

手順

1. inventory.yml の control_plane および compute 変数で、type: high_performance の 両方のインスタンスを type: server に変更します。

2. オプション: 同じクラスターに複数のインストールを実行する予定の場合には、OCP インストールごとに異なるテンプレートを作成します。inventory.yml ファイルで、template の値の先頭に infraID を付けます。以下に例を示します。

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. テンプレートおよび仮想マシンを作成します。

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

手順

1. ブートストラップマシンを作成します。

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 管理ポータルまたは SSH のコンソールを使用してブートストラップマシンに接続します。<bootstrap_ip> をブートストラップノードの IP アドレスに置き換えます。SSH を使用するには、以下を入力します。

   $ ssh core@<boostrap.ip>

3. ブートストラップノードからリリースイメージサービスについての bootkube.service journald ユニットログを収集します。

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   注記

   ブートストラップノードの bootkube.service ログは、etcd の connection refused エラーを出力し、ブートストラップサーバーがコントロールプレーンノード (別名マスターノード) の etcd に接続できないことを示します。etcd が各コントロールプレーンノードで起動し、ノードがクラスターに参加した後には、エラーは発生しなくなるはずです。

手順

1. コントロールプレーンノードを作成します。

   $ ansible-playbook -i inventory.yml masters.yml

2. Playbook がコントロールプレーンを作成する間に、ブートストラッププロセスをモニターします。

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   出力例

   INFO API v1.18.3+b74c5ed up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. コントロールプレーンノードおよび etcd のすべての Pod が実行されている場合、インストールプログラムは以下の出力を表示します。

   出力例

   INFO It is now safe to remove the bootstrap resources

手順

1. クラスター環境で、管理者の kubeconfig ファイルをエクスポートします。

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig ファイルには、クライアントを正しいクラスターおよび API サーバーに接続するために CLI で使用されるクラスターについての情報が含まれます。

2. デプロイメント後に作成されたコントロールプレーンおよびコンピュートマシンを表示します。

   $ oc get nodes

3. クラスターのバージョンを表示します。

   $ oc get clusterversion

4. Operator のステータスを表示します。

   $ oc get clusteroperator

5. クラスター内のすべての実行中の Pod を表示します。

   $ oc get pods -A

手順

1. クラスターからブートストラップマシンを削除するには、以下を実行します。

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. ロードバランサーディレクティブからブートストラップマシンの設定を削除します。

手順

1. ワーカーノードを作成します。

   $ ansible-playbook -i inventory.yml workers.yml

2. すべての CSR を一覧表示するには、以下を入力します。

   $ oc get csr -A

   最終的に、このコマンドはノードごとに 1 つの CSR を表示します。以下に例を示します。

   出力例

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 一覧をフィルターし、保留中の CSR のみを表示するには、以下を実行します。

   $ watch "oc get csr -A | grep pending -i"

   このコマンドは 2 秒ごとに出力を更新し、保留中の CSR のみを表示します。以下に例を示します。

   出力例

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 保留中のそれぞれの要求を検査します。以下に例を示します。

   出力例

   $ oc describe csr csr-m724n

   出力例

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. CSR 情報が正しい場合は、要求を承認します。

   $ oc adm certificate approve csr-m724n

6. インストールプロセスが完了するまで待機します。

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   インストールが完了すると、コマンドラインには OpenShift Container Platform Web コンソールの URL と、管理者のユーザー名およびパスワードが表示されます。