1.3. ネットワークが制限された環境での vSphere へのクラスターのインストール

手順

1. DHCP を設定します。
2. 必要なロードバランサーをプロビジョニングします。
3. マシンのポートを設定します。
4. DNS を設定します。
5. ネットワーク接続を確認します。

手順

1. パスワードなしの認証に設定されている SSH キーがコンピューター上にない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t rsa -b 4096 -N '' \
       -f <path>/<file_name> 1

   1

   ~/.ssh/id_rsa などの、SSH キーのパスおよびファイル名を指定します。

   このコマンドを実行すると、指定した場所にパスワードを必要としない SSH キーが生成されます。

2. ssh-agent プロセスをバックグラウンドタスクとして開始します。

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   ~/.ssh/id_rsa などの、SSH プライベートキーのパスおよびファイル名を指定します。

手順

1. 必要なインストールアセットを保存するためのインストールディレクトリーを作成します。

   $ mkdir <installation_directory>

   重要

   ディレクトリーを作成する必要があります。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

2. 以下の install-config.yaml ファイルテンプレートをカスタマイズし、これを <installation_directory> に保存します。

   注記

   この設定ファイル install-config.yaml に名前を付ける必要があります。

   • docker.io などの、RHCOS がデフォルトで信頼するレジストリーを使用しない限り、additionalTrustBundle セクションにミラーリポジトリーの証明書の内容を指定する必要があります。ほとんどの場合、ミラーの証明書を指定する必要があります。
   • リポジトリーのミラーリングに使用するコマンドの出力の imageContentSources セクションを組み込む必要があります。

3. install-config.yaml ファイルをバックアップし、これを複数のクラスターをインストールするために使用できるようにします。

   重要

   install-config.yaml ファイルは、インストールプロセスの次の手順で使用されます。この時点でこれをバックアップする必要があります。

手順

1. クラスターの Kubernetes マニフェストを生成します。

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   WARNING There are no compute nodes specified. The cluster will not fully initialize without compute nodes.
   INFO Consuming "Install Config" from target directory

   1

   <installation_directory> については、作成した install-config.yaml ファイルが含まれるインストールディレクトリーを指定します。

   インストールプロセスの後の部分で独自のコンピュートマシンを作成するため、この警告を無視しても問題がありません。

2. manifests/cluster-scheduler-02-config.yml Kubernetes マニフェストファイルを変更し、Pod がコントロールプレーンマシンにスケジュールされないようにします。

   1. manifests/cluster-scheduler-02-config.yml ファイルを開きます。
   2. mastersSchedulable パラメーターを見つけ、その値を False に設定します。
   3. ファイルを保存し、終了します。
   注記

   現時点では、Kubernetes の制限により、コントロールプレーンマシンで実行されるルーター Pod に Ingress ロードバランサーがアクセスすることができません。この手順は、OpenShift Container Platform の今後のマイナーバージョンで不要になる可能性があります。

3. Ignition 設定ファイルを取得します。

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   <installation_directory> については、同じインストールディレクトリーを指定します。

   以下のファイルはディレクトリーに生成されます。

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

手順

1. <installation_directory>/bootstrap.ign という名前のインストールプログラムが作成したブートストラップ Ignition 設定ファイルを HTTP サーバーにアップロードします。このファイルの URL をメモします。

   ブートストラップ Ignition 設定ファイルはサイズが大きすぎて vApp プロパティーに適さないため、これをホストする必要があります。

2. ブートストラップノードの以下の二次的な Ignition 設定ファイルを、<installation_directory>/append-bootstrap.ign としてコンピューターに保存します。

   {
     "ignition": {
       "config": {
         "append": [
           {
             "source": "<bootstrap_ignition_config_url>", 1
             "verification": {}
           }
         ]
       },
       "timeouts": {},
       "version": "2.1.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   ホストしているブートストラップの Ignition 設定ファイルの URL を指定します。

   ブートストラップマシンの仮想マシン (VM) を作成する場合に、この Ignition 設定ファイルを使用します。

3. マスター、ワーカー、および二次的なブートストラップ Ignition 設定ファイルを Base64 エンコーディングに変換します。

   たとえば、Linux オペレーティングシステムを使用する場合、 base64 コマンドを使用してファイルをエンコードできます。

   $ base64 -w0 <installation_directory>/master.ign > <installation_directory>/master.64
   $ base64 -w0 <installation_directory>/worker.ign > <installation_directory>/worker.64
   $ base64 -w0 <installation_directory>/append-bootstrap.ign > <installation_directory>/append-bootstrap.64

4. Red Hat カスタマーポータルの「製品のダウンロード」ページまたは「 RHCOS イメージミラー」ページから RHCOS OVA イメージを取得します。

   重要

   RHCOS イメージは OpenShift Container Platform の各リリースごとに変更されない可能性があります。インストールする OpenShift Container Platform バージョンと等しいか、それ以下のバージョンの内で最も新しいバージョンのイメージをダウンロードする必要があります。利用可能な場合は、OpenShift Container Platform バージョンに一致するイメージのバージョンを使用します。

   ファイル名には、rhcos-<version>-<architecture>-vmware.ova 形式の OpenShift Container Platform のバージョン番号が含まれます。

5. vSphere クライアントで、仮想マシンを保管するフォルダーをデータセンターに作成します。

   1. VMs and Templates ビューをクリックします。
   2. データセンターの名前を右クリックします。
   3. New Folder New VM and Template Folder をクリックします。
   4. 表示されるウィンドウで、フォルダー名を入力します。フォルダー名は、install-config.yaml ファイルで指定したクラスター名と一致している必要があります。

6. vSphere クライアントで、OVA イメージのテンプレートを作成します。

   注記

   以下の手順では、すべてのクラスターマシンに同じテンプレートを使用し、仮想マシンのプロビジョニングの際に該当するマシンタイプの Ignition 設定ファイルの場所を指定します。

   1. Hosts and Clusters タブで、クラスターの名前を右クリックし、Deploy OVF Template をクリックします。
   2. Select an OVF タブで、ダウンロードした RHCOS OVA ファイルの名前を指定します。
   3. Select a name and folder タブで、RHCOS などの Virtual machine name を設定し、vSphere クラスターの名前をクリックし、直前のステップで作成したフォルダーを選択します。
   4. Select a compute resource タブで、vSphere クラスターの名前をクリックします。

   5. Select storage タブで、仮想マシンのストレージオプションを設定します。

      • Thin Provision を選択します。
      • install-config.yaml ファイルで指定したデータストアを選択します。
   6. Select network タブで、クラスターに設定したネットワークを指定します (ある場合)。
   7. すべてのクラスターマシンタイプに同じテンプレートを使用する予定の場合、Customize template タブに値を指定しないでください。

7. テンプレートがデプロイされた後に、マシンの仮想マシンをクラスターにデプロイします。

   1. テンプレートの名前を右クリックし、Clone Clone to Virtual Machine をクリックします。
   2. Select a name and folder タブで、仮想マシンの名前を指定します。control-plane-0 または compute-1 などのように、マシンタイプを名前に含めることができるかもしれません。
   3. Select a name and folder タブで、クラスターに作成したフォルダーの名前を選択します。
   4. Select a compute resource タブで、データセンター内のホストの名前を選択します。
   5. オプション: Select storage タブで、ストレージオプションをカスタマイズします。
   6. Select clone options で、Customize this virtual machine’s hardware を選択します。

   7. Customize hardware タブで、VM Options Advanced をクリックします。

      • オプション: クラスターのパフォーマンスに問題が生じる場合は、Latency Sensitivity 一覧から High を選択します。

      • Edit Configuration をクリックし、Configuration Parameters ウィンドウで Add Configuration Params をクリックします。以下のパラメーター名および値を定義します。

        • guestinfo.ignition.config.data: このマシンファイルの base64 でエンコードした Ignition 設定ファイルの内容を貼り付けます。
        • guestinfo.ignition.config.data.encoding: base64 を指定します。
        • disk.EnableUUID: TRUE を指定します。

      • または、仮想マシンの電源を入れる前に vApp プロパティーを使用して追加します。

        • vCenter Server インベントリーから仮想マシンに移動します。
        • Configure タブで Settings を展開し、vAPP options を選択します。
        • スクロールダウンし、Properties の下で上記の設定を適用します。
   8. Customize hardware タブの Virtual Hardware パネルで、必要に応じて指定した値を変更します。RAM、CPU、およびディスクストレージの量がマシンタイプの最小要件を満たすことを確認してください。
   9. 設定を完了し、仮想マシンの電源をオンにします。

8. 各マシンごとに先の手順に従って、クラスターの残りのマシンを作成します。

   重要

   この時点でブートストラップおよびコントロールプレーンマシンを作成する必要があります。一部の Pod はデフォルトでコンピュートマシンにデプロイされるため、クラスターのインストール前に、2 つ以上のコンピュートマシンを作成します。

手順

1. ブートストラッププロセスをモニターします。

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2
   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.14.6+c4799753c up
   INFO Waiting up to 30m0s for the bootstrap-complete event...

   1

   <installation_directory> については、インストールファイルを保存したディレクトリーへのパスを指定します。

   2

   異なるインストールの詳細情報を表示するには、 info ではなく、warn、debug、または error を指定します。

   Kubernetes API サーバーでこれがコントロールプレーンマシンにブートストラップされていることを示すシグナルが出されるとコマンドは成功します。

2. ブートストラッププロセスが完了したら、ブートストラップマシンをロードバランサーから削除します。

   重要

   この時点で、ブートストラップマシンをロードバランサーから削除する必要があります。さらに、マシン自体を削除し、再フォーマットすることができます。

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami
   system:admin

手順

1. クラスターがマシンを認識していることを確認します。

   $ oc get nodes
   
   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.14.6+c4799753c
   master-1  Ready     master  63m  v1.14.6+c4799753c
   master-2  Ready     master  64m  v1.14.6+c4799753c
   worker-0  NotReady  worker  76s  v1.14.6+c4799753c
   worker-1  NotReady  worker  70s  v1.14.6+c4799753c

   出力には作成したすべてのマシンが一覧表示されます。

2. 保留中の証明書署名要求 (CSR) を確認し、クラスターに追加したそれぞれのマシンのクライアントおよびサーバー要求に Pending または Approved ステータスが表示されていることを確認します。

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending 1
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending 2
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

   1

   クライアント要求の CSR。

   2

   サーバー要求の CSR。

   この例では、2 つのマシンがクラスターに参加しています。この一覧にはさらに多くの承認された CSR が表示される可能性があります。

3. 追加したマシンの保留中の CSR すべてが Pending ステータスになった後に CSR が承認されない場合には、クラスターマシンの CSR を承認します。

   注記

   CSR のローテーションは自動的に実行されるため、クラスターにマシンを追加後 1 時間以内に CSR を承認してください。1 時間以内に承認しない場合には、証明書のローテーションが行われ、各ノードに 3 つ以上の証明書が存在するようになります。これらの証明書すべてを承認する必要があります。最初の CSR の承認後、後続のノードクライアント CSR はクラスターの kube-controller-manger によって自動的に承認されます。kubelet 提供証明書の要求を自動的に承認する方法を実装する必要があります。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

手順

1. クラスターコンポーネントがオンラインになることを確認します。

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      69s
   cloud-credential                     4.2.0     True        False         False      12m
   cluster-autoscaler                   4.2.0     True        False         False      11m
   console                              4.2.0     True        False         False      46s
   dns                                  4.2.0     True        False         False      11m
   image-registry                       4.2.0     False       True          False      5m26s
   ingress                              4.2.0     True        False         False      5m36s
   kube-apiserver                       4.2.0     True        False         False      8m53s
   kube-controller-manager              4.2.0     True        False         False      7m24s
   kube-scheduler                       4.2.0     True        False         False      12m
   machine-api                          4.2.0     True        False         False      12m
   machine-config                       4.2.0     True        False         False      7m36s
   marketplace                          4.2.0     True        False         False      7m54m
   monitoring                           4.2.0     True        False         False      7h54s
   network                              4.2.0     True        False         False      5m9s
   node-tuning                          4.2.0     True        False         False      11m
   openshift-apiserver                  4.2.0     True        False         False      11m
   openshift-controller-manager         4.2.0     True        False         False      5m943s
   openshift-samples                    4.2.0     True        False         False      3m55s
   operator-lifecycle-manager           4.2.0     True        False         False      11m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      11m
   service-ca                           4.2.0     True        False         False      11m
   service-catalog-apiserver            4.2.0     True        False         False      5m26s
   service-catalog-controller-manager   4.2.0     True        False         False      5m25s
   storage                              4.2.0     True        False         False      5m30s

2. 利用不可の Operator を設定します。

手順

1. すべてのクラスターコンポーネントがオンラインであることを確認します。

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      10m
   cloud-credential                     4.2.0     True        False         False      22m
   cluster-autoscaler                   4.2.0     True        False         False      21m
   console                              4.2.0     True        False         False      10m
   dns                                  4.2.0     True        False         False      21m
   image-registry                       4.2.0     True        False         False      16m
   ingress                              4.2.0     True        False         False      16m
   kube-apiserver                       4.2.0     True        False         False      19m
   kube-controller-manager              4.2.0     True        False         False      18m
   kube-scheduler                       4.2.0     True        False         False      22m
   machine-api                          4.2.0     True        False         False      22m
   machine-config                       4.2.0     True        False         False      18m
   marketplace                          4.2.0     True        False         False      18m
   monitoring                           4.2.0     True        False         False      18m
   network                              4.2.0     True        False         False      16m
   node-tuning                          4.2.0     True        False         False      21m
   openshift-apiserver                  4.2.0     True        False         False      21m
   openshift-controller-manager         4.2.0     True        False         False      17m
   openshift-samples                    4.2.0     True        False         False      14m
   operator-lifecycle-manager           4.2.0     True        False         False      21m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      21m
   service-ca                           4.2.0     True        False         False      21m
   service-catalog-apiserver            4.2.0     True        False         False      16m
   service-catalog-controller-manager   4.2.0     True        False         False      16m
   storage                              4.2.0     True        False         False      16m

   すべてのクラスター Operator が AVAILABLE の場合、インストールを完了することができます。

2. クラスターの完了をモニターします。

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1
   INFO Waiting up to 30m0s for the cluster to initialize...

   1

   <installation_directory> については、インストールファイルを保存したディレクトリーへのパスを指定します。

   Cluster Version Operator が Kubernetes API サーバーから OpenShift Container Platform クラスターのデプロイを終了するとコマンドは成功します。

   重要

   インストールプログラムが生成する Ignition 設定ファイルには、24 時間が経過すると期限切れになる証明書が含まれます。最初の証明書のローテーションが正常に実行されるようにするには、クラスターを動作が低下していない状態で 24 時間実行し続ける必要があります。

3. Kubernetes API サーバーが Pod と通信していることを確認します。

   1. すべての Pod の一覧を表示するには、以下のコマンドを使用します。

      $ oc get pods --all-namespaces
      
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 以下のコマンドを使用して、直前のコマンドの出力に一覧表示される Pod のログを表示します。

      $ oc logs <pod_name> -n <namespace> 1

      1

      直前のコマンドの出力にあるように、Pod 名および namespace を指定します。

      Pod のログが表示される場合、Kubernetes API サーバーはクラスターマシンと通信できます。

4. 「Cluster registration」ページでクラスターを登録します。