15.7. 独自の SR-IOV インフラストラクチャーを使用した OpenStack へのクラスターのインストール

手順

1. コマンドラインで、リポジトリーを追加します。

   1. Red Hat Subscription Manager に登録します。

      $ sudo subscription-manager register # If not done already

   2. 最新のサブスクリプションデータをプルします。

      $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already

   3. 現在のリポジトリーを無効にします。

      $ sudo subscription-manager repos --disable=* # If not done already

   4. 必要なリポジトリーを追加します。

      $ sudo subscription-manager repos \
        --enable=rhel-8-for-x86_64-baseos-rpms \
        --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
        --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
        --enable=rhel-8-for-x86_64-appstream-rpms

2. モジュールをインストールします。

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr

3. python コマンドが python3 を参照していることを確認します。

   $ sudo alternatives --set python /usr/bin/python3

手順

1. OpenShift Cluster Manager サイトの インフラストラクチャープロバイダー ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使ってログインします。アカウントがない場合はこれを作成します。
2. インフラストラクチャープロバイダーを選択します。

3. 選択するインストールタイプのページに移動し、オペレーティングシステムのインストールプログラムをダウンロードし、ファイルをインストール設定ファイルを保存するディレクトリーに配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターのインストール完了後は、インストールプログラムおよびインストールプログラムが作成するファイルを保持する必要があります。ファイルはいずれもクラスターを削除するために必要になります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。クラスターを削除するには、特定のクラウドプロバイダー用の OpenShift Container Platform のアンインストール手順を実行します。

4. インストールプログラムを展開します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar -xvf openshift-install-linux.tar.gz

5. Red Hat OpenShift Cluster Manager からインストールプルシークレット をダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. クラスターノードへの認証に使用するローカルマシンに既存の SSH キーペアがない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   新しい SSH キーのパスとファイル名 (~/.ssh/id_ed25519 など) を指定します。既存のキーペアがある場合は、公開鍵が ~/.ssh ディレクトリーにあることを確認します。

   注記

   FIPS で検証済み/進行中のモジュール (Modules in Process) 暗号ライブラリーを使用する OpenShift Container Platform クラスターを x86_64 アーキテクチャーにインストールする予定の場合は、ed25519 アルゴリズムを使用するキーは作成しないでください。代わりに、rsa アルゴリズムまたは ecdsa アルゴリズムを使用するキーを作成します。

2. 公開 SSH キーを表示します。

   $ cat <path>/<file_name>.pub

   たとえば、次のコマンドを実行して ~/.ssh/id_ed25519.pub 公開鍵を表示します。

   $ cat ~/.ssh/id_ed25519.pub

3. ローカルユーザーの SSH エージェントに SSH 秘密鍵 ID が追加されていない場合は、それを追加します。キーの SSH エージェント管理は、クラスターノードへのパスワードなしの SSH 認証、または ./openshift-install gather コマンドを使用する場合は必要になります。

   注記

   一部のディストリビューションでは、~/.ssh/id_rsa および ~/.ssh/id_dsa などのデフォルトの SSH 秘密鍵のアイデンティティーは自動的に管理されます。

   1. ssh-agent プロセスがローカルユーザーに対して実行されていない場合は、バックグラウンドタスクとして開始します。

      $ eval "$(ssh-agent -s)"

      出力例

      Agent pid 31874

      注記

      クラスターが FIPS モードにある場合は、FIPS 準拠のアルゴリズムのみを使用して SSH キーを生成します。鍵は RSA または ECDSA のいずれかである必要があります。

4. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1

   1

   ~/.ssh/id_ed25519 などの、SSH プライベートキーのパスおよびファイル名を指定します。

   出力例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

手順

1. Red Hat カスタマーポータルの 製品ダウンロードページ にログインします。

2. Version で、Red Hat Enterprise Linux (RHEL) 8 用の OpenShift Container Platform 4.9 の最新リリースを選択します。

   重要

   RHCOS イメージは OpenShift Container Platform の各リリースごとに変更されない可能性があります。インストールする OpenShift Container Platform バージョンと等しいか、それ以下のバージョンの内で最も新しいバージョンのイメージをダウンロードする必要があります。利用可能な場合は、OpenShift Container Platform バージョンに一致するイメージのバージョンを使用します。

3. Red Hat Enterprise Linux CoreOS (RHCOS) - OpenStack Image (QCOW) をダウンロードします。

4. イメージを展開します。

   注記

   クラスターが使用する前に RHOSP イメージを圧縮解除する必要があります。ダウンロードしたファイルの名前に、.gz または .tgz などの圧縮拡張子が含まれていない場合があります。ファイルを圧縮するか、またはどのように圧縮するかを確認するには、コマンドラインで以下を入力します。

   $ file <name_of_downloaded_file>

5. ダウンロードしたイメージから、RHOSP CLI を使用して rhcos という名前のイメージをクラスターに作成します。

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   RHOSP 環境によっては、.raw または .qcow2 形式 のいずれかでイメージをアップロードできる場合があります。Ceph を使用する場合は、.raw 形式を使用する必要があります。

   警告

   インストールプログラムが同じ名前を持つ複数のイメージを見つける場合、それらのイメージのいずれかがランダムに選択されます。この動作を回避するには、RHOSP でリソースの一意の名前を作成します。

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"

   出力例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. install-config.yaml ファイルを作成します。

   1. インストールプログラムが含まれるディレクトリーに切り替え、以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. ターゲットに設定するプラットフォームとして openstack を選択します。
      3. クラスターのインストールに使用する Red Hat OpenStack Platform (RHOSP) の外部ネットワーク名を指定します。
      4. OpenShift API への外部アクセスに使用する floating IP アドレスを指定します。
      5. コントロールプレーンノードに使用する少なくとも 16 GB の RAM とコンピュートノードに使用する 8 GB の RAM を持つ RHOSP フレーバーを指定します。
      6. クラスターをデプロイするベースドメインを選択します。すべての DNS レコードはこのベースのサブドメインとなり、クラスター名も含まれます。
      7. クラスターの名前を入力します。名前は 14 文字以下でなければなりません。
      8. Red Hat OpenShift Cluster Manager からプルシークレット を貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細は、インストール設定パラメーターのセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. OpenShift Container Platform のインストールプログラムが含まれるディレクトリーに切り替え、クラスターの Kubernetes マニフェストを生成します。

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   <installation_directory> については、作成した install-config.yaml ファイルが含まれるインストールディレクトリーを指定します。

2. コントロールプレーンマシンおよびコンピュートマシンセットを定義する Kubernetes マニフェストファイルを削除します。

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   これらのリソースを独自に作成および管理するため、それらを初期化する必要はありません。

   • マシンセットファイルを保存して、マシン API を使用してコンピュートマシンを作成することができますが、環境に合わせてそれらへの参照を更新する必要があります。

3. <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes マニフェストファイルの mastersSchedulable パラメーターが false に設定されていることを確認します。この設定により、Pod がコントロールプレーンマシンにスケジュールされなくなります。

   1. <installation_directory>/manifests/cluster-scheduler-02-config.yml ファイルを開きます。
   2. mastersSchedulable パラメーターを見つけ、これが false に設定されていることを確認します。
   3. ファイルを保存し、終了します。

4. Ignition 設定ファイルを作成するには、インストールプログラムが含まれるディレクトリーから以下のコマンドを実行します。

   $ ./openshift-install create ignition-configs --dir <installation_directory> 1

   1

   <installation_directory> については、同じインストールディレクトリーを指定します。

   Ignition 設定ファイルは、インストールディレクトリー内のブートストラップ、コントロールプレーン、およびコンピュートノード用に作成されます。kubeadmin-password および kubeconfig ファイルが ./<installation_directory>/auth ディレクトリーに作成されます。

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. メタデータファイルの infraID キーを環境変数としてエクスポートします。

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

手順

1. 以下の Python スクリプトを実行します。スクリプトはブートストラップ Ignition ファイルを変更して、ホスト名および利用可能な場合は、実行時の CA 証明書ファイルを設定します。

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64
       }
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64
           }
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. RHOSP CLI を使用して、ブートストラップ Ignition ファイルを使用するイメージを作成します。

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. イメージの詳細を取得します。

   $ openstack image show <image_name>

   file 値をメモします。これは v2/images/<image_ID>/file パターンをベースとしています。

   注記

   作成したイメージがアクティブであることを確認します。

4. イメージサービスのパブリックアドレスを取得します。

   $ openstack catalog show image

5. パブリックアドレスとイメージ file 値を組み合わせ、結果を保存場所として保存します。この場所は、<image_service_public_URL>/v2/images/<image_ID>/file パターンをベースとしています。

6. 認証トークンを生成し、トークン ID を保存します。

   $ openstack token issue -c id -f value

7. $INFRA_ID-bootstrap-ignition.json というファイルに以下のコンテンツを挿入し、独自の値に一致するようにプレースホルダーを編集します。

   {
     "ignition": {
       "config": {
         "merge": [{
           "source": "<storage_url>", 1
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>" 4
           }]
         }
       },
       "version": "3.2.0"
     }
   }

   1

   ignition.config.append.source の値をブートストラップ Ignition ファイルのストレージ URL に置き換えます。

   2

   httpHeaders の name を "X-Auth-Token" に設定します。

   3

   httpHeaders の value をトークンの ID に設定します。

   4

   ブートストラップ Ignition ファイルサーバーが自己署名証明書を使用する場合は、base64 でエンコードされた証明書を含めます。

8. セカンダリー Ignition 設定ファイルを保存します。

手順

1. オプション: 外部ネットワークの値を inventory.yaml Playbook に追加します。

   inventory.yaml Ansible Playbook の外部ネットワーク値の例

   ...
         # The public network providing connectivity to the cluster. If not
         # provided, the cluster external connectivity must be provided in another
         # way.
   
         # Required for os_api_fip, os_ingress_fip, os_bootstrap_fip.
         os_external_network: 'external'
   ...

   重要

   inventory.yaml ファイルの os_external_network の値を指定しなかった場合は、仮想マシンが Glance および外部接続にアクセスできるようにする必要があります。

2. オプション: 外部ネットワークおよび Floating IP (FIP) アドレスの値を inventory.yaml Playbook に追加します。

   inventory.yaml Ansible Playbook の FIP 値の例

   ...
         # OpenShift API floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the Control Plane to
         # serve the OpenShift API.
         os_api_fip: '203.0.113.23'
   
         # OpenShift Ingress floating IP address. If this value is non-empty, the
         # corresponding floating IP will be attached to the worker nodes to serve
         # the applications.
         os_ingress_fip: '203.0.113.19'
   
         # If this value is non-empty, the corresponding floating IP will be
         # attached to the bootstrap machine. This is needed for collecting logs
         # in case of install failure.
         os_bootstrap_fip: '203.0.113.20'

   重要

   os_api_fip および os_ingress_fip の値を定義しない場合、インストール後のネットワーク設定を実行する必要があります。

   os_bootstrap_fip の値を定義しない場合、インストーラーは失敗したインストールからデバッグ情報をダウンロードできません。

   詳細は、環境へのアクセスの有効化を参照してください。

3. コマンドラインで、security-groups.yaml Playbook を実行してセキュリティーグループを作成します。

   $ ansible-playbook -i inventory.yaml security-groups.yaml

4. コマンドラインで、network.yaml Playbook を実行して、ネットワーク、サブネット、およびルーターを作成します。

   $ ansible-playbook -i inventory.yaml network.yaml

5. オプション: Nova サーバーが使用するデフォルトのリゾルバーを制御する必要がある場合は、RHOSP CLI コマンドを実行します。

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

手順

1. コマンドラインで、作業ディレクトリーを Playbook の場所に切り替えます。

2. コマンドラインで、bootstrap.yaml Playbook を実行します。

   $ ansible-playbook -i inventory.yaml bootstrap.yaml

3. ブートストラップサーバーがアクティブになった後に、ログを表示し、Ignition ファイルが受信されたことを確認します。

   $ openstack console log show "$INFRA_ID-bootstrap"

手順

1. コマンドラインで、作業ディレクトリーを Playbook の場所に切り替えます。
2. コントロールプレーン Ignition 設定ファイルが作業ディレクトリーにない場合、それらをここにコピーします。

3. コマンドラインで、control-plane.yaml Playbook を実行します。

   $ ansible-playbook -i inventory.yaml control-plane.yaml

4. 以下のコマンドを実行してブートストラッププロセスをモニターします。

   $ openshift-install wait-for bootstrap-complete

   コントロールプレーンマシンが実行され、クラスターに参加していることを確認できるメッセージが表示されます。

   INFO API v1.22.1 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami

   出力例

   system:admin

手順

1. コマンドラインで、作業ディレクトリーを Playbook の場所に切り替えます。

2. コマンドラインで、down-bootstrap.yaml Playbook を実行します。

   $ ansible-playbook -i inventory.yaml down-bootstrap.yaml

手順

1. コマンドラインで、無線の RHOSP ネットワークを作成します。

   $ openstack network create radio --provider-physical-network radio --provider-network-type flat --external

2. アップリンクの RHOSP ネットワークを作成します。

   $ openstack network create uplink --provider-physical-network uplink --provider-network-type vlan --external

3. 無線ネットワーク用のサブネットを作成します。

   $ openstack subnet create --network radio --subnet-range <radio_network_subnet_range> radio

4. アップリンクネットワーク用のサブネットを作成します。

   $ openstack subnet create --network uplink --subnet-range <uplink_network_subnet_range> uplink

手順

1. コマンドラインで、作業ディレクトリーを inventory.yaml および common.yaml ファイルの場所に変更します。

2. additionalNetworks パラメーターを使用して、radio および uplink ネットワークを inventory.yaml ファイルの末尾に追加します。

   ....
   # If this value is non-empty, the corresponding floating IP will be
   # attached to the bootstrap machine. This is needed for collecting logs
   # in case of install failure.
       os_bootstrap_fip: '203.0.113.20'
   
       additionalNetworks:
       - id: radio
         count: 4 1
         type: direct
         port_security_enabled: no
       - id: uplink
         count: 4 2
         type: direct
         port_security_enabled: no

   1 2

   count パラメーターは、各ワーカーノードに割り当てる SR-IOV 仮想機能 (VF) の数を定義します。この場合、各ネットワークには 4 つの VF があります。

3. compute-nodes.yaml ファイルの内容を以下のテキストに置き換えます。

   例15.1 compute-nodes.yaml

   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     vars:
       worker_list: []
       port_name_list: []
       nic_list: []
   
     tasks:
     # Create the SDN/primary port for each worker node
     - name: 'Create the Compute ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         allowed_address_pairs:
         - ip_address: "{{ os_ingressVIP }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
       register: ports
   
     # Tag each SDN/primary port with cluster name
     - name: 'Set Compute ports tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
   
     - name: 'List the Compute Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: compute_trunks
   
     - name: 'Create the Compute trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_compute_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_compute_trunk_name|string not in compute_trunks.stdout"
   
     - name: ‘Call additional-port processing’
       include_tasks: additional-ports.yaml
   
     # Create additional ports in OpenStack
     - name: ‘Create additionalNetworks ports’
       os_port:
         name:  "{{ item.0 }}-{{ item.1.name }}"
         vnic_type: "{{ item.1.type }}"
         network: "{{ item.1.uuid }}"
         port_security_enabled: "{{ item.1.port_security_enabled|default(omit) }}"
         no_security_groups: "{{ 'true' if item.1.security_groups is not defined else omit }}"
         security_groups: "{{ item.1.security_groups | default(omit) }}"
       with_nested:
         - "{{ worker_list }}"
         - "{{ port_name_list }}"
   
     # Tag the ports with the cluster info
     - name: 'Set additionalNetworks ports tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ item.0 }}-{{ item.1.name }}"
       with_nested:
         - "{{ worker_list }}"
         - "{{ port_name_list }}"
   
     # Build the nic list to use for server create
     - name: Build nic list
       set_fact:
         nic_list: "{{ nic_list | default([]) + [ item.name ] }}"
       with_items: "{{ port_name_list }}"
   
     # Create the servers
     - name: 'Create the Compute servers'
       vars:
         worker_nics: "{{ [ item.1 ] | product(nic_list) | map('join','-') | map('regex_replace', '(.*)', 'port-name=\\1') | list }}"
       os_server:
         name: "{{ item.1 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_worker }}"
         auto_ip: no
         userdata: "{{ lookup('file', 'worker.ign') | string }}"
         security_groups: []
         nics:  "{{ [ 'port-name=' + os_port_worker + '-' + item.0|string ] + worker_nics }}"
         config_drive: yes
       with_indexed_items: "{{ worker_list }}"

4. additional-ports.yaml というローカルファイルに、以下の内容を挿入します。

   例15.2 additional-ports.yaml

   # Build a list of worker nodes with indexes
   - name: ‘Build worker list’
     set_fact:
       worker_list: "{{ worker_list | default([]) + [ item.1 + '-' + item.0 | string ] }}"
     with_indexed_items: "{{ [ os_compute_server_name ] * os_compute_nodes_number }}"
   
   # Ensure that each network specified in additionalNetworks exists
   - name: ‘Verify additionalNetworks’
     os_networks_info:
       name: "{{ item.id }}"
     with_items: "{{ additionalNetworks }}"
     register: network_info
   
   # Expand additionalNetworks by the count parameter in each network definition
   - name: ‘Build port and port index list for additionalNetworks’
     set_fact:
       port_list: "{{ port_list | default([]) + [ {
                       'net_name' : item.1.id,
                       'uuid' : network_info.results[item.0].openstack_networks[0].id,
                       'type' : item.1.type|default('normal'),
                       'security_groups' : item.1.security_groups|default(omit),
                       'port_security_enabled' : item.1.port_security_enabled|default(omit)
                       } ] * item.1.count|default(1) }}"
       index_list: "{{ index_list | default([]) + range(item.1.count|default(1)) | list }}"
     with_indexed_items: "{{ additionalNetworks }}"
   
   # Calculate and save the name of the port
   # The format of the name is cluster_name-worker-workerID-networkUUID(partial)-count
   # i.e. fdp-nz995-worker-1-99bcd111-1
   - name: ‘Calculate port name’
     set_fact:
       port_name_list: "{{ port_name_list | default([]) + [ item.1 | combine( {'name' : item.1.uuid | regex_search('([^-]+)') + '-' + index_list[item.0]|string } ) ] }}"
     with_indexed_items: "{{ port_list }}"
     when: port_list is defined

5. コマンドラインで、compute-nodes.yaml Playbook を実行します。

   $ ansible-playbook -i inventory.yaml compute-nodes.yaml

手順

1. クラスターがマシンを認識していることを確認します。

   $ oc get nodes

   出力例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.22.1
   master-1  Ready     master  63m  v1.22.1
   master-2  Ready     master  64m  v1.22.1

   出力には作成したすべてのマシンが一覧表示されます。

   注記

   上記の出力には、一部の CSR が承認されるまで、ワーカーノード (ワーカーノードとも呼ばれる) が含まれない場合があります。

2. 保留中の証明書署名要求 (CSR) を確認し、クラスターに追加したそれぞれのマシンのクライアントおよびサーバー要求に Pending または Approved ステータスが表示されていることを確認します。

   $ oc get csr

   出力例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   この例では、2 つのマシンがクラスターに参加しています。この一覧にはさらに多くの承認された CSR が表示される可能性があります。

3. 追加したマシンの保留中の CSR すべてが Pending ステータスになった後に CSR が承認されない場合には、クラスターマシンの CSR を承認します。

   注記

   CSR のローテーションは自動的に実行されるため、クラスターにマシンを追加後 1 時間以内に CSR を承認してください。1 時間以内に承認しない場合には、証明書のローテーションが行われ、各ノードに 3 つ以上の証明書が存在するようになります。これらの証明書すべてを承認する必要があります。クライアントの CSR が承認された後に、Kubelet は提供証明書のセカンダリー CSR を作成します。これには、手動の承認が必要になります。次に、後続の提供証明書の更新要求は、Kubelet が同じパラメーターを持つ新規証明書を要求する場合に machine-approver によって自動的に承認されます。

   注記

   ベアメタルおよび他のユーザーによってプロビジョニングされるインフラストラクチャーなどのマシン API ではないプラットフォームで実行されているクラスターの場合、kubelet 提供証明書要求 (CSR) を自動的に承認する方法を実装する必要があります。要求が承認されない場合、API サーバーが kubelet に接続する際に提供証明書が必須であるため、oc exec、 oc rsh、および oc logs コマンドは正常に実行できません。Kubelet エンドポイントにアクセスする操作には、この証明書の承認が必要です。この方法は新規 CSR の有無を監視し、CSR が system:node または system:admin グループの node-bootstrapper サービスアカウントによって提出されていることを確認し、ノードのアイデンティティーを確認します。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注記

     一部の Operator は、一部の CSR が承認されるまで利用できない可能性があります。

4. クライアント要求が承認されたら、クラスターに追加した各マシンのサーバー要求を確認する必要があります。

   $ oc get csr

   出力例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 残りの CSR が承認されず、それらが Pending ステータスにある場合、クラスターマシンの CSR を承認します。

   • それらを個別に承認するには、それぞれの有効な CSR について以下のコマンドを実行します。

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> は、現行の CSR の一覧からの CSR の名前です。

   • すべての保留中の CSR を承認するには、以下のコマンドを実行します。

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. すべてのクライアントおよびサーバーの CSR が承認された後に、マシンのステータスが Ready になります。以下のコマンドを実行して、これを確認します。

   $ oc get nodes

   出力例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.22.1
   master-1  Ready     master  73m  v1.22.1
   master-2  Ready     master  74m  v1.22.1
   worker-0  Ready     worker  11m  v1.22.1
   worker-1  Ready     worker  11m  v1.22.1

   注記

   サーバー CSR の承認後にマシンが Ready ステータスに移行するまでに数分の時間がかかる場合があります。