18.5. OVS-DPDK に接続されたコンピュートマシンをサポートする OpenStack へのクラスターのインストール

1. RHOSP CLI の管理者として、swiftoperator ロールを Swift にアクセスするアカウントに追加します。

   $ openstack role add --user <user> --project <project> swiftoperator

手順

1. RHOSP CLI を使用して、'External' ネットワークの名前と ID を確認します。

   $ openstack network list --long -c ID -c Name -c "Router Type"

   出力例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

手順

1. clouds.yaml ファイルを作成します。

   • RHOSP ディストリビューションに Horizon Web UI が含まれる場合には、そこに clouds.yaml ファイルを生成します。

     重要

     パスワードを必ず auth フィールドに追加してください。シークレットは、clouds.yaml の 別のファイル に保持できます。

   • RHOSP ディストリビューションに Horizon Web UI が含まれない場合や Horizon を使用する必要がない場合には、このファイルを独自に作成します。clouds.yaml についての詳細は、RHOSP ドキュメントの Config files を参照してください。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: <username>
           password: <password>
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: <username>
           password: <password>
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP インストールでエンドポイント認証用に自己署名認証局 (CA) を使用する場合、以下を実行します。

   1. 認証局ファイルをマシンにコピーします。

   2. cacerts キーを clouds.yaml ファイルに追加します。この値は、CA 証明書への絶対的な root 以外によるアクセスが可能なパスである必要があります。

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      ヒント

      カスタム CA 証明書を使用してインストーラーを実行した後に、cloud-provider-config キーマップの ca-cert.pem キーの値を編集して証明書を更新できます。コマンドラインで、以下を実行します。

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml ファイルを以下の場所のいずれかに置きます。

   1. OS_CLIENT_CONFIG_FILE 環境変数の値
   2. 現行ディレクトリー
   3. Unix 固有のユーザー設定ディレクトリー (例: ~/.config/openstack/clouds.yaml)

   4. Unix 固有のサイト設定ディレクトリー (例: /etc/openstack/clouds.yaml)

      インストールプログラムはこの順序で clouds.yaml を検索します。

手順

1. OpenShift Cluster Manager サイトの インフラストラクチャープロバイダー ページにアクセスします。Red Hat アカウントがある場合は、認証情報を使用してログインします。アカウントがない場合はこれを作成します。
2. インフラストラクチャープロバイダーを選択します。

3. インストールタイプのページに移動し、ホストオペレーティングシステムとアーキテクチャーに対応するインストールプログラムをダウンロードして、インストール設定ファイルを保存するディレクトリーにファイルを配置します。

   重要

   インストールプログラムは、クラスターのインストールに使用するコンピューターにいくつかのファイルを作成します。クラスターのインストール完了後は、インストールプログラムおよびインストールプログラムが作成するファイルを保持する必要があります。ファイルはいずれもクラスターを削除するために必要になります。

   重要

   インストールプログラムで作成されたファイルを削除しても、クラスターがインストール時に失敗した場合でもクラスターは削除されません。クラスターを削除するには、特定のクラウドプロバイダー用の OpenShift Container Platform のアンインストール手順を実行します。

4. インストールプログラムをデプロイメントします。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ tar -xvf openshift-install-linux.tar.gz

5. Red Hat OpenShift Cluster Manager からインストールプルシークレット をダウンロードします。このプルシークレットを使用し、OpenShift Container Platform コンポーネントのコンテナーイメージを提供する Quay.io など、組み込まれた各種の認証局によって提供されるサービスで認証できます。

手順

1. install-config.yaml ファイルを作成します。

   1. インストールプログラムが含まれるディレクトリーに切り替え、以下のコマンドを実行します。

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      <installation_directory> の場合、インストールプログラムが作成するファイルを保存するためにディレクトリー名を指定します。

      重要

      空のディレクトリーを指定します。ブートストラップ X.509 証明書などの一部のインストールアセットの有効期限は短く設定されているため、インストールディレクトリーを再利用することができません。別のクラスターインストールの個別のファイルを再利用する必要がある場合は、それらをディレクトリーにコピーすることができます。ただし、インストールアセットのファイル名はリリース間で変更される可能性があります。インストールファイルを以前のバージョンの OpenShift Container Platform からコピーする場合は注意してコピーを行ってください。

   2. プロンプト時に、クラウドの設定の詳細情報を指定します。

      1. オプション: クラスターマシンにアクセスするために使用する SSH キーを選択します。

         注記

         インストールのデバッグまたは障害復旧を実行する必要のある実稼働用の OpenShift Container Platform クラスターでは、ssh-agent プロセスが使用する SSH キーを指定します。

      2. クラスターの記述名を入力します。
      3. Red Hat OpenShift Cluster Manager からプルシークレット を貼り付けます。
2. install-config.yaml ファイルを変更します。利用可能なパラメーターの詳細は、インストール設定パラメーターのセクションを参照してください。

3. install-config.yaml ファイルをバックアップし、複数のクラスターをインストールするのに使用できるようにします。

   重要

   install-config.yaml ファイルはインストールプロセス時に使用されます。このファイルを再利用する必要がある場合は、この段階でこれをバックアップしてください。

手順

1. クラスターノードへの認証に使用するローカルマシンに既存の SSH キーペアがない場合は、これを作成します。たとえば、Linux オペレーティングシステムを使用するコンピューターで以下のコマンドを実行します。

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   新しい SSH キーのパスとファイル名 (~/.ssh/id_ed25519 など) を指定します。既存のキーペアがある場合は、公開鍵が ~/.ssh ディレクトリーにあることを確認します。

   注記

   FIPS で検証済みまたは進行中のモジュール (Modules in Process) 暗号ライブラリーを使用する OpenShift Container Platform クラスターを x86_64 アーキテクチャーにインストールする予定の場合は、ed25519 アルゴリズムを使用するキーは作成しないでください。代わりに、rsa アルゴリズムまたは ecdsa アルゴリズムを使用するキーを作成します。

2. 公開 SSH キーを表示します。

   $ cat <path>/<file_name>.pub

   たとえば、次のコマンドを実行して ~/.ssh/id_ed25519.pub 公開鍵を表示します。

   $ cat ~/.ssh/id_ed25519.pub

3. ローカルユーザーの SSH エージェントに SSH 秘密鍵 ID が追加されていない場合は、それを追加します。キーの SSH エージェント管理は、クラスターノードへのパスワードなしの SSH 認証、または ./openshift-install gather コマンドを使用する場合は必要になります。

   注記

   一部のディストリビューションでは、~/.ssh/id_rsa および ~/.ssh/id_dsa などのデフォルトの SSH 秘密鍵のアイデンティティーは自動的に管理されます。

   1. ssh-agent プロセスがローカルユーザーに対して実行されていない場合は、バックグラウンドタスクとして開始します。

      $ eval "$(ssh-agent -s)"

      出力例

      Agent pid 31874

      注記

      クラスターが FIPS モードにある場合は、FIPS 準拠のアルゴリズムのみを使用して SSH キーを生成します。鍵は RSA または ECDSA のいずれかである必要があります。

4. SSH プライベートキーを ssh-agent に追加します。

   $ ssh-add <path>/<file_name> 1

   1

   ~/.ssh/id_ed25519 などの、SSH プライベートキーのパスおよびファイル名を指定します。

   出力例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

手順

1. コマンドラインで、無線の RHOSP ネットワークを作成します。

   $ openstack network create radio --provider-physical-network radio --provider-network-type flat --external

2. アップリンクの RHOSP ネットワークを作成します。

   $ openstack network create uplink --provider-physical-network uplink --provider-network-type vlan --external

3. 無線ネットワーク用のサブネットを作成します。

   $ openstack subnet create --network radio --subnet-range <radio_network_subnet_range> radio

4. アップリンクネットワーク用のサブネットを作成します。

   $ openstack subnet create --network uplink --subnet-range <uplink_network_subnet_range> uplink

手順

1. インストールプログラムが含まれるディレクトリーに切り替え、クラスターのデプロイメントを初期化します。

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   <installation_directory> については、カスタマイズした ./install-config.yaml ファイルの場所を指定します。

   2

   異なるインストールの詳細情報を表示するには、info ではなく、warn、debug、または error を指定します。

   注記

   ホストに設定した AWS アカウントにクラスターをデプロイするための十分なパーミッションがない場合、インストールプログラムは停止し、不足しているパーミッションが表示されます。

   クラスターのデプロイメントが完了すると、Web コンソールへのリンクや kubeadmin ユーザーの認証情報を含む、クラスターにアクセスするための指示がターミナルに表示されます。

   出力例

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   注記

   クラスターアクセスおよび認証情報の情報は、インストールが正常に実行される際に <installation_directory>/.openshift_install.log に出力されます。

   重要
   • インストールプログラムが生成する Ignition 設定ファイルには、24 時間が経過すると期限切れになり、その後に更新される証明書が含まれます。証明書を更新する前にクラスターが停止し、24 時間経過した後にクラスターを再起動すると、クラスターは期限切れの証明書を自動的に復元します。例外として、kubelet 証明書を回復するために保留状態の node-bootstrapper 証明書署名要求 (CSR) を手動で承認する必要があります。詳細は、コントロールプレーン証明書の期限切れの状態からのリカバリー についてのドキュメントを参照してください。
   • 24 時間証明書はクラスターのインストール後 16 時間から 22 時間にローテーションするため、Ignition 設定ファイルは、生成後 12 時間以内に使用することを推奨します。12 時間以内に Ignition 設定ファイルを使用することにより、インストール中に証明書の更新が実行された場合のインストールの失敗を回避できます。
   重要

   インストールプログラム、またはインストールプログラムが作成するファイルを削除することはできません。これらはいずれもクラスターを削除するために必要になります。

手順

1. クラスター環境で、管理者の kubeconfig ファイルをエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

   kubeconfig ファイルには、クライアントを正しいクラスターおよび API サーバーに接続するために CLI で使用されるクラスターについての情報が含まれます。

2. デプロイメント後に作成されたコントロールプレーンおよびコンピュートマシンを表示します。

   $ oc get nodes

3. クラスターのバージョンを表示します。

   $ oc get clusterversion

4. Operator のステータスを表示します。

   $ oc get clusteroperator

5. クラスター内のすべての実行中の Pod を表示します。

   $ oc get pods -A

手順

1. kubeadmin 認証情報をエクスポートします。

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory> には、インストールファイルを保存したディレクトリーへのパスを指定します。

2. エクスポートされた設定を使用して、oc コマンドを正常に実行できることを確認します。

   $ oc whoami

   出力例

   system:admin

手順

1. 以下のテンプレートからマシン設定ファイルを作成します。

   マウント可能なメタデータサービスマシン設定ファイル

   kind: MachineConfig
   apiVersion: machineconfiguration.openshift.io/v1
   metadata:
     name: 20-mount-config 1
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       systemd:
         units:
           - name: create-mountpoint-var-config.service
             enabled: true
             contents: |
               [Unit]
               Description=Create mountpoint /var/config
               Before=kubelet.service
   
               [Service]
               ExecStart=/bin/mkdir -p /var/config
   
               [Install]
               WantedBy=var-config.mount
   
           - name: var-config.mount
             enabled: true
             contents: |
               [Unit]
               Before=local-fs.target
               [Mount]
               Where=/var/config
               What=/dev/disk/by-label/config-2
               [Install]
               WantedBy=local-fs.target

   1

   選択する名前に置き換えることができます。

2. コマンドラインからマシン設定を適用します。

   $ oc apply -f <machine_config_file_name>.yaml

手順

1. 以下のテンプレートからマシン設定ファイルを作成します。

   非 IOMMU VFIO マシン設定ファイル

   kind: MachineConfig
   apiVersion: machineconfiguration.openshift.io/v1
   metadata:
     name: 99-vfio-noiommu 1
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - path: /etc/modprobe.d/vfio-noiommu.conf
           mode: 0644
           contents:
             source: data:;base64,b3B0aW9ucyB2ZmlvIGVuYWJsZV91bnNhZmVfbm9pb21tdV9tb2RlPTEK

   1

   選択する名前に置き換えることができます。

2. コマンドラインからマシン設定を適用します。

   $ oc apply -f <machine_config_file_name>.yaml

手順

1. コマンドラインから、VFIO ネットワーク UUID を取得します。

   $ openstack network show <VFIO_network_name> -f value -c id

2. 次のテンプレートから、クラスター上にマシンセットを作成します。

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 99-vhostuser-bind
   spec:
     config:
       ignition:
         version: 2.2.0
       systemd:
         units:
         - name: vhostuser-bind.service
           enabled: true
           contents: |
             [Unit]
             Description=Vhostuser Interface vfio-pci Bind
             Wants=network-online.target
             After=network-online.target ignition-firstboot-complete.service
             [Service]
             Type=oneshot
             EnvironmentFile=/etc/vhostuser-bind.conf
             ExecStart=/usr/local/bin/vhostuser $ARG
             [Install]
             WantedBy=multi-user.target
       storage:
         files:
         - contents:
             inline: vfio-pci
           filesystem: root
           mode: 0644
           path: /etc/modules-load.d/vfio-pci.conf
         - contents:
             inline: |
               #!/bin/bash
               set -e
               if [[ "$#" -lt 1 ]]; then
                   echo "Nework ID not provided, nothing to do"
                   exit
               fi
   
               source /etc/vhostuser-bind.conf
   
               NW_DATA="/var/config/openstack/latest/network_data.json"
               if [ ! -f ${NW_DATA} ]; then
                   echo "Network data file not found, trying to download it from nova metadata"
                   if ! curl http://169.254.169.254/openstack/latest/network_data.json > /tmp/network_data.json; then
                       echo "Failed to download network data file"
                       exit 1
                   fi
                   NW_DATA="/tmp/network_data.json"
               fi
               function parseNetwork() {
                   local nwid=$1
                   local pcis=()
                   echo "Network ID is $nwid"
                   links=$(jq '.networks[] | select(.network_id == "'$nwid'") | .link' $NW_DATA)
                   if [ ${#links} -gt 0 ]; then
                       for link in $links; do
                           echo "Link Name: $link"
                           mac=$(jq -r '.links[] | select(.id == '$link') | .ethernet_mac_address'  $NW_DATA)
                           if [ -n $mac ]; then
                               pci=$(bindDriver $mac)
                               pci_ret=$?
                               if [[ "$pci_ret" -eq 0 ]]; then
                                   echo "$pci bind succesful"
                               fi
                           fi
                       done
                   fi
               }
   
               function bindDriver() {
                   local mac=$1
                   for file in /sys/class/net/*; do
                       dev_mac=$(cat $file/address)
                       if [[ "$mac" == "$dev_mac" ]]; then
                           name=${file##*\/}
                           bus_str=$(ethtool -i $name | grep bus)
                           dev_t=${bus_str#*:}
                           dev=${dev_t#[[:space:]]}
   
                           echo $dev
   
                           devlink="/sys/bus/pci/devices/$dev"
                           syspath=$(realpath "$devlink")
                           if [ ! -f "$syspath/driver/unbind" ]; then
                               echo "File $syspath/driver/unbind not found"
                               return 1
                           fi
                           if ! echo "$dev">"$syspath/driver/unbind"; then
                               return 1
                           fi
   
                           if [ ! -f "$syspath/driver_override" ]; then
                               echo "File $syspath/driver_override not found"
                               return 1
                           fi
                           if ! echo "vfio-pci">"$syspath/driver_override"; then
                               return 1
                           fi
   
                           if [ ! -f "/sys/bus/pci/drivers/vfio-pci/bind" ]; then
                               echo "File /sys/bus/pci/drivers/vfio-pci/bind not found"
                               return 1
                           fi
                           if ! echo "$dev">"/sys/bus/pci/drivers/vfio-pci/bind"; then
                             return 1
                           fi
                           return 0
                       fi
                   done
                   return 1
               }
   
               for nwid in "$@"; do
                   parseNetwork $nwid
               done
           filesystem: root
           mode: 0744
           path: /usr/local/bin/vhostuser
         - contents:
             inline: |
               ARG="be22563c-041e-44a0-9cbd-aa391b439a39,ec200105-fb85-4181-a6af-35816da6baf7" 1
           filesystem: root
           mode: 0644
           path: /etc/vhostuser-bind.conf

   1

   この値を、VFIO ネットワーク UUID のコンマ区切りのリストに置き換えます。

   このセットの一部であるマシンの起動時に、ポートの MAC アドレスが PCI バス ID に変換されます。vfio-pci モジュールは、RHOSP ネットワーク ID で識別されるネットワークに関連付けられているすべてのポートにバインドされます。

検証

1. コンピュートノードで、コマンドラインから次のように入力してノードの名前を取得します。

   $ oc get nodes

2. ノードをデバッグするためのシェルを作成します。

   $ oc debug node/<node_name>

3. 現在実行中のプロセスの root ディレクトリーを変更します。

   $ chroot /host

4. 次のコマンドを入力して、マシン上の各デバイスを処理しているカーネルドライバーをリスト表示します。

   $ lspci -k

   出力例

   00:07.0 Ethernet controller: Red Hat, Inc. Virtio network device
   Subsystem: Red Hat, Inc. Device 0001
   Kernel driver in use: vfio-pci

   コマンドの出力では、VFIO イーサネットコントローラーは vfio-pci カーネルドライバーを使用します。