10.3. OpenShift インストールの環境のセットアップ

1. install-config.yaml を設定します。pullSecret および sshKey など、環境に合わせて適切な変数を変更します。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 1
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 2
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 3
         - name: <openshift-master-1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 4
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 5
         - name: <openshift-master-2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 6
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 7
         - name: <openshift-worker-0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 8
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 9
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   OpenShift Container Platform クラスターの一部であるワーカーノードの数に基づいてワーカーマシンをスケーリングします。replicas 値の有効なオプションは 0 で、2 以上の整数です。3 ノードクラスターのみが含まれる 3 ノードクラスターをデプロイするには、レプリカ数を 0 に設定します。3 ノードクラスターは、テスト、開発、本番に使用できる、より小さく、よりリソース効率の良いクラスターです。ワーカーを 1 つだけにしてクラスターをインストールすることはできません。

   2 4 6 8

   その他のオプションについては、BMC アドレス指定のセクションを参照してください。

   3 5 7 9

   インストールディスクドライブへのパスを設定します (例: /dev/disk/by-id/wwn-0x64cd98f04fde100024684cf3034da5c2)。

2. クラスター設定を保存するディレクトリーを作成します。

   $ mkdir ~/clusterconfigs
   $ cp install-config.yaml ~/clusterconfigs

3. OpenShift Container Platform クラスターをインストールする前に、すべてのベアメタルノードの電源がオフになっていることを確認します。

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

4. 以前に試行したデプロイメントにより古いブートストラップリソースが残っている場合は、これを削除します。

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. OpenShift Container Platform マニフェストを作成します。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

手順

1. コントロールプレーンノードの chrony.conf ファイルのコンテンツを含む Butane 設定 (99-master-chrony-conf-override.bu) を作成します。

   注記

   Butane の詳細は、Butane を使用したマシン設定の作成を参照してください。

   Butane 設定例

   variant: openshift
   version: 4.9.0
   metadata:
     name: 99-master-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # Use public servers from the pool.ntp.org project.
             # Please consider joining the pool (https://www.pool.ntp.org/join.html).
   
             # The Machine Config Operator manages this file
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony
   
             # Configure the control plane nodes to serve as local NTP servers
             # for all worker nodes, even if they are not in sync with an
             # upstream NTP server.
   
             # Allow NTP client access from the local network.
             allow all
             # Serve time even if not synchronized to a time source.
             local stratum 3 orphan

   1

   <cluster-name> はクラスターの名前に置き換え、<domain> は完全修飾ドメイン名に置き換える必要があります。

2. Butane を使用して、コントロールプレーンノードに配信される設定が含まれる MachineConfig オブジェクトファイル (99-master-chrony-conf-override.yaml) を生成します。

   $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml

3. コントロールプレーンノードの NTP サーバーを参照するワーカーノードの chrony.conf ファイルのコンテンツを含む Butane 設定 (99-worker-chrony-conf-override.bu) を作成します。

   Butane 設定例

   variant: openshift
   version: 4.9.0
   metadata:
     name: 99-worker-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: worker
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # The Machine Config Operator manages this file.
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony

   1

   <cluster-name> はクラスターの名前に置き換え、<domain> は完全修飾ドメイン名に置き換える必要があります。

4. Butane を使用して、ワーカーノードに配信される設定が含まれる MachineConfig オブジェクトファイル (99-worker-chrony-conf-override.yaml) を生成します。

   $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml

手順

1. install-config.yaml ファイルを保存するディレクトリーに移動します。

   $ cd ~/clusterconfigs

2. manifests サブディレクトリーに切り替えます。

   $ cd manifests

3. cluster-network-avoid-workers-99-config.yaml という名前のファイルを作成します。

   $ touch cluster-network-avoid-workers-99-config.yaml

4. エディターで cluster-network-avoid-workers-99-config.yaml ファイルを開き、Operator 設定を記述するカスタムリソース (CR) を入力します。

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     name: 50-worker-fix-ipi-rwn
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/kubernetes/manifests/keepalived.yaml
             mode: 0644
             contents:
               source: data:,

   このマニフェストは、 ingressVIP 仮想 IP アドレスをコントロールプレーンノードに配置します。また、このマニフェストは、コントロールプレーンノードにのみ以下のプロセスをデプロイします。

   • openshift-ingress-operator
   • keepalived
5. cluster-network-avoid-workers-99-config.yaml ファイルを保存します。

6. manifests/cluster-ingress-default-ingresscontroller.yaml ファイルを作成します。

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/master: ""

7. manifests ディレクトリーのバックアップの作成を検討してください。インストーラーは、クラスターの作成時に manifests/ ディレクトリーを削除します。

8. cluster-scheduler-02-config.yml マニフェストを変更し、mastersSchedulable フィールドを true に設定して、コントロールプレーンノードをスケジュール対象にします。デフォルトでは、コントロールプレーンノードはスケジュール対象ではありません。以下に例を示します。

   $ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml

   注記

   この手順の完了後にコントロールプレーンノードをスケジュールできない場合には、クラスターのデプロイに失敗します。

手順

1. マニフェストの作成

2. ワーカーに対応する BMH ファイルを変更します。

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-3.yaml

3. BMH ファイルの spec セクションに BIOS 設定を追加します。

   spec:
     firmware:
       simultaneousMultithreadingEnabled: true
       sriovEnabled: true
       virtualizationEnabled: true

   注記
   1. Red Hat は 3 つの BIOS 設定をサポートしています。詳細は、 BMH のドキュメント を参照してください。bmc タイプ irmc のサーバーのみがサポートされます。他のタイプのサーバーは現在サポートされていません。
4. クラスターを作成します。

手順

1. レジストリーノードでファイアウォールポートを開きます。

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
   $ sudo firewall-cmd --reload

2. レジストリーノードに必要なパッケージをインストールします。

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. リポジトリー情報が保持されるディレクトリー構造を作成します。

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

手順

1. 必要に応じて証明書情報を調整します。

   $ host_fqdn=$( hostname --long )
   $ cert_c="<Country Name>"   # Country Name (C, 2 letter code)
   $ cert_s="<State>"          # Certificate State (S)
   $ cert_l="<Locality>"       # Certificate Locality (L)
   $ cert_o="<Organization>"   # Certificate Organization (O)
   $ cert_ou="<Org Unit>"      # Certificate Organizational Unit (OU)
   $ cert_cn="${host_fqdn}"    # Certificate Common Name (CN)
   
   $ openssl req \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -keyout /opt/registry/certs/domain.key \
       -x509 \
       -days 365 \
       -out /opt/registry/certs/domain.crt \
       -addext "subjectAltName = DNS:${host_fqdn}" \
       -subj "/C=${cert_c}/ST=${cert_s}/L=${cert_l}/O=${cert_o}/OU=${cert_ou}/CN=${cert_cn}"

   注記

   <Country Name> を置き換える場合には、2 文字のみを使用します。例: US

2. レジストリーノードの ca-trust を新規証明書で更新します。

   $ sudo cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
   $ sudo update-ca-trust extract

手順

1. コンテナーが使用する htpasswd ファイルを /opt/registry/auth に作成します。

   $ htpasswd -bBc /opt/registry/auth/htpasswd <user> <passwd>

   <user> をユーザー名に、<passwd> をパスワードに置き換えます。

2. レジストリーコンテナーを作成し、起動します。

   $ podman create \
     --name ocpdiscon-registry \
     -p 5000:5000 \
     -e "REGISTRY_AUTH=htpasswd" \
     -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry" \
     -e "REGISTRY_HTTP_SECRET=ALongRandomSecretForRegistry" \
     -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" \
     -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
     -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
     -e "REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true" \
     -v /opt/registry/data:/var/lib/registry:z \
     -v /opt/registry/auth:/auth:z \
     -v /opt/registry/certs:/certs:z \
     docker.io/library/registry:2

   $ podman start ocpdiscon-registry

手順

1. pull-secret.txt ファイルをコピーします。

   $ scp kni@provisioner:/home/kni/pull-secret.txt pull-secret.txt

2. host_fqdn 環境変数をレジストリーノードの完全修飾ドメイン名で更新します。

   $ host_fqdn=$( hostname --long )

3. htpasswd ファイルの作成に使用される http 認証情報の base64 エンコーディングで b64auth 環境変数を更新します。

   $ b64auth=$( echo -n '<username>:<passwd>' | openssl base64 )

   <username> をユーザー名に、<passwd> をパスワードに置き換えます。

4. base64 承認文字列を使用するように AUTHSTRING 環境変数を設定します。$USER 変数は、現行ユーザーの名前が含まれる環境変数です。

   $ AUTHSTRING="{\"$host_fqdn:5000\": {\"auth\": \"$b64auth\",\"email\": \"$USER@redhat.com\"}}"

5. pull-secret.txt ファイルを更新します。

   $ jq ".auths += $AUTHSTRING" < pull-secret.txt > pull-secret-update.txt

手順

1. oc バイナリーをプロビジョナーノードからレジストリーノードにコピーします。

   $ sudo scp kni@provisioner:/usr/local/bin/oc /usr/local/bin

2. 必要な環境変数を設定します。

   1. リリースバージョンを設定します。

      $ VERSION=<release_version>

      <release_version> について、インストールする OpenShift Container Platform のバージョンに対応するタグを指定します (例: 4.9)。

   2. ローカルレジストリー名とホストポートを設定します。

      $ LOCAL_REG='<local_registry_host_name>:<local_registry_host_port>'

      <local_registry_host_name> については、ミラーレジストリーのレジストリードメイン名を指定し、<local_registry_host_port> については、コンテンツの送信に使用するポートを指定します。

   3. ローカルリポジトリー名を設定します。

      $ LOCAL_REPO='<local_repository_name>'

      <local_repository_name> については、ocp4/openshift4 などのレジストリーに作成するリポジトリーの名前を指定します。

3. リモートインストールイメージをローカルリポジトリーにミラーリングします。

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.txt \
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

手順

1. 非接続レジストリーノードの証明書を install-config.yaml ファイルに追加します。証明書は "additionalTrustBundle: |" 行に従い、通常は 2 つのスペースで適切にインデントされる必要があります。

   $ echo "additionalTrustBundle: |" >> install-config.yaml
   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. レジストリーのミラー情報を install-config.yaml ファイルに追加します。

   $ echo "imageContentSources:" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml

   注記

   registry.example.com をレジストリーの完全修飾ドメイン名に置き換えます。