4.2. ベアメタルへの Hosted Control Plane のデプロイ

手順

1. 次のコマンドを入力して、ハードウェアインベントリーを保存する namespace を作成します。

   $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig create \
     namespace <namespace_example>

   ここでは、以下のようになります。

   <directory_example>

   管理クラスターの kubeconfig ファイルが保存されるディレクトリーの名前です。

   <namespace_example>

   作成する namespace の名前 (例: hardware-inventory) です。

   出力例

   namespace/hardware-inventory created

2. 次のコマンドを入力して、管理クラスターのプルシークレットをコピーします。

   $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
     -n openshift-config get secret pull-secret -o yaml \
     | grep -vE "uid|resourceVersion|creationTimestamp|namespace" \
     | sed "s/openshift-config/<namespace_example>/g" \
     | oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
     -n <namespace> apply -f -

   ここでは、以下のようになります。

   <directory_example>

   管理クラスターの kubeconfig ファイルが保存されるディレクトリーの名前です。

   <namespace_example>

   作成する namespace の名前 (例: hardware-inventory) です。

   出力例

   secret/pull-secret created

3. 次のコンテンツを YAML ファイルに追加して、InfraEnv リソースを作成します。

   apiVersion: agent-install.openshift.io/v1beta1
   kind: InfraEnv
   metadata:
     name: hosted
     namespace: <namespace_example>
   spec:
     additionalNTPSources:
     - <ip_address>
     pullSecretRef:
       name: pull-secret
     sshAuthorizedKey: <ssh_public_key>
   # ...

4. 次のコマンドを入力して、YAML ファイルに変更を適用します。

   $ oc apply -f <infraenv_config>.yaml

   <infraenv_config> は、ファイルの名前に置き換えます。

5. 次のコマンドを入力して、InfraEnv リソースが作成されたことを確認します。

   $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
     -n <namespace_example> get infraenv hosted

6. 次の 2 つの方法のいずれかに従ってベアメタルホストを追加します。

   • Metal3 Operator を使用しない場合は、InfraEnv リソースから検出 ISO を取得し、次のステップを実行して手動でホストをブートします。

     1. 次のコマンドを入力してライブ ISO をダウンロードします。

        $ oc get infraenv -A

        $ oc get infraenv <namespace_example> -o jsonpath='{.status.isoDownloadURL}' -n <namespace_example> <iso_url>

     2. ISO をブートします。ノードは Assisted Service と通信し、InfraEnv リソースと同じ namespace にエージェントとして登録されます。

     3. 各エージェントに対して、インストールディスク ID とホスト名を設定し、承認してエージェントが使用可能であることを示します。次のコマンドを入力します。

        $ oc -n <hosted_control_plane_namespace> get agents

        出力例

        NAME                                   CLUSTER   APPROVED   ROLE          STAGE
        86f7ac75-4fc4-4b36-8130-40fa12602218                        auto-assign
        e57a637f-745b-496e-971d-1abbf03341ba                        auto-assign

        $ oc -n <hosted_control_plane_namespace> \
          patch agent 86f7ac75-4fc4-4b36-8130-40fa12602218 \
          -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-0.example.krnl.es"}}' \
          --type merge

        $ oc -n <hosted_control_plane_namespace> \
          patch agent 23d0c614-2caa-43f5-b7d3-0b3564688baa -p \
          '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-1.example.krnl.es"}}' \
          --type merge

        $ oc -n <hosted_control_plane_namespace> get agents

        出力例

        NAME                                   CLUSTER   APPROVED   ROLE          STAGE
        86f7ac75-4fc4-4b36-8130-40fa12602218             true       auto-assign
        e57a637f-745b-496e-971d-1abbf03341ba             true       auto-assign

   • Metal3 Operator を使用する場合は、次のオブジェクトを作成することで、ベアメタルホストの登録を自動化できます。

     1. YAML ファイルを作成し、そこに次のコンテンツを追加します。

        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker0-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker1-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker2-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker0
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker0
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker0-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:01
          online: true
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker1
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker1
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker1-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:02
          online: true
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker2
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker2
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker2-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:03
          online: true
        ---
        apiVersion: rbac.authorization.k8s.io/v1
        kind: Role
        metadata:
          name: capi-provider-role
          namespace: <namespace_example>
        rules:
        - apiGroups:
          - agent-install.openshift.io
          resources:
          - agents
          verbs:
          - '*'

        ここでは、以下のようになります。

        <namespace_example>

        namespace です。

        <password>

        シークレットのパスワードです。

        <username>

        シークレットのユーザー名です。

        <bmc_address>

        BareMetalHost オブジェクトの BMC アドレスです。

        注記

        この YAML ファイルを適用すると、次のオブジェクトが作成されます。

        • ベースボード管理コントローラー (BMC) の認証情報が含まれるシークレット
        • BareMetalHost オブジェクト
        • HyperShift Operator によるエージェントの管理が可能になるロール

        BareMetalHost オブジェクトで infraenvs.agent-install.openshift.io: hosted カスタムラベルを使用して InfraEnv リソースが参照されることに注意してください。これにより、生成された ISO を使用してノードがブートされます。

     2. 次のコマンドを入力して、YAML ファイルに変更を適用します。

        $ oc apply -f <bare_metal_host_config>.yaml

        <bare_metal_host_config> は、ファイルの名前に置き換えます。

7. 次のコマンドを入力し、BareMetalHost オブジェクトの状態が Provisioning になるまで数分間待ちます。

   $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get bmh

   出力例

   NAME             STATE          CONSUMER   ONLINE   ERROR   AGE
   hosted-worker0   provisioning              true             106s
   hosted-worker1   provisioning              true             106s
   hosted-worker2   provisioning              true             106s

8. 次のコマンドを入力して、ノードが起動し、エージェントとして表示されていることを確認します。このプロセスには数分かかる場合があり、コマンドを複数回入力する必要があることもあります。

   $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get agent

   出力例

   NAME                                   CLUSTER   APPROVED   ROLE          STAGE
   aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0201             true       auto-assign
   aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0202             true       auto-assign
   aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0203             true       auto-assign

手順

1. OpenShift Container Platform Web コンソールを開き、管理者の認証情報を入力してログインします。コンソールを開く手順は、「Web コンソールへのアクセス」を参照してください。
2. コンソールヘッダーで、All Clusters が選択されていることを確認します。
3. Infrastructure Host inventory Create infrastructure environment をクリックします。
4. InfraEnv リソースを作成した後、InfraEnv ビュー内から Add hosts をクリックし、利用可能なオプションから選択してベアメタルホストを追加します。

手順

1. 次のコマンドを入力して namespace を作成します。

   $ oc create ns <hosted_cluster_namespace>

   <hosted_cluster_namespace> は、ホステッドクラスター namespace の識別子に置き換えます。namespace は HyperShift Operator によって作成されます。ベアメタルインフラストラクチャーにホステッドクラスターを作成するプロセスでは、Cluster API プロバイダー用のロールが生成されます。このロールを生成するには、namespace が事前に存在している必要があります。

2. 次のコマンドを入力して、ホステッドクラスターの設定ファイルを作成します。

   $ hcp create cluster agent \
     --name=<hosted_cluster_name> \

   1

   
     --pull-secret=<path_to_pull_secret> \

   2

   
     --agent-namespace=<hosted_control_plane_namespace> \

   3

   
     --base-domain=<base_domain> \

   4

   
     --api-server-address=api.<hosted_cluster_name>.<base_domain> \

   5

   
     --etcd-storage-class=<etcd_storage_class> \

   6

   
     --ssh-key=<path_to_ssh_key> \

   7

   
     --namespace=<hosted_cluster_namespace> \

   8

   
     --control-plane-availability-policy=HighlyAvailable \

   9

   
     --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \

   10

   
     --node-pool-replicas=<node_pool_replica_count> \

   11

   
     --render \
     --render-sensitive \
     --ssh-key <home_directory>/<path_to_ssh_key>/<ssh_key> > hosted-cluster-config.yaml 

   12

   1

   ホステッドクラスターの名前 (例: example) を指定します。

   2

   プルシークレットへのパスを指定します (例: /user/name/pullsecret)。

   3

   Hosted Control Plane の namespace を指定します (例: clusters-example)。oc get agent -n <hosted_control_plane_namespace> コマンドを使用して、この namespace でエージェントが使用可能であることを確認します。

   4

   ベースドメイン (例: krnl.es) を指定します。

   5

   --api-server-address フラグは、ホステッドクラスター内の Kubernetes API 通信に使用される IP アドレスを定義します。--api-server-address フラグを設定しない場合は、管理クラスターに接続するためにログインする必要があります。

   6

   etcd ストレージクラス名を指定します (例: lvm-storageclass)。

   7

   SSH 公開鍵へのパスを指定します。デフォルトのファイルパスは ~/.ssh/id_rsa.pub です。

   8

   ホステッドクラスターの namespace を指定します。

   9

   Hosted Control Plane コンポーネントの可用性ポリシーを指定します。サポートされているオプションは SingleReplica と HighlyAvailable です。デフォルト値は HighlyAvailable です。

   10

   使用するサポート対象の OpenShift Container Platform バージョンを指定します (例: 4.19.0-multi)。非接続環境を使用している場合は、<ocp_release_image> をダイジェストイメージに置き換えます。OpenShift Container Platform リリースイメージダイジェストを抽出するには、OpenShift Container Platform リリースイメージダイジェストの抽出 を参照してください。

   11

   ノードプールのレプリカ数を指定します (例: 3)。レプリカ数は 0 以上で指定する必要があります。指定したとおりの数のノードが作成されます。この値を指定しない場合、ノードプールは作成されません。

   12

   --ssh-key フラグの後に、SSH 鍵へのパス (例: user/.ssh/id_rsa) を指定します。

3. サービス公開ストラテジーを設定します。デフォルトでは、ホステッドクラスターは NodePort サービス公開ストラテジーを使用します。これは、ノードポートが追加のインフラストラクチャーなしで常に利用可能であるためです。ただし、ロードバランサーを使用するようにサービス公開ストラテジーを設定することもできます。

   • デフォルトの NodePort ストラテジーを使用している場合は、管理クラスターノードではなく、ホステッドクラスターコンピュートノードを指すように DNS を設定します。詳細は、「ベアメタル上の DNS 設定」を参照してください。

   • 実稼働環境では、証明書の処理と自動 DNS 解決を提供する LoadBalancer ストラテジーを使用します。次の例は、ホステッドクラスターの設定ファイルで LoadBalancer サービス公開ストラテジーを変更する方法を示しています。

     # ...
     spec:
       services:
       - service: APIServer
         servicePublishingStrategy:
           type: LoadBalancer 

     1

     
       - service: Ignition
         servicePublishingStrategy:
           type: Route
       - service: Konnectivity
         servicePublishingStrategy:
           type: Route
       - service: OAuthServer
         servicePublishingStrategy:
           type: Route
       - service: OIDC
         servicePublishingStrategy:
           type: Route
       sshKey:
         name: <ssh_key>
     # ...

     1

     API サーバータイプとして LoadBalancer を指定します。それ以外のすべてのサービスでは、タイプとして Route を指定します。

4. 次のコマンドを入力して、ホステッドクラスター設定ファイルに変更を適用します。

   $ oc apply -f hosted_cluster_config.yaml

5. 次のコマンドを入力して、ホステッドクラスター、ノードプール、および Pod の作成を確認します。

   $ oc get hostedcluster \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   $ oc get nodepool \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   $ oc get pods -n <hosted_cluster_namespace>

6. ホステッドクラスターの準備ができていることを確認します。Available: True というステータスはクラスターの準備完了状態であることを示しています。ノードプールのステータスには AllMachinesReady: True と表示されます。これらのステータスは、すべてのクラスター Operator の健全性を示しています。

7. ホステッドクラスターに MetalLB をインストールします。

   1. 次のコマンドを入力して、ホステッドクラスターから kubeconfig ファイルを展開し、ホステッドクラスターアクセス用の環境変数を設定します。

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml

      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"

   2. install-metallb-operator.yaml ファイルを作成して MetalLB Operator をインストールします。

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic
      # ...

   3. 以下のコマンドを入力してファイルを適用します。

      $ oc apply -f install-metallb-operator.yaml

   4. deploy-metallb-ipaddresspool.yaml ファイルを作成して、MetalLB IP アドレスプールを設定します。

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb
      # ...

   5. 次のコマンドを入力して設定を適用します。

      $ oc apply -f deploy-metallb-ipaddresspool.yaml

   6. 次のコマンドを入力して、Operator ステータス、IP アドレスプール、および L2Advertisement リソースを確認し、MetalLB のインストールを検証します。

      $ oc get pods -n metallb-system

      $ oc get ipaddresspool -n metallb-system

      $ oc get l2advertisement -n metallb-system

8. Ingress 用のロードバランサーを設定します。

   1. ingress-loadbalancer.yaml ファイルを作成します。

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer
      # ...

   2. 次のコマンドを入力して設定を適用します。

      $ oc apply -f ingress-loadbalancer.yaml

   3. 次のコマンドを入力して、ロードバランサーサービスが期待どおりに動作することを確認します。

      $ oc get svc metallb-ingress -n openshift-ingress

      出力例

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

9. ロードバランサーと連携するように DNS を設定します。

   1. *.apps.<hosted_cluster_namespace>.<base_domain> ワイルドカード DNS レコードがロードバランサーの IP アドレスをポイントするように、apps ドメインの DNS を設定します。

   2. 次のコマンドを入力して DNS 解決を確認します。

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      出力例

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

検証

1. 次のコマンドを入力して、クラスター Operator を確認します。

   $ oc get clusteroperators

   すべての Operator に AVAILABLE: True、PROGRESSING: False、DEGRADED: False が表示されていることを確認します。

2. 次のコマンドを入力してノードを確認します。

   $ oc get nodes

   各ノードのステータスが READY であることを確認します。

3. Web ブラウザーに次の URL を入力して、コンソールへのアクセスをテストします。

   https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

手順

1. OpenShift Container Platform Web コンソールを開き、管理者の認証情報を入力してログインします。コンソールを開く手順は、「Web コンソールへのアクセス」を参照してください。
2. コンソールヘッダーで、All Clusters が選択されていることを確認します。
3. Infrastructure Clusters をクリックします。

4. Create cluster Host inventory Hosted control plane をクリックします。

   Create cluster ページが表示されます。

5. Create cluster ページでプロンプトに従い、クラスター、ノードプール、ネットワーク、および自動化に関する詳細を入力します。

   注記

   クラスターの詳細を入力する際には、次のヒントが役立つ場合があります。

   • 事前定義された値を使用してコンソールのフィールドに自動的に値を入力する場合は、ホストインベントリーの認証情報を作成できます。詳細は、「オンプレミス環境の認証情報の作成」を参照してください。
   • Cluster details ページのプルシークレットは、OpenShift Container Platform リソースへのアクセスに使用する OpenShift Container Platform プルシークレットです。ホストインベントリー認証情報を選択した場合は、プルシークレットが自動的に入力されます。
   • Node pools ページでは、namespace にノードプールのホストが含まれます。コンソールを使用してホストインベントリーを作成した場合、コンソールは専用の namespace を作成します。
   • Networking ページで、API サーバー公開ストラテジーを選択します。ホステッドクラスターの API サーバーは、既存のロードバランサーを使用するか、NodePort タイプのサービスとして公開できます。API サーバーに到達できる宛先を指す api.<hosted_cluster_name>.<base_domain> 設定の DNS エントリーが存在する必要があります。このエントリーとして、管理クラスター内のノードの 1 つを指すレコード、または受信トラフィックを Ingress Pod にリダイレクトするロードバランサーを指すレコードを指定できます。

6. エントリーを確認し、Create をクリックします。

   Hosted cluster ビューが表示されます。

7. Hosted cluster ビューでホステッドクラスターのデプロイメントを監視します。
8. ホステッドクラスターに関する情報が表示されない場合は、All Clusters が選択されていることを確認し、クラスター名をクリックします。
9. コントロールプレーンコンポーネントの準備が整うまで待ちます。このプロセスには数分かかる場合があります。
10. ノードプールのステータスを表示するには、NodePool セクションまでスクロールします。ノードをインストールするプロセスには約 10 分かかります。Nodes をクリックして、ノードがホステッドクラスターに参加したかどうかを確認することもできます。

手順

1. YAML ファイルを作成して、イメージコンテンツソースポリシー (ICSP) を定義します。以下の例を参照してください。

   - mirrors:
     - brew.registry.redhat.io
     source: registry.redhat.io
   - mirrors:
     - brew.registry.redhat.io
     source: registry.stage.redhat.io
   - mirrors:
     - brew.registry.redhat.io
     source: registry-proxy.engineering.redhat.com

2. ファイルを icsp.yaml として保存します。このファイルにはミラーレジストリーが含まれます。

3. ミラーレジストリーを使用してホステッドクラスターを作成するには、次のコマンドを実行します。

   $ hcp create cluster agent \
       --name=<hosted_cluster_name> \

   1

   
       --pull-secret=<path_to_pull_secret> \

   2

   
       --agent-namespace=<hosted_control_plane_namespace> \

   3

   
       --base-domain=<basedomain> \

   4

   
       --api-server-address=api.<hosted_cluster_name>.<basedomain> \

   5

   
       --image-content-sources icsp.yaml  \

   6

   
       --ssh-key  <path_to_ssh_key> \

   7

   
       --namespace <hosted_cluster_namespace> \

   8

   
       --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> 

   9

   1

   ホステッドクラスターの名前を指定します (例: example)。

   2

   プルシークレットへのパスを指定します (例: /user/name/pullsecret)。

   3

   Hosted Control Plane namespace を指定します (例: clusters-example)。oc get agent -n <hosted-control-plane-namespace> コマンドを使用して、この namespace でエージェントが使用可能であることを確認します。

   4

   ベースドメインを指定します (例: krnl.es)。

   5

   --api-server-address フラグは、ホステッドクラスター内の Kubernetes API 通信に使用される IP アドレスを定義します。--api-server-address フラグを設定しない場合は、管理クラスターに接続するためにログインする必要があります。

   6

   ICSP およびミラーレジストリーを定義する icsp.yaml ファイルを指定します。

   7

   SSH 公開鍵へのパスを指定します。デフォルトのファイルパスは ~/.ssh/id_rsa.pub です。

   8

   ホストされたクラスターの namespace を指定します。

   9

   使用するサポート対象の OpenShift Container Platform バージョンを指定します (例: 4.17.0-multi)。非接続環境を使用している場合は、<ocp_release_image> をダイジェストイメージに置き換えます。OpenShift Container Platform リリースイメージダイジェストを抽出するには、「OpenShift Container Platform リリースイメージダイジェストの抽出」を参照してください。