第4章 Hosted Control Plane のデプロイ

手順

1. クラスターの OIDC 検出ドキュメントをホストするためのパブリックアクセスを持つ S3 バケットを作成します。

   1. 以下のコマンドを入力します。

      $ aws s3api create-bucket --bucket <bucket_name> \
        --create-bucket-configuration LocationConstraint=<region> \
        --region <region> 

      1

      ここでは、以下のようになります。

      <bucket_name>

      作成する S3 バケットの名前を指定します。

      < 領域 >

      バケットを us-east-1 リージョン以外のリージョンに作成することを指定します。この行を追加し、<region> を使用したいリージョンに置き換えてください。us-east-1 リージョンにバケットを作成するには、この行を省略します。

   2. 以下のコマンドを入力します。

      $ aws s3api delete-public-access-block --bucket <bucket_name>

      <bucket_name> は、作成する S3 バケットの名前に置き換えます。

   3. 以下のコマンドを入力します。

      $ echo '{
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": "*",
                  "Action": "s3:GetObject",
                  "Resource": "arn:aws:s3:::<bucket_name>/*"
              }
          ]
      }' | envsubst > policy.json

      <bucket_name> は、作成する S3 バケットの名前に置き換えます。

   4. 以下のコマンドを入力します。

      $ aws s3api put-bucket-policy --bucket <bucket_name> \
        --policy file://policy.json

      <bucket_name> は、作成する S3 バケットの名前に置き換えます。

      注記

      Mac コンピューターを使用している場合は、ポリシーを機能させるためにバケット名をエクスポートする必要があります。

2. HyperShift Operator 用に hypershift-operator-oidc-provider-s3-credentials という名前の OIDC S3 シークレットを作成します。
3. シークレットを local-cluster namespace に保存します。

4. 次の表を参照して、シークレットに次のフィールドが含まれていることを確認します。

   Expand

   表4.1 AWS シークレットの必須フィールド

   フィールド名	説明
   bucket	ホステッドクラスターの OIDC 検出ドキュメントをホストするためのパブリックアクセスを備えた S3 バケットが含まれています。
   credentials	バケットにアクセスできる default プロファイルの認証情報を含むファイルへの参照。デフォルトでは、HyperShift は default プロファイルのみを使用して bucket を操作します。
   region	S3 バケットのリージョンを指定します。

   Show more

5. AWS シークレットを作成するには、次のコマンドを実行します。

   $ oc create secret generic <secret_name> \
     --from-file=credentials=<path>/.aws/credentials \
     --from-literal=bucket=<s3_bucket> \
     --from-literal=region=<region> \
     -n local-cluster

   注記

   シークレットの障害復旧バックアップは自動的に有効になりません。障害復旧用に hypershift-operator-oidc-provider-s3-credentials シークレットのバックアップを有効にするラベルを追加するには、次のコマンドを実行します。

   $ oc label secret hypershift-operator-oidc-provider-s3-credentials \
     -n local-cluster cluster.open-cluster-management.io/backup=true

手順

1. 次のコマンドを実行して、ユーザーの Amazon Resource Name (ARN) を取得します。

   $ aws sts get-caller-identity --query "Arn" --output text

   出力例

   arn:aws:iam::1234567890:user/<aws_username>

   次のステップで、この出力を <arn> の値として使用してください。

2. ロールの信頼関係設定を含む JSON ファイルを作成します。以下の例を参照してください。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "<arn>"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

   <arn> は、前のステップでメモしたユーザーの ARN に置き換えます。

3. 次のコマンドを実行して、Identity and Access Management (IAM) ロールを作成します。

   $ aws iam create-role \
     --role-name <name> \
     --assume-role-policy-document file://<file_name>.json \
     --query "Role.Arn"

   ここでは、以下のようになります。

   <name>

   ロール名を指定します。たとえば、hcp-cli-role など です。

   <file_name>

   前の手順で作成した JSON ファイルの名前を指定します。

   出力例

   arn:aws:iam::820196288204:role/myrole

4. ロールの次の権限ポリシーを含む policy.json という名前の JSON ファイルを作成します。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "EC2",
               "Effect": "Allow",
               "Action": [
                   "ec2:CreateDhcpOptions",
                   "ec2:DeleteSubnet",
                   "ec2:ReplaceRouteTableAssociation",
                   "ec2:DescribeAddresses",
                   "ec2:DescribeInstances",
                   "ec2:DeleteVpcEndpoints",
                   "ec2:CreateNatGateway",
                   "ec2:CreateVpc",
                   "ec2:DescribeDhcpOptions",
                   "ec2:AttachInternetGateway",
                   "ec2:DeleteVpcEndpointServiceConfigurations",
                   "ec2:DeleteRouteTable",
                   "ec2:AssociateRouteTable",
                   "ec2:DescribeInternetGateways",
                   "ec2:DescribeAvailabilityZones",
                   "ec2:CreateRoute",
                   "ec2:CreateInternetGateway",
                   "ec2:RevokeSecurityGroupEgress",
                   "ec2:ModifyVpcAttribute",
                   "ec2:DeleteInternetGateway",
                   "ec2:DescribeVpcEndpointConnections",
                   "ec2:RejectVpcEndpointConnections",
                   "ec2:DescribeRouteTables",
                   "ec2:ReleaseAddress",
                   "ec2:AssociateDhcpOptions",
                   "ec2:TerminateInstances",
                   "ec2:CreateTags",
                   "ec2:DeleteRoute",
                   "ec2:CreateRouteTable",
                   "ec2:DetachInternetGateway",
                   "ec2:DescribeVpcEndpointServiceConfigurations",
                   "ec2:DescribeNatGateways",
                   "ec2:DisassociateRouteTable",
                   "ec2:AllocateAddress",
                   "ec2:DescribeSecurityGroups",
                   "ec2:RevokeSecurityGroupIngress",
                   "ec2:CreateVpcEndpoint",
                   "ec2:DescribeVpcs",
                   "ec2:DeleteSecurityGroup",
                   "ec2:DeleteDhcpOptions",
                   "ec2:DeleteNatGateway",
                   "ec2:DescribeVpcEndpoints",
                   "ec2:DeleteVpc",
                   "ec2:CreateSubnet",
                   "ec2:DescribeSubnets"
               ],
               "Resource": "*"
           },
           {
               "Sid": "ELB",
               "Effect": "Allow",
               "Action": [
                   "elasticloadbalancing:DeleteLoadBalancer",
                   "elasticloadbalancing:DescribeLoadBalancers",
                   "elasticloadbalancing:DescribeTargetGroups",
                   "elasticloadbalancing:DeleteTargetGroup"
               ],
               "Resource": "*"
           },
           {
               "Sid": "IAMPassRole",
               "Effect": "Allow",
               "Action": "iam:PassRole",
               "Resource": "arn:*:iam::*:role/*-worker-role",
               "Condition": {
                   "ForAnyValue:StringEqualsIfExists": {
                       "iam:PassedToService": "ec2.amazonaws.com"
                   }
               }
           },
           {
               "Sid": "IAM",
               "Effect": "Allow",
               "Action": [
                   "iam:CreateInstanceProfile",
                   "iam:DeleteInstanceProfile",
                   "iam:GetRole",
                   "iam:UpdateAssumeRolePolicy",
                   "iam:GetInstanceProfile",
                   "iam:TagRole",
                   "iam:RemoveRoleFromInstanceProfile",
                   "iam:CreateRole",
                   "iam:DeleteRole",
                   "iam:PutRolePolicy",
                   "iam:AddRoleToInstanceProfile",
                   "iam:CreateOpenIDConnectProvider",
                   "iam:ListOpenIDConnectProviders",
                   "iam:DeleteRolePolicy",
                   "iam:UpdateRole",
                   "iam:DeleteOpenIDConnectProvider",
                   "iam:GetRolePolicy"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Route53",
               "Effect": "Allow",
               "Action": [
                   "route53:ListHostedZonesByVPC",
                   "route53:CreateHostedZone",
                   "route53:ListHostedZones",
                   "route53:ChangeResourceRecordSets",
                   "route53:ListResourceRecordSets",
                   "route53:DeleteHostedZone",
                   "route53:AssociateVPCWithHostedZone",
                   "route53:ListHostedZonesByName"
               ],
               "Resource": "*"
           },
           {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:ListAllMyBuckets",
                   "s3:ListBucket",
                   "s3:DeleteObject",
                   "s3:DeleteBucket"
               ],
               "Resource": "*"
           }
       ]
   }

5. 以下のコマンドを実行して、ロールのアクセス許可ポリシーを含む policy.json ファイルを添付してください。

   $ aws iam put-role-policy \
     --role-name <role_name> \
     --policy-name <policy_name> \
     --policy-document file://policy.json

   ここでは、以下のようになります。

   < ロール名 >

   ロールの名前を指定します。

   <policy_name>

   保険契約名を指定します。

6. 次のコマンドを実行して、sts-creds.json という名前の JSON ファイル内の STS 認証情報を取得します。

   $ aws sts get-session-token --output json > sts-creds.json

   sts-creds.json ファイルの例

   {
       "Credentials": {
           "AccessKeyId": "<access_key_id",
           "SecretAccessKey": "<secret_access_key>”,
           "SessionToken": "<session_token>",
           "Expiration": "<time_stamp>"
       }
   }

手順

1. HyperShift Operator の AWS 認証情報シークレットを作成し、hypershift-operator-private-link-credentials という名前を付けます。このシークレットは、管理クラスターとして使用されているマネージドクラスターの namespace であるマネージドクラスター namespace に配置する必要があります。local-cluster を使用した場合は、local-cluster namespace にシークレットを作成します。

2. シークレットに必要なフィールドが含まれることを確認するには、以下の表を参照してください。

   Expand

   表4.2 AWS シークレットの必須フィールド

   フィールド名	説明	任意または必須
   region	Private Link で使用するリージョン	必須
   aws-access-key-id	認証情報アクセスキー ID。	必須
   aws-secret-access-key	認証情報アクセスキーのシークレット。	必須

   Show more

3. AWS シークレットを作成するには、次のコマンドを実行します。

   $ oc create secret generic <secret_name> \
     --from-literal=aws-access-key-id=<aws_access_key_id> \
     --from-literal=aws-secret-access-key=<aws_secret_access_key> \
     --from-literal=region=<region> -n local-cluster

4. シークレットの障害復旧バックアップは自動的に有効になりません。以下のコマンドを実行して、障害復旧用に hypershift-operator-private-link-credentials シークレットのバックアップを有効にするラベルを追加します。

   $ oc label secret hypershift-operator-private-link-credentials \
     -n local-cluster \
     cluster.open-cluster-management.io/backup=""

手順

1. HyperShift Operator 用の Amazon Web Services (AWS) 認証情報シークレットを作成し、local-cluster namespace で hypershift-operator-external-dns-credentials という名前を付けます。

2. シークレットに必要なフィールドが含まれていることを確認してください。ご参考までに、必須項目を以下の表に詳しく記載します。

   Expand

   表4.3 AWS シークレットの必須フィールド

   フィールド名	説明	任意または必須
   provider	サービスレベル DNS ゾーンを管理する DNS プロバイダー。	必須
   domain-filter	サービスレベルドメイン。	必須
   credentials	すべての外部 DNS タイプをサポートする認証情報ファイル。	AWS キーを使用する場合はオプション
   aws-access-key-id	認証情報アクセスキー ID。	AWS DNS サービスを使用する場合はオプション
   aws-secret-access-key	認証情報アクセスキーのシークレット。	AWS DNS サービスを使用する場合はオプション

   Show more

3. 以下のコマンドを実行して、AWS シークレットを作成します。

   $ oc create secret generic <secret_name> \
     --from-literal=provider=aws \
     --from-literal=domain-filter=<domain_name> \
     --from-file=credentials=<path_to_aws_credentials_file> -n local-cluster

   注記

   シークレットの障害復旧バックアップは自動的に有効になりません。障害復旧のためにシークレットをバックアップするには、次のコマンドを入力して hypershift-operator-external-dns-credentials を追加します。

   $ oc label secret hypershift-operator-external-dns-credentials \
     -n local-cluster \
     cluster.open-cluster-management.io/backup=""

手順

1. AWS Route 53 管理コンソールで、[ホストゾーンの作成] を クリックします。
2. Hosted zone configuration ページでドメイン名を入力し、タイプとして Public hosted zone が選択されていることを確認し、Create hosted zone をクリックします。
3. ゾーンが作成されたら、Records タブの Value/Route traffic to 列の値をメモします。
4. メインドメインで、DNS 要求を委任ゾーンにリダイレクトするための NS レコードを作成します。Value フィールドに、前の手順でメモした値を入力します。
5. Create records をクリックします。

6. 次の例のように、新しいサブゾーンにテストエントリーを作成し、dig コマンドでテストして、DNS ホストゾーンが機能していることを確認します。

   $ dig +short test.user-dest-public.aws.kerberos.com

   出力例

   192.168.1.1

7. LoadBalancer および Route サービスのホスト名を設定するホステッドクラスターを作成するには、次のコマンドを入力します。

   $ hcp create cluster aws --name=<hosted_cluster_name> \
     --endpoint-access=PublicAndPrivate \
     --external-dns-domain=<public_hosted_zone> ...

   <public_hosted_zone> は、作成したパブリックホストゾーンに置き換えます。

   ホステッドクラスターの services ブロックの例

     platform:
       aws:
         endpointAccess: PublicAndPrivate
   ...
     services:
     - service: APIServer
       servicePublishingStrategy:
         route:
           hostname: api-example.service-provider-domain.com
         type: Route
     - service: OAuthServer
       servicePublishingStrategy:
         route:
           hostname: oauth-example.service-provider-domain.com
         type: Route
     - service: Konnectivity
       servicePublishingStrategy:
         type: Route
     - service: Ignition
       servicePublishingStrategy:
         type: Route

   Control Plane Operator は、Services と Routes リソースを作成し、external-dns.alpha.kubernetes.io/hostname のアノテーションを付けます。Services と Routes の場合、Control Plane Operator は、サービスエンドポイントの servicePublishingStrategy フィールドの hostname パラメーターの値を使用します。DNS レコードを作成するには、external-dns デプロイメントなどのメカニズムを使用できます。

   サービスレベルの DNS 間接化をパブリックサービスにのみ設定できます。プライベートサービスは hypershift.local プライベートゾーンを使用するため、hostname を設定できません。

   次の表は、サービスとエンドポイントの組み合わせに対して hostname を設定することが有効な場合を示しています。

   Expand

   表4.4 hostname を設定するためのサービスとエンドポイントの組み合わせ

   サービス	Public	PublicAndPrivate	Private
   APIServer	Y	Y	N
   OAuthServer	Y	Y	N
   Konnectivity	Y	N	N
   Ignition	Y	N	N

   Show more

手順

1. hcp コマンドラインインターフェイス (CLI) で、以下のコマンドを入力して管理クラスターにアクセスします。

   $ export KUBECONFIG=<path_to_management_cluster_kubeconfig>

2. 次のコマンドを入力して、External DNS Operator が実行されていることを確認します。

   $ oc get pod -n hypershift -lapp=external-dns

   出力例

   NAME                            READY   STATUS    RESTARTS   AGE
   external-dns-7c89788c69-rn8gp   1/1     Running   0          40s

3. 外部 DNS を使用してホステッドクラスターを作成するには、次のコマンドを入力します。

   $ hcp create cluster aws \
       --role-arn <arn_role> \
       --instance-type <instance_type> \
       --region <region> \
       --auto-repair \
       --generate-ssh \
       --name <hosted_cluster_name> \
       --namespace clusters \
       --base-domain <service_consumer_domain> \
       --node-pool-replicas <node_replica_count> \
       --pull-secret <path_to_your_pull_secret> \
       --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \
       --external-dns-domain=<service_provider_domain> \
       --endpoint-access=<endpoint_access_configuration> \
       --sts-creds <path_to_sts_credential_file>

   ここでは、以下のようになります。

   <arn_role>

   Amazon Resource Name (ARN) を指定します。例: arn:aws:iam::820196288204:role/myrole。

   <instance_types>

   インスタンスタイプを指定します。例: m6i.xlarge。

   < 領域 >

   AWS リージョンを指定します。たとえば、us-east-1 など です。

   <hosted_cluster_name>

   ホステッドクラスター名を指定します。例: my-external-aws。

   < サービスコンシューマードメイン >

   サービス利用者が所有するパブリックホストゾーンを指定します。例: service-consumer-domain.com。

   <node_replica_count>

   ノードレプリカ数を指定します。たとえば、2 です。

   < プルシークレットへのパス >

   プルシークレットファイルへのパスを指定します。

   <ocp_release_image>

   使用するサポートされている OpenShift Container Platform のバージョンを指定します。たとえば、4.20.0-multi などです。

   < サービスプロバイダードメイン >

   サービスプロバイダーが所有するパブリックホストゾーンを指定します。たとえば、service-provider-domain.com などです。

   <endpoint_access_configuraton>

   外部 DNS のエンドポイントアクセス設定を指定します。PublicAndPrivate として設定します。外部 DNS は、Public または PublicAndPrivate 設定でのみ使用できます。

   <sts_credential_file へのパス >

   AWS STS 認証情報ファイルへのパスを指定します。例: /home/user/sts-creds/sts-creds.json。

手順

1. 次のコマンドを入力して、ノードのプライベート IP を確認します。

   $ aws ec2 describe-instances \
     --filter="Name=tag:kubernetes.io/cluster/<infra_id>,Values=owned" \
     | jq '.Reservations[] | .Instances[] | select(.PublicDnsName=="") \
     | .PrivateIpAddress'

2. 次のコマンドを入力して、ホステッドクラスターの kubeconfig ファイルを作成し、ノードにコピーします。

   $ hcp create kubeconfig > <hosted_cluster_kubeconfig>

3. 踏み台経由でノードの 1 つに SSH 接続するために、次のコマンドを入力します。

   $ ssh -o ProxyCommand="ssh ec2-user@<bastion_ip> \
     -W %h:%p" core@<node_ip>

4. SSH シェルから、次のコマンドを入力して、kubeconfig ファイルの内容をノード上のファイルにコピーします。

   $ mv <path_to_kubeconfig_file> <new_file_name>

5. 次のコマンドを入力して、kubeconfig ファイルをエクスポートします。

   $ export KUBECONFIG=<path_to_kubeconfig_file>

6. 次のコマンドを入力して、ホステッドクラスターのステータスを確認します。

   $ oc get clusteroperators clusterversion