第 4 章 部署托管的 control plane

流程

1. 创建一个 S3 存储桶，它对集群的主机 OIDC 发现文档有公共访问权限。

   1. 输入以下命令：

      $ aws s3api create-bucket --bucket <bucket_name> \
        --create-bucket-configuration LocationConstraint=<region> \
        --region <region> 

      1

      其中：

      <bucket_name>

      指定您要创建的 S3 存储桶的名称。

      <region>

      指定在其中创建存储桶的、us-east-1 区域以外的区域。包含这一行，将 <region> 替换为您要使用的区域。要在 us-east-1 区域中创建存储桶，请省略这一行。

   2. 输入以下命令：

      $ aws s3api delete-public-access-block --bucket <bucket_name>

      将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   3. 输入以下命令：

      $ echo '{
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": "*",
                  "Action": "s3:GetObject",
                  "Resource": "arn:aws:s3:::<bucket_name>/*"
              }
          ]
      }' | envsubst > policy.json

      将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   4. 输入以下命令：

      $ aws s3api put-bucket-policy --bucket <bucket_name> \
        --policy file://policy.json

      将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

      注意

      如果使用 Mac 计算机，则必须导出存储桶名称才能使策略正常工作。

2. 为 HyperShift Operator 创建一个名为 hypershift-operator-oidc-provider-s3-credentials 的 OIDC S3 secret。
3. 将 secret 保存到 local-cluster 命名空间中。

4. 请查看下表以验证 secret 是否包含以下字段：

   Expand

   表 4.1. AWS secret 的必填字段

   字段名称	描述
   bucket	包含具有公共访问权限的 S3 存储桶，用于保存托管集群的 OIDC 发现文档。
   credentials	对包含可以访问存储桶的 default 配置集凭证的文件的引用。默认情况下，HyperShift 仅使用 default 配置集来运行 bucket。
   region	指定 S3 存储桶的区域。

   Show more

5. 要创建 AWS secret，请运行以下命令：

   $ oc create secret generic <secret_name> \
     --from-file=credentials=<path>/.aws/credentials \
     --from-literal=bucket=<s3_bucket> \
     --from-literal=region=<region> \
     -n local-cluster

   注意

   secret 的灾难恢复备份不会被自动启用。要添加启用 hypershift-operator-oidc-provider-s3-credentials secret 的标签来备份灾难恢复，请运行以下命令：

   $ oc label secret hypershift-operator-oidc-provider-s3-credentials \
     -n local-cluster cluster.open-cluster-management.io/backup=true

流程

1. 运行以下命令，获取用户的 Amazon 资源名称(ARN)：

   $ aws sts get-caller-identity --query "Arn" --output text

   输出示例

   arn:aws:iam::1234567890:user/<aws_username>

   使用此输出作为下一步中的 <arn> 的值。

2. 创建一个包含角色信任关系配置的 JSON 文件。请参见以下示例：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "<arn>"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

   将 <arn> 替换为您在上一步中记下的用户的 ARN。

3. 运行以下命令来创建 Identity and Access Management (IAM) 角色：

   $ aws iam create-role \
     --role-name <name> \
     --assume-role-policy-document file://<file_name>.json \
     --query "Role.Arn"

   其中：

   <name>

   指定角色名称，如 hcp-cli-role。

   <file_name>

   指定您在上一步中创建的 JSON 文件的名称。

   输出示例

   arn:aws:iam::820196288204:role/myrole

4. 创建名为 policy.json 的 JSON 文件，其中包含您的角色的以下权限策略：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "EC2",
               "Effect": "Allow",
               "Action": [
                   "ec2:CreateDhcpOptions",
                   "ec2:DeleteSubnet",
                   "ec2:ReplaceRouteTableAssociation",
                   "ec2:DescribeAddresses",
                   "ec2:DescribeInstances",
                   "ec2:DeleteVpcEndpoints",
                   "ec2:CreateNatGateway",
                   "ec2:CreateVpc",
                   "ec2:DescribeDhcpOptions",
                   "ec2:AttachInternetGateway",
                   "ec2:DeleteVpcEndpointServiceConfigurations",
                   "ec2:DeleteRouteTable",
                   "ec2:AssociateRouteTable",
                   "ec2:DescribeInternetGateways",
                   "ec2:DescribeAvailabilityZones",
                   "ec2:CreateRoute",
                   "ec2:CreateInternetGateway",
                   "ec2:RevokeSecurityGroupEgress",
                   "ec2:ModifyVpcAttribute",
                   "ec2:DeleteInternetGateway",
                   "ec2:DescribeVpcEndpointConnections",
                   "ec2:RejectVpcEndpointConnections",
                   "ec2:DescribeRouteTables",
                   "ec2:ReleaseAddress",
                   "ec2:AssociateDhcpOptions",
                   "ec2:TerminateInstances",
                   "ec2:CreateTags",
                   "ec2:DeleteRoute",
                   "ec2:CreateRouteTable",
                   "ec2:DetachInternetGateway",
                   "ec2:DescribeVpcEndpointServiceConfigurations",
                   "ec2:DescribeNatGateways",
                   "ec2:DisassociateRouteTable",
                   "ec2:AllocateAddress",
                   "ec2:DescribeSecurityGroups",
                   "ec2:RevokeSecurityGroupIngress",
                   "ec2:CreateVpcEndpoint",
                   "ec2:DescribeVpcs",
                   "ec2:DeleteSecurityGroup",
                   "ec2:DeleteDhcpOptions",
                   "ec2:DeleteNatGateway",
                   "ec2:DescribeVpcEndpoints",
                   "ec2:DeleteVpc",
                   "ec2:CreateSubnet",
                   "ec2:DescribeSubnets"
               ],
               "Resource": "*"
           },
           {
               "Sid": "ELB",
               "Effect": "Allow",
               "Action": [
                   "elasticloadbalancing:DeleteLoadBalancer",
                   "elasticloadbalancing:DescribeLoadBalancers",
                   "elasticloadbalancing:DescribeTargetGroups",
                   "elasticloadbalancing:DeleteTargetGroup"
               ],
               "Resource": "*"
           },
           {
               "Sid": "IAMPassRole",
               "Effect": "Allow",
               "Action": "iam:PassRole",
               "Resource": "arn:*:iam::*:role/*-worker-role",
               "Condition": {
                   "ForAnyValue:StringEqualsIfExists": {
                       "iam:PassedToService": "ec2.amazonaws.com"
                   }
               }
           },
           {
               "Sid": "IAM",
               "Effect": "Allow",
               "Action": [
                   "iam:CreateInstanceProfile",
                   "iam:DeleteInstanceProfile",
                   "iam:GetRole",
                   "iam:UpdateAssumeRolePolicy",
                   "iam:GetInstanceProfile",
                   "iam:TagRole",
                   "iam:RemoveRoleFromInstanceProfile",
                   "iam:CreateRole",
                   "iam:DeleteRole",
                   "iam:PutRolePolicy",
                   "iam:AddRoleToInstanceProfile",
                   "iam:CreateOpenIDConnectProvider",
                   "iam:ListOpenIDConnectProviders",
                   "iam:DeleteRolePolicy",
                   "iam:UpdateRole",
                   "iam:DeleteOpenIDConnectProvider",
                   "iam:GetRolePolicy"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Route53",
               "Effect": "Allow",
               "Action": [
                   "route53:ListHostedZonesByVPC",
                   "route53:CreateHostedZone",
                   "route53:ListHostedZones",
                   "route53:ChangeResourceRecordSets",
                   "route53:ListResourceRecordSets",
                   "route53:DeleteHostedZone",
                   "route53:AssociateVPCWithHostedZone",
                   "route53:ListHostedZonesByName"
               ],
               "Resource": "*"
           },
           {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:ListAllMyBuckets",
                   "s3:ListBucket",
                   "s3:DeleteObject",
                   "s3:DeleteBucket"
               ],
               "Resource": "*"
           }
       ]
   }

5. 运行以下命令，附加包含角色的权限策略的 policy.json 文件：

   $ aws iam put-role-policy \
     --role-name <role_name> \
     --policy-name <policy_name> \
     --policy-document file://policy.json

   其中：

   <role_name>

   指定角色的名称。

   <policy_name>

   指定您的策略名称。

6. 运行以下命令，在名为 sts-creds.json 的 JSON 文件中检索 STS 凭证：

   $ aws sts get-session-token --output json > sts-creds.json

   sts-creds.json 文件示例

   {
       "Credentials": {
           "AccessKeyId": "<access_key_id",
           "SecretAccessKey": "<secret_access_key>”,
           "SessionToken": "<session_token>",
           "Expiration": "<time_stamp>"
       }
   }

流程

1. 为 HyperShift Operator 创建 AWS 凭证 secret，并将其命名为 hypershift-operator-private-link-credentials。secret 必须位于用作管理集群的受管集群的命名空间中。如果使用 local-cluster，请在 local-cluster 命名空间中创建 secret。

2. 下表确认 secret 包含必填字段：

   Expand

   表 4.2. AWS secret 的必填字段

   字段名称	描述	可选或必需的
   region	与私有链接一起使用的区域	必需
   aws-access-key-id	凭证访问密钥 ID。	必需
   aws-secret-access-key	凭证访问密钥 secret。	必填

   Show more

3. 要创建 AWS secret，请运行以下命令：

   $ oc create secret generic <secret_name> \
     --from-literal=aws-access-key-id=<aws_access_key_id> \
     --from-literal=aws-secret-access-key=<aws_secret_access_key> \
     --from-literal=region=<region> -n local-cluster

4. secret 的灾难恢复备份不会被自动启用。运行以下命令添加可备份 hypershift-operator-private-link-credentials secret 的标签：

   $ oc label secret hypershift-operator-private-link-credentials \
     -n local-cluster \
     cluster.open-cluster-management.io/backup=""

流程

1. 为 HyperShift Operator 创建 Amazon Web Services (AWS) 凭证 secret，并将其命名为 local-cluster 命名空间中的 hypershift-operator-external-dns-credentials。

2. 验证 secret 是否具有必填字段。为了方便参考，下表详细介绍了必填字段。

   Expand

   表 4.3. AWS secret 的必填字段

   字段名称	描述	可选或必需的
   provider	管理服务级别 DNS 区的 DNS 供应商。	必需
   domain-filter	服务级别域。	必需
   credentials	支持所有外部 DNS 类型的凭据文件。	在使用 AWS 密钥时是可选的
   aws-access-key-id	凭证访问密钥 ID。	在使用 AWS DNS 服务时是可选的
   aws-secret-access-key	凭证访问密钥 secret。	在使用 AWS DNS 服务时是可选的

   Show more

3. 运行以下命令来创建 AWS secret：

   $ oc create secret generic <secret_name> \
     --from-literal=provider=aws \
     --from-literal=domain-filter=<domain_name> \
     --from-file=credentials=<path_to_aws_credentials_file> -n local-cluster

   注意

   secret 的灾难恢复备份不会被自动启用。要为灾难恢复备份 secret，请输入以下命令添加 hypershift-operator-external-dns-credentials ：

   $ oc label secret hypershift-operator-external-dns-credentials \
     -n local-cluster \
     cluster.open-cluster-management.io/backup=""

流程

1. 在 AWS Route 53 管理控制台中，点 Create hosted zone。
2. 在 Hosted zone configuration 页面中，键入域名，验证已选择 Publish hosted zone 作为类型，然后点 Create hosted zone。
3. 创建区域后，在 Records 选项卡中，请注意 Value/Route traffic to 栏中的值。
4. 在主域中，创建一个 NS 记录，将 DNS 请求重定向到委派的区域。在 Value 字段中，输入您在上一步中记录的值。
5. 点 Create records。

6. 通过在新子区中创建测试条目并使用 dig 命令进行测试，以验证 DNS 托管区是否正常工作，如下例所示：

   $ dig +short test.user-dest-public.aws.kerberos.com

   输出示例

   192.168.1.1

7. 要创建为 LoadBalancer 和 Route 服务设置主机名的托管集群，请输入以下命令：

   $ hcp create cluster aws --name=<hosted_cluster_name> \
     --endpoint-access=PublicAndPrivate \
     --external-dns-domain=<public_hosted_zone> ...

   将 <public_hosted_zone> 替换为您创建的公共托管区。

   托管集群的 services 块示例

     platform:
       aws:
         endpointAccess: PublicAndPrivate
   ...
     services:
     - service: APIServer
       servicePublishingStrategy:
         route:
           hostname: api-example.service-provider-domain.com
         type: Route
     - service: OAuthServer
       servicePublishingStrategy:
         route:
           hostname: oauth-example.service-provider-domain.com
         type: Route
     - service: Konnectivity
       servicePublishingStrategy:
         type: Route
     - service: Ignition
       servicePublishingStrategy:
         type: Route

   Control Plane Operator 创建 Services 和 Routes 资源，并使用 external-dns.alpha.kubernetes.io/hostname 注解为它们添加注解。对于 Services 和 Routes，Control Plane Operator 将 servicePublishingStrategy 字段中的 hostname 参数的值用于服务端点。要创建 DNS 记录，您可以使用某种机制，如 external-dns 部署。

   您只能为公共服务配置服务级别 DNS 间接。您不能为私有服务设置主机名，因为它们使用 hypershift.local 私有区。

   下表显示了何时能够为服务和端点组合设置主机名：

   Expand

   表 4.4. 用于设置主机名的服务和端点组合

   服务	公开	PublicAndPrivate	私有
   APIServer	Y	Y	N
   OAuthServer	Y	Y	N
   Konnectivity	Y	N	N
   Ignition	Y	N	N

   Show more

流程

1. 在 hcp 命令行界面 (CLI) 中，输入以下命令来访问您的管理集群：

   $ export KUBECONFIG=<path_to_management_cluster_kubeconfig>

2. 输入以下命令验证 External DNS Operator 是否正在运行：

   $ oc get pod -n hypershift -lapp=external-dns

   输出示例

   NAME                            READY   STATUS    RESTARTS   AGE
   external-dns-7c89788c69-rn8gp   1/1     Running   0          40s

3. 要使用外部 DNS 创建托管集群，请输入以下命令：

   $ hcp create cluster aws \
       --role-arn <arn_role> \
       --instance-type <instance_type> \
       --region <region> \
       --auto-repair \
       --generate-ssh \
       --name <hosted_cluster_name> \
       --namespace clusters \
       --base-domain <service_consumer_domain> \
       --node-pool-replicas <node_replica_count> \
       --pull-secret <path_to_your_pull_secret> \
       --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \
       --external-dns-domain=<service_provider_domain> \
       --endpoint-access=<endpoint_access_configuration> \
       --sts-creds <path_to_sts_credential_file>

   其中：

   <arn_role>

   指定 Amazon Resource Name (ARN)，例如 arn:aws:iam::820196288204:role/myrole。

   <instance_types>

   指定实例类型，如 m6i.xlarge。

   <region>

   指定 AWS 区域，如 us-east-1。

   <hosted_cluster_name>

   指定托管集群名称，如 my-external-aws。

   <service_consumer_domain>

   指定服务消费者拥有的公共托管区，如 service-consumer-domain.com。

   <node_replica_count>

   指定节点副本数，例如 2。

   <path_to_your_pull_secret>

   指定 pull secret 文件的路径。

   <ocp_release_image>

   指定您要使用的受支持 OpenShift Container Platform 版本，如 4.21.0-multi。

   <service_provider_domain>

   指定服务提供商拥有的公共托管区，如 service-provider-domain.com。

   <endpoint_access_configuraton>

   指定外部 DNS 的端点访问配置。设置为 PublicAndPrivate。您只能使用 Public 或 PublicAndPrivate 配置来使用外部 DNS。

   <path_to_sts_credential_file>

   指定 AWS STS 凭证文件的路径，例如 /home/user/sts-creds/sts-creds.json。

流程

1. 要在 AWS 上创建托管集群，请运行以下命令：

   $ hcp create cluster aws \
       --name <hosted_cluster_name> \
       --infra-id <infra_id> \
       --base-domain <basedomain> \
       --sts-creds <path_to_sts_credential_file> \
       --pull-secret <path_to_pull_secret> \
       --region <region> \
       --generate-ssh \
       --node-pool-replicas <node_pool_replica_count> \
       --namespace <hosted_cluster_namespace> \
       --role-arn <role_name> \
       --render-into <file_name>.yaml

   其中：

   <hosted_cluster_name>

   指定托管集群的名称。

   <infra_id>

   指定您的基础架构名称。您必须为 <hosted_cluster_name> 和 <infra_id> 提供相同的值。否则，集群可能无法在 Kubernetes Operator 控制台的多集群引擎中正确显示。

   <basedomain>

   指定您的基域，例如 example.com。

   <path_to_sts_credential_file>

   指定 AWS STS 凭证文件的路径，例如 /home/user/sts-creds/sts-creds.json。

   <path_to_pull_secret>

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   <region>

   指定 AWS 区域名称，如 us-east-1。

   <node_pool_replica_count>

   指定节点池副本数，例 3。

   <hosted_cluster_namespace>

   指定您要在特定命名空间中创建 HostedCluster 和 NodePool 自定义资源。否则，默认情况下，所有 HostedCluster 和 NodePool 自定义资源都会在 集群 命名空间中创建。

   <role_name>

   指定 Amazon Resource Name (ARN)，例如 arn:aws:iam::820196288204:role/myrole。

   <file_name>

   指定 EC2 实例是否在共享还是单一租户硬件上运行。--render-into 标志会将 Kubernetes 资源呈现到您在此字段中指定的 YAML 文件中。继续下一步来编辑 YAML 文件。

2. 如果在上一命令中包含了 --render-into 标志，请编辑指定的 YAML 文件。编辑 YAML 文件中的 NodePool 规格，以指示 EC2 实例是否应该在共享或单租户硬件上运行，如下例所示：

   YAML 文件示例

   apiVersion: hypershift.openshift.io/v1beta1
   kind: NodePool
   metadata:
     name: <nodepool_name>
   spec:
     platform:
       aws:
         placement:
           tenancy: "default"

   其中：

   <nodepool_name>

   指定 NodePool 资源的名称。

   spec.platform.aws.placement.tenancy

   为租户指定有效的值：" default"、" dedicated" 或 "host "。当节点池实例在共享硬件上运行时，请使用 "default"。当每个节点池实例在单租户硬件上运行时，请使用 "dedicated"。当节点池实例在预分配的专用主机上运行时，请使用 "host"。

3. 如果使用外部负载均衡器，通过编辑 HostedCluster 资源来配置入口端点，如下例所示。如果没有配置端点，则默认行为是随机化服务在其上公开入口的节点端口。要配置入口控制器如何发布默认 ingress 路由，请设置 endpointPublishingStrategy 参数及其底层功能：

   #...
   spec:
     operatorConfiguration:
       ingressOperator:
         endpointPublishingStrategy:
           type: LoadBalancerService
           loadBalancer:
             scope: Internal
   #...

   spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type 参数指定负载均衡器的端点。对于 AWS，请使用 LoadBalancerService 类型。

验证

1. 验证托管集群的状态，以检查 AVAILABLE 的值是否为 True。运行以下命令:

   $ oc get hostedclusters -n <hosted_cluster_namespace>

2. 运行以下命令，获取节点池列表：

   $ oc get nodepools --namespace <hosted_cluster_namespace>

流程

1. 输入以下命令查找节点的专用 IP：

   $ aws ec2 describe-instances \
     --filter="Name=tag:kubernetes.io/cluster/<infra_id>,Values=owned" \
     | jq '.Reservations[] | .Instances[] | select(.PublicDnsName=="") \
     | .PrivateIpAddress'

2. 输入以下命令为可复制到节点的托管集群创建 kubeconfig 文件：

   $ hcp create kubeconfig > <hosted_cluster_kubeconfig>

3. 要通过 bastion 连接到其中一个节点，请输入以下命令：

   $ ssh -o ProxyCommand="ssh ec2-user@<bastion_ip> \
     -W %h:%p" core@<node_ip>

4. 在 SSH shell 中，输入以下命令将 kubeconfig 文件内容复制到节点上的文件中：

   $ mv <path_to_kubeconfig_file> <new_file_name>

5. 输入以下命令导出 kubeconfig 文件：

   $ export KUBECONFIG=<path_to_kubeconfig_file>

6. 输入以下命令观察托管的集群状态：

   $ oc get clusteroperators clusterversion