3.13. 将 AWS VPC 集群扩展到 AWS Outpost

流程

1. 运行以下命令，列出集群的基础架构 ID。保留这个值。

   $ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructures.config.openshift.io cluster

2. 运行以下命令，获取安装程序创建的计算机器集的详情：

   1. 列出集群中的计算机器集：

      $ oc get machinesets.machine.openshift.io -n openshift-machine-api

      输出示例

      NAME                           DESIRED   CURRENT   READY   AVAILABLE   AGE
      <compute_machine_set_name_1>   1         1         1       1           55m
      <compute_machine_set_name_2>   1         1         1       1           55m

   2. 显示列出的计算机器集的 Amazon Machine Image (AMI) ID。保留这个值。

      $ oc get machinesets.machine.openshift.io <compute_machine_set_name_1> \
        -n openshift-machine-api \
        -o jsonpath='{.spec.template.spec.providerSpec.value.ami.id}'

   3. 显示 AWS VPC 集群的子网 ID。保留这个值。

      $ oc get machinesets.machine.openshift.io <compute_machine_set_name_1> \
        -n openshift-machine-api \
        -o jsonpath='{.spec.template.spec.providerSpec.value.subnet.id}'

流程

1. 运行以下命令，列出连接到 AWS 帐户的 Outposts：

   $ aws outposts list-outposts

2. 保留 aws outposts list-outposts 命令的输出中的以下值：

   • Outpost ID。
   • Outpost 的 Amazon 资源名称 (ARN)。

   • Outpost 可用区。

     注意

     aws outposts list-outposts 命令的输出包括两个与可用区相关的值： AvailabilityZone 和 AvailabilityZoneId。您可以使用 AvailablilityZone 值配置在 Outpost 中创建计算机器的计算机器集。

3. 使用 Outpost ID 的值，运行以下命令来显示 Outpost 中可用的实例类型。保留可用实例类型的值。

   $ aws outposts get-outpost-instance-types \
     --outpost-id <outpost_id_value>

4. 使用 Outpost ARN 的值，运行以下命令来显示 Outpost 的子网 ID。保留这个值。

   $ aws ec2 describe-subnets \
     --filters Name=outpost-arn,Values=<outpost_arn_value>

流程

1. 要获得集群网络的当前 MTU，请输入以下命令：

   $ oc describe network.config cluster

   输出示例

   ...
   Status:
     Cluster Network:
       Cidr:               10.217.0.0/22
       Host Prefix:        23
     Cluster Network MTU:  1400
     Network Type:         OVNKubernetes
     Service Network:
       10.217.4.0/23
   ...

2. 要开始 MTU 迁移，请输入以下命令指定迁移配置。Machine Config Operator 在集群中执行节点的滚动重启，以准备 MTU 更改。

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": <overlay_from>, "to": <overlay_to> } , "machine": { "to" : <machine_to> } } } } }'

   其中：

   <overlay_from>

   指定当前的集群网络 MTU 值。

   <overlay_to>

   指定集群网络的目标 MTU。这个值相对于 <machine_to> 的值设置。对于 OVN-Kubernetes，这个值必须比 <machine_to> 的值小 100。

   <machine_to>

   指定底层主机网络上的主网络接口的 MTU。

   减少集群 MTU 的示例

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": 1400, "to": 1000 } , "machine": { "to" : 1100} } } } }'

3. 当 Machine Config Operator 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

   注意

   默认情况下，Machine Config Operator 一次更新每个池中的一个机器，从而导致迁移总时间随着集群大小而增加。

4. 确认主机上新机器配置的状态：

   1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令：

      $ oc describe node | egrep "hostname|machineconfig"

      输出示例

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

   2. 验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

   3. 要确认机器配置正确，请输入以下命令：

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      机器配置必须包括以下对 systemd 配置的更新：

      ExecStart=/usr/local/bin/mtu-migration.sh

5. 要完成 MTU 迁移，请为 OVN-Kubernetes 网络插件输入以下命令：

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": null, "defaultNetwork":{ "ovnKubernetesConfig": { "mtu": <mtu> }}}}'

   其中：

   <mtu>

   指定您使用 <overlay_to> 指定的新集群网络 MTU。

6. 最终调整 MTU 迁移后，每个机器配置池节点都会逐个重启一个。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态：

   $ oc get machineconfigpools

   成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

流程

1. 进入名为"CloudFormation template for the VPC 子网"的文档部分，并从模板中复制语法。将复制的模板语法保存为本地系统中的 YAML 文件。此模板描述了集群所需的 VPC。

2. 运行以下命令来部署 CloudFormation 模板，它会创建一个代表 VPC 的 AWS 资源堆栈：

   $ aws cloudformation create-stack --stack-name <stack_name> \1
     --region ${CLUSTER_REGION} \
     --template-body file://<template>.yaml \2
     --parameters \
       ParameterKey=VpcId,ParameterValue="${VPC_ID}" \3
       ParameterKey=ClusterName,ParameterValue="${CLUSTER_NAME}" \4
       ParameterKey=ZoneName,ParameterValue="${ZONE_NAME}" \5
       ParameterKey=PublicRouteTableId,ParameterValue="${ROUTE_TABLE_PUB}" \6
       ParameterKey=PublicSubnetCidr,ParameterValue="${SUBNET_CIDR_PUB}" \7
       ParameterKey=PrivateRouteTableId,ParameterValue="${ROUTE_TABLE_PVT}" \8
       ParameterKey=PrivateSubnetCidr,ParameterValue="${SUBNET_CIDR_PVT}" \9
       ParameterKey=PrivateSubnetLabel,ParameterValue="private-outpost" \
       ParameterKey=PublicSubnetLabel,ParameterValue="public-outpost" \
       ParameterKey=OutpostArn,ParameterValue="${OUTPOST_ARN}" 10

   1

   <stack_name> 是 CloudFormation 堆栈的名称，如 cluster-<outpost_name>。

   2

   <template> 是相对路径，以及保存的 CloudFormation 模板 YAML 文件的名称。

   3

   ${VPC_ID} 是 VPC ID，它是 VPC 模板输出中的 VpcID 值。

   4

   ${CLUSTER_NAME} 是 ClusterName 的值，用作新 AWS 资源名称的前缀。

   5

   ${ZONE_NAME} 是创建子网的 AWS Outposts 名称的值。

   6

   ${ROUTE_TABLE_PUB} 是 ${VPC_ID} 中创建的公共路由表 ID，用于关联 Outposts 上的公共子网。指定用于关联此堆栈创建的 Outpost 子网的公共路由表。

   7

   ${SUBNET_CIDR_PUB} 是一个有效的 CIDR 块，用于创建公共子网。这个块必须是 VPC CIDR 块 VpcCidr 的一部分。

   8

   ${ROUTE_TABLE_PVT} 是 ${VPC_ID} 中创建的私有路由表 ID，用于关联 Outposts 上的专用子网。指定用于关联此堆栈创建的 Outpost 子网的专用路由表。

   9

   ${SUBNET_CIDR_PVT} 是一个有效的 CIDR 块，用于创建专用子网。这个块必须是 VPC CIDR 块 VpcCidr 的一部分。

   10

   ${OUTPOST_ARN} 是 Outpost 的 Amazon 资源名称 (ARN)。

   输出示例

   arn:aws:cloudformation:us-east-1:123456789012:stack/<stack_name>/dbedae40-820e-11eb-2fd3-12a48460849f

流程

1. 可选：运行以下命令来验证边缘计算节点是否具有 location=outposts 标签，并验证输出是否只包含 Outpost 中的边缘计算节点：

   $ oc get nodes -l location=outposts

2. 运行以下命令，使用键值对标记 VPC 集群中的基于云的计算节点：

   $ for NODE in $(oc get node -l node-role.kubernetes.io/worker --no-headers | grep -v outposts | awk '{print$1}'); do oc label node $NODE <key_name>=<value>; done

   其中 <key_name>=<value> 是您要用来区分基于云的计算节点的标签。

   输出示例

   node1.example.com labeled
   node2.example.com labeled
   node3.example.com labeled

3. 可选：运行以下命令来验证基于云的计算节点是否具有指定的标签，并确认输出是否包含 VPC 集群中的所有基于云的计算节点：

   $ oc get nodes -l <key_name>=<value>

   输出示例

   NAME                   STATUS    ROLES     AGE       VERSION
   node1.example.com      Ready     worker    7h        v1.29.4
   node2.example.com      Ready     worker    7h        v1.29.4
   node3.example.com      Ready     worker    7h        v1.29.4

4. 通过在 Service 清单的 annotations 字段中添加基于云的子网信息来配置 Classic Load Balancer 服务：

   服务配置示例

   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: <application_name>
     name: <application_name>
     namespace: <application_namespace>
     annotations:
       service.beta.kubernetes.io/aws-load-balancer-subnets: <aws_subnet> 1
       service.beta.kubernetes.io/aws-load-balancer-target-node-labels: <key_name>=<value> 2
   spec:
     ports:
     - name: http
       port: 80
       protocol: TCP
       targetPort: 8080
     selector:
       app: <application_name>
     type: LoadBalancer

   1

   指定 AWS VPC 集群的子网 ID。

   2

   在节点标签中指定与密钥对匹配的键值对。

5. 运行以下命令来创建 Service CR：

   $ oc create -f <file_name>.yaml

验证

1. 运行以下命令，验证 service 资源的状态，以显示置备的 AWS Load Balancer(ALB)的主机：

   $ HOST=$(oc get service <application_name> -n <application_namespace> --template='{{(index .status.loadBalancer.ingress 0).hostname}}')

2. 运行以下命令，验证置备的 Classic Load Balancer 主机的状态：

   $ curl $HOST

3. 在 AWS 控制台中，验证是否只有标记的实例显示为负载均衡器的目标实例。