14.7. 扩展集群
部署安装程序置备的 OpenShift Container Platform 集群后,您可以使用以下步骤扩展 worker 节点的数量。确保每个 worker 节点都满足先决条件。
使用 RedFish Virtual Media 扩展集群需要满足最低固件要求。有关使用 RedFish Virtual Media 扩展集群的详情,请参阅先决条件部分中的使用虚拟介质安装的固件要求。
14.7.1. 准备裸机节点 复制链接链接已复制到粘贴板!
要扩展集群,必须为节点提供相关 IP 地址。这可以通过静态配置,或使用 DHCP (动态主机配置协议)服务器来完成。在使用 DHCP 服务器扩展集群时,每个节点都必须有 DHCP 保留。
有些管理员更喜欢使用静态 IP 地址,以便在没有 DHCP 服务器时每个节点的 IP 地址保持恒定状态。要使用 NMState 配置静态 IP 地址,请参阅 install-config.yaml
文件中的 "可选:配置主机网络接口,以了解更多详细信息。
准备裸机节点需要从 provisioner 节点执行以下步骤。
流程
获取
oc
二进制文件:curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - oc
$ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux-$VERSION.tar.gz | tar zxvf - oc
Copy to Clipboard Copied! Toggle word wrap Toggle overflow sudo cp oc /usr/local/bin
$ sudo cp oc /usr/local/bin
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 使用基板管理控制器 (BMC) 关闭裸机节点,并确保它已关闭。
检索裸机节点基板管理控制器的用户名和密码。然后,从用户名和密码创建
base64
字符串:echo -ne "root" | base64
$ echo -ne "root" | base64
Copy to Clipboard Copied! Toggle word wrap Toggle overflow echo -ne "password" | base64
$ echo -ne "password" | base64
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 为裸机节点创建配置文件。根据您是否使用静态配置还是 DHCP 服务器,请使用以下示例
bmh.yaml
文件,替换 YAML 中的值以匹配您的环境:vim bmh.yaml
$ vim bmh.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 静态配置
bmh.yaml
:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 要为新创建的节点配置网络接口,请指定包含网络配置的 secret 的名称。按照
nmstate
语法为节点定义网络配置。有关配置 NMState 语法的详情,请参阅"可选:在 install-config.yaml 文件中配置主机网络接口"。 - 2 10 13 16
- 在
name
、credentialsName
字段和preprovisioningNetworkDataName
字段中,使用裸机节点的 worker 数量替换<num>
。 - 3
- 添加 NMState YAML 语法来配置主机接口。
- 4
- 可选:如果您使用
nmstate
配置网络接口,并且您要禁用接口,请将state:
设置为enabled: false
,如下所示:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 5 6 7 8 9
- 使用适当的值替换
<nic1_name>
,<ip_address>
,<dns_ip_address>
,<next_hop_ip_address>
和<next_hop_nic1_name>
。 - 11 12
- 将
<base64_of_uid>
和<base64_of_pwd>
替换为用户名和密码的 base64 字符串。 - 14
- 将
<nic1_mac_address>
替换为裸机节点第一个 NIC 的 MAC 地址。如需了解更多 BMC 配置选项,请参阅"BMC 寻址"部分。 - 15
- 将
<protocol>
替换为 BMC 协议,如 IPMI、RedFish 或其他协议。将<bmc_url>
替换为裸机节点基板管理控制器的 URL。 - 17
- 要跳过证书验证,将
disableCertificateVerification
设为 true。 - 18 19
- 将
<bmc_username>
和<bmc_password>
替换为 BMC 用户名和密码的字符串。 - 20
- 可选:如果您指定了 root 设备提示,将
<root_device_hint>
替换为设备路径。 - 21
- 可选: 如果您为新创建的节点配置了网络接口,请在 BareMetalHost CR 的
preprovisioningNetworkDataName
中提供网络配置 secret 名称。
DHCP 配置
bmh.yaml
:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1 4 7
- 在
name
、credentialsName
字段和preprovisioningNetworkDataName
字段中,使用裸机节点的 worker 数量替换<num>
。 - 2 3
- 将
<base64_of_uid>
和<base64_of_pwd>
替换为用户名和密码的 base64 字符串。 - 5
- 将
<nic1_mac_address>
替换为裸机节点第一个 NIC 的 MAC 地址。如需了解更多 BMC 配置选项,请参阅"BMC 寻址"部分。 - 6
- 将
<protocol>
替换为 BMC 协议,如 IPMI、RedFish 或其他协议。将<bmc_url>
替换为裸机节点基板管理控制器的 URL。 - 8
- 要跳过证书验证,将
disableCertificateVerification
设为 true。 - 9 10
- 将
<bmc_username>
和<bmc_password>
替换为 BMC 用户名和密码的字符串。 - 11
- 可选:如果您指定了 root 设备提示,将
<root_device_hint>
替换为设备路径。 - 12
- 可选: 如果您为新创建的节点配置了网络接口,请在 BareMetalHost CR 的
preprovisioningNetworkDataName
中提供网络配置 secret 名称。
注意如果现有裸机节点的 MAC 地址与您试图置备的裸机主机的 MAC 地址匹配,则 Ironic 安装将失败。如果主机注册、检查、清理或其他 Ironic 步骤失败,Bare Metal Operator 会持续重试安装。如需更多信息,请参阅"诊断主机重复的 MAC 地址"。
创建裸机节点:
oc -n openshift-machine-api create -f bmh.yaml
$ oc -n openshift-machine-api create -f bmh.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
secret/openshift-worker-<num>-network-config-secret created secret/openshift-worker-<num>-bmc-secret created baremetalhost.metal3.io/openshift-worker-<num> created
secret/openshift-worker-<num>-network-config-secret created secret/openshift-worker-<num>-bmc-secret created baremetalhost.metal3.io/openshift-worker-<num> created
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 其中
<num> 是
worker 号。启动并检查裸机节点:
oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 其中
<num>
是 worker 节点号。输出示例
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> available true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> available true
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意要允许 worker 节点加入集群,请将
machineset
对象扩展到BareMetalHost
对象的数量。您可以手动或自动缩放节点。要自动扩展节点,请为machineset
使用metal3.io/autoscale-to-hosts
注解。
14.7.2. 替换裸机 control plane 节点 复制链接链接已复制到粘贴板!
使用以下步骤替换安装程序置备的 OpenShift Container Platform control plane 节点。
如果您从现有 control plane 主机重复使用 BareMetalHost
对象定义,请不要将 externallyProvisioned
字段保留为 true
。
如果 OpenShift Container Platform 安装程序置备,现有 control plane BareMetalHost
对象可能会将 externallyProvisioned
标记设为 true
。
先决条件
-
您可以使用具有
cluster-admin
角色的用户访问集群。 已进行 etcd 备份。
重要执行此流程前进行 etcd 备份,以便在遇到任何问题时可以恢复集群。有关获取 etcd 备份的更多信息,请参阅附加资源部分。
流程
确保 Bare Metal Operator 可用:
oc get clusteroperator baremetal
$ oc get clusteroperator baremetal
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE baremetal 4.17 True False False 3d15h
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE baremetal 4.17 True False False 3d15h
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 删除旧的
BareMetalHost
和Machine
对象:oc delete bmh -n openshift-machine-api <host_name> oc delete machine -n openshift-machine-api <machine_name>
$ oc delete bmh -n openshift-machine-api <host_name> $ oc delete machine -n openshift-machine-api <machine_name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将
<host_name>
替换为主机名,<machine_name>
替换为机器的名称。机器名称会出现在CONSUMER
字段下。删除
BareMetalHost
和Machine
对象后,机器控制器会自动删除Node
对象。创建新的
BareMetalHost
对象和 secret,以存储 BMC 凭证:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1 4 6
- 在
name
字段和credentialsName
字段中,使用裸机节点的 control plane 数量替换<num>
。 - 2
- 将
<base64_of_uid>
替换为用户名的base64
格式的字符串。 - 3
- 将
<base64_of_pwd>
替换为密码的base64
格式的字符串。 - 5
- 将
<protocol>
替换为 BMC 协议,如redfish
、redfish-virtualmedia
、idrac-virtualmedia
或其他。将<bmc_ip>
替换为裸机节点基板管理控制器的 IP 地址。如需了解更多 BMC 配置选项,请参阅附加资源部分中的 "BMC 寻址"。 - 7
- 将
<NIC1_mac_address>
替换为裸机节点第一个 NIC 的 MAC 地址。
检查完成后,
BareMetalHost
对象会被创建并可用置备。查看可用的
BareMetalHost
对象:oc get bmh -n openshift-machine-api
$ oc get bmh -n openshift-machine-api
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow control plane 节点没有
MachineSet
对象,因此您必须创建Machine
对象。您可以从另一个 control planeMachine
对象复制providerSpec
。创建
Machine
对象:Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要查看
BareMetalHost
对象,请运行以下命令:oc get bmh -A
$ oc get bmh -A
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 RHCOS 安装后,验证
BareMetalHost
是否已添加到集群中:oc get nodes
$ oc get nodes
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意替换新的 control plane 节点后,在新节点上运行的 etcd pod 处于
crashloopback
状态。如需更多信息,请参阅附加资源部分中的 "替换不健康的 etcd 成员"。
14.7.3. 准备在 baremetal 网络中使用 Virtual Media 进行部署 复制链接链接已复制到粘贴板!
如果启用了 provisioning
网络,且您要使用 baremetal
网络中的 Virtual Media 扩展集群,请使用以下步骤。
先决条件
-
有一个带有 a
baremetal 网络和
provisioning
网络的现有集群。
流程
编辑
置备
自定义资源(CR),以在baremetal
网络中使用 Virtual Media 启用部署:oc edit provisioning
oc edit provisioning
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 将
virtualMediaViaExternalNetwork: true
添加到provisioning
CR。
如果镜像 URL 存在,请编辑
machineset
以使用 API VIP 地址。此步骤只适用于在 4.9 或更早版本安装的集群。oc edit machineset
oc edit machineset
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow
14.7.4. 在集群中置备新主机时诊断重复的 MAC 地址 复制链接链接已复制到粘贴板!
如果集群中现有裸机节点的 MAC 地址与您试图添加到集群的裸机主机的 MAC 地址匹配,Bare Metal Operator 将主机与现有节点关联。如果主机注册、检查、清理或其他 Ironic 步骤失败,Bare Metal Operator 会持续重试安装。失败的裸机主机会显示注册错误。
您可以通过检查在 openshift-machine-api
命名空间中运行的裸机主机来诊断重复的 MAC 地址。
先决条件
- 在裸机上安装 OpenShift Container Platform 集群。
-
安装 OpenShift Container Platform CLI
oc
。 -
以具有
cluster-admin
权限的用户身份登录。
流程
要确定置备失败的裸机主机是否具有与现有节点相同的 MAC 地址,请执行以下操作:
获取在
openshift-machine-api
命名空间中运行的裸机主机:oc get bmh -n openshift-machine-api
$ oc get bmh -n openshift-machine-api
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要查看失败主机状态的更多详细信息,请运行以下命令将
<bare_metal_host_name>
替换为主机名称:oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yaml
$ oc get -n openshift-machine-api bmh <bare_metal_host_name> -o yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
14.7.5. 置备裸机节点 复制链接链接已复制到粘贴板!
置备裸机节点需要从 provisioner 节点执行以下步骤。
流程
在置备裸机节点前,请确保
STATE
为available
。oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 其中
<num>
是 worker 节点号。NAME STATE ONLINE ERROR AGE openshift-worker available true 34h
NAME STATE ONLINE ERROR AGE openshift-worker available true 34h
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 获取 worker 节点数量。
oc get nodes
$ oc get nodes
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 获取计算机器集。
oc get machinesets -n openshift-machine-api
$ oc get machinesets -n openshift-machine-api
Copy to Clipboard Copied! Toggle word wrap Toggle overflow NAME DESIRED CURRENT READY AVAILABLE AGE ... openshift-worker-0.example.com 1 1 1 1 55m openshift-worker-1.example.com 1 1 1 1 55m
NAME DESIRED CURRENT READY AVAILABLE AGE ... openshift-worker-0.example.com 1 1 1 1 55m openshift-worker-1.example.com 1 1 1 1 55m
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将 worker 节点数量增加一个。
oc scale --replicas=<num> machineset <machineset> -n openshift-machine-api
$ oc scale --replicas=<num> machineset <machineset> -n openshift-machine-api
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将
<num>
替换为新的 worker 节点数。将<machineset>
替换为上一步中计算机器设置的名称。检查裸机节点的状态。
oc -n openshift-machine-api get bmh openshift-worker-<num>
$ oc -n openshift-machine-api get bmh openshift-worker-<num>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 其中
<num>
是 worker 节点号。STATE 从ready
变为provisioning
。NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioning openshift-worker-<num>-65tjz true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioning openshift-worker-<num>-65tjz true
Copy to Clipboard Copied! Toggle word wrap Toggle overflow provisioning
状态会保持,直到 OpenShift Container Platform 集群置备节点。这可能需要 30 分钟或更长时间。在调配节点后,其状态将更改为provisioned
。NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioned openshift-worker-<num>-65tjz true
NAME STATE CONSUMER ONLINE ERROR openshift-worker-<num> provisioned openshift-worker-<num>-65tjz true
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在置备完成后,确保裸机节点就绪。
oc get nodes
$ oc get nodes
Copy to Clipboard Copied! Toggle word wrap Toggle overflow Copy to Clipboard Copied! Toggle word wrap Toggle overflow 您还可以检查 kubelet。
ssh openshift-worker-<num>
$ ssh openshift-worker-<num>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow [kni@openshift-worker-<num>]$ journalctl -fu kubelet
[kni@openshift-worker-<num>]$ journalctl -fu kubelet
Copy to Clipboard Copied! Toggle word wrap Toggle overflow