在 vSphere 上安装

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 1
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 2
     noProxy: example.com 3
   additionalTrustBundle: | 4
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。您必须包含 vCenter 的 IP 地址以及用于其机器的 IP 范围。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS（RHCOS）信任捆绑包合并， Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 输入以下 govc 命令行工具命令，以创建 openshift-region 和 openshift-zone vCenter 标签类别：

   重要

   如果为 openshift-region 和 openshift-zone vCenter 标签类别指定不同的名称，OpenShift Container Platform 集群的安装会失败。

   $ govc tags.category.create -d "OpenShift region" openshift-region

   $ govc tags.category.create -d "OpenShift zone" openshift-zone

2. 要为您要部署集群的每个区域 vSphere 数据中心创建一个 region 标签，请在终端中输入以下命令：

   $ govc tags.create -c <region_tag_category> <region_tag>

3. 要为您要部署集群的每个 vSphere 集群创建一个区标签，请输入以下命令：

   $ govc tags.create -c <zone_tag_category> <zone_tag>

4. 输入以下命令将区域标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <region_tag_category> <region_tag_1> /<datacenter_1>

5. 输入以下命令将区标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <zone_tag_category> <zone_tag_1> /<datacenter_1>/host/vcs-mdcnc-workload-1

6. 进入包含安装程序的目录，并根据您选择的安装要求初始化集群部署。

流程

1. 配置 HAProxy Ingress Controller，以便您可以在端口 6443、443 和 80 上从负载均衡器访问集群：

   HAProxy 配置示例

   #...
   listen my-cluster-api-6443
       bind 192.168.1.100:6443
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /readyz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:6443 check inter 10s rise 2 fall 2
   
   listen my-cluster-machine-config-api-22623
       bind 192.168.1.100:22623
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:22623 check inter 10s rise 2 fall 2
   
   listen my-cluster-apps-443
           bind 192.168.1.100:443
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:443 check port 1936 inter 10s rise 2 fall 2
   
   listen my-cluster-apps-80
           bind 192.168.1.100:80
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:80 check port 1936 inter 10s rise 2 fall 2
   # ...

2. 使用 curl CLI 命令验证外部负载均衡器及其资源是否正常运行：

   1. 运行以下命令并查看响应，验证集群机器配置 API 是否可以被 Kubernetes API 服务器资源访问：

      $ curl https://<loadbalancer_ip_address>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
      }

   2. 运行以下命令并观察输出，验证集群机器配置 API 是否可以被 Machine 配置服务器资源访问：

      $ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并观察输出，验证控制器是否可以被端口 80 上的 Ingress Controller 资源访问：

      $ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.ocp4.private.opequon.net/
      cache-control: no-cache

   4. 运行以下命令并观察输出，验证控制器是否可以被端口 443 上的 Ingress Controller 资源访问：

      $ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

3. 为您的集群配置 DNS 记录，以外部负载均衡器的前端 IP 地址为目标。您必须在负载均衡器上将记录更新为集群 API 和应用程序的 DNS 服务器。

   修改 DNS 记录示例

   <load_balancer_ip_address>  A  api.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   <load_balancer_ip_address>   A apps.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   重要

   DNS 传播可能需要一些时间才能获得每个 DNS 记录。在验证每个记录前，请确保每个 DNS 记录传播。

4. 使用 curl CLI 命令验证外部负载均衡器和 DNS 记录配置是否正常运行：

   1. 运行以下命令并查看输出，验证您可以访问集群 API：

      $ curl https://api.<cluster_name>.<base_domain>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
        }

   2. 运行以下命令并查看输出，验证您可以访问集群机器配置：

      $ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并查看输出，验证您可以在端口上访问每个集群应用程序：

      $ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.<cluster-name>.<base domain>/
      cache-control: no-cacheHTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=39HoZgztDnzjJkq/JuLJMeoKNXlfiVv2YgZc09c3TBOBU4NI6kDXaJH1LdicNhN1UsQWzon4Dor9GWGfopaTEQ==; Path=/; Secure
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Tue, 17 Nov 2020 08:42:10 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=9b714eb87e93cf34853e87a92d6894be; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

   4. 运行以下命令并查看输出，验证您可以在端口 443 上访问每个集群应用程序：

      $ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 1
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 2
     noProxy: example.com 3
   additionalTrustBundle: | 4
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。您必须包含 vCenter 的 IP 地址以及用于其机器的 IP 范围。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS（RHCOS）信任捆绑包合并， Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 输入以下 govc 命令行工具命令，以创建 openshift-region 和 openshift-zone vCenter 标签类别：

   重要

   如果为 openshift-region 和 openshift-zone vCenter 标签类别指定不同的名称，OpenShift Container Platform 集群的安装会失败。

   $ govc tags.category.create -d "OpenShift region" openshift-region

   $ govc tags.category.create -d "OpenShift zone" openshift-zone

2. 要为您要部署集群的每个区域 vSphere 数据中心创建一个 region 标签，请在终端中输入以下命令：

   $ govc tags.create -c <region_tag_category> <region_tag>

3. 要为您要部署集群的每个 vSphere 集群创建一个区标签，请输入以下命令：

   $ govc tags.create -c <zone_tag_category> <zone_tag>

4. 输入以下命令将区域标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <region_tag_category> <region_tag_1> /<datacenter_1>

5. 输入以下命令将区标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <zone_tag_category> <zone_tag_1> /<datacenter_1>/host/vcs-mdcnc-workload-1

6. 进入包含安装程序的目录，并根据您选择的安装要求初始化集群部署。

流程

1. 从存储 OpenShift Container Platform 集群清单文件的目录中，打开 manifests/cluster-infrastructure-02-config.yml 清单文件。

2. 将 nodeNetworking 对象添加到文件，并为对象指定内部和外部网络子网 CIDR 实现。

   提示

   对于大多数网络情况，请考虑设置标准多子网配置。此配置要求您在 nodeNetworking.internal.networkSubnetCidr 和 nodeNetworking.external.networkSubnetCidr 参数中设置相同的 IP 地址范围。

   配置了 cluster-infrastructure-02-config.yml 清单文件的示例

   apiVersion: config.openshift.io/v1
   kind: Infrastructure
   metadata:
     name: cluster
   spec:
     cloudConfig:
       key: config
       name: cloud-provider-config
     platformSpec:
       type: VSphere
       vsphere:
         failureDomains:
         - name: generated-failure-domain
         ...
          nodeNetworking:
            external:
              networkSubnetCidr:
              - <machine_network_cidr_ipv4>
              - <machine_network_cidr_ipv6>
            internal:
              networkSubnetCidr:
              - <machine_network_cidr_ipv4>
              - <machine_network_cidr_ipv6>
   # ...

流程

1. 配置 HAProxy Ingress Controller，以便您可以在端口 6443、443 和 80 上从负载均衡器访问集群：

   HAProxy 配置示例

   #...
   listen my-cluster-api-6443
       bind 192.168.1.100:6443
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /readyz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:6443 check inter 10s rise 2 fall 2
   
   listen my-cluster-machine-config-api-22623
       bind 192.168.1.100:22623
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:22623 check inter 10s rise 2 fall 2
   
   listen my-cluster-apps-443
           bind 192.168.1.100:443
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:443 check port 1936 inter 10s rise 2 fall 2
   
   listen my-cluster-apps-80
           bind 192.168.1.100:80
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:80 check port 1936 inter 10s rise 2 fall 2
   # ...

2. 使用 curl CLI 命令验证外部负载均衡器及其资源是否正常运行：

   1. 运行以下命令并查看响应，验证集群机器配置 API 是否可以被 Kubernetes API 服务器资源访问：

      $ curl https://<loadbalancer_ip_address>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
      }

   2. 运行以下命令并观察输出，验证集群机器配置 API 是否可以被 Machine 配置服务器资源访问：

      $ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并观察输出，验证控制器是否可以被端口 80 上的 Ingress Controller 资源访问：

      $ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.ocp4.private.opequon.net/
      cache-control: no-cache

   4. 运行以下命令并观察输出，验证控制器是否可以被端口 443 上的 Ingress Controller 资源访问：

      $ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

3. 为您的集群配置 DNS 记录，以外部负载均衡器的前端 IP 地址为目标。您必须在负载均衡器上将记录更新为集群 API 和应用程序的 DNS 服务器。

   修改 DNS 记录示例

   <load_balancer_ip_address>  A  api.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   <load_balancer_ip_address>   A apps.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   重要

   DNS 传播可能需要一些时间才能获得每个 DNS 记录。在验证每个记录前，请确保每个 DNS 记录传播。

4. 使用 curl CLI 命令验证外部负载均衡器和 DNS 记录配置是否正常运行：

   1. 运行以下命令并查看输出，验证您可以访问集群 API：

      $ curl https://api.<cluster_name>.<base_domain>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
        }

   2. 运行以下命令并查看输出，验证您可以访问集群机器配置：

      $ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并查看输出，验证您可以在端口上访问每个集群应用程序：

      $ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.<cluster-name>.<base domain>/
      cache-control: no-cacheHTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=39HoZgztDnzjJkq/JuLJMeoKNXlfiVv2YgZc09c3TBOBU4NI6kDXaJH1LdicNhN1UsQWzon4Dor9GWGfopaTEQ==; Path=/; Secure
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Tue, 17 Nov 2020 08:42:10 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=9b714eb87e93cf34853e87a92d6894be; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

   4. 运行以下命令并查看输出，验证您可以在端口 443 上访问每个集群应用程序：

      $ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 1
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 2
     noProxy: example.com 3
   additionalTrustBundle: | 4
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。您必须包含 vCenter 的 IP 地址以及用于其机器的 IP 范围。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS（RHCOS）信任捆绑包合并， Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 输入以下 govc 命令行工具命令，以创建 openshift-region 和 openshift-zone vCenter 标签类别：

   重要

   如果为 openshift-region 和 openshift-zone vCenter 标签类别指定不同的名称，OpenShift Container Platform 集群的安装会失败。

   $ govc tags.category.create -d "OpenShift region" openshift-region

   $ govc tags.category.create -d "OpenShift zone" openshift-zone

2. 要为您要部署集群的每个区域 vSphere 数据中心创建一个 region 标签，请在终端中输入以下命令：

   $ govc tags.create -c <region_tag_category> <region_tag>

3. 要为您要部署集群的每个 vSphere 集群创建一个区标签，请输入以下命令：

   $ govc tags.create -c <zone_tag_category> <zone_tag>

4. 输入以下命令将区域标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <region_tag_category> <region_tag_1> /<datacenter_1>

5. 输入以下命令将区标签附加到每个 vCenter 数据中心对象：

   $ govc tags.attach -c <zone_tag_category> <zone_tag_1> /<datacenter_1>/host/vcs-mdcnc-workload-1

6. 进入包含安装程序的目录，并根据您选择的安装要求初始化集群部署。

流程

1. 配置 HAProxy Ingress Controller，以便您可以在端口 6443、443 和 80 上从负载均衡器访问集群：

   HAProxy 配置示例

   #...
   listen my-cluster-api-6443
       bind 192.168.1.100:6443
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /readyz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:6443 check inter 10s rise 2 fall 2
   
   listen my-cluster-machine-config-api-22623
       bind 192.168.1.100:22623
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:22623 check inter 10s rise 2 fall 2
   
   listen my-cluster-apps-443
           bind 192.168.1.100:443
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:443 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:443 check port 1936 inter 10s rise 2 fall 2
   
   listen my-cluster-apps-80
           bind 192.168.1.100:80
           mode tcp
           balance roundrobin
       option httpchk
       http-check connect
       http-check send meth GET uri /healthz/ready
       http-check expect status 200
           server my-cluster-worker-0 192.168.1.111:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-1 192.168.1.112:80 check port 1936 inter 10s rise 2 fall 2
           server my-cluster-worker-2 192.168.1.113:80 check port 1936 inter 10s rise 2 fall 2
   # ...

2. 使用 curl CLI 命令验证外部负载均衡器及其资源是否正常运行：

   1. 运行以下命令并查看响应，验证集群机器配置 API 是否可以被 Kubernetes API 服务器资源访问：

      $ curl https://<loadbalancer_ip_address>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
      }

   2. 运行以下命令并观察输出，验证集群机器配置 API 是否可以被 Machine 配置服务器资源访问：

      $ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并观察输出，验证控制器是否可以被端口 80 上的 Ingress Controller 资源访问：

      $ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.ocp4.private.opequon.net/
      cache-control: no-cache

   4. 运行以下命令并观察输出，验证控制器是否可以被端口 443 上的 Ingress Controller 资源访问：

      $ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

3. 为您的集群配置 DNS 记录，以外部负载均衡器的前端 IP 地址为目标。您必须在负载均衡器上将记录更新为集群 API 和应用程序的 DNS 服务器。

   修改 DNS 记录示例

   <load_balancer_ip_address>  A  api.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   <load_balancer_ip_address>   A apps.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   重要

   DNS 传播可能需要一些时间才能获得每个 DNS 记录。在验证每个记录前，请确保每个 DNS 记录传播。

4. 使用 curl CLI 命令验证外部负载均衡器和 DNS 记录配置是否正常运行：

   1. 运行以下命令并查看输出，验证您可以访问集群 API：

      $ curl https://api.<cluster_name>.<base_domain>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
        }

   2. 运行以下命令并查看输出，验证您可以访问集群机器配置：

      $ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并查看输出，验证您可以在端口上访问每个集群应用程序：

      $ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.<cluster-name>.<base domain>/
      cache-control: no-cacheHTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=39HoZgztDnzjJkq/JuLJMeoKNXlfiVv2YgZc09c3TBOBU4NI6kDXaJH1LdicNhN1UsQWzon4Dor9GWGfopaTEQ==; Path=/; Secure
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Tue, 17 Nov 2020 08:42:10 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=9b714eb87e93cf34853e87a92d6894be; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

   4. 运行以下命令并查看输出，验证您可以在端口 443 上访问每个集群应用程序：

      $ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

1. 当未启用并发多线程 (SMT) 或超线程时，一个 vCPU 相当于一个物理内核。启用后，使用以下公式来计算对应的比例：（每个内核数的线程）× sockets = vCPU。
2. OpenShift Container Platform 和 Kubernetes 对磁盘性能非常敏感，建议使用更快的存储速度，特别是 control plane 节点上需要 10 ms p99 fsync 持续时间的 etcd。请注意，在许多云平台上，存储大小和 IOPS 可一起扩展，因此您可能需要过度分配存储卷来获取足够的性能。
3. 与所有用户置备的安装一样，如果您选择在集群中使用 RHEL 计算机器，则负责所有操作系统生命周期管理和维护，包括执行系统更新、应用补丁和完成所有其他必要的任务。RHEL 7 计算机器的使用已弃用，并已在 OpenShift Container Platform 4.10 及更新的版本中删除。

1. API 负载均衡器 ：提供一个通用端点，供用户（包括人工和机器）与平台交互和配置。配置以下条件：

   • 仅第 4 层负载均衡.这可被称为 Raw TCP 或 SSL Passthrough 模式。
   • 无状态负载平衡算法。这些选项根据负载均衡器的实施而有所不同。
   重要

   不要为 API 负载均衡器配置会话持久性。为 Kubernetes API 服务器配置会话持久性可能会导致出现过量 OpenShift Container Platform 集群应用程序流量，以及过量的在集群中运行的 Kubernetes API。

   在负载均衡器的前端和后端配置以下端口：

   表 3.10. API 负载均衡器

   port	后端机器（池成员）	internal	外部	描述
   6443	Bootstrap 和 control plane.bootstrap 机器初始化集群 control plane 后，您要从负载均衡器中删除 bootstrap 机器。您必须为 API 服务器健康检查探测配置 /readyz 端点。	X	X	Kubernetes API 服务器
   22623	Bootstrap 和 control plane.bootstrap 机器初始化集群 control plane 后，您要从负载均衡器中删除 bootstrap 机器。	X		机器配置服务器

   注意

   负载均衡器必须配置为，从 API 服务器关闭 /readyz 端点到从池中移除 API 服务器实例时最多需要 30 秒。在 /readyz 返回错误或健康后的时间范围内，端点必须被删除或添加。每 5 秒或 10 秒探测一次，有两个成功请求处于健康状态，三个成为不健康的请求是经过良好测试的值。

2. 应用程序入口负载均衡器 ：为应用程序流量从集群外部流提供入口点。OpenShift Container Platform 集群需要正确配置入口路由器。

   配置以下条件：

   • 仅第 4 层负载均衡.这可被称为 Raw TCP 或 SSL Passthrough 模式。
   • 建议根据可用选项以及平台上托管的应用程序类型，使用基于连接的或基于会话的持久性。
   提示

   如果应用程序入口负载均衡器可以看到客户端的真实 IP 地址，启用基于 IP 的会话持久性可以提高使用端到端 TLS 加密的应用程序的性能。

   在负载均衡器的前端和后端配置以下端口：

   表 3.11. 应用程序入口负载均衡器

   port	后端机器（池成员）	internal	外部	描述
   443	默认情况下，运行 Ingress Controller Pod、计算或 worker 的机器。	X	X	HTTPS 流量
   80	默认情况下，运行 Ingress Controller Pod、计算或 worker 的机器。	X	X	HTTP 流量

   注意

   如果要部署一个带有零计算节点的三节点集群，Ingress Controller Pod 在 control plane 节点上运行。在三节点集群部署中，您必须配置应用程序入口负载均衡器，将 HTTP 和 HTTPS 流量路由到 control plane 节点。