4.7. Ceph 对象网关的高可用性

1. 安装 Red Hat Enterprise Linux 8 或 9。

2. 注册节点。

   [root@haproxy]# subscription-manager register

3. 启用 RHEL 服务器存储库。

   Red Hat Enterprise Linux 9

   [root@haproxy]# subscription-manager repos --enable=rhel-9-server-rpms

   Red Hat Enterprise Linux 8

   [root@haproxy]# subscription-manager repos --enable=rhel-8-server-rpms

4. 更新服务器。

   [root@haproxy]# dnf update -y

5. 根据需要安装管理工具（如 wget、vim 等）。

6. 打开端口 80。

   [root@haproxy]# firewall-cmd --zone=public --add-port 80/tcp --permanent
   [root@haproxy]# firewall-cmd --reload

7. 对于 HTTPS，打开端口 443。

   [root@haproxy]# firewall-cmd --zone=public --add-port 443/tcp --permanent
   [root@haproxy]# firewall-cmd --reload

流程

1. 安装 keepalived ：

   [root@haproxy]# yum install -y keepalived

2. 配置 keepalived 在两个 HAProxy 节点上：

   [root@haproxy]# vim /etc/keepalived/keepalived.conf

   在配置文件中，有一个用于检查 haproxy 进程脚本：

   vrrp_script chk_haproxy {
     script "killall -0 haproxy" # check the haproxy process
     interval 2 # every 2 seconds
     weight 2 # add 2 points if OK
   }

   接下来，主负载平衡器和备份负载平衡器中的实例使用 eno1 作为网络接口。它还分配虚拟 IP 地址，即 192.168.1.20。

   主负载均衡器节点

   vrrp_instance RGW {
       state MASTER # might not be necessary. This is on the primary LB node.
       @main interface eno1
       priority 100
       advert_int 1
       interface eno1
       virtual_router_id 50
       @main unicast_src_ip 10.8.128.43 80
       unicast_peer {
              10.8.128.53
              }
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       virtual_ipaddress {
           192.168.1.20
       }
       track_script {
         chk_haproxy
       }
   }
   virtual_server 192.168.1.20 80 eno1 { #populate correct interface
       delay_loop 6
       lb_algo wlc
       lb_kind dr
       persistence_timeout 600
       protocol TCP
       real_server 10.8.128.43 80 { # ip address of rgw2 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
       real_server 10.8.128.53 80 { # ip address of rgw3 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
   }

   备份负载均衡器节点

   vrrp_instance RGW {
       state BACKUP # might not be necessary?
       priority 99
       advert_int 1
       interface eno1
       virtual_router_id 50
       unicast_src_ip 10.8.128.53 80
       unicast_peer {
              10.8.128.43
              }
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       virtual_ipaddress {
           192.168.1.20
       }
       track_script {
         chk_haproxy
       }
   }
   virtual_server 192.168.1.20 80 eno1 { #populate correct interface
       delay_loop 6
       lb_algo wlc
       lb_kind dr
       persistence_timeout 600
       protocol TCP
       real_server 10.8.128.43 80 { # ip address of rgw2 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
       real_server 10.8.128.53 80 { # ip address of rgw3 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
   }

3. 启用并启动 keepalived 服务：

   [root@haproxy]# systemctl enable keepalived
   [root@haproxy]# systemctl start keepalived

1. 安装 haproxy。

   [root@haproxy]# dnf install haproxy

2. 为 SELinux 和 HTTP 配置 haproxy。

   [root@haproxy]# vim /etc/firewalld/services/haproxy-http.xml

   添加以下行：

   <?xml version="1.0" encoding="utf-8"?>
   <service>
   <short>HAProxy-HTTP</short>
   <description>HAProxy load-balancer</description>
   <port protocol="tcp" port="80"/>
   </service>

   以 root 身份，为 haproxy-http.xml 文件分配正确的 SELinux 上下文和文件权限。

   [root@haproxy]# cd /etc/firewalld/services
   [root@haproxy]# restorecon haproxy-http.xml
   [root@haproxy]# chmod 640 haproxy-http.xml

3. 如果要使用 HTTPS，请为 SELinux 和 HTTPS 配置 haproxy。

   [root@haproxy]# vim /etc/firewalld/services/haproxy-https.xml

   添加以下行：

   <?xml version="1.0" encoding="utf-8"?>
   <service>
   <short>HAProxy-HTTPS</short>
   <description>HAProxy load-balancer</description>
   <port protocol="tcp" port="443"/>
   </service>

   以 root 身份，为 haproxy-https.xml 文件分配正确的 SELinux 上下文和文件权限。

   # cd /etc/firewalld/services
   # restorecon haproxy-https.xml
   # chmod 640 haproxy-https.xml

4. 如果您打算使用 HTTPS，请为 SSL 生成密钥。如果您没有证书，您可以使用自签名证书。

   最后，将证书和密钥放入 PEM 文件中。

   [root@haproxy]# cat example.com.crt example.com.key > example.com.pem
   [root@haproxy]# cp example.com.pem /etc/ssl/private/

5. 配置 haproxy。

   [root@haproxy]# vim /etc/haproxy/haproxy.cfg

   global 和 defaults 可以保持不变。在 defaults 部分后，您需要配置 frontend 和 backend 部分。例如：

   frontend http_web
     bind *:80
     mode http
     default_backend rgw
   
   frontend rgw­-https
     bind *:443 ssl crt /etc/ssl/private/example.com.pem
     default_backend rgw
   
   backend rgw
       balance roundrobin
       mode http
       server  rgw1 10.0.0.71:80 check
       server  rgw2 10.0.0.80:80 check

   有关 HAProxy 配置的详情，请参考红帽更新基础架构系统管理员指南中的添加 HAProxy 负载平衡器章节。

6. Enable/start haproxy

   [root@haproxy]# systemctl enable haproxy
   [root@haproxy]# systemctl start haproxy

1. 在 HAProxy 节点上，确保出现来自 keepalived 配置的虚拟 IP 地址。

   [root@haproxy]# ip addr show

2. 在托管 Red Hat Ceph Dashboard 容器的节点上，查看您是否能使用负载平衡器配置来访问 Ceph 对象网关节点。例如：

   [root@haproxy]# wget haproxy

   这应该返回相同的结果，如下：

   [root@haproxy]# wget rgw1

   如果返回包含以下内容的 index.html 文件：

   <?xml version="1.0" encoding="UTF-8"?>
   	<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2020-03-01/">
   		<Owner>
   			<ID>anonymous</ID>
   			<DisplayName></DisplayName>
   		</Owner>
   		<Buckets>
   		</Buckets>
   	</ListAllMyBucketsResult>

   然后，您的配置可以正常工作。