4.7. Ceph Object Gateway の高可用性

1. Install Red Hat Enterprise Linux 8.x

2. ノードを登録します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# subscription-manager register

3. RHEL サーバーリポジトリーを有効にします。

   Red Hat Enterprise Linux 9

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# subscription-manager repos --enable=rhel-9-server-rpms

   Red Hat Enterprise Linux 8

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# subscription-manager repos --enable=rhel-8-server-rpms

4. サーバーを更新します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# dnf update -y

5. 必要に応じて管理ツール (wget、vim など) をインストールします。

6. ポート 80 を開きます。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# firewall-cmd --zone=public --add-port 80/tcp --permanent
   [root@haproxy]# firewall-cmd --reload

7. HTTPS の場合は、ポート 443 を開きます。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# firewall-cmd --zone=public --add-port 443/tcp --permanent
   [root@haproxy]# firewall-cmd --reload

手順

1. keepalived をインストールします。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# yum install -y keepalived

2. 両方の HAProxy ノードで keepalived を設定します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# vim /etc/keepalived/keepalived.conf

   設定ファイルには、haproxy プロセスを確認するスクリプトがあります。

   Copy to Clipboard Toggle word wrap

   vrrp_script chk_haproxy {
     script "killall -0 haproxy" # check the haproxy process
     interval 2 # every 2 seconds
     weight 2 # add 2 points if OK
   }

   次に、プライマリーロードバランサーとバックアップロードバランサーのインスタンスは、ネットワークインターフェイスとして eno1 を使用します。また、仮想 IP アドレス (192.168.1.20) も割り当てます。

   プライマリーロードバランサーノード

   Copy to Clipboard Toggle word wrap

   vrrp_instance RGW {
       state MASTER # might not be necessary. This is on the primary LB node.
       @main interface eno1
       priority 100
       advert_int 1
       interface eno1
       virtual_router_id 50
       @main unicast_src_ip 10.8.128.43 80
       unicast_peer {
              10.8.128.53
              }
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       virtual_ipaddress {
           192.168.1.20
       }
       track_script {
         chk_haproxy
       }
   }
   virtual_server 192.168.1.20 80 eno1 { #populate correct interface
       delay_loop 6
       lb_algo wlc
       lb_kind dr
       persistence_timeout 600
       protocol TCP
       real_server 10.8.128.43 80 { # ip address of rgw2 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
       real_server 10.8.128.53 80 { # ip address of rgw3 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
   }

   バックアップロードバランサーノード

   Copy to Clipboard Toggle word wrap

   vrrp_instance RGW {
       state BACKUP # might not be necessary?
       priority 99
       advert_int 1
       interface eno1
       virtual_router_id 50
       unicast_src_ip 10.8.128.53 80
       unicast_peer {
              10.8.128.43
              }
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       virtual_ipaddress {
           192.168.1.20
       }
       track_script {
         chk_haproxy
       }
   }
   virtual_server 192.168.1.20 80 eno1 { #populate correct interface
       delay_loop 6
       lb_algo wlc
       lb_kind dr
       persistence_timeout 600
       protocol TCP
       real_server 10.8.128.43 80 { # ip address of rgw2 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
       real_server 10.8.128.53 80 { # ip address of rgw3 on physical interface, haproxy listens here, rgw listens to localhost:8080 or similar
           weight 100
           TCP_CHECK { # perhaps change these to a HTTP/SSL GET?
               connect_timeout 3
           }
       }
   }

3. keepalived サービスを有効にして開始します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# systemctl enable keepalived
   [root@haproxy]# systemctl start keepalived

1. haproxy をインストールします。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# dnf install haproxy

2. SELinux および HTTP に対して haproxy を設定します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# vim /etc/firewalld/services/haproxy-http.xml

   以下の行を追加します。

   Copy to Clipboard Toggle word wrap

   <?xml version="1.0" encoding="utf-8"?>
   <service>
   <short>HAProxy-HTTP</short>
   <description>HAProxy load-balancer</description>
   <port protocol="tcp" port="80"/>
   </service>

   root として、正しい SELinux コンテキストとファイルパーミッションを haproxy-http.xml ファイルに割り当てます。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# cd /etc/firewalld/services
   [root@haproxy]# restorecon haproxy-http.xml
   [root@haproxy]# chmod 640 haproxy-http.xml

3. HTTPS を使用する場合は、SELinux および HTTPS に対して haproxy を設定します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# vim /etc/firewalld/services/haproxy-https.xml

   以下の行を追加します。

   Copy to Clipboard Toggle word wrap

   <?xml version="1.0" encoding="utf-8"?>
   <service>
   <short>HAProxy-HTTPS</short>
   <description>HAProxy load-balancer</description>
   <port protocol="tcp" port="443"/>
   </service>

   root で、正しい SELinux コンテキストとファイルパーミッションを haproxy-https.xml ファイルに割り当てます。

   Copy to Clipboard Toggle word wrap

   # cd /etc/firewalld/services
   # restorecon haproxy-https.xml
   # chmod 640 haproxy-https.xml

4. HTTPS を使用する場合は、SSL のキーを生成します。証明書がない場合は、自己署名証明書を使用できます。

   最後に、証明書と鍵を PEM ファイルに格納します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# cat example.com.crt example.com.key > example.com.pem
   [root@haproxy]# cp example.com.pem /etc/ssl/private/

5. haproxy を設定します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# vim /etc/haproxy/haproxy.cfg

   global および defaults は変更しない可能性があります。defaults セクションの後に、frontend セクションおよび backend セクションを設定する必要があります。以下に例を示します。

   Copy to Clipboard Toggle word wrap

   frontend http_web
     bind *:80
     mode http
     default_backend rgw
   
   frontend rgw­-https
     bind *:443 ssl crt /etc/ssl/private/example.com.pem
     default_backend rgw
   
   backend rgw
       balance roundrobin
       mode http
       server  rgw1 10.0.0.71:80 check
       server  rgw2 10.0.0.80:80 check

   HAProxy 設定の詳細は、Red Hat Update Infrastructure System 管理者ガイドの HAProxy ロードバランサー―の追加 を参照してください。

6. haproxy の有効化/起動

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# systemctl enable haproxy
   [root@haproxy]# systemctl start haproxy

1. HAProxy ノードで、keepalived 設定の仮想 IP アドレスが表示されることを確認します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# ip addr show

2. Red Hat Ceph Dashboard コンテナーをホストするノードで、ロードバランサー設定を使用して Ceph Object Gateway ノードに到達できるかどうかを確認します。以下に例を示します。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# wget haproxy

   上記のコマンドの結果は以下のコマンドと同じになるはずです。

   Copy to Clipboard Toggle word wrap

   [root@haproxy]# wget rgw1

   以下の内容を含む index.html ファイルを返す場合は、次のコマンドを実行します。

   Copy to Clipboard Toggle word wrap

   <?xml version="1.0" encoding="UTF-8"?>
   	<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2020-03-01/">
   		<Owner>
   			<ID>anonymous</ID>
   			<DisplayName></DisplayName>
   		</Owner>
   		<Buckets>
   		</Buckets>
   	</ListAllMyBucketsResult>

   その後、設定が正常に機能します。