14.3. 实施高可用性

流程

1. 将集群中的代理分组到 live-backup 组。

   在大多数情况下，live-backup 组应该包含两个代理：一个实时代理和备份代理。如果集群中有六个代理，则需要三个 live-backup 组。

2. 创建由一个 live 代理和一个备份代理组成的第一个 live-backup 组。

   1. 打开 live 代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   2. 如果使用：

      1. 用于提供共享存储的网络文件系统，验证实时代理的分页、绑定、日志和大量消息目录指向备份代理也可以访问的共享位置。

         <configuration>
             <core>
                 ...
                 <paging-directory>../sharedstore/data/paging</paging-directory>
                 <bindings-directory>../sharedstore/data/bindings</bindings-directory>
                 <journal-directory>../sharedstore/data/journal</journal-directory>
                 <large-messages-directory>../sharedstore/data/large-messages</large-messages-directory>
                 ...
             </core>
         </configuration>

      2. 提供共享存储的数据库，确保 master 和备份代理都可以连接到同一数据库，并在 broker.xml 配置文件的 database-store 元素中指定相同的配置。下面是一个配置示例。

         <configuration>
           <core>
             <store>
                <database-store>
                   <jdbc-connection-url>jdbc:oracle:data/oracle/database-store;create=true</jdbc-connection-url>
                   <jdbc-user>ENC(5493dd76567ee5ec269d11823973462f)</jdbc-user>
                   <jdbc-password>ENC(56a0db3b71043054269d11823973462f)</jdbc-password>
                   <bindings-table-name>BIND_TABLE</bindings-table-name>
                   <message-table-name>MSG_TABLE</message-table-name>
                   <large-message-table-name>LGE_TABLE</large-message-table-name>
                   <page-store-table-name>PAGE_TABLE</page-store-table-name>
                   <node-manager-store-table-name>NODE_TABLE<node-manager-store-table-name>
                   <jdbc-driver-class-name>oracle.jdbc.driver.OracleDriver</jdbc-driver-class-name>
                   <jdbc-network-timeout>10000</jdbc-network-timeout>
                   <jdbc-lock-renew-period>2000</jdbc-lock-renew-period>
                   <jdbc-lock-expiration>15000</jdbc-lock-expiration>
                   <jdbc-journal-sync-period>5</jdbc-journal-sync-period>
                </database-store>
             </store>
           </core>
         </configuration>

   3. 将实时代理配置为使用共享存储作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <shared-store>
                      <master>
                          <failover-on-shutdown>true</failover-on-shutdown>
                      </master>
                  </shared-store>
              </ha-policy>
              ...
          </core>
      </configuration>

      failover-on-shutdown

      如果此代理正常停止，则此属性会控制备份代理是否应该处于活动状态并接管。

   4. 打开备份代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   5. 如果使用：

      1. 提供共享存储的网络文件系统，验证备份代理的分页、绑定、日志和大型消息目录指向与实时代理相同的共享位置。

         <configuration>
             <core>
                 ...
                 <paging-directory>../sharedstore/data/paging</paging-directory>
                 <bindings-directory>../sharedstore/data/bindings</bindings-directory>
                 <journal-directory>../sharedstore/data/journal</journal-directory>
                 <large-messages-directory>../sharedstore/data/large-messages</large-messages-directory>
                 ...
             </core>
         </configuration>

      2. 提供共享存储的数据库，确保 master 和备份代理都可以连接到同一数据库，并在 broker.xml 配置文件的 database-store 元素中指定相同的配置。

   6. 将备份代理配置为使用共享存储作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <shared-store>
                      <slave>
                          <failover-on-shutdown>true</failover-on-shutdown>
                          <allow-failback>true</allow-failback>
                          <restart-backup>true</restart-backup>
                      </slave>
                  </shared-store>
              </ha-policy>
              ...
          </core>
      </configuration>

      failover-on-shutdown

      如果此代理已变为 live 状态，然后正常停止，此属性会控制备份代理（原始实时代理）是否应该变为实时状态并接管。

      allow-failback

      如果发生了故障转移，并且备份代理已接管了实时代理，则此属性会控制备份代理是否在重启并重新连接到集群中时是否应该回退到原始的 live 代理。

      注意

      故障恢复用于实时备份对（一个与单一备份代理进行一对一的代理）。如果 live 代理配置了多个备份，则不会出现问题。如果发生故障转移事件，备份代理将变为 live 状态，下一次备份就成为其备份。当原始 live 代理恢复在线时，它无法启动故障，因为现在已经备份的代理已经有备份。

      restart-backup

      此属性控制备份代理在返回到实时代理失败后是否自动重启。此属性的默认值为 true。

3. 对集群中的每个剩余的 live-backup 组重复步骤 2。

流程

1. 使用 ZooKeeper 协调服务，将实时代理配置为使用复制高可用性。

   1. 打开 live 代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   2. 将实时代理配置为使用复制作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <primary>
                          <manager>
                          ...
                          </manager>
                            <group-name>my-group-1</group-name>
                      </primary>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      主要

      表示此代理在初始配置后作为 live 代理启动。

      group-name

      此 live-backup 组的名称（可选）。要形成 live-backup 组，必须使用相同的组名称和备份代理配置 live-backup 代理。如果您没有指定 group-name，备份代理可以使用任何实时代理复制。

   3. 在 manager 部分，配置属性，将 live 代理连接到 ZooKeeper 节点。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <primary>
                          <manager>
                              <class-name>org.apache.activemq.artemis.quorum.zookeeper.CuratorDistributedPrimitiveManager</class-name>
                              <properties>
                                  <property key="connect-string" value="192.168.1.10:6666,192.168.2.10:6667,192.168.3.10:6668"/>
                              </properties>
                          </manager>
                      ...
                      </primary>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      class-name

      ZooKeeper 协调服务的类名称： org.apache.activemq.artemis.quorum.zookeeper.CuratorDistributedPrimitiveManager.如果 Apache Curator 是默认管理器，则此元素是可选的。

      属性

      指定 property 元素，您可以指定一组键值对，以提供 ZooKeeper 节点的连接详情：

      键	值
      connect-string	为实时代理指定 ZooKeeper 节点的 IP 地址和端口号的逗号分隔列表。例如，value="192.168.1.10:6666,192.168.2.10:6667,192.168.3.10:6668".
      session-ms	实时代理在丢失到大多数 ZooKeeper 节点的连接后，等待的持续时间。默认值为 18000 ms。有效值是 ZooKeeper 服务器循环时间的 2 次和 20 倍。 注意 垃圾回收的 ZooKeeper 暂停时间必须小于 session-ms 属性的值的 0.33，以便 ZooKeeper heartbeat 能够可靠地工作。如果无法确保暂停时间小于这个限制，请增加每个代理的 session-ms 属性的值，并接受较慢的故障转移。 重要 代理复制合作伙伴每 2 秒自动交换"ping"数据包，以确认合作伙伴代理可用。当备份代理没有收到来自 live 代理的响应时，备份会等待响应，直到代理的连接时间到实时(ttl)过期为止。默认 connection-ttl 为 60000 ms，这意味着备份代理会在 60 秒后尝试故障切换。建议您将 connection-ttl 值设置为与 session-ms 属性值类似，以便加快故障转移。要设置新的 connection-ttl，请配置 connection-ttl-override 属性。
      namespace（可选）	如果代理与其他应用程序共享 ZooKeeper 节点，您可以创建一个 ZooKeeper 命名空间来存储为代理提供协调服务的文件。如果为备份代理指定命名空间，您必须为 live 代理指定相同的命名空间。

   4. 为实时代理配置任何其他 HA 属性。

      这些额外的 HA 属性具有适用于大多数常见用例的默认值。因此，如果不需要默认行为，您只需要配置这些属性。更多信息请参阅 附录 F, 额外的复制高可用性配置元素。

2. 使用 ZooKeeper 协调服务将备份代理配置为使用复制高可用性。

   1. 打开备份代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   2. 配置备份代理以使用复制作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <backup>
                          <manager>
                           ...
                          </manager>
                          <group-name>my-group-1</group-name>
                          <allow-failback>true</allow-failback>
                       </backup>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      backup

      表示此代理在初始配置后作为备份代理启动。

      group-name

      此备份连接的 live 代理的组名称。备份代理仅连接到共享相同组名称的 live 代理。如果您没有指定 group-name，备份代理可以使用任何实时代理复制。

      allow-failback

      如果设置为 true，则允许当前实时代理的备份代理，将实时角色返回至其复制合作伙伴，后者配置为主代理。

      当配置为实时（主）代理的代理启动时，它会检查它是否有最新的数据，并可作为实时代理运行。如果它确定其数据不是最新的，则代理会重启一个空日志，并等待连接当前实时代理来复制最新数据。在代理配置为复制数据的主代理后，它会要求备份代理（当前处于活动状态），以便重启，以便它能够故障转移并再次成为实时代理。

      如果 allow-failback 设为 true，则备份代理会重新启动，以便其复制合作伙伴再次上线。如果将 allow-failback 设为 false，则备份代理不会重启，因此两个代理都保持其当前角色。

   3. 在 manager 部分，配置属性以将备份代理连接到 ZooKeeper 节点。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <backup>
                          <manager>
                              <class-name>org.apache.activemq.artemis.quorum.zookeeper.CuratorDistributedPrimitiveManager</class-name>
                              <properties>
                                  <property key="connect-string" value="192.168.1.10:6666,192.168.2.10:6667,192.168.3.10:6668"/>
                              </properties>
                          </manager>
                      ...
                      </backup>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      class-name

      ZooKeeper 协调服务的类名称： org.apache.activemq.artemis.quorum.zookeeper.CuratorDistributedPrimitiveManager.如果 Apache Curator 是默认管理器，则此元素是可选的。

      属性

      指定 属性 部分，您可以在其中指定一组键值对，以提供 ZooKeeper 节点的连接详情：

      键	值
      connect-string	为备份代理指定 ZooKeeper 节点的 IP 地址和端口号的逗号分隔列表。例如，value="192.168.1.10:6666,192.168.2.10:6667,192.168.3.10:6668".
      session-ms	实时代理在丢失到大多数 ZooKeeper 节点的连接后，等待的持续时间。默认值为 18000 ms。有效值是 ZooKeeper 服务器循环时间的 2 次和 20 倍。 注意 垃圾回收的 ZooKeeper 暂停时间必须小于 session-ms 属性的值的 0.33，以便 ZooKeeper heartbeat 能够可靠地工作。如果无法确保暂停时间小于这个限制，请增加每个代理的 session-ms 属性的值，并接受较慢的故障转移。 重要 代理复制合作伙伴每 2 秒自动交换"ping"数据包，以确认合作伙伴代理可用。当备份代理没有收到来自 live 代理的响应时，备份会等待响应，直到代理的连接时间到实时(ttl)过期为止。默认 connection-ttl 为 60000 ms，这意味着备份代理会在 60 秒后尝试故障切换。建议您将 connection-ttl 值设置为与 session-ms 属性值类似，以便加快故障转移。要设置新的 connection-ttl，请配置 connection-ttl-override 属性。
      namespace（可选）	如果代理与其他应用程序共享 ZooKeeper 节点，您可以创建一个 ZooKeeper 命名空间来存储为代理提供协调服务的文件。如果为备份代理指定命名空间，您必须为 live 代理指定相同的命名空间。

   4. 为备份代理配置任何其他 HA 属性。

      这些额外的 HA 属性具有适用于大多数常见用例的默认值。因此，如果不需要默认行为，您只需要配置这些属性。更多信息请参阅 附录 F, 额外的复制高可用性配置元素。

3. 重复步骤 1 和 2 以在集群中配置每个额外的实时备份代理对。

流程

1. 将集群中的代理分组到 live-backup 组。

   在大多数情况下，live-backup 组应该包含两个代理：一个实时代理和备份代理。如果集群中有六个代理，则需要三个 live-backup 组。

2. 创建由一个 live 代理和一个备份代理组成的第一个 live-backup 组。

   1. 打开 live 代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   2. 将实时代理配置为使用复制作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <master>
                          <check-for-live-server>true</check-for-live-server>
                          <group-name>my-group-1</group-name>
                          <vote-on-replication-failure>true</vote-on-replication-failure>
                          ...
                      </master>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      check-for-live-server

      如果 live 代理失败，此属性会控制客户端在重启时是否应该会失败。

      如果将此属性设置为 true，当实时代理在之前的故障切换后重启时，它会搜索集群中具有相同节点 ID 的另一个代理。如果 live 代理发现另一个具有相同节点 ID 的代理，这表示备份代理在实时代理失败时成功启动。在这种情况下，实时代理将其数据与备份代理同步。然后，实时代理请求要关闭备份代理。如果为故障恢复配置了备份代理，如下所示，它会关闭。然后，实时代理恢复其活跃角色，客户端会重新连接它。

      警告

      如果您没有在 live 代理上将 check-for-server 设置为 true，在之前的故障切换后重启 live 代理时可能会遇到重复的消息处理。具体来说，如果您重启了这个属性设置为 false 的 live 代理，则 live 代理不会将数据与备份代理同步。在这种情况下，实时代理可能会处理备份代理已处理的相同信息，从而导致重复。

      group-name

      此 live-backup 组的名称（可选）。要形成 live-backup 组，必须使用相同的组名称和备份代理配置 live-backup 代理。如果您没有指定 group-name，备份代理可以使用任何实时代理复制。

      vote-on-replication-failure

      这个属性控制实时代理在中断复制连接时是否启动了一个称为 实时投票 的仲裁投票。

      实时投票是实时代理以确定其合作伙伴是否是中断复制连接的原因。根据投票结果，实时代理会继续运行或关闭。

      重要

      要使仲裁投票方可成功，集群的大小必须允许实现多数结果。因此，当您使用 replication HA 策略时，您的集群应该 至少有三个 实时备份代理对。

      您在集群中配置的代理对越大，您可以增加集群的整体容错功能。例如，假设您有三个 live-backup 代理对。如果您丢失了到完全 live-backup 对的连接，则两个剩余的实时备份对不再实现多数结果仲裁投票。这种情况意味着，任何后续复制中断都可能会导致实时代理关闭，并阻止备份代理启动。通过使用配置集群（如五个代理对），集群可能会至少出现两个故障，同时仍然保证所有仲裁投票中多数结果。

   3. 为实时代理配置任何其他 HA 属性。

      这些额外的 HA 属性具有适用于大多数常见用例的默认值。因此，如果不需要默认行为，您只需要配置这些属性。更多信息请参阅 附录 F, 额外的复制高可用性配置元素。

   4. 打开备份代理的 < broker_instance_dir> /etc/broker.xml 配置文件。

   5. 配置备份代理以使用复制作为其 HA 策略。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <slave>
                          <allow-failback>true</allow-failback>
                          <group-name>my-group-1</group-name>
                          <vote-on-replication-failure>true</vote-on-replication-failure>
                          ...
                      </slave>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      allow-failback

      如果发生了故障转移，并且备份代理已接管了实时代理，则此属性会控制备份代理是否在重启并重新连接到集群中时是否应该回退到原始的 live 代理。

      注意

      故障恢复用于实时备份对（一个与单一备份代理进行一对一的代理）。如果 live 代理配置了多个备份，则不会出现问题。如果发生故障转移事件，备份代理将变为 live 状态，下一次备份就成为其备份。当原始 live 代理恢复在线时，它无法启动故障，因为现在已经备份的代理已经有备份。

      group-name

      此 live-backup 组的名称（可选）。要形成 live-backup 组，必须使用相同的组名称和备份代理配置 live-backup 代理。如果您没有指定 group-name，备份代理可以使用任何实时代理复制。

      vote-on-replication-failure

      这个属性控制实时代理在中断复制连接时是否启动了一个称为 实时投票 的仲裁投票。已成为活跃的备份代理被视为实时代理，并可启动实时投票。

      实时投票是实时代理以确定其合作伙伴是否是中断复制连接的原因。根据投票结果，实时代理会继续运行或关闭。

   6. （可选）配置备份代理启动的仲裁投票的属性。

      <configuration>
          <core>
              ...
              <ha-policy>
                  <replication>
                      <slave>
                      ...
                          <vote-retries>12</vote-retries>
                          <vote-retry-wait>5000</vote-retry-wait>
                      ...
                      </slave>
                  </replication>
              </ha-policy>
              ...
          </core>
      </configuration>

      vote-retries

      这个属性控制备份代理重试仲裁投票的次数，以便接收备份代理启动的主要结果。

      vote-retry-wait

      此属性控制每个重试仲裁投票之间等待的时间（以毫秒为单位）。

   7. 为备份代理配置任何其他 HA 属性。

      这些额外的 HA 属性具有适用于大多数常见用例的默认值。因此，如果不需要默认行为，您只需要配置这些属性。更多信息请参阅 附录 F, 额外的复制高可用性配置元素。

3. 对集群中的每个额外的 live-backup 组重复步骤 2。

   如果集群中有六个代理，请多次重复这个过程；对每个剩余的 live-backup 组重复一次。