8.7. 集群
8.7.1. 配置 JGroups 发现机制 复制链接链接已复制到粘贴板!
要在 OpenShift 上启用 JBoss EAP 集群,请在 JBoss EAP 配置中配置 JGroups 协议堆栈,以使用 kubernetes.KUBE_PING 或 dns.DNS_PING 发现机制。
虽然您可以使用自定义 standalone-openshift.xml 配置文件,但 建议您使用环境变量 在镜像构建中配置 JGroups。
以下说明使用环境变量来配置 JBoss EAP 用于 OpenShift 镜像的发现机制。
如果您使用其中一个可用的应用模板在 JBoss EAP for OpenShift 镜像基础上部署应用,则默认发现机制为 dns.DNS_PING。
dns.DNS_PING 和 kubernetes.KUBE_PING 发现机制彼此不兼容。无法从两个独立的子集群组成一个超级集群,一个使用 dns.DNS_PING 机制进行 发现,另一个使用 kubernetes.KUBE_PING 机制。同样,在执行滚动升级时,对源和目标集群的发现机制需要相同。
8.7.1.1. Configuring KUBE_PING 复制链接链接已复制到粘贴板!
使用 KUBE_PING JGroups 发现机制:
JGroups 协议堆栈必须配置为使用
KUBE_PING作为发现机制。您可以通过将
JGROUPS_PING_PROTOCOL环境变量设置为kubernetes.KUBE_PING 来做到这一点:JGROUPS_PING_PROTOCOL=kubernetes.KUBE_PING
JGROUPS_PING_PROTOCOL=kubernetes.KUBE_PINGCopy to Clipboard Copied! Toggle word wrap Toggle overflow KUBERNETES_NAMESPACE环境变量必须设置为您的 OpenShift 项目名称。如果没有设置,服务器会作为单节点集群("一个群集")的行为。例如:KUBERNETES_NAMESPACE=PROJECT_NAME
KUBERNETES_NAMESPACE=PROJECT_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 应设置
KUBERNETES_LABELS环境变量。这应该与在服务级别设置的标签匹配。如果没有设置,则应用程序之外的 pod(您的命名空间中的某个 pod)将尝试加入。例如:KUBERNETES_LABELS=application=APP_NAME
KUBERNETES_LABELS=application=APP_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 必须将授权授予 Pod 在 下运行的服务帐户,以允许访问 Kubernetes 的 REST API。这通过 OpenShift CLI 完成。以下示例在当前项目命名空间中使用
default服务帐户:oc policy add-role-to-user view system:serviceaccount:$(oc project -q):default -n $(oc project -q)
oc policy add-role-to-user view system:serviceaccount:$(oc project -q):default -n $(oc project -q)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在项目命名空间中使用
eap-service-account:oc policy add-role-to-user view system:serviceaccount:$(oc project -q):eap-service-account -n $(oc project -q)
oc policy add-role-to-user view system:serviceaccount:$(oc project -q):eap-service-account -n $(oc project -q)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意
8.7.1.2. 配置 DNS_PING 复制链接链接已复制到粘贴板!
使用 DNS_PING JGroups 发现机制:
JGroups 协议堆栈必须配置为使用
DNS_PING作为发现机制。您可以通过将
JGROUPS_PING_PROTOCOL环境变量设置为dns.DNS_PING 来做到这一点:JGROUPS_PING_PROTOCOL=dns.DNS_PING
JGROUPS_PING_PROTOCOL=dns.DNS_PINGCopy to Clipboard Copied! Toggle word wrap Toggle overflow OPENSHIFT_DNS_PING_SERVICE_NAME环境变量必须设置为集群的 ping 服务的名称。OPENSHIFT_DNS_PING_SERVICE_NAME=PING_SERVICE_NAME
OPENSHIFT_DNS_PING_SERVICE_NAME=PING_SERVICE_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow OPENSHIFT_DNS_PING_SERVICE_PORT环境变量应设置为公开 ping 服务的端口号。DNS_PING协议尝试从 SRV 记录辨别端口,否则默认为8888。OPENSHIFT_DNS_PING_SERVICE_PORT=PING_PORT
OPENSHIFT_DNS_PING_SERVICE_PORT=PING_PORTCopy to Clipboard Copied! Toggle word wrap Toggle overflow 必须定义公开 ping 端口的 ping 服务。这个服务应该是无头的(ClusterIP=None),且必须具有以下内容:
- 端口必须命名为。
该服务必须使用 service.
alpha.kubernetes.io/tolerate-unready-endpoints和publishNotReadyAddresses属性进行注解,两者都设置为true。注意-
使用
service.alpha.kubernetes.io/tolerate-unready-endpoints和publishNotReadyAddresses属性来确保 ping 服务在较旧和较新的 OpenShift 版本中正常工作。 - 省略这些注解会导致每个节点在启动过程中形成自己的"集群"。然后,每个节点在启动后将其集群合并到其他节点的集群中,因为其他节点在启动后才会检测到。
Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
使用
DNS_PING 不需要对服务帐户进行任何修改,并使用默认权限。
8.7.2. 将 JGroups 配置为加密集群流量 复制链接链接已复制到粘贴板!
若要加密 OpenShift 上 JBoss EAP 的集群流量,您必须在 JBoss EAP 配置中配置 JGroups 协议堆栈,以使用 SYM_ENCRYPT 或 ASYM_ENCRYPT 协议。
虽然您可以使用自定义 standalone-openshift.xml 配置文件,但 建议您使用环境变量 在镜像构建中配置 JGroups。
以下说明使用环境变量来配置用于 OpenShift 镜像的 JBoss EAP 集群流量加密的协议。
SYM_ENCRYPT 和 ASYM_ENCRYPT 协议彼此不兼容。无法从两个独立的子集群组成一个超级集群,一个使用 SYM_ENCRYPT 协议加密集群流量,另一个使用 ASYM_ENCRYPT 协议加密。同样,在执行滚动升级时,该协议对于源和目标集群需要相同。
8.7.2.1. Configuring SYM_ENCRYPT 复制链接链接已复制到粘贴板!
使用 SYM_ENCRYPT 协议加密 JGroups 集群流量:
JGroups 协议堆栈必须配置为使用
SYM_ENCRYPT作为加密协议。您可以通过将
JGROUPS_ENCRYPT_PROTOCOL环境变量设置为SYM_ENCRYPT 来做到这一点:JGROUPS_ENCRYPT_PROTOCOL=SYM_ENCRYPT
JGROUPS_ENCRYPT_PROTOCOL=SYM_ENCRYPTCopy to Clipboard Copied! Toggle word wrap Toggle overflow JGROUPS_ENCRYPT_SECRET环境变量必须设置为包含用于保护 JGroups 通信的 JGroups 密钥存储文件的机密的名称。如果没有设置,则不会加密群集通信并发出警告。例如:JGROUPS_ENCRYPT_SECRET=eap7-app-secret
JGROUPS_ENCRYPT_SECRET=eap7-app-secretCopy to Clipboard Copied! Toggle word wrap Toggle overflow JGROUPS_ENCRYPT_KEYSTORE_DIR环境变量必须设置为通过JGROUPS_ENCRYPT_SECRET变量指定的机密中密钥存储文件的目录路径。如果没有设置,则不会加密群集通信并发出警告。例如:JGROUPS_ENCRYPT_KEYSTORE_DIR=/etc/jgroups-encrypt-secret-volume
JGROUPS_ENCRYPT_KEYSTORE_DIR=/etc/jgroups-encrypt-secret-volumeCopy to Clipboard Copied! Toggle word wrap Toggle overflow JGROUPS_ENCRYPT_KEYSTORE环境变量必须设置为通过JGROUPS_ENCRYPT_SECRET变量指定的机密中的密钥存储文件的名称。如果没有设置,则不会加密群集通信并发出警告。例如:JGROUPS_ENCRYPT_KEYSTORE=jgroups.jceks
JGROUPS_ENCRYPT_KEYSTORE=jgroups.jceksCopy to Clipboard Copied! Toggle word wrap Toggle overflow JGROUPS_ENCRYPT_NAME环境变量必须设置为与服务器证书关联的名称。如果没有设置,则不会加密群集通信并发出警告。例如:JGROUPS_ENCRYPT_NAME=jgroups
JGROUPS_ENCRYPT_NAME=jgroupsCopy to Clipboard Copied! Toggle word wrap Toggle overflow JGROUPS_ENCRYPT_PASSWORD环境变量必须设置为用于访问密钥存储和证书的密码。如果没有设置,则不会加密群集通信并发出警告。例如:JGROUPS_ENCRYPT_PASSWORD=mypassword
JGROUPS_ENCRYPT_PASSWORD=mypasswordCopy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.2.2. Configuring ASYM_ENCRYPT 复制链接链接已复制到粘贴板!
JBoss EAP 7.4 包括新版本的 ASYM_ENCRYPT 协议。之前版本的协议已被弃用。如果指定 JGROUPS_CLUSTER_PASSWORD 环境变量,则使用已弃用的协议版本,并在 pod 日志中显示警告。
要使用 ASYM_ENCRYPT 协议加密 JGroups 集群流量,请指定 ASYM_ENCRYPT 作为加密协议,并将它配置为使用 elytron 子系统中配置的密钥存储。
8.7.3. 扩展 pod 的注意事项 复制链接链接已复制到粘贴板!
根据 JGroups 中的发现机制,启动节点将搜索现有集群协调器节点。如果在给定超时内找不到协调器节点,则起始节点会假定它是第一个成员,它会占用协调器状态。
当多个节点同时启动时,它们都假定第一个成员为第一个成员,从而导致使用多个分区的分割集群。例如,使用 DeploymentConfig API 扩展从 0 到 2 个 pod 可能会导致分割集群创建。为避免这种情况,您需要启动第一个 pod,然后再扩展至所需 pod 数量。
默认情况下,EAP Operator 使用 StatefulSet API,按顺序启动 pod,即逐个启动 pod,从而防止创建拆分集群。