OpenShift 中 AMQ Streams 1.8 发行注记

OpenShift Container Platform 4.6 和 4.8 支持 AMQ Streams 1.8。

有关支持的平台版本的更多信息，请参阅红帽知识库文章 Red Hat AMQ 7 支持的配置。

AMQ Streams 现在支持 Apache Kafka 版本 2.8.0。

AMQ Streams 使用 Kafka 2.8.0。仅支持由红帽构建的 Kafka 发行版本。

您必须将 Cluster Operator 升级到 AMQ Streams 版本 1.8，然后才能将代理和客户端应用程序升级到 Kafka 2.8.0。有关升级说明，请参阅 升级 AMQ Streams。

如需更多信息，请参阅 Kafka 2.7.0 和 Kafka 2.8.0 发行注记。

有关支持版本的更多信息，请参阅客户门户网站 中的 Red Hat AMQ 7 组件详情页面。

Kafka 2.8.0 版本需要 ZooKeeper 版本 3.5.9。因此，当从 AMQ Streams 1.7 升级到 AMQ Streams 1.8 时，Cluster Operator 会执行 ZooKeeper 升级。

作为 Kafka 集群管理员，您现在可以在 Operator 部署配置 中打开和关闭功能 子集。功能门当前仅适用于 Cluster Operator。以后的发行版本可能会向其他 Operator 添加功能门。

AMQ Streams 1.8 引入了以下功能门和关联的新功能：

功能门的默认状态为 enabled 或 disabled。启用后，功能门会更改 Operator 的行为，并在 AMQ Streams 部署中启用该功能。

功能门的成熟度等级为 Alpha、Beta 或正式 可用 (GA)。

请参阅 Feature gates 和 Cluster Operator 配置。

在标准的 AMQ Streams 集群中，control plane 流量和数据平面流量在端口 9091 上使用相同的代理间侦听程序。

在这个版本中，您可以配置集群，以便 control plane 流量在端口 9090 上使用专用的 control plane 侦听程序。数据平面流量继续在端口 9091 上使用监听程序。

使用 control plane 侦听器可能会提高性能，因为重要的控制器连接（如分区领导更改）不会因为代理间数据复制而延迟。大多数数据平面流量由此数据复制组成。

请参阅 Control plane 监听程序功能门。

默认情况下，Cluster Operator 不会更新服务帐户。

在这个版本中，您可以在每次协调中启用对服务帐户的更新。例如，Cluster Operator 可向服务帐户应用自定义标签或注解。使用 template.serviceAccount 属性为自定义资源配置自定义标签和注解。

# ...
template:
  serviceAccount:
    metadata:
      labels:
        label1: value1
        label2: value2
      annotations:
        annotation1: value1
        annotation2: value2
# ...

请参阅 服务帐户补丁功能门。

红帽 Debezium 是一个分布式更改数据捕获平台。它捕获数据库中的行级更改，创建更改事件记录，并将记录流传输到 Kafka 主题。Debezium 基于 Apache Kafka 构建。您可以将 Debezium 与 AMQ Streams 部署和集成。部署 AMQ Streams 后，您可以通过 Kafka Connect 将 Debezium 部署为连接器配置。Debezium 将更改事件记录传递到 OpenShift 上的 AMQ Streams。应用程序可以读取 这些更改事件流，并按发生更改事件的顺序访问更改事件。

Debezium 具有多个用途，包括：

Debezium 为以下通用数据库提供连接器（基于 Kafka Connect）：

有关使用 AMQ Streams 部署 Debezium 的更多信息，请参阅 产品文档。

您可以将服务注册表用作数据流的集中式存储。对于 Kafka，您可以使用 Service Registry 来存储 Apache Avro 或 JSON 模式。

服务注册表提供 REST API 和 Java REST 客户端，用于通过服务器端端点从客户端应用注册和查询架构。

使用 Service Registry 将管理模式的过程与客户端应用程序配置分离。您可以通过在客户端代码中指定 URL 来启用应用程序从 registry 中使用 schema。

例如，消息序列化和反序列化的架构可以存储在注册表中，后者随后从使用它们的应用程序引用，以确保它们发送和接收的消息与这些模式兼容。

Kafka 客户端应用程序可以在运行时从 Service Registry 中推送或拉取其模式。

有关在 AMQ Streams 中使用 Service Registry 的更多信息，请参阅 Service Registry 文档。

为了支持将自定义资源升级到 v1beta2，AMQ Streams 提供了 API 转换工具，您可以从 AMQ Streams 下载网站下载 该工具。

您可以通过两个步骤执行自定义资源升级。

另外，您可以手动将每个自定义资源转换为适用于 v1beta2 的格式。文档中包括了手动转换自定义资源的说明。

具体步骤请查看 升级 AMQ Streams。

有关 Kafka 2.8.0 引入的增强概述，请参阅 Kafka 2.8.0 发行注记。

您可以使用 构建配置，以便 AMQ Streams 自动构建带有数据连接所需的连接器插件的容器镜像。

现在，使用 Kafka Connect 构建 Pod 创建了一个专用服务帐户。服务帐户与 Kafka Connect 本身不同。在这个发行版本前，构建在 default 服务帐户下运行。在指定身份验证和访问权限时，拥有自己的身份非常有用。

如果将标准 HTTP 代理（HTTP_PROXY、HTTPS_PROXY 和 NO_PROXY ）设置为 AMQ Streams 部署的环境变量，Kafka Connect 构建现在也可以在代理后面正常工作。

请参阅：

使用 Kubernetes Configuration Provider 插件，从外部来源加载配置数据。您可以从 OpenShift Secret 或 ConfigMap 加载数据。

该供应商独立于 AMQ Streams 运行。它会在不需要重启 Kafka 组件的情况下加载数据，即使使用新的 Secret 或 ConfigMap 时也是如此。

您可以使用它来加载所有 Kafka 组件的配置数据，包括生产者和使用者。例如，使用它为托管多个连接器的 Kafka Connect 实例提供凭据，而无需中断

请参阅 从外部源加载配置值。

如果您使用 ConfigMap 为 AMQ Streams Operator 配置(log4j2)日志记录级别，现在可以定义日志记录过滤器来限制日志中返回的内容。您可以在 ConfigMap 中添加过滤器属性。

过滤器使用 标记 来指定要包含在日志中的内容。您可以为标记指定一个 kind、namespace 和 name。例如，如果 Kafka 集群失败，您可以通过将 kind 指定为 Kafka 来隔离日志，并使用失败集群的命名空间和名称。

本例显示了名为 my-kafka-cluster 的 Kafka 集群的标记过滤器。

appender.console.filter.filter1.type=MarkerFilter 1
appender.console.filter.filter1.onMatch=ACCEPT 2
appender.console.filter.filter1.onMismatch=DENY 3
appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster) 4

请参阅在 Operator 中添加日志记录过滤器

在以下情况下使用这些属性：

这些属性会影响客户端是否可以获取令牌和令牌的内容。它们不会影响侦听器实施的令牌验证规则。

# ...
  authentication:
    type: oauth
    # ...
    clientAudience: AUDIENCE
    clientScope: SCOPE

授权服务器有时在 JWT 访问令牌中提供 提示（ 严重）声明。当启用用户检查时，Kafka 代理会拒绝在 A ud 声明中不包含代理 客户端Id 的令牌。要启用受众检查，请在 oauth 监听程序配置中将 checkAudience 选项设置为 true。默认情况下禁用受众检查。

请参阅 为 Kafka 代理和 KafkaListenerAuthenticationOAuth 模式配置 OAuth 2.0 支持 https://access.redhat.com/documentation/en-us/red_hat_amq/2021.q3/html-single/using_amq_streams_on_openshift/index#type-KafkaListenerAuthenticationOAuth-reference

请参阅 KafkaClientAuthenticationOAuth 模式参考

# ...
  authentication:
    type: oauth
    # ...
    enablePlain: true
    tokenEndpointUri: https://OAUTH-SERVER-ADDRESS/auth/realms/external/protocol/openid-connect/token

如果没有指定 tokenEndpointUri，侦听器将处理：

OAuth 2.0 与 PLAIN 身份验证相比的"长生命访问令牌"方法的行为没有改变。使用此方法时不需要 tokenEndpointUri。

请参阅 OAuth 2.0 身份验证机制

通过 User Operator 处理用户配额不再由 ZooKeeper 管理。相反，用户配额通过 API 处理。

另外，增加了对 Kafka 变异速率配额的支持。此配额限制每秒允许的分区变异数量。配额可防止 Kafka 集群被并发主题操作所困扰。

分区变异的数量包括以下类型的用户请求：

您可以配置变异率配额来控制用户请求接受变异的速度。费率从创建或删除的分区数中累积而来。

使用 controllerMutationRate 选项，将配额应用到 Kafka 用户。在本例中，每秒允许 10 个分区创建和删除操作。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  # ...
  quotas:
    #...
    controllerMutationRate: 10 1

请参阅 用户配额

您可以暂停 AMQ Streams 操作器管理的自定义资源的协调，以执行修复或更新。您还可以暂停您要创建的自定义资源的协调。自定义资源会被创建，但会被忽略。

您可以为自定义资源添加注解来暂停它。

oc annotate KIND-OF-CUSTOM-RESOURCE NAME-OF-CUSTOM-RESOURCE strimzi.io/pause-reconciliation="true"

现在，可以暂停 KafkaTopic 自定义资源的协调。

请参阅 暂停自定义资源协调

AMQ Streams 提供的自定义版本的 Kafka Exporter 已更新至 1.3.1 版本。AMQ Streams 在提供的示例中包括 Kafka Exporter 的 Grafana 仪表板示例（示例/metrics/grafana-dashboards/strimzi-kafka-exporter.json）。

请参阅 添加 Kafka Exporter

您可以配置 KafkaConnect 资源，以创建自定义 Kafka Connect 容器镜像。使用 spec.build 配置可自动执行该过程。您可以配置 插件 来指定实施工件和 输出 来引用存储镜像的容器注册表。AMQ 流下载并将连接器插件添加到新容器镜像中。

构建过程现在使用 URL 哈希来命名下载的工件文件。在以前的版本中，它使用下载 URL 的最后一部分。如果您的插件工件需要特定名称，您可以使用一个新的工 件 类型及其 fileName 字段。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
spec:
  #...
  build:
    output:
      #...
    plugins:
      - name: my-plugin
        artifacts:
          - type: other
            url: https://my-domain.tld/my-other-file.ext
            sha512sum: 589...ab4
            fileName: name-of-file.ext
  #...

请参阅 构建 架构参考

使用 Kafka Static Quota 插件，为 Kafka 集群中的代理设置吞吐量和存储限制。您可以通过配置 Kafka 资源启用插件并设置限值。您可以设置字节阈值和存储配额，对与代理交互的客户端设定限制。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    config:
      client.quota.callback.class: io.strimzi.kafka.quotas.StaticQuotaCallback
      client.quota.callback.static.produce: 1000000
      client.quota.callback.static.fetch: 1000000
      client.quota.callback.static.storage.soft: 400000000000
      client.quota.callback.static.storage.hard: 500000000000
      client.quota.callback.static.storage.check-interval: 5

请参阅使用 Kafka 静态配额插件设置代理限制

您可以部署 Cruise Control，并使用它来在 CPU、磁盘、网络负载 等上使用优化 的 goals(pipeline)定义的限制来重新平衡 Kafka 集群。在均衡 Kafka 集群中，工作负载更加均匀地分布在代理 pod 中。

作为 Kafka 资源的一部分，Tithise Control 被配置和部署。您可以使用默认优化目标，或对其进行修改以符合您的要求。Cruise Control 的 YAML 配置文件示例在 example /cruise-control/ 中提供。

部署 Cruise Control 后，您可以创建 KafkaRebalance 自定义资源来：

目前不支持其他 Cruise 控制功能，包括异常检测、通知、写入目标以及更改主题复制因素。

请参阅 用于集群重新平衡的 Cruise Control

oc get configmap MY-REBALANCE -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'

随着 KafkaConnect 资源引入 构建配置，AMQ Streams 现在可以使用数据连接所需的连接器插件自动构建容器镜像。

因此，已弃用了对使用 Source-to-Image(S2I)的 Kafka Connect 的支持。

要准备此更改，您可以将 Kafka Connect S2I 实例迁移到 Kafka Connect 实例。

请参阅 Migrating from Kafka Connect with S2I to Kafka Connect

在 Kafka 代理的 oauth 监听程序配置中弃用了 enableECDSA 属性。此属性的值现在被忽略。

ECDSA 加密通过 Java 加密扩展(JCE)提供。Bouncy Castle Crypto 库不再与 AMQ Streams 打包。

KafkaMirrorMaker2 资源中的 topic Black listPattern 和 groupsBlacklistPattern 属性已弃用。这些属性将被 主题ExcludePattern 和 groupsExcludePat tern 删除和替换。

KafkaMirrorMaker 资源中的 whitelist 属性已弃用。该属性将替换为 include：

Kafka Connect 构建过程现在使用 URL 哈希来命名下载的工件文件。在以前的版本中，它使用下载 URL 的最后一部分。

请参阅 Kafka Connect 构建使用哈希来命名下载文件

本节提前通知 Apache Kafka 项目中的重要弃用和删除。

AMQ Streams 附带一个潜在的存在安全漏洞的 log4j 版本(log4j-1.2.17.redhat-3)。漏洞在于 SMTP 附加程序功能，其默认配置中 AMQ Streams 不使用该功能。

AMQ Streams Cluster Operator 不在互联网协议版本 6(IPv6)集群中启动。