第 6 章 自定义资源 API 参考

使用 replicas 属性配置副本。

复制的类型取决于资源。

使用 bootstrapServers 属性配置 bootstrap 服务器列表。

bootstrap 服务器列表可以引用没有在同一 OpenShift 集群中部署的 Kafka 集群。它们也可以引用不是由 AMQ Streams 部署的 Kafka 集群。

如果在同一 OpenShift 集群中，每个列表都必须包含 Kafka 集群 bootstrap 服务，该服务名为 CLUSTER-NAME-kafka-bootstrap 和端口号。如果由 AMQ Streams 部署但在不同的 OpenShift 集群上，列表内容取决于用于公开集群的方法(routes、ingress、nodeports 或 loadbalancers)。

在将 Kafka 与不是由 AMQ Streams 管理的 Kafka 集群时，您可以根据给定集群的配置指定 bootstrap 服务器列表。

您可以纳入 SSL 配置和密码套件规格，以进一步保护客户端应用程序和 Kafka 集群之间的基于 TLS 的通信。除了标准 TLS 配置外，您还可以指定受支持的 TLS 版本，并在 Kafka 代理配置中启用密码套件。如果要限制它们使用的 TLS 版本和密码套件，您还可以将配置添加到客户端。客户端上的配置必须只使用代理上启用的协议和密码套件。

密码套件是一组用于安全连接和数据传输的安全机制。例如，密码套件 TLS_AES_256_GCM_SHA384 由以下机制组成，它们与 TLS 协议结合使用：

组合封装在 TLS_AES_256_GCM_SHA384 密码套件规格中。

ssl.enabled.protocols 属性指定可用于集群及其客户端之间安全通信的可用 TLS 版本。ssl.protocol 属性为所有连接设置默认 TLS 版本，且必须从启用的协议中选择它。使用 ssl.endpoint.identification.algorithm 属性启用或禁用主机名验证。

# ...
config:
  ssl.cipher.suites: TLS_AES_256_GCM_SHA384, TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 

  ssl.enabled.protocols: TLSv1.3, TLSv1.2 

  ssl.protocol: TLSv1.3 

  ssl.endpoint.identification.algorithm: HTTPS 

# ...

在设置 tls 来配置 TLS 加密后，使用 trustedCertificates 属性提供带有证书以 X.509 格式存储的密钥名称的 secret 列表。

您可以使用 Cluster Operator 为 Kafka 集群创建的 secret，也可以创建自己的 TLS 证书文件，然后从文件创建一个 Secret ：

oc create secret generic MY-SECRET \
--from-file=MY-TLS-CERTIFICATE-FILE.crt

tls:
  trustedCertificates:
    - secretName: my-cluster-cluster-cert
      certificate: ca.crt
    - secretName: my-cluster-cluster-cert
      certificate: ca2.crt

如果证书存储在同一 secret 中，它可以多次列出。

如果要启用 TLS 加密，但使用 Java 附带的默认公共证书颁发机构集合，您可以将 trustedCertificates 指定为空数组：

tls:
  trustedCertificates: []

有关配置 mTLS 身份验证的详情，请参考 KafkaClientAuthenticationTls 模式参考。

配置 资源的 requests 和 limits，以控制 AMQ Streams 容器的资源。您可以为 内存和 cpu 资源指定请求和限值。请求应该足以确保 Kafka 的稳定性能。

在生产环境中如何配置资源取决于多个因素。例如，应用程序可能会共享 OpenShift 集群中的资源。

对于 Kafka，部署的以下方面可能会影响您需要的资源：

为资源请求指定的值会被保留，始终供容器使用。资源限值指定给定容器可以消耗的最大资源。请求和限制之间的数量不会被保留，可能并不总是可用。容器只能在有限制时才使用资源。资源限值是临时的，可以重新分配。

如果您在设置限制时没有设置请求，或反之，OpenShift 会将相同的值用于限制和请求。为资源设置相等的请求和限值可确保服务质量，因为 OpenShift 将不会终止容器，除非容器超过其限值。

您可以为一个或多个支持的资源配置资源请求和限值。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    #...
    resources:
      requests:
        memory: 64Gi
        cpu: "8"
      limits:
        memory: 64Gi
        cpu: "12"
  entityOperator:
    #...
    topicOperator:
      #...
      resources:
        requests:
          memory: 512Mi
          cpu: "1"
        limits:
          memory: 512Mi
          cpu: "1"

Topic Operator 和 User Operator 的资源请求和限值在 Kafka 资源中设置。

如果资源请求超过 OpenShift 集群中的可用可用资源，则不会调度该 Pod。

使用 image 属性配置组件使用的容器镜像。

只有在需要使用其他容器 registry 或自定义镜像时，才建议在特殊情况下覆盖容器镜像。

例如，如果您的网络不允许访问 AMQ Streams 使用的容器存储库，您可以复制 AMQ Streams 镜像或从源进行构建。但是，如果配置的镜像与 AMQ Streams 镜像不兼容，它可能无法正常工作。

容器镜像的副本也可能会被自定义并用于调试。

您可以使用以下资源中的 image 属性指定要用于组件的容器镜像：

为 Kafka、Kafka Connect 和 Kafka MirrorMaker 配置 image 属性

Kafka、Kafka Connect 和 Kafka MirrorMaker 支持多个 Kafka 版本。每个组件都需要自己的镜像。不同 Kafka 版本的默认镜像在以下环境变量中配置：

这些环境变量包含 Kafka 版本及其对应镜像之间的映射。映射 与镜像 和版本 属性一同使用：

不同组件的 image 和 version 可在以下属性中配置：

在其他资源中配置 image 属性

对于其他自定义资源中的 image 属性，部署过程中将使用给定的值。如果缺少 image 属性，则会使用 Cluster Operator 配置中指定 的镜像。如果 Cluster Operator 配置中没有定义镜像名称，则使用默认值。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    image: my-org/my-image:latest
    # ...
  zookeeper:
    # ...

使用 livenessProbe 和 readinessProbe 属性配置 AMQ Streams 中支持的健康检查探测。

健康检查是定期测试，用于验证应用程序的健康状态。当 Healthcheck 探测失败时，OpenShift 会假定应用程序不是健康的，并尝试修复它。

有关探测的详情，请参阅配置存活度和就绪度探测。

livenessProbe 和 readinessProbe 支持以下选项：

# ...
readinessProbe:
  initialDelaySeconds: 15
  timeoutSeconds: 5
livenessProbe:
  initialDelaySeconds: 15
  timeoutSeconds: 5
# ...

有关 livenessProbe 和 readinessProbe 选项的更多信息，请参阅 探测模式参考。

使用 metricsConfig 属性启用和配置 Prometheus 指标。

metricsConfig 属性包含对 ConfigMap 的引用，该 ConfigMap 具有 Prometheus JMX Exporter 的额外配置。AMQ Streams 支持使用 Prometheus JMX exporter 的 Prometheus 指标将 Apache Kafka 和 ZooKeeper 支持的 JMX 指标转换为 Prometheus 指标。

要在不进一步配置的情况下启用 Prometheus metrics 导出，您可以在 metricsConfig.valueFrom.configMapKeyRef.key 下引用包含空文件的 ConfigMap。当引用空文件时，所有指标都会公开，只要它们尚未重命名。

kind: ConfigMap
apiVersion: v1
metadata:
  name: my-configmap
data:
  my-key: |
    lowercaseOutputName: true
    rules:
    # Special cases and very specific rules
    - pattern: kafka.server<type=(.+), name=(.+), clientId=(.+), topic=(.+), partition=(.*)><>Value
      name: kafka_server_$1_$2
      type: GAUGE
      labels:
       clientId: "$3"
       topic: "$4"
       partition: "$5"
    # further configuration

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    metricsConfig:
      type: jmxPrometheusExporter
      valueFrom:
        configMapKeyRef:
          name: my-config-map
          key: my-key
    # ...
  zookeeper:
    # ...

启用指标后，它们会在端口 9404 上公开。

当资源中没有定义 metricsConfig （或已弃用的 metrics）属性时，Prometheus 指标会被禁用。

有关设置和部署 Prometheus 和 Grafana 的更多信息，请参阅在 OpenShift 中 部署和升级 AMQ Streams 指南中的将指标引入到 Kafka。

以下 AMQ Streams 组件在 Java 虚拟机(JVM)内运行：

要在不同的平台和构架中优化其性能，您可以在以下资源中配置 jvmOptions 属性：

您可以在配置中指定以下选项：

指定堆大小，以便对分配给 JVM 的内存进行更多控制。堆大小应尽可能利用容器 的内存限值（和请求）， 而不超过它。堆大小和其他任何内存要求需要在指定的内存限值内容纳。如果您没有在配置中指定堆大小，但您配置内存限制（和请求），Cluster Operator 会自动实施默认堆大小。Cluster Operator 根据内存资源配置百分比设置默认的最大值和最小堆值。

下表显示了默认的堆值。

如果没有指定内存限制（和请求），则 JVM 的最小堆大小设置为 128M。JVM 的最大堆大小未定义，以允许根据需要增大内存。这是用于测试和开发中的单一节点环境的理想选择。

设置适当的内存请求可能会阻止以下内容：

在本例中，JVM 将 2 GiB (=2,147,483,648 字节)用于其堆。JVM 内存用量总量可以超过最大堆大小。

# ...
jvmOptions:
  "-Xmx": "2g"
  "-Xms": "2g"
# ...

为 initial (-Xms)和最大(-Xmx)堆大小设置相同的值可以避免在启动时必须分配内存，而可能分配比真正需要的堆更多的成本。

jvmOptions:
  "-XX":
    "UseG1GC": true
    "MaxGCPauseMillis": 20
    "InitiatingHeapOccupancyPercent": 35
    "ExplicitGCInvokesConcurrent": true

-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -XX:-UseParNewGC

jvmOptions:
  javaSystemProperties:
    - name: javax.net.debug
      value: ssl

有关 jvmOptions 的更多信息，请参阅 JvmOptions 模式参考。

jvmOptions 属性还允许您启用和禁用垃圾收集器(GC)日志记录。默认情况下禁用 GC 日志记录。要启用它，请按如下所示设置 gcLoggingEnabled 属性：

# ...
jvmOptions:
  gcLoggingEnabled: true
# ...