6.3. 部署 Kafka

为了可以使用 Cluster Operator 管理 Kafka 集群，您必须将它部署为 Kafka 资源。AMQ Streams 提供示例部署文件来执行此操作。您可以使用这些文件同时部署主题 Operator 和 User Operator。

部署 Cluster Operator 后，使用 Kafka 资源来部署以下组件：

安装 Kafka 时，AMQ Streams 还会安装 ZooKeeper 集群并添加将 Kafka 与 ZooKeeper 连接所需的配置。

如果您还没有将 Kafka 集群部署为 Kafka 资源，则无法使用 Cluster Operator 管理它。例如，这会应用到在 OpenShift 外部运行的 Kafka 集群。但是，您可以通过将其部署为独立组件，使用 Topic Operator 和 User Operator 及 不是由 AMQ Streams 管理的 Kafka 集群。您还可以将其他 Kafka 组件与不是由 AMQ Streams 管理的 Kafka 集群部署并使用。

6.3.1. 部署 Kafka 集群
复制链接

此流程演示了如何使用 Cluster Operator 将 Kafka 集群部署到 OpenShift 集群。

部署使用 YAML 文件来提供规格来创建 Kafka 资源。

AMQ Streams 提供了以下示例文件，您可以使用它来创建 Kafka 集群：

kafka-persistent.yaml: 使用三个 ZooKeeper 和三个 Kafka 节点部署持久集群。
kafka-jbod.yaml: 部署具有三个 ZooKeeper 和三个 Kafka 节点的持久集群（每个都使用多个持久性卷）。
kafka-persistent-single.yaml: 使用单个 ZooKeeper 节点和一个 Kafka 节点部署持久集群。
kafka-ephemeral.yaml: 使用三个 ZooKeeper 和三个 Kafka 节点部署临时集群。
kafka-ephemeral-single.yaml: 使用三个 ZooKeeper 节点和一个 Kafka 节点部署临时集群。

在此过程中，我们对 ephemeral（临时）和persistent（持久） Kafka 集群部署使用示例。

临时集群

通常，临时（或临时）Kafka 集群适合开发和测试目的，不适用于生产环境。此部署使用 emptyDir 卷来存储代理信息（用于 ZooKeeper）和主题或分区（用于 Kafka）。使用 emptyDir 卷意味着其内容严格与 pod 生命周期相关，并在 pod 停机时被删除。

持久性集群

持久的 Kafka 集群使用持久性卷来存储 ZooKeeper 和 Kafka 数据。使用 PersistentVolumeClaim 获取 PersistentVolume，使其独立于 PersistentVolume 的实际类型。PersistentVolumeClaim 可以使用 StorageClass 来触发自动卷置备。如果没有指定 StorageClass，OpenShift 将尝试使用默认 StorageClass。

以下示例显示了一些常见的持久性卷类型：

如果您的 OpenShift 集群在 Amazon AWS 上运行，OpenShift 可以置备 Amazon EBS 卷
如果您的 OpenShift 集群在 Microsoft Azure 上运行，OpenShift 可以置备 Azure Disk Storage 卷
如果您的 OpenShift 集群在 Google Cloud 上运行，OpenShift 可以置备 Persistent Disk 卷
如果您的 OpenShift 集群在裸机上运行，OpenShift 可以置备本地持久性卷

YAML 文件示例指定最新支持的 Kafka 版本，以及其支持的日志消息格式版本和 inter-broker 协议版本的配置。Kafka config 的 inter.broker.protocol.version 属性必须是指定的 Kafka 版本 (spec.kafka.version) 支持的版本。属性表示 Kafka 集群中使用的 Kafka 协议版本。

从 Kafka 3.0.0 开始，当将 inter.broker.protocol.version 设置为 3.0 或更高版本时，log.message.format.version 选项将被忽略，不需要设置。

在升级 Kafka 时，需要对 inter.broker.protocol.version 的更新。

示例集群默认命名为 my-cluster。集群名称由资源名称定义，在部署集群后无法更改。要在部署集群前更改集群名称，请编辑相关 YAML 文件中的 Kafka 资源的 Kafka.metadata.name 属性。

默认集群名称和指定的 Kafka 版本

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 3.4.0
    #...
    config:
      #...
      log.message.format.version: "3.4"
      inter.broker.protocol.version: "3.4"
  # ...

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 3.4.0
    #...
    config:
      #...
      log.message.format.version: "3.4"
      inter.broker.protocol.version: "3.4"
  # ...

Copy to Clipboard

Toggle word wrap

先决条件

必须部署 Cluster Operator。

流程

创建并部署临时或持久集群。
- 创建和部署临时集群：
  oc apply -f examples/kafka/kafka-ephemeral.yaml
  Copy to Clipboard Toggle word wrap
- 创建和部署持久集群：
  oc apply -f examples/kafka/kafka-persistent.yaml
  Copy to Clipboard Toggle word wrap

检查部署的状态：

oc get pods -n <my_cluster_operator_namespace>

oc get pods -n <my_cluster_operator_namespace>

Copy to Clipboard

Toggle word wrap

输出显示 pod 名称和就绪状态

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
my-cluster-kafka-0          1/1     Running   0
my-cluster-kafka-1          1/1     Running   0
my-cluster-kafka-2          1/1     Running   0
my-cluster-zookeeper-0      1/1     Running   0
my-cluster-zookeeper-1      1/1     Running   0
my-cluster-zookeeper-2      1/1     Running   0

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
my-cluster-kafka-0          1/1     Running   0
my-cluster-kafka-1          1/1     Running   0
my-cluster-kafka-2          1/1     Running   0
my-cluster-zookeeper-0      1/1     Running   0
my-cluster-zookeeper-1      1/1     Running   0
my-cluster-zookeeper-2      1/1     Running   0

Copy to Clipboard

Toggle word wrap

my-cluster 是 Kafka 集群的名称。

从 0 开始的连续索引号标识每个 Kafka 和 ZooKeeper pod。

使用默认部署，您可以创建一个 Entity Operator 集群、3 个 Kafka pod 和 3 ZooKeeper pod。

READY 显示就绪/预期的副本数。当 STATUS 显示为 Running 时，部署可以成功。

6.3.2. 使用 Cluster Operator 部署主题 Operator
复制链接

此流程描述了如何使用 Cluster Operator 部署主题 Operator。

您可以将 Kafka 资源的 entityOperator 属性配置为包含 topicOperator。默认情况下，Topic Operator 会监视 Cluster Operator 部署的 Kafka 集群命名空间中的 KafkaTopic 资源。您还可以使用 Topic Operator spec 中的 watchedNamespace 指定一个命名空间。单个主题 Operator 可以监视单个命名空间。一个命名空间应该只被一个主题 Operator 监视。

如果您使用 AMQ Streams 将多个 Kafka 集群部署到同一命名空间中，请只为一个 Kafka 集群启用 Topic Operator，或使用 watchedNamespace 属性配置 Topic Operator 以监视其他命名空间。

如果要将 Topic Operator 与不是由 AMQ Streams 管理的 Kafka 集群搭配使用，您必须将 Topic Operator 部署为独立组件。

有关配置 entityOperator 和 topicOperator 属性的更多信息，请参阅配置实体 Operator。

先决条件

必须部署 Cluster Operator。

流程

编辑 Kafka 资源的 entityOperator 属性，使其包含 topicOperator ：

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  #...
  entityOperator:
    topicOperator: {}
    userOperator: {}

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  #...
  entityOperator:
    topicOperator: {}
    userOperator: {}

Copy to Clipboard

Toggle word wrap

使用 EntityTopicOperatorSpec schema reference 中所述的属性配置 Topic Operator spec。
如果您希望所有属性使用默认值，请使用空对象({})。
创建或更新资源：
```
oc apply -f <kafka_configuration_file>
```
```
oc apply -f <kafka_configuration_file>
```
Copy to Clipboard Toggle word wrap

检查部署的状态：

oc get pods -n <my_cluster_operator_namespace>

oc get pods -n <my_cluster_operator_namespace>

Copy to Clipboard

Toggle word wrap

输出显示 pod 名称和就绪度

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
# ...

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
# ...

Copy to Clipboard

Toggle word wrap

my-cluster 是 Kafka 集群的名称。

READY 显示就绪/预期的副本数。当 STATUS 显示为 Running 时，部署可以成功。

6.3.3. 使用 Cluster Operator 部署 User Operator
复制链接

此流程描述了如何使用 Cluster Operator 部署 User Operator。

您可以将 Kafka 资源的 entityOperator 属性配置为包含 userOperator。默认情况下，User Operator 会监视 Kafka 集群部署命名空间中的 KafkaUser 资源。您还可以使用 User Operator spec 中的 watchedNamespace 指定命名空间。单个用户 Operator 可以监视单个命名空间。一个命名空间应该只被一个 User Operator 监视。

如果要将 User Operator 与不是由 AMQ Streams 管理的 Kafka 集群搭配使用，您必须将 User Operator 部署为独立组件。

有关配置 entityOperator 和 userOperator 属性的更多信息，请参阅配置 Entity Operator。

先决条件

必须部署 Cluster Operator。

流程

编辑 Kafka 资源的 entityOperator 属性，使其包含 userOperator ：

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  #...
  entityOperator:
    topicOperator: {}
    userOperator: {}

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  #...
  entityOperator:
    topicOperator: {}
    userOperator: {}

Copy to Clipboard

Toggle word wrap

使用 EntityUserOperatorSpec schema reference 中所述的属性配置 User Operator spec。
如果您希望所有属性使用默认值，请使用空对象({})。
创建或更新资源：
```
oc apply -f <kafka_configuration_file>
```
```
oc apply -f <kafka_configuration_file>
```
Copy to Clipboard Toggle word wrap

检查部署的状态：

oc get pods -n <my_cluster_operator_namespace>

oc get pods -n <my_cluster_operator_namespace>

Copy to Clipboard

Toggle word wrap

输出显示 pod 名称和就绪度

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
# ...

NAME                        READY   STATUS    RESTARTS
my-cluster-entity-operator  3/3     Running   0
# ...

Copy to Clipboard

Toggle word wrap

my-cluster 是 Kafka 集群的名称。

READY 显示就绪/预期的副本数。当 STATUS 显示为 Running 时，部署可以成功。

返回顶部

6.3. 部署 Kafka

6.3.1. 部署 Kafka 集群
复制链接

6.3.2. 使用 Cluster Operator 部署主题 Operator
复制链接

6.3.3. 使用 Cluster Operator 部署 User Operator
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

6.3. 部署 Kafka

6.3.1. 部署 Kafka 集群复制链接链接已复制到粘贴板!

6.3.2. 使用 Cluster Operator 部署主题 Operator复制链接链接已复制到粘贴板!

6.3.3. 使用 Cluster Operator 部署 User Operator复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

6.3.1. 部署 Kafka 集群
复制链接

6.3.2. 使用 Cluster Operator 部署主题 Operator
复制链接

6.3.3. 使用 Cluster Operator 部署 User Operator
复制链接