6.3. 部署 Kafka
要使用 Cluster Operator 管理 Kafka 集群,您必须将其部署为 Kafka 资源。AMQ Streams 提供示例部署文件来执行此操作。您可以使用这些文件同时部署主题 Operator 和 User Operator。
部署 Cluster Operator 后,使用 Kafka 资源来部署以下组件:
安装 Kafka 时,AMQ Streams 还会安装 ZooKeeper 集群,并添加与 ZooKeeper 连接 Kafka 所需的配置。
如果您还没有将 Kafka 集群部署为 Kafka 资源,则无法使用 Cluster Operator 来管理它。这适用于在 OpenShift 外部运行的 Kafka 集群。但是,您可以将 Topic Operator 和 User Operator 与 AMQ Streams 管理的 Kafka 集群一起使用,方法是将其部署为独立组件。您还可以在不由 AMQ Streams 管理的 Kafka 集群中部署并使用其他 Kafka 组件。
6.3.1. 部署 Kafka 集群 复制链接链接已复制到粘贴板!
此流程演示了如何使用 Cluster Operator 将 Kafka 集群部署到 OpenShift 集群。
部署使用 YAML 文件来提供创建 Kafka 资源的规格。
AMQ Streams 提供了以下 可用于创建 Kafka 集群的示例文件:
kafka-persistent.yaml- 使用三个 ZooKeeper 和三个 Kafka 节点部署持久集群。
kafka-jbod.yaml- 使用三个 ZooKeeper 和三个 Kafka 节点(每个都使用多个持久性卷)部署持久集群。
kafka-persistent-single.yaml- 使用单个 ZooKeeper 节点和单个 Kafka 节点部署持久集群。
kafka-ephemeral.yaml- 使用三个 ZooKeeper 和三个 Kafka 节点部署临时集群。
kafka-ephemeral-single.yaml- 使用三个 ZooKeeper 节点和一个 Kafka 节点部署临时集群。
在此过程中,我们使用示例进行 临时和 持久 Kafka 集群部署。
- 临时集群
-
通常,一个临时(或临时) Kafka 集群适合开发和测试目的,不适用于生产环境。此部署使用
emptyDir卷来存储代理信息(对于 ZooKeeper)和主题或分区(用于 Kafka)。使用emptyDir卷意味着其内容严格与 pod 生命周期相关,并在 pod 发生故障时删除。 - 持久性集群
持久性 Kafka 集群使用持久性卷来存储 ZooKeeper 和 Kafka 数据。使用
PersistentVolumeClaim来获取PersistentVolume,使其独立于PersistentVolume的实际类型。PersistentVolumeClaim可以使用StorageClass来触发自动卷置备。如果没有指定StorageClass,OpenShift 将尝试使用默认的StorageClass。以下示例显示了一些常见持久性卷类型:
- 如果您的 OpenShift 集群在 Amazon AWS 上运行,OpenShift 可以置备 Amazon EBS 卷
- 如果 OpenShift 集群在 Microsoft Azure 上运行,OpenShift 可以置备 Azure Disk Storage 卷
- 如果 OpenShift 集群在 Google Cloud 上运行,OpenShift 可以置备 Persistent Disk 卷
- 如果 OpenShift 集群在裸机上运行,OpenShift 可以置备本地持久性卷
示例 YAML 文件指定支持的最新 Kafka 版本,以及其支持的日志消息格式版本和 inter-broker 协议版本的配置。Kafka config 的 inter.broker.protocol.version 属性必须是指定的 Kafka 版本 (spec.kafka.version) 支持的版本。属性表示 Kafka 集群中使用的 Kafka 协议版本。
从 Kafka 3.0.0,当 inter.broker.protocol.version 设置为 3.0 或更高版本时,logging.message.format.version 选项会被忽略,不需要设置。
升级 Kafka 时需要对 inter.broker.protocol.version 的更新。
示例集群默认命名为 my-cluster。集群名称由资源名称定义,在部署集群后无法更改。要在部署集群前更改集群名称,请编辑相关 YAML 文件中的 Kafka 资源的 Kafka.metadata.name 属性。
默认集群名称和指定的 Kafka 版本
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: my-cluster
spec:
kafka:
version: 3.3.1
#...
config:
#...
log.message.format.version: "3.3"
inter.broker.protocol.version: "3.3"
# ...
流程
创建和部署临时或持久的集群。
创建和部署临时集群:
oc apply -f examples/kafka/kafka-ephemeral.yaml创建和部署持久集群:
oc apply -f examples/kafka/kafka-persistent.yaml
检查部署的状态:
oc get pods -n <my_cluster_operator_namespace>输出显示了 pod 名称和就绪度
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 my-cluster-kafka-0 1/1 Running 0 my-cluster-kafka-1 1/1 Running 0 my-cluster-kafka-2 1/1 Running 0 my-cluster-zookeeper-0 1/1 Running 0 my-cluster-zookeeper-1 1/1 Running 0 my-cluster-zookeeper-2 1/1 Running 0my-cluster是 Kafka 集群的名称。使用默认部署,您要安装一个 Entity Operator 集群、3 Kafka pod 和 3 ZooKeeper pod。
READY显示 ready/expected 的副本数量。当STATUS显示为Running时,部署成功。
6.3.2. 使用 Cluster Operator 部署 Topic Operator 复制链接链接已复制到粘贴板!
此流程描述了如何使用 Cluster Operator 部署主题 Operator。
您可以配置 Kafka 资源的 entityOperator 属性,使其包含 topicOperator。默认情况下,Topic Operator 会监视 Cluster Operator 部署的 Kafka 集群命名空间中的 KafkaTopic 资源。您还可以使用 Topic Operator spec 中的 watchedNamespace 指定一个命名空间。单个主题 Operator 可以监视单个命名空间。只应一个命名空间监视一个主题 Operator。
如果您使用 AMQ Streams 将多个 Kafka 集群部署到同一命名空间中,请只将一个 Kafka 集群启用 Topic Operator,或使用 watchedNamespace 属性来配置主题 Operator 以观察其他命名空间。
如果要将 topics Operator 与由 AMQ Streams 管理的 Kafka 集群一起使用,则必须将 Topic Operator 部署为独立组件。
有关配置 entityOperator 和 topicOperator 属性的更多信息,请参阅配置 Entity Operator。
流程
编辑
Kafka资源的entityOperator属性,使其包含topicOperator:apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: #... entityOperator: topicOperator: {} userOperator: {}使用
EntityTopicOperatorSpecschema reference 中所述的属性配置 Topic Operatorspec。如果您希望所有属性使用它们的默认值,请使用空对象(
{})。创建或更新资源:
oc apply -f <kafka_configuration_file>检查部署的状态:
oc get pods -n <my_cluster_operator_namespace>输出显示了 pod 名称和就绪度
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 # ...my-cluster是 Kafka 集群的名称。READY显示 ready/expected 的副本数量。当STATUS显示为Running时,部署成功。
6.3.3. 使用 Cluster Operator 部署 User Operator 复制链接链接已复制到粘贴板!
此流程描述了如何使用 Cluster Operator 部署 User Operator。
您可以配置 Kafka 资源的 entityOperator 属性,使其包含 userOperator。默认情况下,User Operator 会监视 Kafka 集群部署命名空间中的 KafkaUser 资源。您还可以使用 User Operator spec 中的 watchedNamespace 指定命名空间。单个用户 Operator 可以监视单个命名空间。只应该只监视一个用户 Operator 的命名空间。
如果要将 User Operator 与 AMQ Streams 管理的 Kafka 集群一起使用,则必须将 User Operator 部署为独立组件。
有关配置 entityOperator 和 userOperator 属性的更多信息,请参阅配置 Entity Operator。
流程
编辑
Kafka资源的entityOperator属性,使其包含userOperator:apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: #... entityOperator: topicOperator: {} userOperator: {}使用
EntityUserOperatorSpecschema reference 中所述的属性配置 User Operatorspec。如果您希望所有属性使用它们的默认值,请使用空对象(
{})。创建或更新资源:
oc apply -f <kafka_configuration_file>检查部署的状态:
oc get pods -n <my_cluster_operator_namespace>输出显示了 pod 名称和就绪度
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 # ...my-cluster是 Kafka 集群的名称。READY显示 ready/expected 的副本数量。当STATUS显示为Running时,部署成功。