4.2.2. 使用连接器插件扩展 Kafka Connect
Kafka Connect 的 AMQ Streams 容器镜像包括两个内置文件连接器,用于将基于文件的数据移入或移出 Kafka 集群。
文件连接器 | 描述 |
---|---|
| 从文件(源)传输数据到 Kafka 集群。 |
| 将数据从 Kafka 集群传输到文件(sink)。 |
Cluster Operator 也可以使用您创建的镜像将 Kafka Connect 集群部署到 OpenShift 集群。
本节中的步骤显示如何通过以下方法为连接器镜像添加您自己的连接器类:
4.2.2.1. 从 Kafka Connect 基础镜像创建 Docker 镜像 复制链接链接已复制到粘贴板!
此流程演示了如何创建自定义镜像并将其添加到 /opt/kafka/plugins
目录中。
您可以使用 Red Hat Ecosystem Catalog 上的 Kafka 容器镜像作为基础镜像,以通过额外的连接器插件创建您自己的自定义镜像。
在启动时,Kafka Connect 的 AMQ Streams 版本加载 /opt/kafka/plugins
目录中包含的任何第三方连接器插件。
步骤
使用
registry.redhat.io/amq7/amq-streams-kafka-26-rhel7:1.6.7
作为基础镜像创建新的Dockerfile
:FROM registry.redhat.io/amq7/amq-streams-kafka-26-rhel7:1.6.7 USER root:root COPY ./my-plugins/ /opt/kafka/plugins/ USER 1001
FROM registry.redhat.io/amq7/amq-streams-kafka-26-rhel7:1.6.7 USER root:root COPY ./my-plugins/ /opt/kafka/plugins/ USER 1001
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 插件文件示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 构建容器镜像。
- 将自定义镜像推送到容器 registry。
指向新容器映像。
您可以:
编辑
KafkaConnect.spec.image
属性,即KafkaConnect
自定义资源。如果设置,此属性会覆盖 Cluster Operator 中的
STRIMZI_KAFKA_CONNECT_IMAGES
变量。Copy to Clipboard Copied! Toggle word wrap Toggle overflow 或
-
在
install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
文件中编辑STRIMZI_KAFKA_CONNECT_IMAGES
变量以指向新容器镜像,然后重新安装 Cluster Operator。
其他资源
如需了解更多相关信息,请参阅 OpenShift 指南中的使用 AMQ Streams :