5.2.3. 使用连接器插件扩展 Kafka Connect
Kafka Connect 的 AMQ Streams 容器镜像包括两个内置文件连接器,用于将基于文件的数据移入或移出 Kafka 集群。
文件连接器 | 描述 |
---|---|
| 从文件(源)传输数据到 Kafka 集群。 |
| 将数据从 Kafka 集群传输到文件(sink)。 |
本节中的步骤显示如何通过以下方法为连接器镜像添加您自己的连接器类:
5.2.3.1. 使用 AMQ Streams 自动创建新容器镜像 复制链接链接已复制到粘贴板!
此流程演示了如何配置 Kafka Connect,以便 AMQ Streams 自动使用额外的连接器构建新容器镜像。您可以使用 KafkaConnect
自定义资源的 .spec.build.plugins
属性定义连接器插件。AMQ 流将自动下载并将连接器插件添加到新容器镜像中。容器被推送到在 .spec.build.output
中指定的容器存储库中,并在 Kafka Connect 部署中自动使用。
先决条件
- 必须部署 Cluster Operator。
- 容器注册表.
您需要提供自己的容器 registry,从中推送、存储和从中拉取镜像。AMQ Streams 支持私有容器 registry,以及 Quay 或 Docker Hub 等公共 registry。
流程
通过指定容器 registry in
.spec.build.output 和额外的连接器 in.
spec.build.plugins
来配置KafkaConnect
自定义资源:Copy to Clipboard Copied! Toggle word wrap Toggle overflow 创建或更新资源:
oc apply -f KAFKA-CONNECT-CONFIG-FILE
$ oc apply -f KAFKA-CONNECT-CONFIG-FILE
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 等待新容器镜像构建,并且部署 Kafka Connect 集群。
- 使用 Kafka Connect REST API 或 KafkaConnector 自定义资源使用您添加的连接器插件。
其它资源
如需了解更多相关信息,请参阅 OpenShift 指南中的使用 AMQ Streams :