5.2.3. 使用连接器插件扩展 Kafka Connect


Kafka Connect 的 AMQ Streams 容器镜像包括两个内置文件连接器,用于将基于文件的数据移入或移出 Kafka 集群。

Expand
表 5.1. 文件连接器
文件连接器描述

FileStreamSourceConnector

从文件(源)传输数据到 Kafka 集群。

FileStreamSinkConnector

将数据从 Kafka 集群传输到文件(sink)。

本节中的步骤显示如何通过以下方法为连接器镜像添加您自己的连接器类:

重要

5.2.3.1. 使用 AMQ Streams 自动创建新容器镜像

此流程演示了如何配置 Kafka Connect,以便 AMQ Streams 自动使用额外的连接器构建新容器镜像。您可以使用 KafkaConnect 自定义资源的 .spec.build.plugins 属性定义连接器插件。AMQ 流将自动下载并将连接器插件添加到新容器镜像中。容器被推送到在 .spec.build.output 中指定的容器存储库中,并在 Kafka Connect 部署中自动使用。

先决条件

您需要提供自己的容器 registry,从中推送、存储和从中拉取镜像。AMQ Streams 支持私有容器 registry,以及 QuayDocker Hub 等公共 registry。

流程

  1. 通过指定容器 registry in .spec.build.output 和额外的连接器 in. spec.build.plugins 来配置 KafkaConnect 自定义资源:

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect-cluster
    spec: 
    1
    
      #...
      build:
        output: 
    2
    
          type: docker
          image: my-registry.io/my-org/my-connect-cluster:latest
          pushSecret: my-registry-credentials
        plugins: 
    3
    
          - name: debezium-postgres-connector
            artifacts:
              - type: tgz
                url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/1.3.1.Final/debezium-connector-postgres-1.3.1.Final-plugin.tar.gz
                sha512sum: 962a12151bdf9a5a30627eebac739955a4fd95a08d373b86bdcea2b4d0c27dd6e1edd5cb548045e115e33a9e69b1b2a352bee24df035a0447cb820077af00c03
          - name: camel-telegram
            artifacts:
              - type: tgz
                url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.7.0/camel-telegram-kafka-connector-0.7.0-package.tar.gz
                sha512sum: a9b1ac63e3284bea7836d7d24d84208c49cdf5600070e6bd1535de654f6920b74ad950d51733e8020bf4187870699819f54ef5859c7846ee4081507f48873479
      #...
    Copy to Clipboard Toggle word wrap
    1
    2
    (必需)配置推送新镜像的容器注册表。
    3
    (必需)要添加到新容器镜像的连接器插件及其工件列表。每个插件必须至少配置一个 工件
  2. 创建或更新资源:

    $ oc apply -f KAFKA-CONNECT-CONFIG-FILE
    Copy to Clipboard Toggle word wrap
  3. 等待新容器镜像构建,并且部署 Kafka Connect 集群。
  4. 使用 Kafka Connect REST API 或 KafkaConnector 自定义资源使用您添加的连接器插件。

其它资源

如需了解更多相关信息,请参阅 OpenShift 指南中的使用 AMQ Streams

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat