6.2. 部署 Kafka Connect

流程

1. 通过在 .spec.build.output 中指定容器 registry 和 .spec. build.plugins 中的其他连接器来配置 KafkaConnect 自定义资源：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnect
   metadata:
     name: my-connect-cluster
   spec: 

   1

   
     #...
     build:
       output: 

   2

   
         type: docker
         image: my-registry.io/my-org/my-connect-cluster:latest
         pushSecret: my-registry-credentials
       plugins: 

   3

   
         - name: debezium-postgres-connector
           artifacts:
             - type: tgz
               url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/1.3.1.Final/debezium-connector-postgres-1.3.1.Final-plugin.tar.gz
               sha512sum: 962a12151bdf9a5a30627eebac739955a4fd95a08d373b86bdcea2b4d0c27dd6e1edd5cb548045e115e33a9e69b1b2a352bee24df035a0447cb820077af00c03
         - name: camel-telegram
           artifacts:
             - type: tgz
               url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.7.0/camel-telegram-kafka-connector-0.7.0-package.tar.gz
               sha512sum: a9b1ac63e3284bea7836d7d24d84208c49cdf5600070e6bd1535de654f6920b74ad950d51733e8020bf4187870699819f54ef5859c7846ee4081507f48873479
     #...

   Copy to Clipboard Toggle word wrap

   1

   Kafka Connect 集群的规格。

   2

   （必需）推送新镜像的容器注册表的配置。

   3

   （必需）连接器插件列表及其要添加到新容器镜像的工件。每个插件必须至少配置一个 工件。

2. 创建或更新资源：

   $ oc apply -f KAFKA-CONNECT-CONFIG-FILE

   Copy to Clipboard Toggle word wrap
3. 等待新容器镜像构建，然后部署 Kafka Connect 集群。
4. 使用 Kafka Connect REST API 或 KafkaConnector 自定义资源使用您添加的连接器插件。

流程

1. 使用 registry.redhat.io/amq7/amq-streams-kafka-32-rhel8:2.2.2 作为基础镜像，创建一个新的 Dockerfile ：

   FROM registry.redhat.io/amq7/amq-streams-kafka-32-rhel8:2.2.2
   USER root:root
   COPY ./my-plugins/ /opt/kafka/plugins/
   USER 1001

   Copy to Clipboard Toggle word wrap

   插件文件示例

   $ tree ./my-plugins/
   ./my-plugins/
   ├── debezium-connector-mongodb
   │   ├── bson-3.4.2.jar
   │   ├── CHANGELOG.md
   │   ├── CONTRIBUTE.md
   │   ├── COPYRIGHT.txt
   │   ├── debezium-connector-mongodb-0.7.1.jar
   │   ├── debezium-core-0.7.1.jar
   │   ├── LICENSE.txt
   │   ├── mongodb-driver-3.4.2.jar
   │   ├── mongodb-driver-core-3.4.2.jar
   │   └── README.md
   ├── debezium-connector-mysql
   │   ├── CHANGELOG.md
   │   ├── CONTRIBUTE.md
   │   ├── COPYRIGHT.txt
   │   ├── debezium-connector-mysql-0.7.1.jar
   │   ├── debezium-core-0.7.1.jar
   │   ├── LICENSE.txt
   │   ├── mysql-binlog-connector-java-0.13.0.jar
   │   ├── mysql-connector-java-5.1.40.jar
   │   ├── README.md
   │   └── wkb-1.0.2.jar
   └── debezium-connector-postgres
       ├── CHANGELOG.md
       ├── CONTRIBUTE.md
       ├── COPYRIGHT.txt
       ├── debezium-connector-postgres-0.7.1.jar
       ├── debezium-core-0.7.1.jar
       ├── LICENSE.txt
       ├── postgresql-42.0.0.jar
       ├── protobuf-java-2.6.1.jar
       └── README.md

   Copy to Clipboard Toggle word wrap

   注意

   这个示例为 MongoDB、MySQL 和 PostgreSQL 使用 Debezium 连接器。在 Kafka Connect 中运行的 Debezium 与任何其他 Kafka Connect 任务相同。

2. 构建容器镜像。
3. 将自定义镜像推送到容器 registry。

4. 指向新的容器镜像。

   您可以：

   • 编辑 KafkaConnect 自定义资源的 KafkaConnect.spec.image 属性。

     如果设置，此属性会覆盖 Cluster Operator 中的 STRIMZI_KAFKA_CONNECT_IMAGES 变量。

     apiVersion: kafka.strimzi.io/v1beta2
     kind: KafkaConnect
     metadata:
       name: my-connect-cluster
     spec: 

     1

     
       #...
       image: my-new-container-image 

     2

     
       config: 

     3

     
         #...

     Copy to Clipboard Toggle word wrap

     1

     Kafka Connect 集群的规格。

     2

     pod 的 docker 镜像。

     3

     配置 Kafka Connect worker （而非连接器）。

     或者

   • 在 install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml 文件中，编辑 STRIMZI_KAFKA_CONNECT_IMAGES 变量以指向新容器镜像，然后重新安装 Cluster Operator。