8.2.2. 在分布式 Kafka Connect 中配置连接器
HTTP REST 接口
用于分布式 Kafka Connect 的连接器是使用 HTTP REST 接口配置的。REST 接口默认侦听端口 8083。它支持以下端点:
GET /connectors
- 返回现有连接器列表。
POST /connectors
- 创建连接器.请求正文必须是带有连接器配置的 JSON 对象。
GET /connectors/<name>
- 获取有关特定连接器的信息。
GET /connectors/<name>/config
- 获取特定连接器的配置。
PUT /connectors/<name>/config
- 更新特定连接器的配置。
GET /connectors/<name>/status
- 获取特定连接器的状态.
PUT /connectors/<name>/pause
- 暂停连接器及其所有任务。连接器将停止处理任何消息。
PUT /connectors/<name>/resume
- 恢复暂停的连接器。
POST /connectors/<name>/restart
- 如果连接器失败,请重新启动连接器。
DELETE /connectors/<name>
- 删除连接器.
GET /connector-plugins
- 获取所有支持的连接器插件的列表。
连接器配置
大多数配置选项都是特定的连接器,并包含在连接器的文档中。以下字段对所有连接器通用:
name
- 连接器的名称。必须在给定 Kafka Connect 实例中唯一。
connector.class
-
连接器插件的类。例如
org.apache.kafka.connect.file.FileStreamSinkConnector
。 tasks.max
- 此连接器使用的任务数量上限。任务由连接器用于并行工作。Connetors 可以创建比指定的任务更少的任务。
key.converter
-
用于将消息密钥转换为 Kafka 格式的类。这会覆盖 Kafka Connect 配置设置的默认值。例如:
org.apache.kafka.connect.json.JsonConverter
。 value.converter
-
用于将消息有效负载转换为 Kafka 格式的类。这会覆盖 Kafka Connect 配置设置的默认值。例如:
org.apache.kafka.connect.json.JsonConverter
。
另外,必须为 sink 连接器设置以下选项之一:
topics
- 用作输入的主题的逗号分隔列表。
topics.regex
- 用作输入的主题的 Java 正则表达式。
有关所有其他选项,请查看特定连接器的文档。
AMQ Streams 包括连接器配置文件示例。您可以在 AMQ Streams 安装目录中的 config/connect-file-sink.properties
和 config/connect-file-source.properties
中找到它们。