8.2.2. 在分布式 Kafka Connect 中配置连接器


HTTP REST 接口

用于分布式 Kafka Connect 的连接器是使用 HTTP REST 接口配置的。REST 接口默认侦听端口 8083。它支持以下端点:

GET /connectors
返回现有连接器列表。
POST /connectors
创建连接器.请求正文必须是带有连接器配置的 JSON 对象。
GET /connectors/<name>
获取有关特定连接器的信息。
GET /connectors/<name>/config
获取特定连接器的配置。
PUT /connectors/<name>/config
更新特定连接器的配置。
GET /connectors/<name>/status
获取特定连接器的状态.
PUT /connectors/<name>/pause
暂停连接器及其所有任务。连接器将停止处理任何消息。
PUT /connectors/<name>/resume
恢复暂停的连接器。
POST /connectors/<name>/restart
如果连接器失败,请重新启动连接器。
DELETE /connectors/<name>
删除连接器.
GET /connector-plugins
获取所有支持的连接器插件的列表。

连接器配置

大多数配置选项都是特定的连接器,并包含在连接器的文档中。以下字段对所有连接器通用:

name
连接器的名称。必须在给定 Kafka Connect 实例中唯一。
connector.class
连接器插件的类。例如 org.apache.kafka.connect.file.FileStreamSinkConnector
tasks.max
此连接器使用的任务数量上限。任务由连接器用于并行工作。Connetors 可以创建比指定的任务更少的任务。
key.converter
用于将消息密钥转换为 Kafka 格式的类。这会覆盖 Kafka Connect 配置设置的默认值。例如: org.apache.kafka.connect.json.JsonConverter
value.converter
用于将消息有效负载转换为 Kafka 格式的类。这会覆盖 Kafka Connect 配置设置的默认值。例如: org.apache.kafka.connect.json.JsonConverter

另外,必须为 sink 连接器设置以下选项之一:

topics
用作输入的主题的逗号分隔列表。
topics.regex
用作输入的主题的 Java 正则表达式。

有关所有其他选项,请查看特定连接器的文档。

AMQ Streams 包括连接器配置文件示例。您可以在 AMQ Streams 安装目录中的 config/connect-file-sink.propertiesconfig/connect-file-source.properties 中找到它们。

Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.