第 15 章 连接到 Kafka


Apache Kafka 是一个分布式流平台,可用于获取和发布数据。在集成中,您可以从您指定的 Kafka 主题订阅数据,或将数据发布到您指定的 Kafka 主题。要做到这一点,创建一个到 Kafka 的连接,并将该连接添加到集成流中。详情包括在以下主题中:

15.1. 创建到 Kafka 代理的连接

在集成中,若要从 Kafka 主题订阅数据或将数据发布到 Kafka 主题,请创建一个到 Kafka 的连接,然后将该连接添加到集成。

前提条件

  • 如果要使用传输层安全(TLS)加密数据,则具有 Kafka 代理的 PEM 证书文本。通常,您可以从 Kafka 服务器管理员获取代理证书文本。

流程

  1. 在 Fuse Online 中,在左侧面板中,单击 Connections 以显示任何可用连接。
  2. Create Connection 以显示连接器。
  3. Kafka Message Broker 连接器。
  4. Kafka broker URIs 字段中,选择您希望此连接访问的代理,或者输入以逗号分隔的 Kafka 代理 URI 列表。每个 URI 的格式应为 host:port
  5. 对于 Transport Protocol 字段,请选择以下选项之一:

    • 如果要加密数据以便在传输中保护数据,请选择 TLS (传输层安全)。
    • 如果您不想加密您的数据,请选择 Plain,然后跳至第 7 步。
  6. 如果您在 Step 5 中选择了 TLS,然后在 Broker 证书 字段中粘贴 Kafka 代理的 PEM 证书文本。
  7. 可选的。点 Add 指定 key:value 对来配置 Kafka producer 和 consumer 选项。

    例如,如果要使用新集成来消耗来自主题的旧消息,请将 auto.offset.reset 值从默认值(latest)改为 earliest,为 Value 字段输入 auto.offset.reset,并在 Value 字段显示 earliest

    有关 Kafka producer 配置选项的详情,请访问 https://kafka.apache.org/documentation/#producerconfigs

    有关 Kafka 消费者配置选项的详情,请参考 https://kafka.apache.org/documentation/#consumerconfigs

    注: 如果您添加配置属性,Fuse Online 不会在下一步中将它们包含在验证过程中。

  8. 单击 Validate。Fuse Online 立即尝试验证连接并显示一条消息,指示验证是否成功。如果验证失败,请重新发布输入参数并重试。
  9. 如果验证成功,请单击 Next
  10. Name 字段中输入您选择的名称,可帮助您将这个连接与任何其他连接区分开来。例如,您可以键入 Kafka West
  11. Description 字段中,输入有助于了解此连接的任何信息。
  12. Save 查看您创建的连接现在可用。如果您输入了示例名称,您会看到 Kafka West 显示为可添加到集成的连接。
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.