使用 AMQ Streams Kafka Bridge

流程

1. 如果您还没有这样做，将 Kafka Bridge 安装存档解压缩到任何目录中。

2. 使用配置属性作为参数运行 Kafka Bridge 脚本：

   例如：

   ./bin/kafka_bridge_run.sh --config-file=<path>/application.properties

3. 检查日志中的安装是否成功。

   HTTP-Kafka Bridge started and listening on port 8080
   HTTP-Kafka Bridge bootstrap servers localhost:9092

流程

1. 使用 Kafka Bridge，为您创建的主题生成三个信息：

   curl -X POST \
     http://localhost:8080/topics/bridge-quickstart-topic \
     -H 'content-type: application/vnd.kafka.json.v2+json' \
     -d '{
       "records": [
           {
               "key": "my-key",
               "value": "sales-lead-0001"
           },
           {
               "value": "sales-lead-0002",
               "partition": 2
           },
           {
               "value": "sales-lead-0003"
           }
       ]
   }'

   • Sales-lead-0001 根据密钥的哈希发送到分区。
   • Sales-lead-0002 直接发送到分区 2。
   • Sales-lead-0003 使用 round-robin 方法发送到 bridge-quickstart-topic 主题中的分区。

2. 如果请求成功，Kafka Bridge 会返回 偏移 数组，以及 200 代码和 application/vnd.kafka.v2+json 的 content-type 标头。对于每个消息，偏移 数组描述：

   • 消息发送到的分区

   • 分区的当前消息偏移

     响应示例

     #...
     {
       "offsets":[
         {
           "partition":0,
           "offset":0
         },
         {
           "partition":2,
           "offset":0
         },
         {
           "partition":0,
           "offset":1
         }
       ]
     }

流程

1. 在名为 bridge-quickstart-consumer-group 的新消费者组中创建一个 Kafka Bridge 使用者：

   curl -X POST http://localhost:8080/consumers/bridge-quickstart-consumer-group \
     -H 'content-type: application/vnd.kafka.v2+json' \
     -d '{
       "name": "bridge-quickstart-consumer",
       "auto.offset.reset": "earliest",
       "format": "json",
       "enable.auto.commit": false,
       "fetch.min.bytes": 512,
       "consumer.request.timeout.ms": 30000
     }'

   • 消费者命名为 bridge-quickstart-consumer，嵌入式数据格式被设置为 json。
   • 定义了一些基本配置设置。

   • 消费者不会自动向日志提交偏移，因为 enable.auto.commit 设置为 false。稍后，您将在此快速入门中手动提交偏移。

     如果请求成功，Kafka Bridge 会返回响应正文中的消费者 ID (instance_id)和基础 URL (base_uri)，以及 200 代码。

     响应示例

     #...
     {
       "instance_id": "bridge-quickstart-consumer",
       "base_uri":"http://<bridge_id>-bridge-service:8080/consumers/bridge-quickstart-consumer-group/instances/bridge-quickstart-consumer"
     }

2. 复制本快速入门中其他消费者操作使用的基本 URL (base_uri)。

流程

1. 为 Kafka Bridge 使用者生成额外消息，如在 主题和分区中修复消息 中所述。

2. 将 GET 请求提交到 记录 端点：

   curl -X GET http://localhost:8080/consumers/bridge-quickstart-consumer-group/instances/bridge-quickstart-consumer/records \
     -H 'accept: application/vnd.kafka.json.v2+json'

   创建并订阅 Kafka Bridge 使用者后，第一个 GET 请求会返回一个空响应，因为轮询操作会启动重新平衡过程来分配分区。

3. 重复步骤 2，以从 Kafka Bridge 使用者检索信息。

   Kafka Bridge 返回一条消息，其中包含主题名称、键、值、分区和偏移，以及响应正文中的 200 代码。默认情况下，消息从最新的偏移中检索。

   HTTP/1.1 200 OK
   content-type: application/vnd.kafka.json.v2+json
   #...
   [
     {
       "topic":"bridge-quickstart-topic",
       "key":"my-key",
       "value":"sales-lead-0001",
       "partition":0,
       "offset":0
     },
     {
       "topic":"bridge-quickstart-topic",
       "key":null,
       "value":"sales-lead-0003",
       "partition":0,
       "offset":1
     },
   #...

   注意

   如果返回空响应，请为消费者生成更多记录，如 将消息到主题和分区 中所述，然后尝试再次检索消息。

流程

1. 查找 quickstart-bridge-topic 主题的分区 0 的特定偏移：

   curl -X POST http://localhost:8080/consumers/bridge-quickstart-consumer-group/instances/bridge-quickstart-consumer/positions \
     -H 'content-type: application/vnd.kafka.v2+json' \
     -d '{
       "offsets": [
           {
               "topic": "bridge-quickstart-topic",
               "partition": 0,
               "offset": 2
           }
       ]
   }'

   如果请求成功，Kafka Bridge 只返回一个 204 代码。

2. 将 GET 请求提交到 记录 端点：

   curl -X GET http://localhost:8080/consumers/bridge-quickstart-consumer-group/instances/bridge-quickstart-consumer/records \
     -H 'accept: application/vnd.kafka.json.v2+json'

   Kafka Bridge 从您找到的偏移返回信息。

3. 通过查找同一分区的最后一个偏移来恢复默认消息检索行为。此时，使用 位置/端点。

   curl -X POST http://localhost:8080/consumers/bridge-quickstart-consumer-group/instances/bridge-quickstart-consumer/positions/end \
     -H 'content-type: application/vnd.kafka.v2+json' \
     -d '{
       "partitions": [
           {
               "topic": "bridge-quickstart-topic",
               "partition": 0
           }
       ]
   }'

   如果请求成功，Kafka Bridge 会返回另一个 204 代码。

流程

1. 编辑 Kafka Bridge 安装存档提供的 application.properties 文件。

   使用属性文件指定 Kafka 和 HTTP 相关属性。

   1. 配置标准的 Kafka 相关属性，包括特定于 Kafka 使用者和制作者的属性。

      使用：

      • kafka.bootstrap.servers 以定义到 Kafka 集群的主机/端口连接
      • kafka.producer.acks 为 HTTP 客户端提供确认

      • kafka.consumer.auto.offset.reset，以确定如何在 Kafka 中管理偏移的重置

        有关配置 Kafka 属性的更多信息，请参阅 Apache Kafka 网站

   2. 配置与 HTTP 相关的属性，以启用对 Kafka 集群的 HTTP 访问。

      例如：

      bridge.id=my-bridge
      http.host=0.0.0.0
      http.port=8080 1
      http.cors.enabled=true 2
      http.cors.allowedOrigins=https://strimzi.io 3
      http.cors.allowedMethods=GET,POST,PUT,DELETE,OPTIONS,PATCH 4

      1

      Kafka Bridge 侦听端口 8080 的默认 HTTP 配置。

      2

      设置为 true 以启用 CORS。

      3

      以逗号分隔的 CORS 源列表。您可以使用 URL 或 Java 正则表达式。

      4

      CORS 允许 HTTP 方法的逗号分隔列表。

2. 保存配置文件。

流程

1. 编辑 Kafka Bridge 安装存档提供的 application.properties 文件。

   使用 bridge.tracing 属性启用您要使用的追踪。

   启用 OpenTelemetry 的配置示例

   #bridge.tracing=jaeger 1
   bridge.tracing=opentelemetry 2

   1

   启用 OpenTracing 的属性（已弃用）。这里保留评论信息。

   2

   启用 OpenTelemetry 的属性被取消注释。

   启用追踪后，您可以在运行 Kafka Bridge 脚本时初始化追踪。

2. 保存配置文件。

3. 设置用于追踪的环境变量。

   OpenTelemetry 的环境变量

   OTEL_SERVICE_NAME=my-tracing-service 1
   OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4317 2

   1

   OpenTelemetry tracer 服务的名称。

   2

   侦听端口 4317 上的基于 gRPC 的 OTLP 端点。

   OpenTracing 的环境变量

   JAEGER_SERVICE_NAME=my-jaeger-service 1
   JAEGER_AGENT_HOST=localhost 2
   JAEGER_AGENT_PORT=6831 3

   1

   OpenTracing Jaeger tracer 服务的名称。

   2

   用于与侦听 span 的 Jaeger 代理通信的主机名。

   3

   与 Jaeger 代理通信的端口。端口 6831 由 Jaeger 代理公开。

4. 使用启用了用于追踪的属性运行 Kafka Bridge 脚本：

   运行启用了 OpenTelemetry 的 Kafka Bridge

   ./bin/kafka_bridge_run.sh --config-file=<path>/application.properties

   Kafka Bridge 的内部使用者和制作者现在被启用以进行追踪。