3.4. 通过增加 I/O 线程来提高请求处理吞吐量
网络绑定处理到 Kafka 集群的请求,如从客户端应用程序生成和获取请求。生成请求放置在请求队列中。响应放置在响应队列中。
每个监听器的网络线程数量应该反映复制因素以及客户端制作者和与 Kafka 集群交互的用户的活动级别。如果您要有大量请求,您可以使用时间线程量来决定何时添加更多线程。
要减少拥塞并规范请求流量,您可以限制请求队列中允许的请求数。当请求队列已满时,所有传入的流量都会被阻断。
I/O 线程从请求队列中获取请求来处理它们。添加更多线程可以提高吞吐量,但 CPU 内核和磁盘带宽的数量会产生实际上限。至少,I/O 线程数量应该等于存储卷的数量。
对所有代理的线程池的配置更新可能会在集群级别动态发生。这些更新仅限于当前大小的一半和当前大小的两倍。
提示
以下 Kafka 代理指标可帮助处理所需的线程数量:
-
kafka.network:type=SocketServer,name=NetworkProcessorAvgIdlePercent
提供平均时间网络线程的指标作为百分比。 -
kafka.server:type=KafkaRequestHandlerPool,name=RequestHandlerAvgIdlePercent
提供平均 I/O 线程闲置为百分比的指标。
如果有 0% 的空闲时间,所有资源都被使用,这意味着添加更多线程可能很有用。当闲置时间低于 30% 时,性能可能会开始下降。
如果因为磁盘数量导致线程缓慢或有限,您可以尝试增加缓冲区的大小来提高吞吐量:
... ...
# ...
replica.socket.receive.buffer.bytes=65536
# ...
另外,增加 Kafka 可以接收的最大字节数:
... ...
# ...
socket.request.max.bytes=104857600
# ...