3.4. 通过增加 I/O 线程改进请求处理吞吐量

网络线程处理对 Kafka 集群的请求，如生成并从客户端应用程序获取请求。生成请求放置在请求队列中。响应放置在响应队列中。

每个监听器的网络线程数量应该反映复制因素以及客户端制作者和与 Kafka 集群交互的用户的活动级别。如果您要有大量请求，您可以增加线程数量，使用时间线程数来确定何时添加更多线程。

要减少拥塞和规范请求流量，您可以限制请求队列中允许的请求数量。当请求队列已满时，所有传入的流量都会被阻断。

I/O 线程从请求队列获取请求来处理它们。添加更多线程可以提高吞吐量，但 CPU 内核和磁盘带宽的数量会带来实际的上限。至少，I/O 线程数量应该等于存储卷的数量。

...
...

# ...
num.network.threads=3 

queued.max.requests=500 

num.io.threads=8 

num.recovery.threads.per.data.dir=4 

# ...

所有代理的线程池的配置更新可能会在集群级别动态发生。这些更新仅限于当前大小为一半和当前大小的两倍。

如果线程因为磁盘数量缓慢或限制，您可以尝试增加网络请求的缓冲区大小来提高吞吐量：

...
...

# ...
replica.socket.receive.buffer.bytes=65536
# ...

另外，增加 Kafka 可以接收的最大字节数：

...
...

# ...
socket.request.max.bytes=104857600
# ...