3.7. 管理高效的压缩磁盘利用率

当使用紧凑策略和日志清理器时，在 Kafka 中处理主题日志，请考虑优化内存分配。

您可以使用 deduplication 属性(dedupe.buffer.size)微调内存分配，它决定了为所有日志清理任务分配的内存总量。另外，您可以通过通过 buffer.load.factor 属性定义百分比来建立最大内存用量限制。

...
...

# ...
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.io.buffer.load.factor=0.9
# ...

每个日志条目都使用 24 字节，以便您可以处理缓冲区可以在单一运行中处理多少个日志条目，并相应地调整设置。

如果要减少日志清理时间，请考虑增加日志清理线程数量：

...
...

# ...
log.cleaner.threads=8
# ...

如果您遇到 100% 磁盘带宽使用情况的问题，您可以节流日志清理 I/O，以便读/写操作的总和小于执行操作的磁盘功能的指定双值：

...
...

# ...
log.cleaner.io.max.bytes.per.second=1.7976931348623157E308
# ...