3.7. 圧縮の効率的なディスク使用率の管理

圧縮ポリシーとログクリーナーを使用して Kafka でトピックログを処理する場合は、メモリー割り当ての最適化を検討してください。

deduplication プロパティー (dedupe.buffer.size) を使用してメモリー割り当てを微調整でき、すべてのログクリーナースレッド全体でクリーンアップタスクに割り当てられる合計メモリーが決まります。さらに、buffer.load.factor プロパティーでパーセンテージを定義することで、最大メモリー使用量制限を設定できます。

# ...
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.io.buffer.load.factor=0.9
# ...

各ログエントリーは正確に 24 バイトを使用するため、バッファーが 1 回の実行で処理できるログエントリーの数を計算し、それに応じて設定を調整できます。

可能であれば、ログのクリーニング時間を短縮する場合は、ログクリーナースレッドの数を増やすことを検討してください。

# ...
log.cleaner.threads=8
# ...

ディスク帯域幅の使用率が 100% で問題が発生している場合は、読み書き操作の合計が、操作を実行するディスクの機能に基づいて指定された値の 2 倍未満になるように、ログクリーナーの I/O を調整できます。

# ...
log.cleaner.io.max.bytes.per.second=1.7976931348623157E308
# ...