Kafka速度快的原因爲:
1、partition 並行處理,寫入數據的時候由於單個Partion是末尾添加所以速度最優。
2、順序寫入,磁盤順序讀寫速度超過內存隨機讀寫,充分利用磁盤特性。
3、批量壓縮檔案,利用了現代操作系統分頁存儲 Page Cache 來利用內存提高 I/O 效率。
4、透過mmap實現順序的快速寫入,提高I/O速度。
5、讀取數據時採用 sendfile,減少 CPU 消耗。