kafka高性能的底层原理分析
目录
1.磁盘顺序写
2.零拷贝
3.数据压缩
4.消息批量处理
5.pageCache
6.稀疏索引
总结
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。那么他是如何做到高性能的呢，本篇文章从宏观上分析一下，具体细节后续文章会持续更新，欢迎大家捧场阅读，希望能对你有所帮助。
1.磁盘顺序写
我们都知道，磁盘的随机IO非常慢， 7200rpm SATA RAID-5 顺序写速度可达 600MB/sec ，但是随机写速率 100k/sec，相差6000倍，kafka消息写入采用了顺序写。
2.零拷贝
传统的数据传输，需要经历用户态和内核态的4次切换，4次数据copy，如图
零拷贝，带有 DMA 收集拷贝功能的 sendfile 实现的 I/O使用了2次用户空间与内核空间的上下文切换，2次数据的拷贝，而且这2次的数据拷贝都是非CPU拷贝，这样就实现了最理想的零拷贝I/O传输了，不需要任何一次的CPU拷贝，即数据直接从内核缓冲区 copy 到网卡。如下图
3.数据压缩
支持压缩算法，如Gzip，Snappy，Lz4，Zstd。
压缩流程：Producer 压缩，broker 保持，consumer解压缩
4.消息批量处理
producer发送消息给broker，消息在producer端等待达到batch.size （默认值16k）时，才会发 送至broker端，减少网络IO，提升效率
5.pageCache
数据写入和读取时，调用了linux底层的sendfile机制，pageCache 页缓存通常是4k，用于提 高文件的读写效率的缓存页。
6.稀疏索引
日志文件类型：.log文件，index.log，timeIndex.log
索引文件目的是在高效查找分区内的位置，通过二分查找算法实现
总结
以上是从整体上总结了kafka支持高性能的6点原因，我们先从宏观上有个清晰的认知
具体每个原因的具体内部技术细节，后期会慢慢给大家分析