Kafka 生产者
目录
一、kafka生产者原理
二、kafka异步发送
配置kafka
创建对象，发送数据
带回调函数的异步发送
同步发送
三、kafka生产者分区
分区策略
指定分区：
指定key：
什么都不指定：
自定义分区器
四、生产者提高吞吐量
五、数据的可靠性
ACK应答级别
数据完全可靠条件
可靠性总结
代码中配置ACK
五、数据重复
幂等性
生产者事务
六、数据有序、乱序
数据有序
数据乱序
一、kafka生产者原理
main线程中创建生产者对象，然后调用send方法来发送数据，根据生产环境的需求来判断是否要增加拦截器（一般建议不用），因为是跨节点通信，所以要对数据进行序列化，用kafka自带的序列化器处理，再由分区器来规定数据发送到哪个分区，先发送到了一个缓存队列当中，队列大小是32M，其中每个批次默认大小是16k，达到16k后就会进入sender线程发送到kafka集群，或者等待时间到了也会自动发送，每一个broker节点接受一个队列的消息，发送到分区后，分区最多缓存5个请求，如果达到5个请求都没有ack应答的话，那么接下来消息就会发送到别的分区上。
通过Selector将底层链路进行打通进行发送数据，集群收到后进行一个副本的同步，同步完成后进行ack应答。
应答成功后清理队列中的数据
应答失败会进行retry重试
二、kafka异步发送
创建Maven工程导入kafka客户端依赖
导包
配置kafka
创建对象，发送数据
带回调函数的异步发送
同步发送
三、kafka生产者分区
分区策略
指定分区：
指定key：
什么都不指定：
怎么把订单表的数据发送到kafka的指定分区中？
key 上写表名，表名的hashcode值一定会发送到同一个分区（生产环境通常将表名作为key）
自定义分区器
在生产者中关联自定义分区器
在生产环境中可以过滤一些脏数据！
四、生产者提高吞吐量
压缩类型：
五、数据的可靠性
ACK应答级别
0的时候，数据发过来还没落盘就应答，结果leader挂了导致了数据丢失。
1的时候，数据发送过来，leader落盘后就会应答，生产者收到ack应答认为信息已经发送成功，随后就会清除掉队列中的消息，但是此时follwer可能还没完成同步，这个时候leader挂掉，就会有一个follwer成为新的leader，可是生产者已经认为信息发送成功从队列中清除了消息，这就导致了数据的丢失。
-1（all）：leader收到消息，并且所有follwer都完成消息同步后返回ack应答
follwer挂掉的话，等时间达到阈值还没向Leader发送通信请求或同步数据就会被踢出ISR，意味着这个follwer就不是有效副本了！
上面几种都有数据丢失的风险，如何真正保护数据的可靠性呢？
数据完全可靠条件
ack级别设置为-1，且至少1个leader+1个follwer，ISR里min.insync.replicas >= 2
可靠性总结
代码中配置ACK
五、数据重复
幂等性
生产者事务
六、数据有序、乱序
数据有序
数据乱序
