kafka的leader和follower
leader和follower
kafka的leader和follower是相对于分区有意义的，不是相对于broker。
因为每个分区都有leader和follower,
leader负责读写数据。
follower负责复制leader的数据保存到自己的日志数据中，并在leader挂掉后重新选举出leader。
kafka会再创建topic的时候尽量让分配分区的leader在不同的broker中，就是负载均衡。
与Zookeeper区分
zookeeper的leader负责读写，follower可以读取。
kafka的leader负责读写，follower不能读写数据(确保每个消费者消费的数据是一致的)，kafka一个topic有多个分区leader，一样可以实现负载均衡。
AR/ISR/OSR
kafka的follower可以分为三类：AR ISR OSR
- AR(Assigned Replicas)表示一个topic下的所有副本。
- ISR(In-Sync Replicas)表示一个topic下正在同步的副本。
- OSR表示(OUT-SYNC-Replicas)不再同步的副本。
AR=ISR+OSR
查看分区的ISR
使用Kafka Eagle查看某个Topic的partition的ISR有哪几个节点。
partition是创建的topic为test的 0 1 2 三个分区。
Log Size是日志文件的大小
Leader是leader副本在那个broker节点上
Replicas是它的副本在哪些broker节点上。
In sync Replicas是正在同步的副本（包括leader）
尝试关闭id为0的broker（杀掉该broker的进程），参看topic的ISR情况。
leader的选举
leader的选举对于消息的写入以及读取非常关键，此时有两个疑问：
- kafka是如何确定partition的哪个副本是leader，那个副本是follower呢？
- 某个leader崩溃后，怎么快速确定另一个leader呢？因为Kafka的吞吐量很高、延迟很低，所以选举leader必须非常快
leader崩溃，kafka如果处理
使用Kafka Eagle找到某个partition的leader，再找到leader所在的broker。在Linux中强制杀掉该Kafka的进程，然后观察leader的情况。
通过观察，我们发现，leader在崩溃后，Kafka又从其他的follower中快速选举出来了leader。
Controller
- kafka启动的时候，会在所有的broker中选举出controller
- 前面的leader和follower是针对partition的副本，而controller是针对broker的。
- 创建topic或者添加分区，修改副本数量之类的管理任务都是交给controller完成的。
- kafka分区leader的选举，也是由controller决定的。
Controller的选举
- 在kafka集群启动的时候，每个broker都会尝试去Zookeeper上注册为controller（ZK临时节点）
- 但是只有一个竞争成功，其他的broker会注册该节点的监视器。
- 一但节点的状态发生变化，就可以进行处理。
- Controller也是高可用的，一旦某个broker崩溃，其他的broker会重新注册为Controller。
Controller选举partition的leader
- 所有Partition的leader选举都由controller决定.
- controller会将leader的改变通过RPC的方式通知需要为此做出响应的Broker
- controller读取当前分区的ISR,只要有一个Replica还幸存，就选择其中一个作为leader。
- 如果该partition的所有Replica都已经宕机，则新的leader为-1
为什么不通过ZK的方式进行选举？
如果kafka是居于ZK进行选举，ZK的压力比较大，例如某个节点崩溃，这个节点上不仅仅只有一个leader，是有不少的leader需要选举，通过ISR可以快速选举。
leader的负载均衡
kafka中引入Preferred Replica的概念，意思是优先的Replica。
在ISR中第一个replica就是preferred-replica.
副本存放的第一个broker，肯定就是preferred-replica
执行以下脚本可以将preferred-replica设置为leader，均匀分配每个分区的leader。
./kafka-leader-election.sh --bootstrap-server node1.itcast.cn:9092 --topic 主题 --partition=1 --election-type preferred