一、Kafka入门
一、消息中间件
1、为什么使用消息中间件？
| 异步 |
| 解耦 |
| 削峰填谷 |
2、异步
3、解耦
异步处理使整个数据操作流程解耦，如果短信服务或者积分服务异常，不影响前面重要的功能。
面试问题点：
所以尽量将不重要的服务放到下游，且不要产生依赖关系，如果下游服务产生耦合，那么这里的异步操作将失去意义。
4、削峰填谷
双十一秒杀、春节12306场景有流量洪峰，但是后端服务器短时间内无法处理大量请求，使用消息中间件可以缓存涌入进来的大量请求，后端服务慢慢消费这些请求，尽最大努力处理请求。
也不用为了这些“偶然”场景去搭建更高性能的服务集群，节约成本。
5、开发解耦
使用MQ可以避免直接调用接口。
如果B还未提供接口，A也不必等着
二、Kafka安装与配置
1、下载
Apache Kafka
2、解压
上传到Linux虚拟机，我这里使用的是阿里云服务器。
3、使用zookeeper启动
进入kafka的bin目录，编写两个启动脚本，一个启动zookeeper，一个启动kafka。
# 启动zookeeper脚本
#!/bin/bash
source /root/kafka/kafka_2.13-3.8.0/bin/zookeeper-server-start.sh /root/kafka/kafka_2.13-3.8.0/config/zookeeper.properties &# 启动kafka脚本
#!/bin/bash
source /root/kafka/kafka_2.13-3.8.0/bin/kafka-server-start.sh /root/kafka/kafka_2.13-3.8.0/config/server.properties &4、直接启动
1）获取kafka唯一标识
# 获取kafka唯一标识
sh kafka-storage.sh random-uuid
使用uuid方式启动kafka后，可以看到返回一个uuid，这个uuid是kafka集群中节点的唯一标识。
2）格式化存储目录
sh kafka-storage.sh format -t 25Z4D7QnRBKhQlw-VcDd8A -c ../config/kraft/server.properties
把相关的存储目录格式化，保存数据文件。
3）启动kafka
sh kafka-server-start.sh ../config/kraft/server.properties三、kafka的命令
1、topic - 主题
kafka-topics.sh
# 创建主题
sh kafka-topics.sh --bootstrap-server localhost:9092 --create --topic allwe-topic --replication-factor 1 --partitions 8# 查询主题
sh kafka-topics.sh --bootstrap-server localhost:9092 --list# 查询主题明细
sh kafka-topics.sh --bootstrap-server localhost:9092 --describe2、生产者
kafka-console-producer.sh
# 启动生产者 - 指定一个主题
sh kafka-console-producer.sh --broker-list localhost:9092 --topic allwe-topic3、消费者
kafka-console-consumer.sh
# 启动消费者 - 指定一个主题
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic allwe-topic --from-beginning --consumer.config ../config/consumer.properties四、kafka中的基本概念
1、主题和分区
主题：表示一类消息。
分区：认为是一个文件。可以理解为一个分区就是一个队列。
分区的意义：提高消费的并发程度。由于消费消息相对于生产消息很慢，可以增加分区去提高消费的并发度，从而平衡生产和消费的速度。
2、消息和批次
kafka内部只存储byte数组，消费者取消息时也只是取byte数组。
对于很大的数据，kafka会将这个大的数据分为多段小的数据，分批次发送。
3、生产者和消费者
生产者生产消息
消费者消费消息
4、偏移量、消费者群组
消费者根据偏移量确定上次消费到哪了，拿着偏移量继续消费。
当启动多个消费者时，可以组成一个消费者群组。
在群组消费者群组场景下，每个分区的消息只能由一个消费者消费，但是一个消费者可以消费多个分区的消息。这样做的目的是确保消息的顺序。
5、kafka中生产和消费流程
6、kafka硬件配置的选择
磁盘：非常依赖磁盘
吞吐量：存储消息的速度。
容量：堆积消息的能力，只有达到一定条件才会删除过时文件。
网络：比较依赖网络，网络的吞吐量对kafka集群的影响很大。
内存：影响消费速度，需要将数据从磁盘拿到内存中进行消费。建议单独部署。
CPU：依赖性不强
7、配置文件
server.properties
# 配置为正数。在集群场景下，如果出现网络ip变化，有了这个参数就不用担心
broker.id=0 # 配置kafka的端口号
listeners=PLAINTEXT://localhost:9092# 网络请求线程数
num.network.threads=3# 数据存储目录
log.dirs=/tmp/kafka-logs# 创建主题时，默认分区数
num.partitions=1# 在重启或启动时，加载数据的线程数，建议和cpu核数对应
num.recovery.threads.per.data.dir=1# 配置日志保存时间，默认是168小时，过期自动清理
log.retention.hours=168# 如果以zookeeper启动，指定zookeeper的ip+port
zookeeper.connect=localhost:2181