如何在多台Linux虚拟机上安装和配置Kafka集群

Kafka是一个高性能、分布式的流处理平台，被广泛应用于大规模实时数据处理场景。它具有高吞吐量、低延迟和可水平扩展等特点，能够有效地处理海量数据流。为了提高Kafka的可用性和容错性，通常会在多个节点上部署Kafka集群。在这个指南中，我们将介绍如何在多台Linux虚拟机上安装和配置Kafka集群，以便你能够快速搭建一个高可用的数据流处理平台。在本教程中，我们将使用Apache Kafka 2.8.0版本，并以三个节点的集群为例进行说明。让我们开始吧！

前置准备：

配置多台Linux虚拟机参考：如何准备多台虚拟机并配置集群化软件-CSDN博客

安装jdk: 如何在Linux虚拟机上安装和配置JDK-CSDN博客

安装zookeeper集群：如何在多台Linux虚拟机上安装和配置Zookeeper集群-CSDN博客

 1. 【node1】下载并上传kafka

wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

2. 【node1】解压

mkdir -p /export/server
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

3. 创建软链接

ln -s /export/server/kafka_2.12-2.4.1/export/server/kafka

4. 【node1】修改Kafka目录内的config目录内的server.properties文件

cd /export/server/kafka/config
vi server.properties

修改部分：

# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

5.  【node1】将node1的kafka复制到node2和node3

 【node2、node3】如果node2、node3没有文件夹需要先创建

mkdir -p /export/server

 【node1】将node1的kafka复制到node2和node3

cd /export/server
scp -r kafka_2.12-2.4.1 node2:`pwd`/
scp -r kafka_2.12-2.4.1 node3:`pwd`/

6. 【node2】重复node1的操作

1. 【node2】创建软链接

ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

2. 【node2】修改Kafka目录内的config目录内的server.properties文件

vi /export/server/kafka/config/server.properties

修改部分： 

# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

7. 【node3】重复node1(node2)的操作

1. 【node3】创建软链接

ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

2. 【node3】修改Kafka目录内的config目录内的server.properties文件

vi /export/server/kafka/config/server.properties

修改部分：

# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

8. 启动kafka

注意：请先确保Zookeeper已经启动

方式1:【前台启动】分别在node1、2、3上执行如下语句

/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

方式2:【后台启动】分别在node1、2、3上执行如下语句

nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

9. 验证kafka启动

jps

10. 测试Kafka能否正常使用

1. 创建测试主题

/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

 2. 运行测试

打开一个终端页面，启动一个模拟的数据生产者

/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test

再打开一个新的终端页面，在启动一个模拟的数据消费者

/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning