当前位置： 首页 > news >正文

centos 7 kafka2.6单机安装及动态认证SASL SCRAM配置

news 来源：原创 2024/5/14 2:53:55

目录

1.kfaka安装篇

1.1 安装jdk

1.2安装kafka

2.安全篇

2.1 kafka安全涉及3部份：

2.2 Kafka权限控制认证方式

2.3 SASL/SCRAM-SHA-256 配置实例

2.3.1 创建用户

2.3.2 创建 JAAS 文件及配置

3.测试

3.1 创建测试用户

3.2 配置JAAS 文件

3.2.1 生产者配置

3.2.2 消费者配置

3.3 消息收发测试

1.kfaka安装篇

  • 依赖环境：jdk 1.8+
  • 系统：centos 7.6
  • 安装版本：v2.6.2
  • 下载：Apache Kafka

1.1 安装jdk

# 安装jdk 1.8
yum install java-1.8.0-openjdk.x86_64 -y

1.2安装kafka

# 下载2.6.2 kafka
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.13-2.6.2.tgz# 解压tar -xzf kafka_2.13-2.6.2.tgz && mv kafka_2.13-2.6.2 /usr/local/kafkacd /usr/local/kafka# 启动zk
bin/zookeeper-server-start.sh config/zookeeper.properties
# 启动kafka
bin/kafka-server-start.sh config/server.properties# 启动后查看端口
# 查看监听zk端口2181、kafka端口 9092
# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    tcp6       0      0 :::9092      :::*                    LISTEN      2164/java           
tcp6       0      0 :::2181                 :::*                    LISTEN      1008/java

2.安全篇

2.1 kafka安全涉及3部份：

  • 传输加密
  • 用户认证与授权
  • ZK开启ACL（默认不开启acl，所有用户可更改，按需开启）

这里只开启传输加密和用户认证部分，acl不在这里配置

2.2 Kafka权限控制认证方式

Kafka支持的认证类别有

具体使用哪种按需选择，这里以sasl scram认证配置为例

2.3 SASL/SCRAM-SHA-256 配置实例

步骤：

  • 创建用户
  • 配置认证
2.3.1 创建用户

配置 SASL/SCRAM 的第一步，是创建能连接 Kafka 集群的用户，创建用户admin ，用于实现 Broker 间通信。

创建用户：

# 注意将密码替换
# 创建用户admin
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin],SCRAM-SHA-512=[password=admin]' --entity-type users --entity-name admin

附：管理用户命令

# 查看用户信息
bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name admin# 删除用户
bin/kafka-configs.sh --zookeeper localhost:2181 --alter  --delete-config 'SCRAM-SHA-512' --entity-type users --entity-name admin
2.3.2 创建 JAAS 文件及配置

2.3.2.1 broker配置

创建用户之后，需要为每个 Broker 创建一个对应的 JAAS 文件。因为本例为单机部署，所以只创建了一份 JAAS 文件即可。如果是集群，需要为每个 Broker 机器都创建一份 JAAS 文件

JAAS 的文件内容如下

# 在kafka工作目录下创建jaas.conf文件，用于broker通信
vim config/kafka_server_jaas.confKafkaServer {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin";
};

开启broker认证配置

vim config/server.properties
# 添加如下配置
# 开启认证配置
advertised.listeners=SASL_PLAINTEXT://:9092
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
# Broker 间通信也开启 SCRAM 认证，使用 SHA-256 算法
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
# 开启 SCRAM 认证机制，并启用 SHA-256 算法
sasl.enabled.mechanisms=SCRAM-SHA-256

broker启动命令添加 jaas conf配置，用于通信认证

vim /usr/local/kafka/bin/kafka-server-start.sh 
# 将最下面的命令注释
# exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
# 增加jvm参数：-Djava.security.auth.login.config
# 修改如下
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/usr/local/kafka/config/kafka_server_jaas.conf kafka.Kafka "$@"

重启kafka

3.测试

3.1 创建测试用户

在这里创建 2个用户，分别是producer和 consumer 。producer 用于生产消息，consumer 用于消费消息，producer和consumer用于测试使用，生产中使用可根据业务需要创建对应用户，这里仅用于演示。

# 创建用户producer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=producer],SCRAM-SHA-512=[password=producer]' --entity-type users --entity-name producer
# 创建用户consumer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=consumer],SCRAM-SHA-512=[password=consumer]' --entity-type users --entity-name consumer

3.2 配置JAAS 文件

3.2.1 生产者配置
vim /usr/local/kafka/config/producer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="producer"password="producer";
};

配置生产者启动脚本添加JAAS文件

vim bin/kafka-console-producer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/producer_jaas.conf kafka.tools.ConsoleProducer "$@"

配置producer.properties

vim config/producer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
3.2.2 消费者配置

配置JAAS文件

vim /usr/local/kafka/config/consumer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="consumer"password="consumer";
};

配置消费者启动脚本添加JAAS文件配置

vim bin/kafka-console-consumer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/consumer_jaas.conf kafka.tools.ConsoleConsumer "$@"

配置consumer.properties

vim config/consumer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

3.3 消息收发测试

 # 发送消息到topic testbin/kafka-console-producer.sh --broker-list  localhost:9092 --topic test --producer.config config/producer.properties# 读取test消息
bin/kafka-console-consumer.sh --bootstrap-server  localhost:9092 --topic test --from-beginning --consumer.config config/consumer.properties

效果如下

至此kafka SASL SCRAM认证配置完毕

相关文章：

  • react条件渲染
  • 如何将word格式的文档转换成markdown格式的文档
  • 如何理解AutoGPT
  • android 给view添加进出动画
  • 206. 反转链表、Leetcode的Python实现
  • 83. 删除排序链表中的重复元素、Leetcode的Python实现
  • nextcloud 安装配置教程
  • C#学习系列之密闭类、接口、结构和类
  • 栅栏密码fence cypher
  • springboot配置https
  • B. Stone Age Problem -思维
  • 省钱兄短剧短视频视频滑动播放模块源码支持微信小程序h5安卓IOS
  • 如何在Android设备上检查应用程序使用情况，包括使用时间
  • [推荐]SpringBoot，邮件发送附件含Excel文件(含源码)。
  • delete请求,express获取req.body失败
  • axios 和 cookie 的那些事
  • exif信息对照
  • JavaScript实现分页效果
  • JavaScript学习总结——原型
  • Java比较器对数组，集合排序
  • leetcode378. Kth Smallest Element in a Sorted Matrix
  • Linux CTF 逆向入门
  • nodejs：开发并发布一个nodejs包
  • php的插入排序，通过双层for循环
  • XML已死 ？
  • 第2章 网络文档
  • 搞机器学习要哪些技能
  • 前端每日实战：61# 视频演示如何用纯 CSS 创作一只咖啡壶
  • ​马来语翻译中文去哪比较好？
  • ！！Dom4j 学习笔记
  • ###STL(标准模板库)
  • #android不同版本废弃api，新api。
  • #快捷键# 大学四年我常用的软件快捷键大全，教你成为电脑高手！！
  • (C++)栈的链式存储结构(出栈、入栈、判空、遍历、销毁)(数据结构与算法)
  • （Pytorch框架）神经网络输出维度调试，做出我们自己的网络来！！（详细教程~）
  • （翻译）Entity Framework技巧系列之七 - Tip 26 – 28
  • （利用IDEA+Maven）定制属于自己的jar包
  • (转) Android中ViewStub组件使用
  • (转)h264中avc和flv数据的解析
  • （转）Scala的“=”符号简介
  • (转)VC++中ondraw在什么时候调用的
  • (转载)OpenStack Hacker养成指南
  • .NET 反射 Reflect
  • .NET关于 跳过SSL中遇到的问题
  • /bin/rm: 参数列表过长＂的解决办法
  • /etc/sudoer文件配置简析
  • @cacheable 是否缓存成功_Spring Cache缓存注解
  • [2019/05/17]解决springboot测试List接口时JSON传参异常
  • [51nod1610]路径计数
  • [acm算法学习] 后缀数组SA
  • [ai笔记3] ai春晚观后感-谈谈ai与艺术
  • [APIO2015]巴厘岛的雕塑
  • [BUUCTF 2018]Online Tool
  • [BZOJ4016][FJOI2014]最短路径树问题
  • [caffe(二)]Python加载训练caffe模型并进行测试1