当前位置: 首页 > news >正文

大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka (正在更新…)

章节内容

上节我们完成的内容:

  • Kafka核心概念介绍
  • Producer
  • Consumer
  • Topic
  • Partition
  • 等等
    在这里插入图片描述

简单介绍

Kafka在3版本以下都是需要ZooKeeper来做协调器的,在3版本以上,Kafka实现了自己的协议去做高可用,但是大家也没有都切换到这个新的方案上,还是比较保守的(如果在生产环境上 )。

ZooKeeper

环境变量

# 我们要确保有ZooKeeper环境,之前已经安装过了。最好确认一下你的ZooKeeper环境是正确的。
vim /etc/profile

检查你的环境变量是否配置完毕,我这里是 3台云服务器都配置好了。

# zookeeper
export ZOOKEEPER_HOME=/opt/servers/apache-zookeeper-3.8.4-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

配置的结果大致如下:
在这里插入图片描述
记得刷新环境变量

source /etc/profile

验证环境

如果你已经启动了ZooKeeper,那么进行下面的服务测试:

zkServer.sh status

如果你出现下图的样子,你的ZK是没有问题的。
可以从下图中看到,我这台是 Follower 节点。主节点好像是 h122 节点。
在这里插入图片描述

Kafka

下载项目

我这里选择的是 2.7 的版本,你可以到 GitHub 或者 官方下载

https://github.com/apache/kafka/releases/tag/2.7.2
https://kafka.apache.org/downloads

GitHub是源码,需要自己编译!!!
在这里插入图片描述

官方下载地址是编译的:
在这里插入图片描述

解压配置

下载好之后,上传到服务器上,或者直接在服务器上 wget 进行下载。

tar -zxvf kafka_2.12-2.7.2.tgz

在这里插入图片描述
按照之前的规范,我们需要进行移动处理:

mv kafka_2.12-2.7.2 ../servers

环境变量

vim /etc/profile

写入如下的环境变量内容

# kafka
export KAFKA_HOME=/opt/servers/kafka_2.12-2.7.2
export PATH=$PATH:$KAFKA_HOME/bin

记得刷新环境变量
在这里插入图片描述

启动配置

Kafka是需要连接ZooKeeper的,所以我们需要修改Kafka的配置。

vim /opt/servers/kafka_2.12-2.7.2/config/server.properties

ZK配置

修改 zookeeper.connet 这一行:


在这里插入图片描述

log配置

这里注意修改一下,同时记得把文件夹创建出来
在这里插入图片描述

启动服务

kafka-server-start.sh /opt/servers/kafka_2.12-2.7.2/config/server.properties

在这里插入图片描述

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【iOS】—— iOS持久化
  • 【Git】.gitignore全局配置与忽略匹配规则详解
  • 快速识别音频文件转成文字
  • 实战:安装ElasticSearch 和常用操作命令
  • C#中的异步编程:Task、Await 和 Async
  • Settings搜索系统SettingsIntelligence
  • 数说故事 | 大数据洞察宠物消费市场数据
  • java-静态工具类获取YAML配置文件中的值
  • Vue 模版编译原理
  • git fetch和 pull的区别
  • Java基本语法学习的案例练习
  • nginx续1:
  • 商家转账到零钱开通最快捷径
  • 为什么阿里开发手册不建议使用Date类?
  • rust 初探 -- 路径(path)
  • axios请求、和返回数据拦截,统一请求报错提示_012
  • CentOS 7 修改主机名
  • docker python 配置
  • ES学习笔记(12)--Symbol
  • flask接收请求并推入栈
  • Java 实战开发之spring、logback配置及chrome开发神器(六)
  • Js基础知识(四) - js运行原理与机制
  • Python_OOP
  • scala基础语法(二)
  • Traffic-Sign Detection and Classification in the Wild 论文笔记
  • 初识MongoDB分片
  • 基于 Ueditor 的现代化编辑器 Neditor 1.5.4 发布
  • 解决jsp引用其他项目时出现的 cannot be resolved to a type错误
  • 来,膜拜下android roadmap,强大的执行力
  • 前端之React实战:创建跨平台的项目架构
  • 十年未变!安全,谁之责?(下)
  • 学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退
  • 一个完整Java Web项目背后的密码
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​Java基础复习笔记 第16章:网络编程
  • ​LeetCode解法汇总2696. 删除子串后的字符串最小长度
  • #HarmonyOS:软件安装window和mac预览Hello World
  • #include
  • #我与Java虚拟机的故事#连载10: 如何在阿里、腾讯、百度、及字节跳动等公司面试中脱颖而出...
  • $ git push -u origin master 推送到远程库出错
  • (1)(1.8) MSP(MultiWii 串行协议)(4.1 版)
  • (21)起落架/可伸缩相机支架
  • (M)unity2D敌人的创建、人物属性设置,遇敌掉血
  • (zt)最盛行的警世狂言(爆笑)
  • (超简单)使用vuepress搭建自己的博客并部署到github pages上
  • (动手学习深度学习)第13章 计算机视觉---微调
  • (附源码)ssm失物招领系统 毕业设计 182317
  • (剑指Offer)面试题34:丑数
  • (三)docker:Dockerfile构建容器运行jar包
  • (小白学Java)Java简介和基本配置
  • (转)清华学霸演讲稿:永远不要说你已经尽力了
  • .bat批处理(八):各种形式的变量%0、%i、%%i、var、%var%、!var!的含义和区别
  • .Net 6.0--通用帮助类--FileHelper
  • .net 流——流的类型体系简单介绍
  • .NET企业级应用架构设计系列之技术选型