当前位置: 首页 > news >正文

kafka基础知识点

1、安装:

  1.1. 前置安装要求:java + zookeeper

  1.2. 下载安装包:http://mirros.cnnic.cn/apache/kafka/0.9.00/kafka_2.10-0.9.0.0.tgz

  1.3. 执行安装命令:kafka-server-start.sh ../config/server.properties &

2、基本组件

  2.1 Producer: 消息生产者

  2.2 Consumer: 消费消费者

  2.3 Broker:一台kafka服务器被称为一个broker,整个集群可由多个 Broker组成

  2.4 Partition:一个Topic在物理上可以划分为多个Partition,每个Partition可以理解为独立的物理队列(文件载体),

    该Partition可以被负载到不同的Broker上实现Kafka的水平扩展;

  2.5 Topic:消息队列

 

3、常用的命令

  3.1 创建一个topic

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test01  --partitions 3  --replication-factor 1

  3.2 查看当前所有的topic

./kafka-topics.sh --zookeeper localhost:2181 --list

  3.3 在控制台启动一个生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test01

  3.4 在控制台启动一个消费者

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test01 --from-beginning

  3.5 启动一个消费者并制定消费者组

./kafka-console-consumer.sh --consumer.config ../config/consumer.properties --zookeeper localhost:2181 --topic test01 --from-beginning

  在consumer.properties中设置消费者组,一个消费者组可以包含多个消费者
  #consumer group id
  group.id=tg

  3.6 查看某个topic的消费进度,必须以消费者组为单位

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group tg01 --zookeeper localhost:2181

如上例,不同的消费者组对于用一个topic,读的进度(偏移)是不一样的

  3.7 查看topic详情

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test02

转载于:https://www.cnblogs.com/Fredric-2013/p/7592738.html

相关文章:

  • 来来来!游戏场景风格暴露你的年纪
  • pandas模块学习笔记1--数据结构
  • Hadoop安装
  • VMware + JunOS + Linux 搭建安全测试平台
  • SecureCRT复制粘贴快捷键
  • hexo博客同步管理及迁移
  • WM_MOUSEWHEEL、WM_LBUTTONDOWN等父子窗口消息传递陷阱
  • 使用IntelliJ IDEA 配置Maven(入门)
  • 软件项目中的成本构成及估算方法【转】
  • windows下node配置npm全局路径(踩坑)
  • springmvc入门程序
  • SQServer查询数据库所有触发器
  • 流水线生产,精益生产,TPS和TOC的缓冲管理
  • win32——关机
  • 几个常用线程的
  • 【comparator, comparable】小总结
  • Android开源项目规范总结
  • CSS 专业技巧
  • java8 Stream Pipelines 浅析
  • magento2项目上线注意事项
  • nginx 负载服务器优化
  • pdf文件如何在线转换为jpg图片
  • SAP云平台里Global Account和Sub Account的关系
  • Sass 快速入门教程
  • Vue.js 移动端适配之 vw 解决方案
  • 基于MaxCompute打造轻盈的人人车移动端数据平台
  • 前端技术周刊 2019-02-11 Serverless
  • 前端面试题总结
  • 线上 python http server profile 实践
  • 异步
  • 智能网联汽车信息安全
  • [地铁译]使用SSD缓存应用数据——Moneta项目: 低成本优化的下一代EVCache ...
  • #include
  • #laravel 通过手动安装依赖PHPExcel#
  • (Matlab)遗传算法优化的BP神经网络实现回归预测
  • (SpringBoot)第二章:Spring创建和使用
  • (四)JPA - JQPL 实现增删改查
  • (原創) 如何讓IE7按第二次Ctrl + Tab時,回到原來的索引標籤? (Web) (IE) (OS) (Windows)...
  • (转)AS3正则:元子符,元序列,标志,数量表达符
  • (转)visual stdio 书签功能介绍
  • (转)微软牛津计划介绍——屌爆了的自然数据处理解决方案(人脸/语音识别,计算机视觉与语言理解)...
  • .bat批处理(七):PC端从手机内复制文件到本地
  • .naturalWidth 和naturalHeight属性,
  • .NET/C# 编译期能确定的字符串会在字符串暂存池中不会被 GC 垃圾回收掉
  • .NET的数据绑定
  • ?php echo ?,?php echo Hello world!;?
  • @configuration注解_2w字长文给你讲透了配置类为什么要添加 @Configuration注解
  • @FeignClient注解,fallback和fallbackFactory
  • @requestBody写与不写的情况
  • @require_PUTNameError: name ‘require_PUT‘ is not defined 解决方法
  • [ 渗透工具篇 ] 一篇文章让你掌握神奇的shuize -- 信息收集自动化工具
  • [bzoj 3124][sdoi 2013 省选] 直径
  • [C/C++] -- 二叉树
  • [C++]C++入门--引用
  • [CISCN2019 华北赛区 Day1 Web5]CyberPunk --不会编程的崽