当前位置: 首页 > news >正文

kafka消息监控-KafkaOffsetMonitor

参照site:https://github.com/quantifind/KafkaOffsetMonitor

一、简述

  这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。

  它让我们很直观的知道,每个Partition的Message是否消费掉,有没有阻塞等等。

  这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。

二、下载

  Here 是github提供的下载地址,经测试不能友好运行,后来查阅才知道这个jar包中有谷歌的超链接。

  我将前辈编译过后的jar已存入盘,方便使用。下载地址

  (如果你会编译修改,请不吝赐教!谢谢!!!)

三、安装

  KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,

  我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:

    #! /bin/bash

    java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
    com.quantifind.kafka.offsetapp.OffsetGetterWeb \
    --zk h1:2181 \
    --port 8089 \
    --refresh 10.seconds \
    --retain 1.days

  解释以下这条启动命令的含义,首先我们需要指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值

  

四、启动

  1.启动zookeeper:

    > bin/zkServer.sh start

  2.启动kafka:

    > bin/kafka-server-start.sh config/server.properties

  3.启动web监控:

    > sh monitor_start.sh

五、KafkaOffsetMonitor运行预览

  本人是通过远程登录Linux系统查看的。登录方式 参考我之前写的 《使用XRDP实现Windows远程桌面Linux系统》

  消费组:

  

  topic的所有partiton消费情况列表、

  

  以上图中参数含义解释如下:

   topic:创建时topic名称

   partition:分区编号

   offset:表示该parition已经消费了多少条message

   logSize:表示该partition已经写了多少条message

   Lag:表示有多少条message没有被消费。

   Owner:表示消费者

   Created:该partition创建时间

   Last Seen:消费状态刷新最新时间。

 

  kafka正在运行的topic

  

  kafka集群topic列表

  

  kafka集群broker列表

  

转载于:https://www.cnblogs.com/yinchengzhe/p/5123515.html

相关文章:

  • java Graphics2D 画图
  • Linux学习之给指定用户发邮件
  • PHP的学习--生成器Generators
  • 20160115学习日志
  • C#基础回顾(三)—索引器、委托、反射
  • UltraEdit 脚本 实现查找替换
  • Jan 17 - Permutations II; BackTracking; Array;
  • LLDB 打印 frame
  • JS魔法堂:再识Bitwise Operation Bitwise Shift
  • 菜鸟nginx源代码剖析数据结构篇(一)动态数组ngx_array_t
  • 改善Chrome在Windows下的中文字体效果
  • java的classpath和path理解
  • js获取单选button的值
  • [iOS]把16进制(#871f78)颜色转换UIColor
  • 普通选项卡+自动播放功能+向前/向后按钮 原生js
  • .pyc 想到的一些问题
  • 2017 年终总结 —— 在路上
  • Android 控件背景颜色处理
  • CAP理论的例子讲解
  • gulp 教程
  • php ci框架整合银盛支付
  • vue和cordova项目整合打包,并实现vue调用android的相机的demo
  • 解决jsp引用其他项目时出现的 cannot be resolved to a type错误
  • 普通函数和构造函数的区别
  • 前端之Sass/Scss实战笔记
  • 数组大概知多少
  • 腾讯视频格式如何转换成mp4 将下载的qlv文件转换成mp4的方法
  • 我与Jetbrains的这些年
  • 用jquery写贪吃蛇
  • 格斗健身潮牌24KiCK获近千万Pre-A轮融资,用户留存高达9个月 ...
  • # 手柄编程_北通阿修罗3动手评:一款兼具功能、操控性的电竞手柄
  • #14vue3生成表单并跳转到外部地址的方式
  • #includecmath
  • (02)Hive SQL编译成MapReduce任务的过程
  • (a /b)*c的值
  • (附源码)node.js知识分享网站 毕业设计 202038
  • (附源码)spring boot网络空间安全实验教学示范中心网站 毕业设计 111454
  • (附源码)spring boot校园健康监测管理系统 毕业设计 151047
  • (附源码)ssm高校实验室 毕业设计 800008
  • (附源码)计算机毕业设计ssm电影分享网站
  • (附源码)计算机毕业设计SSM智能化管理的仓库管理
  • (黑客游戏)HackTheGame1.21 过关攻略
  • (三)centos7案例实战—vmware虚拟机硬盘挂载与卸载
  • (四)搭建容器云管理平台笔记—安装ETCD(不使用证书)
  • (五) 一起学 Unix 环境高级编程 (APUE) 之 进程环境
  • (转)scrum常见工具列表
  • (转)shell调试方法
  • (转)负载均衡,回话保持,cookie
  • .describe() python_Python-Win32com-Excel
  • .NET Core、DNX、DNU、DNVM、MVC6学习资料
  • .net core控制台应用程序初识
  • .NET Core使用NPOI导出复杂,美观的Excel详解
  • .Net8 Blazor 尝鲜
  • .NET面试题解析(11)-SQL语言基础及数据库基本原理
  • /proc/interrupts 和 /proc/stat 查看中断的情况