当前位置: 首页 > news >正文

hbase rowkey设计的注意事项

1 充分利用有序性

1.1 如果要scan操作,且不是很频繁,可以利用rowkey的有序性将需要一起扫描的数据放到一起。例如直接用时间戳。这样就可以按时间scan了。这个只要是简单的全表扫描都行。

1.2 同样是scan,还可以利用rowkey的有序性实现数据本地化,设同一类别的数据需要一起扫描,那就可以给rowkey加一个类别前缀。(为了节约磁盘空间,需将类别名称编码)  这个不如垂直爬虫,我要扫描新闻类,或者BBS类,就可以为rowkey加个编码后的新闻,bbs类别id,实现同一类别的url本地化。

1.3  组合rowkey

多个字段组合出rowkey,实现多字段排序以满足我们的程序设计需求,例如爬虫系统的需求有根据host ,优先级,等排序。这个完全可以是使用 hostid_pid(优先级)_urlid(哈希,或者md5)

2.1 避免热点
频繁按时间段查询,如果用时间戳作为rowkey会造成热点,所以这里需要将rowkey打散到各个节点,将压力分配到各个节点。例如人民币冠字号查询,如果rowkey是冠字号,hbase会将临近的冠字号作为rowkey放到同一个region。这样当频繁查询的时候,就会造成某个regionserver压力过大,形成热点,影响整体性能。

 

相关文章:

  • SQL 必知必会
  • Javascript学习4 - 对象和数组
  • Ubuntu 14.04下安装GitLab指南
  • 黄渊普:媒体视角--O2O与传统零售
  • Makefile学习之make 的运行【转】
  • [原]unity3d刀光剑影(二)
  • C#设计模式之外观
  • MDK调试错误之HardFault_Handler
  • Dom4j
  • Java基础work4
  • NIO入门系列之第9章:字符集
  • 新语言学习
  • Leetcode | Permutations II
  • C#开发微信门户及应用(10)--在管理系统中同步微信用户分组信息
  • 跳前端坑前,先看看这个!!
  • 10个确保微服务与容器安全的最佳实践
  • 11111111
  • ES6之路之模块详解
  • HTML-表单
  • JavaScript实现分页效果
  • js 实现textarea输入字数提示
  • React Transition Group -- Transition 组件
  • Vue实战(四)登录/注册页的实现
  • 多线程 start 和 run 方法到底有什么区别?
  • 开年巨制!千人千面回放技术让你“看到”Flutter用户侧问题
  • 开源SQL-on-Hadoop系统一览
  • 力扣(LeetCode)357
  • 你不可错过的前端面试题(一)
  • 软件开发学习的5大技巧,你知道吗?
  • 在electron中实现跨域请求,无需更改服务器端设置
  • 在weex里面使用chart图表
  • 中国人寿如何基于容器搭建金融PaaS云平台
  • MiKTeX could not find the script engine ‘perl.exe‘ which is required to execute ‘latexmk‘.
  • ​水经微图Web1.5.0版即将上线
  • #mysql 8.0 踩坑日记
  • #QT(串口助手-界面)
  • #我与Java虚拟机的故事#连载06:收获颇多的经典之作
  • (13)Latex:基于ΤΕΧ的自动排版系统——写论文必备
  • (3)选择元素——(17)练习(Exercises)
  • (ZT) 理解系统底层的概念是多么重要(by趋势科技邹飞)
  • (安全基本功)磁盘MBR,分区表,活动分区,引导扇区。。。详解与区别
  • (附源码)ssm考试题库管理系统 毕业设计 069043
  • (黑马C++)L06 重载与继承
  • (七)MySQL是如何将LRU链表的使用性能优化到极致的?
  • (四)汇编语言——简单程序
  • (一)eclipse Dynamic web project 工程目录以及文件路径问题
  • (转)利用PHP的debug_backtrace函数,实现PHP文件权限管理、动态加载 【反射】...
  • .axf 转化 .bin文件 的方法
  • .NET 程序如何获取图片的宽高(框架自带多种方法的不同性能)
  • .net 开发怎么实现前后端分离_前后端分离:分离式开发和一体式发布
  • .NET 使用 XPath 来读写 XML 文件
  • .Net(C#)常用转换byte转uint32、byte转float等
  • .Net多线程总结
  • .NET框架
  • 。Net下Windows服务程序开发疑惑