当前位置: 首页 > news >正文

HBase snapshot+replication 测试

一、背景
画像标签服务(CDP)是核心服务,被公司其他系统如现金、电商、风控等核心业务调用。异常的话,影响范围大。

二、目标
存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试
方案二测试,两个独立HBase集群,snapshot+replication
(1)存量数据迁移 (snapshot)
1、同步数据到目标hbase集群

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128

在这里插入图片描述
在这里插入图片描述
以上命令产生的 Yarn 任务:
在这里插入图片描述
2、在目标hbase集群上查询数据

restore_snapshot 'test_20240315_1'
scan 'test'

在这里插入图片描述
(2)增量数据同步 (replication)
1、原集群上执行。增加从集群。

add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

在这里插入图片描述
2、原集群上执行。修改表属性,设置复制目标从集群。

alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

在这里插入图片描述
3、原集群上执行。写入数据。
在这里插入图片描述
4、从集群上执行。从集群确认数据同步成功。
在这里插入图片描述

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 不依靠for循环,Python如何对列表进行去重并保留排列顺序
  • <Qt> 系统 - 事件
  • 计算机网络——HTTP协议详解(上)
  • 7万字详解Apache Shiro面试题、示例、参考答案
  • 文心快码 Baidu Comate 前端工程师观点分享:行业现状(二)
  • 贷齐乐系统最新版SQL注入(绕过WAF可union select跨表查询)
  • 字符串函数!!!(续)(C语言)
  • Git 大文件存储 (LFS)
  • uniapp跳转携带参数
  • zigbee笔记:十、ZStack(2.3.0-1.4.0)的OSAL使用分析
  • Spark SQL Catalyst工作流程
  • 如何高效记录并整理编程学习笔记?
  • 【论文阅读】Far3D: Expanding the Horizon for Surround-view 3D Object Detection
  • Apache SeaTunnel 2.3.5 Zeta-Server集群环境搭建与使用
  • 【安卓】调用摄像头和相册
  • [nginx文档翻译系列] 控制nginx
  • 【跃迁之路】【669天】程序员高效学习方法论探索系列(实验阶段426-2018.12.13)...
  • 002-读书笔记-JavaScript高级程序设计 在HTML中使用JavaScript
  • 2017前端实习生面试总结
  • Android Studio:GIT提交项目到远程仓库
  • C++回声服务器_9-epoll边缘触发模式版本服务器
  • canvas 绘制双线技巧
  • classpath对获取配置文件的影响
  • Flex布局到底解决了什么问题
  • java8-模拟hadoop
  • opencv python Meanshift 和 Camshift
  • PAT A1120
  • RedisSerializer之JdkSerializationRedisSerializer分析
  • Redux 中间件分析
  • text-decoration与color属性
  • 阿里云爬虫风险管理产品商业化,为云端流量保驾护航
  • 纯 javascript 半自动式下滑一定高度,导航栏固定
  • 多线程事务回滚
  • 前端相关框架总和
  • 腾讯优测优分享 | 你是否体验过Android手机插入耳机后仍外放的尴尬?
  • 物联网链路协议
  • 用 vue 组件自定义 v-model, 实现一个 Tab 组件。
  • - 语言经验 - 《c++的高性能内存管理库tcmalloc和jemalloc》
  • 原生 js 实现移动端 Touch 滑动反弹
  • 智能情侣枕Pillow Talk,倾听彼此的心跳
  • ​​​​​​​GitLab 之 GitLab-Runner 安装,配置与问题汇总
  • ​​​​​​​Installing ROS on the Raspberry Pi
  • ​flutter 代码混淆
  • ​无人机石油管道巡检方案新亮点:灵活准确又高效
  • # 日期待t_最值得等的SUV奥迪Q9:空间比MPV还大,或搭4.0T,香
  • # 学号 2017-2018-20172309 《程序设计与数据结构》实验三报告
  • #if和#ifdef区别
  • #宝哥教你#查看jquery绑定的事件函数
  • #中的引用型是什么意识_Java中四种引用有什么区别以及应用场景
  • (02)Cartographer源码无死角解析-(03) 新数据运行与地图保存、加载地图启动仅定位模式
  • (10)工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
  • (2024)docker-compose实战 (9)部署多项目环境(LAMP+react+vue+redis+mysql+nginx)
  • (6)设计一个TimeMap
  • (Arcgis)Python编程批量将HDF5文件转换为TIFF格式并应用地理转换和投影信息
  • (C语言)输入自定义个数的整数,打印出最大值和最小值