当前位置： 首页 > news >正文

kettle_Hbase

news 来源：原创 2024/9/20 18:37:09

kettle_Hbase

☀Hbase学习笔记 

读取hdfs文件并将sal大于1000的数据保存到hbase中

前置说明：

1.需要配置HadoopConnect 将集群中的/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml复制至Kettle中的

Kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp26目录中

2.配置Hadoop Cluster 中Zookeeper的Hostname为master,port为2181

1、在HBase中创建一张people表

hbase(main):004:0> create 'people','info'

2、按下图建立流程图

image.png

  • 文本文件输入

image.png

image.png

  • 设置过滤记录

image.png

  • 设置HBase output

    编辑hadoop连接，并配置zookeeper地址

image.png

image.png

  • 执行转换

image.png

  • 查看hbase people表的数据

    scan 'people'

    注意：若报错没有权限往hdfs写文件，在Spoon.bat中第119行添加参数

    "-DHADOOP_USER_NAME=root" "-Dfile.encoding=UTF-8"

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 通过ssr-echarts,服务端生成echarts图
  • 渗透测试之内核安全系列课程：Rootkit技术初探（五）
  • 用函数指针求a和b中的大者
  • 中国蚁剑 安装教程 2024年5月
  • flutter文件分类模板之modules
  • NLP中的Tokenizer分词器的概念与实现
  • 一些关于科技的想法
  • 代码随想录训练营Day 56|力扣300.最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组
  • 概率论与数理统计，重要知识点——全部公式总结
  • Vue3_对接腾讯云COS_大文件分片上传和下载
  • Windows环境如何使用Flutter Version Manager (fvm)
  • S1E48：内存池 课后作业
  • DeepSORT（目标跟踪算法）中自由度决定卡方分布的形状
  • 34、matlab输入命令汇总
  • 中科数安 |-公司办公透明加密系统，数据防泄漏软件
  • 【干货分享】SpringCloud微服务架构分布式组件如何共享session对象
  • Hibernate最全面试题
  • input实现文字超出省略号功能
  • Java超时控制的实现
  • Java教程_软件开发基础
  • Meteor的表单提交:Form
  • PHP 程序员也能做的 Java 开发 30分钟使用 netty 轻松打造一个高性能 websocket 服务...
  • PHP 使用 Swoole - TaskWorker 实现异步操作 Mysql
  • SegmentFault 技术周刊 Vol.27 - Git 学习宝典：程序员走江湖必备
  • 开发了一款写作软件(OSX,Windows)，附带Electron开发指南
  • 数据科学 第 3 章 11 字符串处理
  • ​queue --- 一个同步的队列类​
  • #NOIP 2014#day.2 T1 无限网络发射器选址
  • $$$$GB2312-80区位编码表$$$$
  • （~_~)
  • （DFS + 剪枝）【洛谷P1731】 [NOI1999] 生日蛋糕
  • （笔记）M1使用hombrew安装qemu
  • （博弈 sg入门）kiki's game -- hdu -- 2147
  • （附源码）ssm教材管理系统 毕业设计 011229
  • （附源码）ssm考生评分系统 毕业设计 071114
  • (十六)视图变换 正交投影 透视投影
  • （学习日记）2024.01.09
  • .NET Core 通过 Ef Core 操作 Mysql
  • .NET Framework 4.6.2改进了WPF和安全性
  • .NET处理HTTP请求
  • .net使用excel的cells对象没有value方法——学习.net的Excel工作表问题
  • .Net小白的大学四年，内含面经
  • .vimrc php,修改home目录下的.vimrc文件，vim配置php高亮显示
  • @Documented注解的作用
  • @html.ActionLink的几种参数格式
  • @Import注解详解
  • @javax.ws.rs Webservice注解
  • [ C++ ] STL_stack(栈)queue(队列)使用及其重要接口模拟实现
  • [ 蓝桥杯Web真题 ]-布局切换
  • [ 渗透测试面试篇 ] 渗透测试面试题大集合(详解)（十）RCE (远程代码/命令执行漏洞)相关面试题
  • []Telit UC864E 拨号上网
  • []使用 Tortoise SVN 创建 Externals 外部引用目录
  • [145] 二叉树的后序遍历 js
  • [2024最新教程]地表最强AGI：Claude 3注册账号/登录账号/访问方法，小白教程包教包会
  • [Android] 240204批量生成联系人，短信，通话记录的APK