当前位置: 首页 > news >正文

Hadoop大数据实战笔记

1、Hadoop简介:什么是Hadoop呢?Hadoop是一个开源分布式系统基础架构 ,用户可以在不了解分布式底层细节的情况下,开发分布式程序,利用集群的威力进行高速的运算和存储,适合处理非结构化数据。

2、Hadoop生态圈:什么组件组成了Hadoop的生态圈?Hadoop的生态圈组成为:数据存储、数据集成、数据处理和其他进行数据分析的专门工具。

HDFS:HDFS是一种数据保存机制,数据被保存在集群中,数据被写入一次,读取多次

MapReduce:MapReduce是一个分布式并行处理的框架模型,可以实现以并行的方式访问数据

Hbase:是建立在HDFS上,面向列的NoSQL数据库,用于快速读/写大量数据。

ZooKeeper:用于Hadoop的分布式协调服务,Hadoop的许多组件依赖于ZooKeeper,运行在计算机集群上面,用于管理Hadoop操作。

Hive:类似于SQL高级语言,用于运行存储在Hadoop上的查询语句。

pig:他是MapReduce编程的复杂性的抽象,包含运行环境和用于分析Hadoop数据集的脚本语言。

Sqoop:是一个连接工具,用于在数据仓库、关系数据库和Hadoop之间转移数据。

3、Hadoop安装:分布式环境运行在带有Linux操作系统的虚拟机上。

那么具体安装Hadoop的步骤是什么呢?

1)下载Hadoop安装包

2)安装Hadoop安装包

3)配置Hadoop

4)复制虚拟机

5)建立互信关系

6)启动Hadoop

7)测试系统

相关文章:

  • 彻底理解Java并发:Java内存模型
  • Ubuntu22.04如何开机重新自动运行脚本
  • USB应用实战视频教程第3期:手把手玩转USB BULK方式下位机和QT6.4上位机开发(上篇)
  • Windows环境下增加c/c++编译堆栈空间的方法(CMD,DEV,CLion,VS2022)
  • Vue Transition 过渡组件 + animate.style 动画库的使用
  • 【网络工程师笔记】——ACL
  • java计算机毕业设计学生生活管理源码+系统+数据库+lw文档
  • python环境搭建
  • 基于simulink的超级电容,电池及DC motor充放电系统仿真
  • JS(DOM)第十五课
  • Java多线程(2)
  • 深入浅出Spring注解(22)
  • [C++基础]-初识模板
  • 【黄啊码】MySQL入门—13、悲观锁、乐观锁怎么用?什么是行锁、页锁和表锁?死锁了咋办?
  • 小小博客项目(servlet实战演练)
  • IIS 10 PHP CGI 设置 PHP_INI_SCAN_DIR
  • MYSQL 的 IF 函数
  • MySQL数据库运维之数据恢复
  • NLPIR语义挖掘平台推动行业大数据应用服务
  • React的组件模式
  • spring cloud gateway 源码解析(4)跨域问题处理
  • Web Storage相关
  • 飞驰在Mesos的涡轮引擎上
  • 和 || 运算
  • 前嗅ForeSpider中数据浏览界面介绍
  • 微信支付JSAPI,实测!终极方案
  • Java总结 - String - 这篇请使劲喷我
  • 第二十章:异步和文件I/O.(二十三)
  • 积累各种好的链接
  • 数据可视化之下发图实践
  • # Apache SeaTunnel 究竟是什么?
  • #pragma multi_compile #pragma shader_feature
  • (02)Cartographer源码无死角解析-(03) 新数据运行与地图保存、加载地图启动仅定位模式
  • (function(){})()的分步解析
  • (保姆级教程)Mysql中索引、触发器、存储过程、存储函数的概念、作用,以及如何使用索引、存储过程,代码操作演示
  • (大众金融)SQL server面试题(1)-总销售量最少的3个型号的车及其总销售量
  • (机器学习的矩阵)(向量、矩阵与多元线性回归)
  • (删)Java线程同步实现一:synchronzied和wait()/notify()
  • (十) 初识 Docker file
  • (一)WLAN定义和基本架构转
  • (一)使用IDEA创建Maven项目和Maven使用入门(配图详解)
  • (转)IOS中获取各种文件的目录路径的方法
  • (轉貼)《OOD启思录》:61条面向对象设计的经验原则 (OO)
  • ..thread“main“ com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.3.1
  • .net mvc 获取url中controller和action
  • .Net 路由处理厉害了
  • .net6Api后台+uniapp导出Excel
  • //解决validator验证插件多个name相同只验证第一的问题
  • /proc/interrupts 和 /proc/stat 查看中断的情况
  • @private @protected @public
  • @synthesize和@dynamic分别有什么作用?
  • [ C++ ] STL---string类的模拟实现
  • [1]-基于图搜索的路径规划基础
  • [2019.3.20]BZOJ4573 [Zjoi2016]大森林
  • [23] GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians