当前位置： 首页 > news >正文

hadoop各个组件功能

news 来源：原创 2024/5/20 5:58:24

HDFS 分布式文件系统

YARN 资源管理系统

MapReduce 分布式计算框架

ZooKeeper分布式协调服务

Hbase分布式数据库

Flume 日志收集

Sqoop 数据同步工具

Oozie 作业流调度系统

Ambari 安装部署工具

Hive基于MR的数据仓库

Mahout 数据挖掘库

Pig数据分析系统


计算框架：

MapReduce 离线计算

Tez DAG计算

Spark 内存计算

storm 实时计算


数据分析系统

Hive基于MR的数据仓库

Pig数据分析系统


Hadoop作业流调度引擎

Oozie 

Azkaban 




本文转自 corasql 51CTO博客，原文链接：http://blog.51cto.com/corasql/1738114，如需转载请自行联系原作者

相关文章：

  • 命令行创建虚拟机,无桌面运行virtualbox
  • 一次arp防护配置错误导致的故障
  • 框架替换主页
  • HandlerSocket安装
  • phpstorm10.0安装xdebug插件
  • 网络编程（socket，套接字）
  • selinux
  • Bzoj2756 [SCOI2012]奇怪的游戏
  • 汇新云智慧城市解决方案——以区块链加速智慧城市建设
  • Spring MVC RequestParam
  • Docker容器管理
  • 组件之间数据交互
  • io性能、free、ps命令、查看网络状态、抓包
  • C#学习常用类（1003）---NameObjectCollectionBase类
  • 思科动态路由RIP实验
  • 时间复杂度分析经典问题——最大子序列和
  • centos安装java运行环境jdk+tomcat
  • ES10 特性的完整指南
  • FastReport在线报表设计器工作原理
  • HomeBrew常规使用教程
  • js 实现textarea输入字数提示
  • Mac转Windows的拯救指南
  • ng6--错误信息小结（持续更新）
  • Spring Boot快速入门（一）：Hello Spring Boot
  • vue2.0项目引入element-ui
  • Xmanager 远程桌面 CentOS 7
  • 测试开发系类之接口自动化测试
  • 聊聊hikari连接池的leakDetectionThreshold
  • 前嗅ForeSpider教程：创建模板
  • ​【已解决】npm install​卡主不动的情况
  • ​Java并发新构件之Exchanger
  • ​LeetCode解法汇总2304. 网格中的最小路径代价
  • !! 2.对十份论文和报告中的关于OpenCV和Android NDK开发的总结
  • #我与Java虚拟机的故事#连载01：人在JVM，身不由己
  • $.extend({},旧的,新的)；合并对象，后面的覆盖前面的
  • (13)[Xamarin.Android] 不同分辨率下的图片使用概论
  • （9）YOLO-Pose:使用对象关键点相似性损失增强多人姿态估计的增强版YOLO
  • （9）目标检测_SSD的原理
  • (android 地图实战开发)3 在地图上显示当前位置和自定义银行位置
  • (html转换)StringEscapeUtils类的转义与反转义方法
  • （Matalb时序预测）WOA-BP鲸鱼算法优化BP神经网络的多维时序回归预测
  • （ZT）一个美国文科博士的YardLife
  • (分布式缓存)Redis分片集群
  • （附源码）ssm旅游企业财务管理系统 毕业设计 102100
  • (黑客游戏)HackTheGame1.21 过关攻略
  • （教学思路 C#之类三）方法参数类型（ref、out、parmas）
  • （六）什么是Vite——热更新时vite、webpack做了什么
  • （已解决）vue+element-ui实现个人中心，仿照原神
  • (原創) X61用戶，小心你的上蓋!! (NB) (ThinkPad) (X61)
  • (转) 深度模型优化性能 调参
  • （转载）VS2010/MFC编程入门之三十四（菜单：VS2010菜单资源详解）
  • ./mysql.server: 没有那个文件或目录_Linux下安装MySQL出现“ls: /var/lib/mysql/*.pid: 没有那个文件或目录”...
  • .mat 文件的加载与创建 矩阵变图像？ ∈ Matlab 使用笔记
  • .NET 中的轻量级线程安全
  • .NET 中各种混淆（Obfuscation）的含义、原理、实际效果和不同级别的差异（使用 SmartAssembly）