当前位置： 首页 > news >正文

Hadoop 架构简介

news 来源：原创 2024/4/29 8:50:59

根据对HDFS架构和MapReduce架构的了解，咱们首先清楚的明白了，HDFS和MapReduce的集群其实都是由一些守护进程组成的，而所有的守护进程和运行他们的节点就构成了Hadoop集群。

由上图咱们可以看到NameNode进程和JobTasker进程在一个节点上运行，而DataNode和TaskTracker 在同一个节点上运行。

值得注意的是：DataNode和TaskTracker 需要配对部署在同一个节点，但是NameNode进程和JobTasker却不一定需要部署在同一个节点上，这是为了性能和问稳定性的考虑。

下图，


本文参考书籍------Hadoop海量数据处理 技术详解与项目实战

转载于:https://www.cnblogs.com/DeepRunning/p/9205998.html

相关文章：

  • 创业路(VC Pipeline),创业需要融资的阅读
  • 令人血脉喷张的animate.css
  • quartz+spring定时任务常见错误总结
  • HTML 超链接a的几种用法
  • java_JDBC(4)
  • svnserver搭建
  • Android视图绘制流程完全解析，带你一步步深入了解View(二)
  • OTS工作坑
  • GDB调试详解
  • Tomcat和JavaWeb目录和流程
  • 采访与书评 —— 《BDD In Action》
  • android下拉刷新
  • AOP之AspectJ注解
  • httpclient-4.0.1应用指南
  • 05-树7 堆中的路径
  • 2018一半小结一波
  • co模块的前端实现
  • leetcode386. Lexicographical Numbers
  • nginx 配置多 域名 + 多 https
  • PV统计优化设计
  • vue+element后台管理系统，从后端获取路由表，并正常渲染
  • 搭建gitbook 和 访问权限认证
  • 简析gRPC client 连接管理
  • 来，膜拜下android roadmap，强大的执行力
  • 排序算法之--选择排序
  • 扑朔迷离的属性和特性【彻底弄清】
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 前嗅ForeSpider中数据浏览界面介绍
  • 如何打造100亿SDK累计覆盖量的大数据系统
  • 一加3T解锁OEM、刷入TWRP、第三方ROM以及ROOT
  • 基于django的视频点播网站开发-step3-注册登录功能 ...
  • ​2021半年盘点，不想你错过的重磅新书
  • # 达梦数据库知识点
  • ###C语言程序设计-----C语言学习（6）#
  • #13 yum、编译安装与sed命令的使用
  • #在 README.md 中生成项目目录结构
  • $(document).ready(function(){}), $().ready(function(){})和$(function(){})三者区别
  • （ISPRS，2023）深度语义-视觉对齐用于zero-shot遥感图像场景分类
  • (Repost) Getting Genode with TrustZone on the i.MX
  • (六)库存超卖案例实战——使用mysql分布式锁解决“超卖”问题
  • （论文阅读31/100）Stacked hourglass networks for human pose estimation
  • （三）c52学习之旅-点亮LED灯
  • （转）es进行聚合操作时提示Fielddata is disabled on text fields by default
  • .bat批处理（二）：%0 %1——给批处理脚本传递参数
  • .Family_物联网
  • .net 7 上传文件踩坑
  • .NET Core WebAPI中封装Swagger配置
  • .NET Remoting学习笔记（三）信道
  • .Net Web窗口页属性
  • .NET(C#) Internals: as a developer, .net framework in my eyes
  • .NET精简框架的“无法找到资源程序集”异常释疑
  • .Net下C#针对Excel开发控件汇总(ClosedXML,EPPlus,NPOI)
  • .net中我喜欢的两种验证码
  • @autowired注解作用_Spring Boot进阶教程——注解大全（建议收藏！）
  • [ SNOI 2013 ] Quare