当前位置： 首页 > news >正文

hadoop基本概念

news 来源：原创 2024/5/20 23:25:34

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS，HDFS) 和 MapReduce。

二、HDFS 

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点"，是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关文章：

  • 影视类视频片段分割
  • node项目中express的使用
  • pytest和unittest 如何选择？
  • 中文分词库盘点 Python windows
  • openssl AF_ALG引擎使用
  • 05. 【Android教程】Android 程序签名打包
  • C++类和对象、面向对象编程 (OOP)
  • 主流公链 - BSC
  • 【Java】LinkedList vs. ArrayList：Java中的数据结构选择
  • 智慧物联-能源分析平台
  • 【Linux】详细分析/dev/loop的基本知识 | 空间满了的解决方法
  • OC 技术 苹果内购
  • （二）Eureka服务搭建，服务注册，服务发现
  • 教程1_图像视频入门
  • 众创空间、孵化器、加速器！2024年度陕西省科技企业孵化器认定类型条件、奖补
  • Google 是如何开发 Web 框架的
  • [译]如何构建服务器端web组件，为何要构建？
  • 【RocksDB】TransactionDB源码分析
  • avalon2.2的VM生成过程
  • JavaScript/HTML5图表开发工具JavaScript Charts v3.19.6发布【附下载】
  • JavaScript对象详解
  • Java深入 - 深入理解Java集合
  • JS字符串转数字方法总结
  • nginx 负载服务器优化
  • node入门
  • python_bomb----数据类型总结
  • Spark RDD学习: aggregate函数
  • SpiderData 2019年2月23日 DApp数据排行榜
  • SpiderData 2019年2月25日 DApp数据排行榜
  • spring boot 整合mybatis 无法输出sql的问题
  • vue+element后台管理系统，从后端获取路由表，并正常渲染
  • 精益 React 学习指南 （Lean React）- 1.5 React 与 DOM
  • 两列自适应布局方案整理
  • 入职第二天：使用koa搭建node server是种怎样的体验
  • 使用 Docker 部署 Spring Boot项目
  • 使用 Node.js 的 nodemailer 模块发送邮件（支持 QQ、163 等、支持附件）
  • 中文输入法与React文本输入框的问题与解决方案
  • LevelDB 入门 —— 全面了解 LevelDB 的功能特性
  • 关于Kubernetes Dashboard漏洞CVE-2018-18264的修复公告
  • $forceUpdate()函数
  • （23）Linux的软硬连接
  • (附源码)springboot家庭装修管理系统 毕业设计 613205
  • （机器学习-深度学习快速入门）第三章机器学习-第二节：机器学习模型之线性回归
  • （淘宝无限适配）手机端rem布局详解（转载非原创）
  • （一）spring cloud微服务分布式云架构 - Spring Cloud简介
  • （转）memcache、redis缓存
  • （转）编辑寄语：因为爱心，所以美丽
  • .NET Framework .NET Core与 .NET 的区别
  • .NET 线程 Thread 进程 Process、线程池 pool、Invoke、begininvoke、异步回调
  • .Net 中Partitioner static与dynamic的性能对比
  • .sh文件怎么运行_创建优化的Go镜像文件以及踩过的坑
  • @ 代码随想录算法训练营第8周（C语言）|Day53（动态规划）
  • @Builder用法
  • @Import注解详解
  • @modelattribute注解用postman测试怎么传参_接口测试之问题挖掘