当前位置: 首页 > news >正文

在Windows 10上安装单机版的hadoop-3.3.5

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下,开发分布式程序。充分利用集群进行高速运算和存储。

2、下载Hadoop,我们在清华大学的镜像站下载

Index of /apache/hadoop/core/hadoop-3.3.6 (tsinghua.edu.cn)

3、下载之后解压缩

​4、安装相应的环境

4.1、jdk1.8或者jdk11,

4.2、配置hadoop环境

5、修改hadoop配置

5.1、修改start-all.cmd中的配置

@rem start hdfs daemons if hdfs is present
if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
)@rem start yarn daemons if yarn is present
if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
)

5.2、修改yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property>
</configuration>

5.3、mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5.4、hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/D:/bigdata/hadoop/data/namenode</value> //注意前面部分路径修改为自己的</property><property><name>dfs.datanode.data.dir</name><value>/D:/bigdata/hadoop/data/datanode</value> //注意前面部分路径修改为自己的</property><property><name>dfs.permissions.enabled</name><value>false</value></property>
</configuration>

5.5、core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/D:/bigdata/hadoop/data/tmp</value> //注意前面部分路径修改为自己的</property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.http.authentication.simple.anonymous.allowed</name><value>true</value></property>
</configuration>

5.6、需要拷贝winutils下的winutils.exe,hadoop.dll到hadoop的bin下面

在/ect/hadoop/hadoop-env.cmd中设置set JAVA_HOME=D:/Java/jdk1.8.0_311,jdk的环境地址

5.7、输入hdfs namenode -format格式化

hdfs namenode -format

5.8、进入hadoop/sbin目录执行start-all.cmd

D:\bigdata\hadoop\sbin>start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

5.9、jps查看

D:\bigdata\hadoop\sbin>jps
8448 Jps
28360 NameNode
29592 ResourceManager
18108 NodeManager
20940 DataNode

5.10、启动成功后界面

http://localhost:8088/cluster

http://localhost:9870/

单机版的hadoop就启动成功

相关文章:

  • 引入lombok常用注解
  • 双11网络机顶盒哪个好?数码博主横评20款盘点网络机顶盒排名
  • ElementUI-tree拖拽功能与节点自定义
  • 绿色低碳 数字未来-辽宁省建筑电气2023年学术年会-安科瑞 蒋静
  • C# Winform自定义CheckBox控件
  • python 为什么这么受欢迎?python的优势到底在哪里?
  • Linux篇---第二篇
  • [前端]动态加载问题-按条件加载
  • Java定时任务实现
  • js实现将图片转成黑白
  • 数字孪生智慧工厂3D无代码编辑工具提供强大、简单功能
  • JavaScript双for循环,判断对象数组的阈值重合。
  • MYSQL的高阶语句
  • 三数之和(双指针)
  • 计算机毕业设计 基于SpringBoot的私人西服定制系统的设计与实现 Java实战项目 附源码+文档+视频讲解
  • create-react-app做的留言板
  • ESLint简单操作
  • LintCode 31. partitionArray 数组划分
  • Magento 1.x 中文订单打印乱码
  • Making An Indicator With Pure CSS
  • nginx 负载服务器优化
  • tab.js分享及浏览器兼容性问题汇总
  • V4L2视频输入框架概述
  • 动手做个聊天室,前端工程师百无聊赖的人生
  • 读懂package.json -- 依赖管理
  • 高性能JavaScript阅读简记(三)
  • 山寨一个 Promise
  • 算法-图和图算法
  • 通过npm或yarn自动生成vue组件
  • 看到一个关于网页设计的文章分享过来!大家看看!
  • linux 淘宝开源监控工具tsar
  • # 20155222 2016-2017-2 《Java程序设计》第5周学习总结
  • # 深度解析 Socket 与 WebSocket:原理、区别与应用
  • #、%和$符号在OGNL表达式中经常出现
  • #define用法
  • (2)nginx 安装、启停
  • (Matalb分类预测)GA-BP遗传算法优化BP神经网络的多维分类预测
  • (Redis使用系列) Springboot 使用Redis+Session实现Session共享 ,简单的单点登录 五
  • (附源码)springboot金融新闻信息服务系统 毕业设计651450
  • (附源码)springboot青少年公共卫生教育平台 毕业设计 643214
  • (附源码)基于SpringBoot和Vue的厨到家服务平台的设计与实现 毕业设计 063133
  • (附源码)小程序儿童艺术培训机构教育管理小程序 毕业设计 201740
  • ... 是什么 ?... 有什么用处?
  • .NET Micro Framework初体验
  • .net 受管制代码
  • .net开源工作流引擎ccflow表单数据返回值Pop分组模式和表格模式对比
  • [ SNOI 2013 ] Quare
  • [AIGC] 开源流程引擎哪个好,如何选型?
  • [BZOJ] 1001: [BeiJing2006]狼抓兔子
  • [c++] 单例模式 + cyberrt TimingWheel 单例分析
  • [codevs 1296] 营业额统计
  • [DL]深度学习_Feature Pyramid Network
  • [Gamma]阶段测试报告
  • [Java] 图说 注解
  • [JavaWeb学习] tomcat简介、安装及项目部署