【hadoop】常用命令
集群信息
查看hadoop版本
hadoop version
查询hdfs系统中的namenode
# 方式一
hdfs getconf -namenodes# 方式二
hdfs getconf -confKey dfs.namenode.http-address
获取NameNode restful接口
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address
查看datanode的存储目录
hdfs getconf -confKey dfs.datanode.data.dir
获取SecondaryNameNode节点
hdfs getconf -confKey dfs.namenode.secondary.http-address
获取ResourceManager节点
hdfs getconf -confKey yarn.resourcemanager.address
获取yarn restful节点和port信息
hdfs getconf -confKey yarn.resourcemanager.webapp.address
安全模式
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]#
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait文件操作
显示目录结构
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r-- 2 hdfs supergroup 7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L "http://master:9870/webhdfs/v1?op=LISTSTATUS"
创建目录
hdfs dfs -mkdir /test
上传本地文件到指定目录下
hdfs dfs -put /tmp/test.txt /test
查看文件内容
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt
创建文件
hdfs dfs -touch /test/test1.txt
重命名文件
hdfs dfs -mv /test/test1.txt /test/test2.txt
删除文件
hdfs dfs -rm /test/test2.txt
删除文件夹
hdfs dfs -rm -r /test
下载文件到本地
hdfs dfs -get /test/test.txt /tmp
报错日志
日志目录： /var/log/hadoop-hdfs