Hadoop3.0.3 HDFS 常用shell 命令

1、启动Hadoop

./start-all.sh

[root@elk-server sbin]# ./start-all.sh 
Starting namenodes on [elk-server] 
上一次登录：日 11月 24 21:57:43 CST 2019从 192.168.88.1pts/0 上 
elk-server: Warning: Permanently added 'elk-server,192.168.88.135' (ECDSA) to the list of known hosts. 
Starting datanodes 
上一次登录：日 11月 24 22:44:47 CST 2019pts/0 上 
node1: WARNING: /usr/local/hadoop/hadoop-3.0.3/logs does not exist. Creating. 
Starting secondary namenodes [elk-server] 
上一次登录：日 11月 24 22:44:50 CST 2019pts/0 上 
Starting resourcemanager 
上一次登录：日 11月 24 22:44:55 CST 2019pts/0 上 
Starting nodemanagers 
上一次登录：日 11月 24 22:45:02 CST 2019pts/0 上

2、检查Hadoop服务启动情况

jps

[root@elk-server sbin]# jps 
7713 NameNode 
8516 Jps 
8201 ResourceManager 
7965 SecondaryNameNode

3、检查HDFS 系统根目录

hadoop fs -ls /

[root@elk-server sbin]# hadoop fs -ls /

4、HDFS创建文件夹

hadoop fs -mkdir /test

[root@elk-server sbin]# hadoop fs -mkdir /test 
[root@elk-server sbin]# hadoop fs -ls / 
Found 1 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

5、HDFS 创建级联文件夹

hadoop fs -mkdir -p /input/data

[root@elk-server sbin]# hadoop fs -mkdir -p /input/data 
[root@elk-server sbin]# hadoop fs -ls / 
Found 2 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

6、HDFS查看系统根目录下指定文件夹包括的文件

hadoop fs -ls -R /input

[root@elk-server sbin]# hadoop fs -ls -R /input 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input/data

7、HDFS上传文件

hadoop fs -put words.txt /input/data

[root@elk-server data]# hadoop fs -put words.txt /input/data 
[root@elk-server data]# hadoop fs -ls -R /input/data 
-rw-r--r--   1 root supergroup         38 2019-11-25 00:24 /input/data/words.tx

8、HDFS 下载文件

hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt

[root@elk-server data]# hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt 
[root@elk-server data]# ll 
总用量 8 
-rw-r--r-- 1 root root 38 11月 25 00:27 newwords.txt 
-rw-r--r-- 1 root root 38 11月 25 00:23 words.txt

9、HDFS 文件复制

hadoop fs -cp /input/data/words.txt /test

[root@elk-server data]# hadoop fs -cp /input/data/words.txt /test 
[root@elk-server data]# hadoop fs -ls /test 
Found 1 items 
-rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /test/words.txt

10、HDFS 文件移动

hadoop fs -mv /test/words.txt /input

[root@elk-server data]# hadoop fs -mv /test/words.txt /input 
[root@elk-server data]# hadoop fs -ls /input 
Found 2 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data 
-rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /input/words.txt

11、HDFS 删除文件或文件夹

hadoop fs -rm /input/words.txt

[root@elk-server data]# hadoop fs -rm /input/words.txt 
Deleted /input/words.txt 
[root@elk-server data]# hadoop fs -ls /input 
Found 1 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data

删除空目录

hadoop fs -rmdir /test

[root@elk-server data]# hadoop fs -rmdir /test 
[root@elk-server data]# hadoop fs -ls / 
Found 1 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:37 /input

强制删除

hadoop fs -rm -r /input

[root@elk-server data]# hadoop fs -rm -r /input 
Deleted /input 
[root@elk-server data]# hadoop fs -ls /

12、HDFS 查看文件内容

hadoop fs -cat /input/data/words.txt

[root@elk-server data]# hadoop fs -mkdir -p /input/data 
[root@elk-server data]# hadoop fs -put words.txt /input/data 
[root@elk-server data]# hadoop fs -ls / 
Found 1 items 
drwxr-xr-x   - root supergroup          0 2019-11-25 00:42 /input 
[root@elk-server data]# hadoop fs -cat /input/data/words.txt 
hell zhangsan 
hello lisi 
hello wangwu 
[root@elk-server data]# 

13、HDFS 修改文件权限，参考Linux 指令之chmod

14、HDFS 修改文件所属组，参考Linux指令之chgrp

15、HDFS 修改为文件所属用户，参考Linux指令之chown

16、HDFS 显示文件相关属性值，参考Linux 指令之du

[root@elk-server data]# hadoop fs -du /input/data/words.txt 
38  38  /input/data/words.txt

17、HDFS 显示文件大学，参考Linux 指令之dus

[root@elk-server data]# hadoop fs -dus /input/data/words.txt 
dus: DEPRECATED: Please use 'du -s' instead. 
38  38  /input/data/words.txt

18、HDFS 清空回收站,参考Linux 指令之expunge

[root@elk-server data]# hadoop fs -expunge  #清空回收站

19、setrep

使用方法：hadoop fs -setrep [-R] <path>

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：

• hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

 

20、tail

使用方法：hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

示例：

• hadoop fs -tail pathname

返回值：
成功返回0，失败返回-1。

 

21、test

使用方法：hadoop fs -test -[ezd] URI

选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。 
-d 如果路径是个目录，则返回1，否则返回0。

示例：

• • hadoop fs -test -e filename

22、查看Hadoop集群状态

hdfs dfsadmin -report

[root@elk-server data]# hdfs dfsadmin -report 
Configured Capacity: 18238930944 (16.99 GB) 
Present Capacity: 13269663744 (12.36 GB) 
DFS Remaining: 13269647360 (12.36 GB) 
DFS Used: 16384 (16 KB) 
DFS Used%: 0.00% 
Replicated Blocks: 
	Under replicated blocks: 0 
	Blocks with corrupt replicas: 0 
	Missing blocks: 0 
	Missing blocks (with replication factor 1): 0 
	Pending deletion blocks: 0 
Erasure Coded Block Groups:  
	Low redundancy block groups: 0 
	Block groups with corrupt internal blocks: 0 
	Missing block groups: 0 
	Pending deletion blocks: 0 
 
------------------------------------------------- 
Live datanodes (1): 
 
Name: 192.168.88.136:9866 (node1) 
Hostname: node1 
Decommission Status : Normal 
Configured Capacity: 18238930944 (16.99 GB) 
DFS Used: 16384 (16 KB) 
Non DFS Used: 4969267200 (4.63 GB) 
DFS Remaining: 13269647360 (12.36 GB) 
DFS Used%: 0.00% 
DFS Remaining%: 72.75% 
Configured Cache Capacity: 0 (0 B) 
Cache Used: 0 (0 B) 
Cache Remaining: 0 (0 B) 
Cache Used%: 100.00% 
Cache Remaining%: 0.00% 
Xceivers: 1 
Last contact: Mon Nov 25 00:53:27 CST 2019 
Last Block Report: Sun Nov 24 22:44:58 CST 2019