(4条消息) hdfs dfs常用基本命令

hdfs dfs 使用命令 ，路径用/project/test/替代

例如

查询前几行样本数据：
hdfs dfs -cat /project/test/test.txt | head -17

查询后5行数据：
hdfs dfs -cat /project/test/test.txt | tail -5

随机返回指定行数的样本：
hdfs dfs -cat /project/test/test.txt | shuf -n 5

查看文本的行数：
hdfs dfs -cat /project/test/test.txt | wc -l

查询第五行之后的文件内容：
hdfs dfs -cat /project/test/test.txt | tail -n +5

查询过滤字段num：
hdfs dfs -cat /project/test/test.txt | grep num

查看文件大小：
hdfs dfs -du /project/test/test.txt
hdfs dfs -du /project/test/*

显示文件夹下面文件的数量：
hdfs dfs -count /project/test/

创建目录dir1和dir2：
hdfs dfs -mkdir -p /project/test/dir1 /project/test/dir2

显示文件夹test下的目录：
hdfs dfs -ls /project/test/
递归的显示test下的目录：
hdfs dfs -ls -R /project/test/或hdfs dfs -lsr /project/test/

将本地文件上传至hdfs目标路径：
hdfs dfs -put /home/bb/test1.txt /project/test/

将文件从目标路径拷贝到本地：
hdfs dfs -get /project/test/test1 /home/bb/

将文件或目录复制到目标路径：
hdfs dfs -cp 源路径 目标路径

删除文件或目录：
hdfs dfs -rm 路径
删除文件夹及文件夹下的内容：
hdfs dfs -rm -r 路径
跳过垃圾桶删除：
hdfs dfs -rm -r -skipTrash 路径

以文本的方式显示到标准输出：
hdfs dfs -text /project/test/

显示文件的最后1KB到标准输出：
hdfs dfs -tail -f /project/test/t.txt