hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

以下是我的使用hadoop fs -du统计文件时使用的记录:

[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000004_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01/000000_0
/t_user/my_hive_db/my_hive_table_test01/000001_0
/t_user/my_hive_db/my_hive_table_test01/000002_0
/t_user/my_hive_db/my_hive_table_test01/000003_0
/t_user/my_hive_db/my_hive_table_test01/000004_0
/t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0
268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0
268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0
267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0
267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0
266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01 [t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
27.9 G /t_user/my_hive_db/my_hive_table_test01

hadoop fs -count

[dx@d- conf]$ hadoop fs -count /user/dx/
/user/dx
[dx@d- conf]$ hadoop fs -count /user/dx/*
12 4 45844 /user/dx/.Trash
15 502 2382220393 /user/dx/.sparkStaging
1 2 28116579 /user/dx/base_data
45212 109771 23930279854 /user/dx/streaming

hadoop fs:du统计hdfs文件(目录下文件)大小的用法的更多相关文章

  1. hadoop fs:du & count统计hdfs文件(目录下文件)大小的用法

    hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du统计文 ...

  2. linux 系统统计目录下文件夹的大小

    du -ah --max-depth=1     这个是我想要的结果  a表示显示目录下所有的文件和文件夹(不含子目录),h表示以人类能看懂的方式,max-depth表示目录的深度. du命令用来查看 ...

  3. Linux上统计文件夹下文件个数以及目录个数

    对于linux终端用户而言,统计文件夹下文件的多少是经常要做的操作,于我而言,我会经常在谷歌搜索一个命令,“如何在linux统计文件夹的个数”,然后点击自己想要的答案,但是有时候不知道统计文件夹命令运 ...

  4. linux 统计命令执行后的行数或者统计目录下文件数目

    ls |wc 是统计你这个目录下的文件数目.ls |wc -l是输出第一个结果即31即文件的数目.

  5. Linux 统计文件夹下文件个数及目录个数

    1. 统计文件夹下文件的个数 ls -l | grep "^-" | wc -l 2.统计文件夹下目录的个数 ls -l | grep "^d" | wc -l ...

  6. Linux中/proc目录下文件详解

    转载于:http://blog.chinaunix.net/uid-10449864-id-2956854.html Linux中/proc目录下文件详解(一)/proc文件系统下的多种文件提供的系统 ...

  7. Linux中/proc目录下文件详解(转贴)

      转载:http://www.sudu.cn/info/index.php?op=article&id=302529   Linux中/proc目录下文件详解(一) 声明:可以自由转载本文, ...

  8. Centos-显示目录或者目录下文件信息-ls

    ls 显示指定目录信息或指定目录下文件和目录信息,后边不跟文件目录路径信息默认为当前工作目录 默认显示输出信息的总行数统计数 相关参数 -a 显示所有文件或子目录,包含隐藏文档 # linux中以 . ...

  9. Linux统计某文件夹下文件、文件夹的个数

    统计某文件夹下文件的个数 ls -l |grep "^-"|wc -l 统计某文件夹下目录的个数 ls -l |grep "^d"|wc -l 统计文件夹下文件 ...

随机推荐

  1. 关于标准ui设计图转换为H5页面的终端适配

    一些基本概念 在进行具体实战之前,首先得了解下面这些基本概念(术语): 视窗 viewport 简单的理解,viewport是严格等于浏览器的窗口.在桌面浏览器中,viewport就是浏览器窗口的宽度 ...

  2. 1-1 maven 学习笔记(1-6章)

    一.基础概念 1.Maven作为Apache组织中颇为成功的开源项目,主要服务于基于Java平台的项目构建,依赖管理和项目信息管理.从清理,编译,测试到生成报告,到打包部署,自动化构建过程. 还可以跨 ...

  3. 【Docker】 积累

    ■ 磁盘空间和docker资源之间的关系 通过docker info | grep Space可以看到Docker占据的磁盘空间的信息.其中Data Space Used表示实际上docker资源占用 ...

  4. 【Flask】 网站的用户管理

    网站用户管理 不知道为什么很多学习Flask的人都是从搭博客开始的(大概是因为那本书的案例是博客,同时对bootstrap支持良好,bootstrap又是twitter开发的吧..)既然是搭建博客,就 ...

  5. java各种概念 Core Java总结

    Base: OOA是什么?OOD是什么?OOP是什么?{ oo(object-oriented):基于对象概念,以对象为中心,以类和继承为构造机制,来认识,理解,刻画客观世界和设计,构建相应的软件系统 ...

  6. [poj3468]A Simple Problem with Integers_线段树

    A Simple Problem with Integers 题目大意:给出n个数,区间加.查询区间和. 注释:1<=n,q<=100,000.(q为操作次数). 想法:嗯...学了这么长 ...

  7. Excel导出不同浏览器下文件名乱码问题

    解决思路:通过请求头中的User-Agent参数中的信息来区分不同浏览器 public Object exportPz(HttpServletRequest request, HttpServletR ...

  8. Java基础学习笔记十一 Eclipse开发工具

    Eclipse是功能强大Java集成开发工具.它可以极大地提升我们的开发效率.可以自动编译,检查错误.在公司中,使用的就是Eclipse进行开发. Eclipse的下载.安装.卸载 下载 http:/ ...

  9. Elasticsearch安装详解

    本文只介绍在windows上的安装和配置,其他安装和配置请参见官方文档 ES在windows上安装需下载zip安装包,解压后bin目录下有个 elasticsearch-service.bat 文件. ...

  10. Bate版敏捷冲刺每日报告--day1

    1 团队介绍 团队组成: PM:齐爽爽(258) 小组成员:马帅(248),何健(267),蔡凯峰(285)  Git链接:https://github.com/WHUSE2017/C-team 2 ...