hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

以下是我的使用hadoop fs -du统计文件时使用的记录:

[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000004_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01/000000_0
/t_user/my_hive_db/my_hive_table_test01/000001_0
/t_user/my_hive_db/my_hive_table_test01/000002_0
/t_user/my_hive_db/my_hive_table_test01/000003_0
/t_user/my_hive_db/my_hive_table_test01/000004_0
/t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0
268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0
268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0
267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0
267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0
266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01 [t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
27.9 G /t_user/my_hive_db/my_hive_table_test01

hadoop fs -count

[dx@d- conf]$ hadoop fs -count /user/dx/
/user/dx
[dx@d- conf]$ hadoop fs -count /user/dx/*
12 4 45844 /user/dx/.Trash
15 502 2382220393 /user/dx/.sparkStaging
1 2 28116579 /user/dx/base_data
45212 109771 23930279854 /user/dx/streaming

hadoop fs:du统计hdfs文件(目录下文件)大小的用法的更多相关文章

  1. hadoop fs:du & count统计hdfs文件(目录下文件)大小的用法

    hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du统计文 ...

  2. linux 系统统计目录下文件夹的大小

    du -ah --max-depth=1     这个是我想要的结果  a表示显示目录下所有的文件和文件夹(不含子目录),h表示以人类能看懂的方式,max-depth表示目录的深度. du命令用来查看 ...

  3. Linux上统计文件夹下文件个数以及目录个数

    对于linux终端用户而言,统计文件夹下文件的多少是经常要做的操作,于我而言,我会经常在谷歌搜索一个命令,“如何在linux统计文件夹的个数”,然后点击自己想要的答案,但是有时候不知道统计文件夹命令运 ...

  4. linux 统计命令执行后的行数或者统计目录下文件数目

    ls |wc 是统计你这个目录下的文件数目.ls |wc -l是输出第一个结果即31即文件的数目.

  5. Linux 统计文件夹下文件个数及目录个数

    1. 统计文件夹下文件的个数 ls -l | grep "^-" | wc -l 2.统计文件夹下目录的个数 ls -l | grep "^d" | wc -l ...

  6. Linux中/proc目录下文件详解

    转载于:http://blog.chinaunix.net/uid-10449864-id-2956854.html Linux中/proc目录下文件详解(一)/proc文件系统下的多种文件提供的系统 ...

  7. Linux中/proc目录下文件详解(转贴)

      转载:http://www.sudu.cn/info/index.php?op=article&id=302529   Linux中/proc目录下文件详解(一) 声明:可以自由转载本文, ...

  8. Centos-显示目录或者目录下文件信息-ls

    ls 显示指定目录信息或指定目录下文件和目录信息,后边不跟文件目录路径信息默认为当前工作目录 默认显示输出信息的总行数统计数 相关参数 -a 显示所有文件或子目录,包含隐藏文档 # linux中以 . ...

  9. Linux统计某文件夹下文件、文件夹的个数

    统计某文件夹下文件的个数 ls -l |grep "^-"|wc -l 统计某文件夹下目录的个数 ls -l |grep "^d"|wc -l 统计文件夹下文件 ...

随机推荐

  1. AngularJs的resource服务与Rest服务交互

    前言以后补: * 在使用resource服务返回的资源对象后具有与后台数据交互的五大接口:save query delete remove get 五种默认行为: { "get": ...

  2. WEBLOGIC 11G (10.3.6) windows PSU 升级10.3.6.0.171017(Java 反序列化漏洞升级)

    10.3.6版本的weblogic需要补丁到10.3.6.0.171017(2017年10月份的补丁,Java 反序列化漏洞升级),oracle官方建议至少打上2017年10月份补丁. 一.查看版本 ...

  3. c++ --> const关键字总结

    const关键字总结 C++中的const关键字的用法非常灵活,而使用const将大大改善程序的健壮性.const 是C++中常用的类型修饰符,常类型是指使用类型修饰符const说明的类型,常类型的变 ...

  4. [poj2367]Genealogical tree_拓扑排序

    Genealogical tree poj-2367 题目大意:给你一个n个点关系网,求任意一个满足这个关系网的序列,使得前者是后者的上级. 注释:1<=n<=100. 想法:刚刚学习to ...

  5. WPF笔记1 用VS2015创建WPF程序

    使用WPF创建第一个应用程序.实现功能如下: 单击"Red"按钮,文本显示红色:单击"Black"按钮,文本显示黑色:单击"Back"按钮, ...

  6. Java高级特性之枚举

    在Java SE5之前,我们要使用枚举类型时,通常会使用static final 定义一组int常量来标识,代码如下 public static final int MAN = 0; public s ...

  7. PHP-CGI,FASTcgi,php-fpm,之间的关系?

    刚开始对这个问题我也挺纠结的,看了<HTTP权威指南>后,感觉清晰了不少.首先,CGI是干嘛的?CGI是为了保证web server传递过来的数据是标准格式的,方便CGI程序的编写者.   ...

  8. selenium2自动化测试学习笔记(五)-参数化编程,自动登陆网易QQ邮箱

    学习python下使用selenium2自动测试第6天,参数化编程这节课花了两天时间. 本次编程主要时间是花在熟悉python上 知识点or坑点: 1.读取txt.xml.csv等文件存储的账号.密码 ...

  9. JS常见操作,日期操作,字符串操作,表单验证等

    复制代码 //第一篇博文,希望大家多多支持 /***** BasePage.js 公共的 脚本文件 部分方法需引用jquery库 *****/ //#region 日期操作 //字符串转化为时间. f ...

  10. 浅谈RMQ

    RMQ是一类求区间极值的问题 有一种 \(O\left(nlogn\right)\) 的解法,用倍增实现 倍增算法 变量的定义 \(A_i\) : 原数组 \(f_{i,j}\) : 以 \(i\) ...