hadoop fs:du统计hdfs文件(目录下文件)大小的用法
hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
以下是我的使用hadoop fs -du统计文件时使用的记录:
[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000004_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01/000000_0
/t_user/my_hive_db/my_hive_table_test01/000001_0
/t_user/my_hive_db/my_hive_table_test01/000002_0
/t_user/my_hive_db/my_hive_table_test01/000003_0
/t_user/my_hive_db/my_hive_table_test01/000004_0
/t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0
268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0
268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0
267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0
267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0
266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01 [t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
27.9 G /t_user/my_hive_db/my_hive_table_test01
hadoop fs -count
[dx@d- conf]$ hadoop fs -count /user/dx/
/user/dx
[dx@d- conf]$ hadoop fs -count /user/dx/*
12 4 45844 /user/dx/.Trash
15 502 2382220393 /user/dx/.sparkStaging
1 2 28116579 /user/dx/base_data
45212 109771 23930279854 /user/dx/streaming
hadoop fs:du统计hdfs文件(目录下文件)大小的用法的更多相关文章
- hadoop fs:du & count统计hdfs文件(目录下文件)大小的用法
hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du统计文 ...
- linux 系统统计目录下文件夹的大小
du -ah --max-depth=1 这个是我想要的结果 a表示显示目录下所有的文件和文件夹(不含子目录),h表示以人类能看懂的方式,max-depth表示目录的深度. du命令用来查看 ...
- Linux上统计文件夹下文件个数以及目录个数
对于linux终端用户而言,统计文件夹下文件的多少是经常要做的操作,于我而言,我会经常在谷歌搜索一个命令,“如何在linux统计文件夹的个数”,然后点击自己想要的答案,但是有时候不知道统计文件夹命令运 ...
- linux 统计命令执行后的行数或者统计目录下文件数目
ls |wc 是统计你这个目录下的文件数目.ls |wc -l是输出第一个结果即31即文件的数目.
- Linux 统计文件夹下文件个数及目录个数
1. 统计文件夹下文件的个数 ls -l | grep "^-" | wc -l 2.统计文件夹下目录的个数 ls -l | grep "^d" | wc -l ...
- Linux中/proc目录下文件详解
转载于:http://blog.chinaunix.net/uid-10449864-id-2956854.html Linux中/proc目录下文件详解(一)/proc文件系统下的多种文件提供的系统 ...
- Linux中/proc目录下文件详解(转贴)
转载:http://www.sudu.cn/info/index.php?op=article&id=302529 Linux中/proc目录下文件详解(一) 声明:可以自由转载本文, ...
- Centos-显示目录或者目录下文件信息-ls
ls 显示指定目录信息或指定目录下文件和目录信息,后边不跟文件目录路径信息默认为当前工作目录 默认显示输出信息的总行数统计数 相关参数 -a 显示所有文件或子目录,包含隐藏文档 # linux中以 . ...
- Linux统计某文件夹下文件、文件夹的个数
统计某文件夹下文件的个数 ls -l |grep "^-"|wc -l 统计某文件夹下目录的个数 ls -l |grep "^d"|wc -l 统计文件夹下文件 ...
随机推荐
- jar包和war包的介绍与区别
在学习maven的过程中接触到了jar包和war包.之前在写小项目的时候真的遇到过war包,当时为了找到jar包,把war包 的后缀名改成了.rar的压缩文件,在里面提取出来jar包来用.其实jar包 ...
- oracle session数激增排查过程
我们的生产系统使用的是oracle 11G RAC,昨天突然收到微信告警通知session数达到450个,平时的session数在200个左右. select username,status,mach ...
- spring boot 1.x.x 到 spring boot 2.x.x 的那些变化
spring boot1 到 spring boot2的配置变化很大,迁移项目到spring boot2过程中发现以下变化 1.java 的 redis 配置添加了属性jedis 旧版 spring: ...
- Suricata默认规则集相关
Suricata规则集 Suricata 基于规则检测和控制数据流量,所有规则的配置文件保存在rules目录内 .这些是已知和确认的活动僵尸网络和其C&C(command and contro ...
- CountDownLatch 使用说明
CountDownLatch是一种java.util.concurrent包下一个同步工具类,它允许一个或多个线程等待直到在其他线程中一组操作执行完成. CountDownLatch的用法非常简单,下 ...
- 『BUG』Android Studio 64位 始终提示 JVM 启动不了,JDK配置失败,error code -1
前几天 安装了 Android Studio 2.2. 本来一切都好,但是当我修改了 配置文件 studio64.exe.vmoptions 想修改 最大内存(保证运行流畅)后,AS 就再也运行不了了 ...
- Java读取文件存储到mysql
写了一批Lua脚本,要放到数据库里面,调用的时候进行计算,由于有太多lua脚本,就写了个程序来录入. 下面主要分三个部分: public static String readToString(Stri ...
- HASH方法课下补分博客
课堂要求:利用除留余数法为下列关键字集合的存储设计hash函数,并画出分别用开放寻址法和拉链法解决冲突得到的空间存储状态(散列因子取0.75)关键字集合:85,75,57,60,65,(你的8位学号相 ...
- 详谈C++虚函数表那回事(多重继承关系)
上一篇说了一般继承,也就是单继承的虚函数表,接下来说说多重继承的虚函数表: 1.无虚函数覆盖的多重继承: 代码: #pragma once //无覆盖,多重继承 class Base1 { publi ...
- pandas 数据分析使用
https://github.com/Erick-LONG/data_analysis/blob/master/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%20%E9%8 ...