hadoop hdfs设置quota
quota分为两种:
1. 目录下的文件数限制
2. 目录下的空间大小
//设置文件数
hdfs dfsadmin -setQuota 1000000 /user/jenkin
//设置空间大小
hdfs dfsadmin -setSpaceQuota 100g /user/jenkin //查看quota
hadoop fs -count -q /user/jenkin
[root@hadoop01 ~]# hadoop fs -count -q /user/jenkin
1000000 999182 107374182400 100052379973 26 792 2440600809 /user/jenkin
列对应:
QUOTA            REMAINING_QUOTA  SPACE_QUOTA      REMAINING_SPACE_QUOTA  DIR_COUNT   FILE_COUNT
计算公式:
QUOTA – (DIR_COUNT + FILE_COUNT) = REMAINING_QUOTA
SPACE_QUOTA – CONTENT_SIZE = REMAINING_SPACE_QUOTA
space quota 的设定所看的不是上传的档案大小,是写入 HDFS 的所有 block size,假设一个档案要写入两个blocks,在core-site.xml设定dfs.block.size为64MB,dfs.replication为3,那所需空间:2*64MB*3=384MB
hadoop hdfs设置quota的更多相关文章
- hadoop hdfs 命令行 设置文件夹大小的上限 quota:配额
		
>bin/hdfs dfs -put readme.txt /finance >bin/hdfs dfs -du -s /finance > /finance >bin/hdf ...
 - Hive:org.apache.hadoop.hdfs.protocol.NSQuotaExceededException: The NameSpace quota (directories and files) of directory /mydir is exceeded: quota=100000 file count=100001
		
集群中遇到了文件个数超出限制的错误: 0)昨天晚上spark 任务突然抛出了异常:org.apache.hadoop.hdfs.protocol.NSQuotaExceededException: T ...
 - Hadoop HDFS 用户指南
		
This document is a starting point for users working with Hadoop Distributed File System (HDFS) eithe ...
 - Hadoop HDFS负载均衡
		
Hadoop HDFS负载均衡 转载请注明出处:http://www.cnblogs.com/BYRans/ Hadoop HDFS Hadoop 分布式文件系统(Hadoop Distributed ...
 - Hadoop HDFS文件常用操作及注意事项
		
Hadoop HDFS文件常用操作及注意事项 1.Copy a file from the local file system to HDFS The srcFile variable needs t ...
 - Hadoop HDFS文件常用操作及注意事项(更新)
		
1.Copy a file from the local file system to HDFS The srcFile variable needs to contain the full name ...
 - Hadoop HDFS (3) JAVA訪问HDFS
		
如今我们来深入了解一下Hadoop的FileSystem类. 这个类是用来跟Hadoop的文件系统进行交互的.尽管我们这里主要是针对HDFS.可是我们还是应该让我们的代码仅仅使用抽象类FileSyst ...
 - Hadoop HDFS分布式文件系统设计要点与架构
		
Hadoop HDFS分布式文件系统设计要点与架构 Hadoop简介:一个分布式系统基础架构,由Apache基金会开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群 ...
 - Hadoop群集设置
		
Hadoop群集设置 近期特别看了Hadoop的资料.感觉特别好,整理一下发在自己的博客上,希望对想了解集群的网友有所帮助. 參考资料:http://hadoop.apache.org/docs/r1 ...
 
随机推荐
- 【BZOJ3120】Line 矩阵乘法
			
[BZOJ3120]Line Description Wayne喜欢排队……不对,是Wayne所在学校的校长喜欢看大家排队,尤其是在操场上站方阵.某日课间操时,校长童心大发想了一个极具观赏性的列队方案 ...
 - 怎么在android实现通过浏览器点击链接打开apk
			
intent://scan/#Intent;scheme=appname://appname/[频道]/[id];package=com.appname.package;end http://m.ch ...
 - PAT 甲级 1020 Tree Traversals (二叉树遍历)
			
1020. Tree Traversals (25) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHEN, Yue Suppo ...
 - git 学习(2)--恢复版本
			
查看修改历史记录 $ git log commit fba77877d316436c1b774b8933380ebcac668040 Author: keith <ustbfxx@163.com ...
 - Spark 源码分析 – BlockManagerMaster&Slave
			
BlockManagerMaster 只是维护一系列对BlockManagerMasterActor的接口, 所有的都是通过tell和askDriverWithReply从BlockManager ...
 - 三种方案在Windows系统下安装ubuntu双系统
			
一.虚拟机安装(不推荐) 使用工具:Vmware 如果不是因为迫不得已,比如Mac OS对硬件不兼容,Federa安装频繁出错,各种驱动不全等等,不推荐使用虚拟机安装. 个人感觉这是一种对操作系统的亵 ...
 - java.util.Calendar
			
package day14; import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer; import java.util.Cal ...
 - 02-django查询
			
目录 (一)查询 1 .基本查询(等于.大于.包含字符.日期.字段比较.逻辑) 2 .关联查询(即为join查询)(一对多.多对多.一对一) 3 .聚合查询(统计查询) (二)关联对象(已知A表的 ...
 - Python np.newaxis
			
np.newaxis的功能是插入新维度,看下面的例子: a=np.array([1,2,3,4,5])print a.shape print a 输出结果 (5,)[1 2 3 4 5] 可以看出a是 ...
 - HALCON串口通讯程序
			
串口通讯程序 * Note: This example is meant to demonstrate the use of the serial interface * of HALCON. ...