生产环境（cdh5.5.1）遇到一个问题：已经设置 dfs.datanode.du.reserved预留空间为20G，但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间，如果磁盘大小为2000G，

使用df -h 显示：总磁盘大小2000G，使用1930G，剩余40G，就会发现：2000G -（1930G+40G）= 30G，还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满，如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话，而我们设置的是20G，所以磁盘就被写满 了，预留空间就没有起到实际作用

[解决办法]：

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - （) ? remaining : 0;

  • }

    • dfs.datanode.du.reserved 预留空间不生效的问题的更多相关文章

    1. hadoop dfs.datanode.du.reserved 预留空间配置方法

      对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved< ...

    2. dfs.datanode.max.xcievers参数导致hbase集群报错

      2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ [案例]dfs.datanode.max.x ...

    3. dfs.datanode.max.transfer.threads

      An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <p ...

    4. Hadoop集群datanode磁盘不均衡的解决方案

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    5. Hadoop集群datanode磁盘不均衡的解决方案【转】

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    6. dfs常见的配置文件中的value与description

      照抄于网络: name value description dfs.namenode.logging.level info The logging level for dfs namenode. Ot ...

    7. hadoop Non DFS Used是什么

      首先我们先来了解一下Non DFS User是什么? Non DFS User的意思是:非hadoop文件系统所使用的空间,比如说本身的linux系统使用的,或者存放的其它文件   它的计算公式: n ...

    8. dfs常见的配置文件中的value与description（重要）

      不多说,直接上干货! name value description dfs.namenode.logging.level info The logging level for dfs namenode ...

    9. File /hbase could only be replicated to 0 nodes instead of minReplication (=1). There are 30 datanode(s) running and no node(s) are excluded in this operation.

      原因: hdfs-site.xml中的配置为: <property> <name>dfs.datanode.du.reserved</name> <value ...

    随机推荐

    1. New York Comic Con 2013 - 2013年纽约动漫展

      New York Comic Con - 2013年纽约动漫展 New York Comic Con is the largest pop culture event on the East Coas ...

    2. redis利用key计时与计数

      计时 Setex 命令为指定的 key 设置值及其过期时间.如果 key 已经存在, SETEX 命令将会替换旧的值 基本命令: redis 127.0.0.1:6379> SETEX KEY_ ...

    3. UVA 11270 轮廓线

      题目链接: http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=33787 题意: 用1*2或2*1的长条把n*m方格铺满的方案数. ...

    4. 转 从红帽、GitHub和Docker看开源商业模式的进阶

      从红帽.GitHub和Docker看开源商业模式的进阶 发表于2014-12-16 10:26| 7594次阅读| 来源http://stratechery.com/| 0 条评论| 作者Ben Th ...

    5. PAT 甲级 1054 The Dominant Color

      https://pintia.cn/problem-sets/994805342720868352/problems/994805422639136768 Behind the scenes in t ...

    6. Centos7更改默认启动桌面（或命令行）模式

      centos7以后是这样的,7以前就是别的版本了 1.systemctl get-default命令获取当前模式 2.systemctl set-default graphical.target 修改 ...

    7. 【Linux】- cat命令的源码历史

      转自:Cat 命令的源码历史 以前我和我的一些亲戚争论过计算机科学的学位值不值得读.当时我正在上大学,并要决定是不是该主修计算机.我姨和我表姐觉得我不应该主修计算机.她们承认知道如何编程肯定是很有用且 ...

    8. js & array to string

      js & array to string https://stackoverflow.com/questions/13272406/convert-string-with-commas-to- ...

    9. excel copy cell & batch operation & checkbox

      excel copy cell & batch operation & checkbox excel 右下角,下拉/双击 (复制 cell) 注意: 不是选择列

    10. 如何更好的使用JAVA线程池

      这篇文章结合Doug Lea大神在JDK1.5提供的JCU包,分别从线程池大小参数的设置.工作线程的创建.空闲线程的回收.阻塞队列的使用.任务拒绝策略.线程池Hook等方面来了解线程池的使用,其中涉及 ...