生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间,如果磁盘大小为2000G,

使用df -h 显示:总磁盘大小2000G,使用1930G,剩余40G,就会发现:2000G -(1930G+40G)= 30G,还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满,如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话,而我们设置的是20G,所以磁盘就被写满 了,预留空间就没有起到实际作用

[解决办法]:

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - () ? remaining : 0;

  • }
  • dfs.datanode.du.reserved 预留空间不生效的问题的更多相关文章

    1. hadoop dfs.datanode.du.reserved 预留空间配置方法

      对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved< ...

    2. dfs.datanode.max.xcievers参数导致hbase集群报错

      2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ [案例]dfs.datanode.max.x ...

    3. dfs.datanode.max.transfer.threads

      An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <p ...

    4. Hadoop集群datanode磁盘不均衡的解决方案

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    5. Hadoop集群datanode磁盘不均衡的解决方案【转】

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    6. dfs常见的配置文件中的value与description

      照抄于网络: name value description dfs.namenode.logging.level info The logging level for dfs namenode. Ot ...

    7. hadoop Non DFS Used是什么

      首先我们先来了解一下Non DFS User是什么? Non DFS User的意思是:非hadoop文件系统所使用的空间,比如说本身的linux系统使用的,或者存放的其它文件   它的计算公式: n ...

    8. dfs常见的配置文件中的value与description(重要)

      不多说,直接上干货! name value description dfs.namenode.logging.level info The logging level for dfs namenode ...

    9. File /hbase could only be replicated to 0 nodes instead of minReplication (=1). There are 30 datanode(s) running and no node(s) are excluded in this operation.

      原因: hdfs-site.xml中的配置为: <property> <name>dfs.datanode.du.reserved</name> <value ...

    随机推荐

    1. Hackerank-Array-NewYearChaos

      题目背景描述 新年第一天,N 个人排队坐过山车.每个人穿有带编号的衣服 \([1, 2, 3, ...]\). 因为排队时间太久,有人发现给前面相邻的人喂一颗糖,就可以和他交换位置,而每人手里只有两颗 ...

    2. django项目中关于跨域CORS

      1.使用django-cors-headers扩展,但首先进行安装 2.在配置中添加应用 3.在中间层中设置:“corsheaders.middleware.CorsMiddleware” 4.添加C ...

    3. Amazon Seller Central is Temporarily Unavailable

      Seller Central is Temporarily Unavailable We apologize for the inconvenience. Our technical staff is ...

    4. Fulfilling Work: The Shippers More entrepreneurs hire 'fulfillment' outfits to store and ship their products

      By Stu Woo June 23, 2011 Brett Teper faced a logistical problem when he and a partner founded ModPro ...

    5. 动态规划——最长公共子序列LCS及模板

      摘自 https://www.cnblogs.com/hapjin/p/5572483.html 这位大佬写的对理解DP也很有帮助,我就直接摘抄过来了,代码部分来自我做过的题 一,问题描述 给定两个字 ...

    6. 【探路者】团队中的每一次感动——Alpha版

      我是[探路者]团队的leader翟宇豪.在软件工程课程开始时,当听说有团队作业这个任务时,我个人还是对leader这个角色很期待的.我很希望通过自己的努力,让我所在的团队变得更好,让组里的每一个成员在 ...

    7. 福大软工1816 ·软工之404NoteFound团队选题报告

      目录 NABCD分析引用 N(Need,需求): A(Approach,做法): B(Benefit,好处): C(Competitors,竞争): D(Delivery,交付): 初期 中期 个人贡 ...

    8. Alpha 冲刺10

      队名:日不落战队 安琪(队长) 今天完成的任务 整理项目. okhttp学习第四弹. 明天的计划 okhttp学习第五弹. 阶段反思. 睡觉. 还剩下的任务 个人信息数据get. 遇到的困难 困难:好 ...

    9. Spring 学习 5- task 定时任务

      Spring-Task 1.这是网上的: 后面是我自己的配置 Spring3.0以后自主开发的定时任务工具,spring task,可以将它比作一个轻量级的Quartz,而且使用起来很简单,除spri ...

    10. 【明哥报错簿】之【HTTP Status 500 - Servlet.init() for servlet mvc-dispatcher threw exception】

      报错:java.lang.NoClassDefFoundError: /factory/config/EmbeddedValueResolver spring或者jdk的问题,解决办法:spring3 ...