生产环境（cdh5.5.1）遇到一个问题：已经设置 dfs.datanode.du.reserved预留空间为20G，但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间，如果磁盘大小为2000G，

使用df -h 显示：总磁盘大小2000G，使用1930G，剩余40G，就会发现：2000G -（1930G+40G）= 30G，还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满，如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话，而我们设置的是20G，所以磁盘就被写满 了，预留空间就没有起到实际作用

[解决办法]：

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - （) ? remaining : 0;

  • }

    • dfs.datanode.du.reserved 预留空间不生效的问题的更多相关文章

    1. hadoop dfs.datanode.du.reserved 预留空间配置方法

      对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved< ...

    2. dfs.datanode.max.xcievers参数导致hbase集群报错

      2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ [案例]dfs.datanode.max.x ...

    3. dfs.datanode.max.transfer.threads

      An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <p ...

    4. Hadoop集群datanode磁盘不均衡的解决方案

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    5. Hadoop集群datanode磁盘不均衡的解决方案【转】

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    6. dfs常见的配置文件中的value与description

      照抄于网络: name value description dfs.namenode.logging.level info The logging level for dfs namenode. Ot ...

    7. hadoop Non DFS Used是什么

      首先我们先来了解一下Non DFS User是什么? Non DFS User的意思是:非hadoop文件系统所使用的空间,比如说本身的linux系统使用的,或者存放的其它文件   它的计算公式: n ...

    8. dfs常见的配置文件中的value与description（重要）

      不多说,直接上干货! name value description dfs.namenode.logging.level info The logging level for dfs namenode ...

    9. File /hbase could only be replicated to 0 nodes instead of minReplication (=1). There are 30 datanode(s) running and no node(s) are excluded in this operation.

      原因: hdfs-site.xml中的配置为: <property> <name>dfs.datanode.du.reserved</name> <value ...

    随机推荐

    1. Paper Reading - Sequence to Sequence Learning with Neural Networks ( NIPS 2014 )

      Link of the Paper: https://arxiv.org/pdf/1409.3215.pdf Main Points: Encoder-Decoder Model: Input seq ...

    2. 20181016-4 Alpha阶段第1周/共2周 Scrum立会报告+燃尽图 04

      此作业要求https://edu.cnblogs.com/campus/nenu/2018fall/homework/2248 Scrum master:徐常实 一.小组介绍 组长:王一可 组员:范靖 ...

    3. Android 6.0 中的 Wifi 连接

      Android 6.0 中的 Wifi 连接 这几天在写一个软件,结果被其中的 wifi 连接问题困扰了 3 天. 先描述下需求: usb 接口接了一根 usb2serial,通过这个接口接收命令 当 ...

    4. ncnblogs.com的用户体验

      你是什么样的用户, 有什么样的心理, 对cnblogs 的期望值是什么? 我是一名普通的学生,上cnblogs的期望是发表博客完成老师布置的任务. 当你第一次使用cnblogs 的功能的时候, 碰到了 ...

    5. 让程序运行更加面向用户——电梯V2.1

      电梯V2.1 GitHub仓库地址 Problem 为程序添加命令行参数(自行利用搜索引擎进行学习). 写成 .cpp .h 文件分离的形式(大多数同学已经达到). 继续完善函数分离.模块化思想. 要 ...

    6. EF 联合查询

      EF 文章表和标签表联合查询标签id在dis中的文章,还不知道性能如何 var query = tagRepo.Entities.Include("Tags").Where(t = ...

    7. 使用windows live writer发表的博客

      试插入代码 #include <iostream.h> using namespace std; int main() { cout<<"hello world&qu ...

    8. 【week11】psp

      本周psp 项目 内容 开始时间 结束时间 被打断 净时间 11.26(星期六)  看论文 psiBlast  9:00 12:00  5  175    11.28(星期一)  做作业 设计模式作业 ...

    9. ubuntu 手动apache记录

      1.下载apache tar -xvzf  httpd.xx 解压 2.下载安装pcre Download PCRE from PCRE.org 解压,进入文件夹中 ./configure --pre ...

    10. WebUploader 设置单个文件上传

      1.导入控件样式文件 <link rel="stylesheet" type="text/css" href="__PUBLIC__/stati ...