转自:http://blog.csdn.net/huyuxiang999/article/details/17691405 一.实验环境 : 1.硬件:3台DELL服务器,CPU:2.27GHz*16,内存:16GB,一台为master,另外2台为slave. 2.系统:均为CentOS6.3 3.Hadoop版本:CDH4.5,选用的mapreduce版本不是yarn,而是mapreduce1,整个集群在cloudera manager的监控下,配置时也是通过manager来配置(通过更改配置

1.查看磁盘使用情况 cd  / df -h 如果 总量Size和Used一样,按就证明磁盘满了 2.查看当前文件下每个文件大小 du -sh * 一层一层去查,就可以查到占用空间最大的那个文件及产生的问题

Hadoop生态圈-注册并加载协处理器(coprocessor)的三种方式 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 到目前为止,大家已经掌握了如何使用过滤器来减少服务器端通过网络返回到客户端的数据量.HBase中还有一些特性让用户甚至可以把一部分计算也移动到数据的存放端,他就是本篇博客的主角:协处理器(coprocessor). 一.协处理器简介 使用客户端API,配合筛选机制,例如,使用过滤器或限制列族的范围,都可以控制被返回到客户端的数据量.如果可以更进一步优化会更

最近遇到一个故障和磁盘满有关系,并且同事也发现经常有磁盘满导致操作hang住无响应的情况,于是抽时间研究了一下这2种情况. 一.磁盘满了之后MySQL会做什么? 我们看下官方的说法 When a disk-full condition occurs, MySQL does the following: * It checks minutes it writes an entry to the log file, warning about the disk-full condition. 其实M

Ubuntu 磁盘满了处理方法: 1. 如果是虚拟机安装ubuntu,直接给虚拟机安装ubuntu 系统所在的盘符动态分配一点磁盘容量,就可以了. 2. 如果不是虚拟机安装ubuntu,那么有两个办法: 第一:物理磁盘扩容.(插入新硬盘,mount 新硬盘) 第二:删掉不用的大文件 一.确定是不是真的是磁盘空间不足 输入命令:df –lh 查看磁盘信息 0 很明显:Filesystem下的挂载点 /dev/sda1 下的40G容量已经耗尽. 既然问题已经确定了,接下来就是处理了. 处理方法也很简

早上来发现 redis 不能用,报 MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapsh

(1)设置环境变量 export HADOOP_HOME=/your/own/hadoop/home  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native (2)然后,在当前shell里面,echo $HAD

配置方法: 在 hdfs-site.xml 里配置如下参数,注意,那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小,单位是字节. (如果多块硬盘,则表示为每块硬盘保留这么多空间) <property> <name>dfs.datanode.du.reserved</name> <!-- cluster variant --> <value>236223201280</value> <description>

由于前期的集群规划问题,导致当前Hadoop集群中的硬件并没有完全利用起来.当前机器的内存CPU比例为2G:1core,但一般的MapReduce任务(数据量处理比较大,逻辑较复杂)的MR两端都需要将近4G的内存,于是原有的瓶颈就在于内存不够大,周末就和运维部门一起执行当前集群的机器加内存操作(我在这边主要是打酱油+学习,运维方面经验欠缺).   此次加内存是针对当前所有的DataNode节点,与NameNode无关,在操作之前需要整理所有的DataNode节点.    DataNode节点加内

适用环境要求:Linux系统及服务器.有管理员权限.存在多余空间的磁盘例如下图中"/home"在磁盘sda5中与"/"不属于同一块磁盘: 1.首先转移正在使用的将要满的磁盘中文件夹,我们环境中的是"/home/aaa",移动到"/"根目录中(先确保根目录中不存在这个文件夹): 命令:"mv /home/aaa /aaa"2.做ln -s 命令创建软连接(这里不做ln -s的解释,有兴趣可以去各大搜索引擎查找

hadoop集群在运行一段时间后,总是会出现某台机器的磁盘使用率特别高,有的使用率特别低,针对这种情况,hadoop提供了balancer工具调整磁盘负载 使用命令:start-balancer.sh -threshold 1 影响hadoop balance工具的几个参数: -threshold 默认设置:10,参数取值范围:0-100,参数含义:判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值 ,理论上,该参数设置的越小,整个集群就越

登录系统,df -H 发现磁盘存储快满了 解决办法 1. 使用命令查出根目录下大的垃圾文件 使用 du -sh /* | sort -nr 查看根目录下的的大文件,找的不要的 rm -rf 使用 find / -size +100M -exec ls -lh {} \;  命令查找,删除不要的大 2.扩充磁盘,关机添加磁盘 使用命令查看,fdisk -cul 使用命令把 磁盘格式化  fdisk  /dev/sdd 一定要记得转换成逻辑卷 8e 的格式 使用命令格式化,mkfs.ext3  /d

最近,查看我们一台linux服务器,发现硬盘空间都已经使用了95%,很是疑惑啊,怎么回事那?难道是数据库文件太大了? Filesystem            Size  Used Avail Use% Mounted on/dev/mapper/VolGroup00-LogVol00                       131G  118G  6.4G  95% //dev/sda1              99M   11M   83M  12% /boottmpfs      

-- ::, WARN mapred.LocalJobRunner - job_local_0001 org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000000_0/output/spill0.out at org.apache.h

参考链接 No space left on device 解决Linux系统磁盘空间满的办法http://www.cnblogs.com/aspirant/p/3604801.html如何解决linux报No space left on device错误http://blog.csdn.net/u011957758/article/details/53750419 一.错误现象 二.检查磁盘空间 1.查看根目录 [root@7C4z5D96-tomcat-uwMQGbBT opt]# cd \

今天发现vps敲入crontab -e 居然提示 “Disk quota exceeded” 无法编辑.于是"df -h"查了查发现系统磁盘空间使用100%了.最后定位到是/var/spool/mail/root 这个文件有几个G.于是清理掉,问题解决.如果不知道是哪些文件占了磁盘空间,可以看下面查找大文件方法.       linux操作系统中,经常会遇到磁盘空间满的问题.遇到这样的问题,先查下是什么文件过大或过多引起的,至于引起这个更深一层的原因,先不探讨.怎么查看大文件所在的路径

这又是一个没有技术含量的代码.写出来只是玩玩,所以也不敢放在首页. 这里有个问题,是获取文件/文件夹的图标.使用 System.Drawing.Icon.ExtractAssociatedIcon 只能获取大图标(不知道有没有高手能做到取小图标).所以只能使用API了.设计一个这样的 ExtractIcon 类,提供一个静态方法 GetIcon ,用于获取小图标: ExtractIcon.cs 然后我们通过 ToolStripMenuItem 的 DropDownOpening 事件,加载它的子

今天公司网站突然无法访问,因为之前遇到过是因为磁盘问题,所以使用 df 命令查看结果,结果果然是有100%的东西,那么怎么解决呢,我们想到得查找大文件,并删掉无用的大文件比如log 那么linux如何查找大文件呢??其实很多时候,你需要了解当前系统下有哪些大文件,比如文件大小超过100M或1G(阀值视具体情况而定).那么如何把这些大文件搜索出来呢?例如我要搜索当前目录下,超过800M大小的文件使用:find . -type f -size +800M 我们看到2个log文件超过了800M,经确认

1.使用命令:df -lk 或 df -hl 发现果然有个磁盘已满 2.使用命令:du --max-depth=1 -h  查找大文件,发现/home文件夹下有17G的东西,因为我的apache是装在/home下的,肯定是网站运行的日志文件占用的空间 3.进入apache下的logs目录 使用命令:ls -lht 查看文件的大小,果然有个8.6G文件,删除即可. 4.再使用命令:df -lk 然后启动apache和nginx没有问题,解决.

输入命令 du -sh /* | sort -nr 会列出根目录文件夹的大小 看到哪个文件夹比较大 删除相应的缓存,重启服务器即可

转:https://blog.csdn.net/h_8410435/article/details/86303995 查看内存使用情况 df -lh Filesystem      Size  Used Avail Use% Mounted onudev            3.9G     0  3.9G   0% /devtmpfs           789M  9.4M  780M   2% /run/dev/sda1        28G   27G  6.1M 100% /tmpf