hadoop 修改datanode balance带宽使用限制

【hadoop 修改datanode balance带宽使用限制】的更多相关文章

hadoop 修改datanode balance带宽使用限制

前段时间,一个客户现场的Hadoop看起来很不正常,有的机器的存储占用达到95%,有的机器只有40%左右,刚好前任的负责人走了,这边还没有明确接班人的时候. 我负责的大数据计算部分,又要依赖Hadoop的基础平台,要是Hadoop死了,我的报表也跑不出来(专业背锅). 做下balance,让各个节点的存储均衡一下. 1.首先需要配上这个参数: <property> <name>dfs.datanode.balance.bandwidthPerSec</name> <…

Hadoop的datanode无法启动

Hadoop的datanode无法启动 hdfs-site中配置的dfs.data.dir为/usr/local/hadoop/hdfs/data 用bin/hadoop start-all.sh启动Hdoop,用jps命令查看守护进程时,没有DataNode. 访问http://localhost:50070,点击页面中的Namenode logs链接,在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接, 发现在日志中有此提示:Invalid direc…

设置Hadoop的 dataNode的单个Map的内存配置

1.进入hadoop的配置目录 ,找到环境变量的 $HADOOP_HOME cd $HADOOP_HOME 2.修改dataNode 节点的单个map的能使用的内存配置找到配置的文件: /opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred-site.xml 增加如下的配置: 设置java的内存大小参数是:512M 大小根据的实际情况调整 <property> <name>mapred.child.java.opts…

hadoop修改MR的提交的代码程序的副本数

hadoop修改MR的提交的代码程序的副本数 Under-Replicated Blocks的数量很多,有7万多个.hadoop fsck -blocks 检查发现有很多replica missing.而且这些丢失的replica对应的文件都是mr的程序文件. 原因:MR,hive 的程序代码上传到hdfs上,默认的副本数是10份,但集群只有4台,造成大量的 Under-Replicated Blocks 和 missing replicas. 1. 修改MR的提交的代码程序的副本数. vi m…

linux及hadoop修改权限

linux下修改文件权限: 在shell环境里输入:ls -l 或者 ls -lh drwxr-xr-x 2 nsf users 1024 12-10 17:37 下载文件备份对应:文件属性连接数文件拥有者所属群组文件大小文件修改时间文件名例如: d rwx r-x r-x 第一个字符指定了文件类型.在通常意义上,一个目录也是一个文件.如果第一个字符是横线,表示是一个非目录的文件.如果是d,表示是一个目录.第二段是文件拥有者的属性第三段是文件所属群组的属性第四段是对于其它用户的属性…

hadoop启动 datanode的live node为0

hadoop启动 datanode的live node为0 浏览器访问主节点50070端口,发现 Data Node 的 Live Node 为 0 查看子节点的日志看到可能是无法访问到主节点的9000端口使用telnet访问一下主节的9000端口 #telnet hadoop.master 9000 输出访问失败, 回到主节点,开放9000端口,再重启防火墙. #firewall-cmd --zone=public --add-port=9000/tcp --permanent #fir…

解决hadoop no dataNode to stop问题

错误原因: datanode的clusterID 和 namenode的 clusterID 不匹配. 解决办法: 1. 打开 hadoop/tmp/dfs/namenode/name/dir 配置对应目录下的 current 目录下的 VERSION 文件,拷贝clusterID:2. 打开 hadoop/tmp/dfs/datanode/data/dir 配置对应目录下的 current 目录下的 VERSION 文件,用拷贝的 clusterID 覆盖原有的clusterID:3. 保存后…