hadoop修改MR的提交的代码程序的副本数

hadoop修改MR的提交的代码程序的副本数

Under-Replicated Blocks的数量很多,有7万多个。hadoop fsck -blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。

原因：MR,hive 的程序代码上传到hdfs上，默认的副本数是10份，但集群只有4台，造成大量的 Under-Replicated Blocks 和 missing replicas.

1. 修改MR的提交的代码程序的副本数。

**vi mapred-site.xml **

<property>
  <name>mapreduce.client.submit.file.replication</name>
  <value>2</value>
</property>

mapreduce.client.submit.file.replication的值在集群节点数的平方根左右。

vi yarn-site.xml (apache hadoop 2.7.2 有该参数；cdh没有改参数)

yarn.sharedcache.nm.uploader.replication.factor