hadoop 部署配置

配置hadoop：

第一个：hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

选择修改日志文件目录（默认目录内日志文件太多易混）：

export HADOOP_LOG_DIR=/var/log/hadoop

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>

第三个：hdfs-site.xml

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>JD:9001</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.4.1/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.4.1/dfs/data</value>
</property>

<!-- 指定HDFS副本的数量 -->

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
<!-- 指定mr运行在yarn上 -->

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>JD:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>JD:19888</value>
</property>

第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

---

格式化namenode（首次启动需要先格式化，不然无法启动namenode）

hdfs namenode -format (hadoop namenode -format)

http://192.168.74.141:50070 （HDFS管理界面）
http://192.168.74.141:8088 （MR管理界面）

---

常见问题：

1.使用命令上传无法成功上传文件，检查到dfs.replication误设为0；

2.使用eclipse 上传文件，hdfs中只有文件名，大小为0，未上传成功，连接datanode失败。