hadoop配置笔记

接上回，hadoop的配置文件都在下载的压缩包目录中的etc/hadoop/中

hadoop-env.sh有个地方配置java_home

其他常用的设置文件有：

core-site.xml

yarn-site.xml

mapred-site.xml

hdfs-site.xml

主机的hdfs-site.xml设置namenode目录，其他节点设置datanode目录。

另外主机还要设置slaves文件。

设置完毕之后，格式化hdfs目录

hadoop namenode -format

启动hadoop

start-all.sh

启动成功后，可以通过两个url来进行监控和管理：

127.0.0.1:8088

127.0.0.1:50070

几个配置文件的部分内容如下：

core-site.xml:

<property><name>fs.default.name</name><value>hdfs://192.168.127.10:9000</value></property>

yarn-site.xml:

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>

<property><name>yarn.resourcemanager.resource-tracker.address</name><value>192.168.127.10:8025</value></property>

<property><name>yarn.resourcemanager.scheduler.address</name><value>192.168.127.10:8030</value></property>

<property><name>yarn.resourcemanager.address</name><value>192.168.127.10:8050</value></property>

mapred-site.xml:

这个文件有模板mapred-site.xml.template

<property>
  <name>mapred.job.tracker</name>
  <value>192.168.127.10:54311</value>
</property>

主机hdfs-site.xml:

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>

节点hdfs-site.xml:

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>