hadoop多硬盘配置注意点

[一]、实验环境

1.1、环境

• hadoop 2.6.0
• namenode 2个  各增加 2个1T硬盘
• datanode   3个  各增加3个1T硬盘

1.2、挂载硬盘

• fdisk    分区 (输入m—n—p—1–回车—回车—p—w)
• mkfs    格式化硬盘 ( mkfs.ext4 )
• mount  挂载硬盘 (以挂载目录为 /bigdata/data0  /bigdata/data1 …. /bigdata/dataN 为例)
• 开机挂载  vi /etc/fstab :
   

   

   

   

   

  Shell

   

  1 2 3

  /dev/sda1               /bigdata/data0          ext4    defaults        0 0 /dev/sdb1               /bigdata/data1          ext4    defaults        0 0 /dev/sdc1               /bigdata/data2          ext4    defaults        0 0

命令不会使用的可以查阅相关文档，只要注意配置挂载的新目录赋予hadoop用户的读写权限。

[二]、修改hadoop配置

2.1、修改 $HADOOP_HOME/hdfs-site.xml:

 

 

 

 

 

 

XHTML

 

1 2 3 4 5 6 7 8 9

<!-- 多个目录逗号,分割，不能有空格 千万注意 --> <property>     <name>dfs.namenode.name.dir</name>     <value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value> </property> <property>     <name>dfs.datanode.data.dir</name>     <value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value> </property>

2.2、修改 $HADOOP_HOME/mapred-site.xml:

 

XHTML

 

1 2 3 4

<property>       <name>mapreduce.cluster.local.dir</name>       <value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value> </property>

—————–  EOF @Michael Sun —————–

http://www.micmiu.com/bigdata/hadoop/hadoop-many-disk-config/