hadoop集群简单搭建

分布式搭建

---

在ubuntu下创建hadoop用户组和用户

bigdata@master:~$sudo addgroup hadoop

bigdata@master:~$sudo adduser --ingroup hadoop hadoop

给hadoop用户添加权限

bigdata@master:~$sudo gedit /etc/sudoers

在root ALL=（ALL) ALL下面添加

hadoop ALL=(root) NOPASSWD:ALL

配置ssh，配置ssh注意是在hadoop用户下进行的

hadoop@master:~$su -hadoop

hadoop@master:~$sudp apt-get update

hadoop@master:~$sudo apt-get install openssh-server

修改hostname,设置hostname=master

hadoop@master:~$sudo  vi /etc/hostname

修改自己节点的ip映射（一定要记得注释掉上方的127.0.1.1，不然会影响到后面的namenode和datanode的访问）

hadoop@master:~$sudo vi /etc/hosts

192.168.100.10 master

192.168.100.20 salves1

192.168.100.30 salves2

重启网络，互ping

ssh无密码配置

生成公钥

hadoop@master:~$ssh-keygen -t rsa -P ""

master上面首先配置本地的免密访问

hadoop@master:~$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将master的公钥发到每个节点虚拟机上

hadoop@master:~$scp ~/.ssh/id_rsa. pub   hdoop@salves1:/home/hadoop/.ssh

hadoop@master:~$scp ~/.ssh/id_rsa. pub hdoop@salves2:/home/hadoop/.ssh

每个节点虚拟机再将其公钥加入授权a  

hdoop@salves1:cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

hdoop@salves2:cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

验证master能够无密码访问slave(如能正常进入slave，则配置成功，否则配置失败）

hadoop@master:~$ssh slave1

hadoop@master:~$ssh slave2

安装jdk

hadoop@master:~$vi /etc/profile

export JAVA_HOME=/opt/modules/jdk1.7.0_79

export HADOOP_HOME=/opt/modules/hadoop-2.6.0

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

更新配置文件，使其生效

hadoop@master:~$source /etc/proflie

修改配置文件core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/data/tmp</value>

</property>

创建存储HDFS的临时目录

hadoop@master:~$sudo mkdir -p /opt/data/tmp--在slave上面也要创建这个目录

修改临时目录的所有者

hadoop@master:~$sudo chown -R hadoop:hadoop /opt/data/tmp

修改hdfs-site.xml文件

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

修改mapred-site.xml文件

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

配置yarn-site.xml文件

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

编辑slaves文件

hadoop@master:~$vi /opt/modules/hadoop/etc/hadoop/slaves

添加：slave1 slave2

将master上的jdk，hadoop的安装目录发送到slave上

hadoop@master:~$scp -r /opt/modules/hadoop hadoop@slave1:/opt/modules/

hadoop@master:~$scp -r /opt/modules/hadoop hadoop@slave2:/opt/modules/

hadoop@master:~$scp -r /opt/modules/jdk1.7.0_79 hadoop@slave2:/opt/modules/

hadoop@master:~$scp -r /opt/modules/jdk1.7.0_79 hadoop@slave1:/opt/modules/

补充相关可能会出现的问题

离开安全模式

hadoop@master:~$hadoop dfsadmin -safemode leave

如果上传文件到HDFS一直失败的话一般都是防护墙的问题

hadoop@master:~$sudo ufw disable

hadoop@master:~$stop-all.sh

hadoop@master:~$start-all.sh

在slave上只需要配置/etc/profile文件的java,hadoop路径即可，配置方式和master的配置方式一样，见上。

至此就全部配置完成，接下来就是激动人心的时刻了

格式化namenode

hadoop@master:~$hadoop namenode -foramt

启动

hadoop@master:~$start-all.sh

补充：

单独启动各个节点

hadoop$:hadoop-daemon.sh start namenode

hadoop$:hadoop-daemon.sh start datenode

hadoop$:hadoop-daemon.sh start secondarynamenode

hadoop$:hadoop-daemon.sh start jobtracker

hadoop$:hadoop-daemon.sh start tasktracker

启动HDFS和mapredduce

hadoop$:start-dfs.sh start-mapreduced.sh