hadoop的集群安装

hadoop的集群安装

1、安装JDK，解压jar，配置环境变量

1.1、解压jar

tar -zxvf jdk-7u79-linux-x64.tar.gz -C /opt/install   //将jdk解压到对应的文件目录下

1.2、配置环境变量，

 sudo vim /etc/profile

//添加下面内容：
export JAVA_HOME=/opt/install/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

2、下载hadoop压缩包，解压jar，配置文件

2.1、解压jar

tar -zxvf hadoop-1.2.1.tar.gz -C /opt/install  //将jar解压到对应的目录下面

2.2、配置环境变量

 sudo vim /etc/profile

//添加HADOOP_HOME变量，修改path变量
export HADOOP_HOME=/opt/install/hadoop  
export HADOOP_HOME_WARN_SUPPRESS=1  //防止hadoop在操作的时候有警告
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
  

2.3、配置hadoop文件

2.3.1、修改hadoop/conf/hadoop-env.sh

//将JAVA_HOME修改为在/etc/profile中配置的环境变量 
export JAVA_HOME=/opt/install/jdk1.7.0_79

2.3.2、修改hadoop/conf/core-site.xml

<configuration>
     <property>
         <name>fs.default.name</name>  //namenode所在主机
         <value>hdfs://192.168.203.128:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name> //hadoop的临时文件目录
         <value>/opt/data/hadoop1.2</value>
     </property>
</configuration>

2.3.3、修改/hadoop/conf/hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>  //副本数
         <value>3</value>
     </property>
     <property>
        <name>dfs.permissions</name>   //文件权限
        <value>false</value>
     </property>
</configuration>

2.3.4、修改/hadoop/conf/masters文件，该文件配置的secondnamenode所在位置

192.168.203.128  //自己的主机ip，最好是修改/etc/hosts文件

　 2.3.5、修改hadoop/conf/slaves,该文件配置的datanode

192.168.203.129
192.168.203.130
192.168.203.131

2.3.6、修改/hadoop/conf/mapred-site.xml文件，设置jobtrocker

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>192.168.203.128:9001</value>
     </property>
</configuration>                

2.3.7、在其他机器上也进行相同的配置，但是最好是在配置好ssh以后通过 scp的命令进行复制。

3、配置ssh免密码登录

3.1、查看本地是否能够ssh免密码登录

ssh localhost

3.2、如果需要密码就要生成密钥，

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、配置远程免密码登录，让配置namenode主机能够免密码登录到datanode主机

scp ~/.ssh/id_dsa.pub hadoop@192.168.203.129:~  //将本机的公钥复制到192.168.203.129这台主机上

cat ~/id_dsa.pub >> ~/.ssh/authorized_keys   //在192.168.203.129的主机上执行这条命令，追加公钥到authorized_keys

4、启动hadoop

4.1、跳转到/hadoop/bin目录下，进行namenode的初始化

 hadoop namenode -format

4.2、启动hadoop

./start-all.sh   //启动hdfs已经mapreduce
或
./start-dfs.sh   //启动hdfs

4.3、检验是否启动成功，执行jps命令，看namenode，secondnamenode，。。。等进程是否启动

5、通过hdfs的命令行进行操作，下面是一些简单的命令

hadoop fs -ls / 根目录
hadoop fs -lsr / 递归遍历根目录

hadoop fs -mkdir /user 创建文件夹

hadoop fs -put 文件 hdfs folder 上传文件，如果文件夹路径不存在，文件名字就是定义的名字

hadoop fs -get <hdfs file> <linux folder> 下载在linux中

hadoop fs -text <hdfs file> 查看文件内容

hadoop fs -rm <hdfs file> 删除文件

hadoop fs -rmr <hdfs folder> 删除文件夹

hadoop fs 显示hdfs文件相关参数

hadoop fs -help ls 命令描述