hadoop前期准备

最近想要学习一下hadoop，现在想边学习边记录下，方便以后自己或别人查看。（注意最好ubantu，jdk及其他软件选择32bit的，jdk最好7以上）

首先配置下jdk，下载下jdk的包，把jdk-7u79-linux-i586.tar.gz解压到一个新建的目录/home/mysoft/下，然后sudo gedit /etc/profile，在打开的文件末尾添加

export JAVA_HOME=/home/mysoft/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

然后保存退出，重启下输入java -version显示如下

bigdata@ubuntu:~$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

如果出现类似上面的内容，说明jdk已经配置好了。

安装ssh，输入sudo apt-get install ssh。安装完成后，输入以下命令从而基于空口令创建一个新ssh秘钥，以实现无密码登录。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行完上述命令后，输入ssh localhost测试是否可以不输入命令成功登录。

下载hadoop的包，解压在目录/home/mysoft/下。配置.bashrc文件执行sudo gedit ~/.bashrc，在文件末尾添加

export JAVA_HOME=/home/mysoft/jdk1.7.0_79
export HADOOP_INSTALL=/home/mysoft/hadoop-2.7.0
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

然后保存，执行source ~/.bashrc

编辑/home/mysoft/hadoop-2.7.0/etc/hadoop/hadoop-env.sh，找到export JAVA_HOME=${JAVA_HOME}改成为export JAVA_HOME=/home/mysoft/jdk1.7.0_79

测试hadoop是否安装成功。回到目录/home/mysoft/hadoop-2.7.0，新建一个文件夹input，把README.txt拷贝进去，执行以下命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output

会发现在生成一个output文件夹并且里面有文件，如果看到output及文件说明安装成功，执行cat output/*，查看字符统计结果。