Hadoop本地模式搭建

官方文档，不同版本修改url地址中的数字即可

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

jdk下载

https://www.oracle.com/technetwork/java/javase/downloads/index.html

hadoop下载

https://hadoop.apache.org/releases.html

配置JDK,Hadoop环境

vim /etc/profile

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1..0_181

export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

重新编译文件

source /etc/profile

验证环境配置是否成功

java -version

hadoop

修改hadoop-env配置文件

vim /etc/hadoop/hadoop-env.sh

官方grep案例

  $ mkdir input

  $ cp etc/hadoop/*.xml input

  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

  $ cat output/*

运行效果图：

官方wordcount案例

hadoop目录下创建wcinput文件夹，wc.input文件

wc.input文件内容如下

运行wordcount程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-.jar wordcount wcinput/ wcoutput/

查看运行结果

cat wcoutput/part*

注：案例的输出文件夹不能存在，输出文件由程序自动创建。