hadoop2.0初识1.0

1.给普通用户设置sudo权限

　　编辑:[root@life-hadoop /]# nano /etc/sudoers

　　在文件头部加入：yanglin ALL=(root)NOPASSWD:ALL 保存退出接口

　　

2.配置主机映射

　　1.修改主机名称 /etc/sysconfig/network

　　　　

　　2.在/etc/hosts下添加映射

　　　　[yanglin@life-hadoop /]$ nano /etc/hosts

　　　　192.168.0.193   life-hadoop.life.com    life-hadoop

　　　　

　　3.用管理员身份修改C:\windows\System32\drivers\etc\hosts 添加

　　　　192.168.0.193    life-hadoop.life.com

3.配置jdk

　　1.使用[root@life-hadoop modules]# rpm -qa|grep java  查找默认安装的jdk

　　2.使用[root@life-hadoop modules]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-　　　　1.7.0.9-2.3.4.1.el6_3.x86_64  删除默认安装的jdk

　　3.使用[yanglin@life-hadoop softwares]$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ 将jdk解压到/opt/modules目录下

　　4.使用[yanglin@life-hadoop softwares]$ sudo nano /etc/profile 尾部添加

　　　　export JAVA_HOME=/opt/modules/jdk1.7.0_67
　　　　export PATH=$PATH:$JAVA_HOME/bin

　　5.[yanglin@life-hadoop softwares]$ source /etc/profile
　　　　[yanglin@life-hadoop softwares]$ echo $JAVA_HOME
　　　　/opt/modules/jdk1.7.0_67/bin

4.搭建hadoop伪分布式

　　1.使用[yanglin@life-hadoop softwares]$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ 将hadoop解压到/opt/modules目录下

　　2.在hadoop的根目录下创建input目录 ，并将etc/hadoop/目录下所有的xml文件复制到input目录下

　　　　[yanglin@life-hadoop hadoop-2.5.0]$ mkdir input

　　　　[yanglin@life-hadoop hadoop-2.5.0]$ cp etc/hadoop/*.xml input

　　3.运行

　　　　[yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'

　　　　如果出现一下信息表示配置hadoop成功

　　　　　　

　　　　1.运行wordcount案例

　　　　　　创建wcinput目录，并在该目录中创建wc.input文件，在该文件中输入一下内容

　　　　　　　　hadoop yarn
　　　　　　　　hadoop mapreduce
　　　　　　　　hadoop hdfs
　　　　　　　　yarn nodemanager
　　　　　　　　hadoop resourcemanager

　　　　　　使用命令

　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wcinput wcoutput

　　　　　　可以统计出给目录下各个单词出现个次数