hadoop小试

standard mode(标准模式)

下载

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.2.tar.gz
 

解压到/usr/local/hadoop目录下（先创建此目录）

用root身份新建hadoop用户,并设定密码

useradd hadoop
passwd hadoop

加入到root组

useradd -a -G root hadoop

设定 /usr/local/hadoop的owner

chown -R hadoop: /usr/local/hadoop

　　

切换到hadoop用户，并编辑~/.bashrc文件，添加以下指令(/etc/profile更好）

alias hadoop="/usr/local/hadoop/bin/hadoop"

通过source ~/.bashrc使得以上修改立即生效。

体验下单词计数

mkdir input
echo "aaa bbb ccc aaa" >> input/words

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount input output

(ps , 可能碰到主机名报错，无法识别的主机名等等，编辑/etc/hosts文件，添加记录  "127.0.0.1 主机名")

伪分布模式

修改/usr/local/hadoop文件夹所有者

sudo chown -R hadoop:root /usr/local/hadoop

修改.bashrc文件(/etc/profile更好），添加内容如下：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

配置hadoop：

所有操作之前，设置hadoop的JAVA_HOME(/etc/profile更好， 需要单独设定hadoop/etc/hadoop/hadoop-env.sh的JAVA_HOME，很奇怪）,

export JAVA_HOME=/usr/lib/jvm/jre

1. 核心配置(core-site.xml):在这里配置hadoop实例的端口号，文件系统的内存分配，存储数据的内存大小限制，读写缓存区的大小。

vi /usr/local/hadoop/etc/hadoop/core-site.xml

在configuration节点下添加以下内容

<property>
      <name>fs.default.name </name>
      <value>hdfs://localhost:9000</value>
</property>

2. hdfs配置：是否多备(replication), 命名节点(namenode)的路径， 数据节点(datanode)的本地路径。

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在configuration节点下添加以下内容

   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>

   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
   </property>

   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
   </property>

hadoopinfra即其下面的目录不用手工建立，格式化时会自动建立。

3. yarn配置

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>

4. mapreduce框架配置

vi /usr/local/hadoop/etc/hadoop/mapred-site.xml

在configuration节点下添加以下内容

<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>

这里配置了默认的yarn作为mapreduce算法的处理对象。

应该也可配置spark。

5. 启动

a), 切换到hadoop用户，进行hdfs格式化，如下：

cd ~
hdfs namenode -format

b), 启动dfs和yarn

start-dfs.sh

...

start-yarn.sh

...

c). 查看hadoop运行情况，用浏览器打开http://localhost:50070/

d). 查看集群(cluster)的应用(applications) 用浏览器打开http://localhost:8088/

如果觉得英文阅读毫无问题，建议看这里：http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm