Hadoop基础

Hadoop组成

包括两个核心组成：
HDFS：分布式文件系统，存储海量的数据
MapReduce：并行处理框架，实现任务分解和调度

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务
（搜索引擎、日志分析、商业智能、数据挖掘）

安装Java JDK

1,进入Sshell，检测是否安装java
2，选择安装openjdk-7-jdk
3,进入环境变量修改页面，vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib/:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出，并设置生效source /etc/profile

Hadoop安装

下载地址，完成解压缩tar -zxvf

1，进入conf文件夹，查看JAVA_HOME位置echo $JAVA_HOME

2，进入配置页面vi hadoop.env.sh，

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

　　

保存退出。

3，配置core-site.xml文件

<configuration>
 <property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop</value>
 </property>

 <property>
    <name>dfs.name.dir</name>
    <value>/hadoop/name</value>
 </property>

 <property>
    <name>fs.default.name</name>
    <value>hdfs://ubuntu:9000</value>    #ubuntu为主机名，通过hostname命令查找
 </property>
</configuration>

　　

配置hdfs-site.xml文件

<configuration>
 <property>
      <name>dfs.data.dir</name>
      <value>/hadoop/data</value>
 </property>
</configuration>

　　

配置mapred-site.xml文件

<property>
<name>mapred.job.tracker</name>
<value>ubuntu:9001</value>
</property>

　　

4，配置Hadoop环境变量
进入/etc/profile，添加

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

　　

设置生效source /etc/profile

5，格式化操作
进入bin目录，hadoop namenode -format
运行start-all.sh，
查看运行内容jps

设置ssh无密码登陆

1，cd ~/.ssh（进入ssh文件夹）
2，ssh-keygen -t rsa（生成rsa密钥）
3，cp id_rsa.pub authorized_keys（复制公钥并改名为authorized_keys）
4，ssh localhost（无密码登陆主机）

---

Copyright © 吴华锦
雅致寓于高阁渔舟唱晚，古典悠然
格调外发园林绿树萦绕，馥郁清香