hadoop学习笔记——基础知识及安装

1.核心

　　HDFS  分布式文件系统   

　　　　主从结构，一个namenoe和多个datanode， 分别对应独立的物理机器

　　　　　 1) NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作，比如打开关闭重命名文件或者目录等，它也负责数据块到具体DataNode的映射

　　　　　 2)集群中的DataNode管理存储的数据。负责处理文件系统客户端的文件读写请求，并在NameNode的统一调度下进行数据块的创建删除和复制工作。

　　　　　 3)NameNode是所有HDFS元数据的管理者，用户数据永远不会经过NameNode

　　MapReduce  并行计算框架

　　　　主从结构，一个JobTracker和多个TaskTracker

　　　　　　1) MapReduce是由一个单独运行在主节点上的JobTacker和运行在每个集群从节点上的TaskTracker共同组成的。JobTacker负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。总结点监控他们的执行情况，

　　　　　　　并且重新执行之前失败的任务；从节点仅负责由主节点指派的任务

　　　　　　2)  MapReduce模型原理是利用一个输入的key/value对集合来产生一个输出的key/value队集合，使用Map和Reduce函数来计算

　　　　　　3)  MapReduce将大数据分解为成百上千小数据集，每个数据集分别由集群中的一个节点（一般是一台计算机）并行处理生成中间结果，后然这些中间结果又由大量的节点合并，形成最终结果

2. 基础概念

　　1）hadoop集群三种模式：本地模式（单机模式），伪分布模式，全分布式模式

　　　　单机模式：没有守护进程，所有东西运行在jvm上，使用的是本地文件系统， 没有dfs，使用开发过程中运行mapreduce程序，是使用最少的一种模式

　　　　伪分布模式：在一台服务器上模拟集群安装环境， 即多个进程运行在一个服务器上；使用与开发和测试环境，所有 守护进程在同一台机子上

　　　　全分布式模式：N台主机组成一个Hadoop集群，Hadoop守护进程运行在每一台主机上；分布式模式中，主节点和从节点会分开

　　

　　2) 网络连接方式

　　　　host-only：宿主机（windows）与客户机（虚拟机中的客户机）单独组网，与主机当前的网络是隔离的

　　　　bridge：宿主机和客户机网络是连接的，在同一个局域网中，可以相互访问

　　　　NAT(network address translation): 虚拟机不占用主机所在局域网ip，通过使用主机的NAT功能访问区域网和互联网，此种方式虚拟机不用设置静态ip，只需要使用DHCP功能自动获取ip即可(绝大多数上网使用此种方式)

　　3）SSH  使用ssh进行免密码登陆

　　　　　　产生秘钥： ssh-keygen -t rsa  　

　　　　　　目录：~/.ssh

　　　　　　公钥拷贝：cp id_rsa.pub authorized_keys

3. 伪分布式安装

　　准备：  ----关闭防火墙（内网中，安全性问题较小）

　　　　　　　　　查看状态：service iptables status

　　　　　　　　　关闭： service iptables stop

　　　　　　　　　关闭防火墙的自动启动： chkconfig -list | grep iptables(查看)

　　　　　　　　　　　　　　　　　　　　 chkconfig iptables off（关闭）

　　　　　　----修改ip  （修改后 让其生效：server network restart， 然后使用ifconfig查看）

　　　　　　----修改hostname(/etc/sysconfig/network  更改主机名；  etc/hosts  将主机名与ip地址绑定； )

　　　　　　----设置ssh自动登录（查看上面章节）

　　　　　　　　ssh-keygen -t rsa

　　　　　　　 cp id_rsa.pub authorized_keys

　　　　　　　　验证 ssh localhost

　　1. 安装jdk -----配置环境变量（/etc/profile    java_home和path）----生效（source /etc/profile）---验证（java -version）

　　2. 安装hadoop(tar -zxvf hadoop-1.1.2.tar.gz)---重名名（mv hadoop-1.1.2 hadoop）----配置环境变量（hadoop_home和path）----生效（source /etc/profile）

　　3. 伪分布式集群：

　　　　修改hadoop_home/conf下配置文件 hadoop-env.sh   core-site.cml  hdfs-site.xml mapred-site.xml

　　　　

1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value></property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value></property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value></property>
</configuration>

　　　　

　　　　4. 启动

　　　　　　hadoop namenode -format(格式化)

　　　　　　start-all.sh

　　　　　　使用jps查看进程

　　　　　　　　JobTracker、DateNode、TaskTracker、SecondaryNameNode、NameNode

　　　　　　网址栏中输入 hostname:50070 查看namenode信息

　　　　　　　　　　输入 hostname:50030 产看mapreduce信息

　　　　　　关闭： stop-all.sh

　　　　   　　　　

　　　　

　　　　

4. 分布式安装

　　1.规划集群各节点的功能

　　　　两台主机 主机1 hadoop0 namenode ;  主机2 hadoop1 datanode

　　2. 检查如下配置（同伪分布式安装）：1）防火墙是否关闭 2）ip是否设置 3）主机名是否设置  4）/etc/hosts是否配置 5）自己主机的ssh免密码登录是否设置

　　3. 集群间ssh免密码登录配置

　　　　在hadoop0上执行：ssh-copy-id -l ~/.ssh/id_rsa.pub hadoop1 (当本机已经产生rsa authorization时, 通过ssh-copy-id 可以将认证传送到宿端主机)

　　　　在hadoop1上执行：ssh-copy-id -l ~/.ssh/id_rsa.pub hadoop0

　　　　使用ssh hadoop1验证

　　4. 配置/etc/hosts文件

　　　例如在hadoop0的/etc/hosts文件中添加： 192.168.1.169 hadoop0

　　　　　　　　　　　　　　　　　　　　　　　 192.168.1.21 hadoop1

　　5. 其他节点上jdk和hadoop的安装

　　　在hadoop0上执行：

　　　scp -rq /usr/local/jdk hadoop1:/usr/local   (-r递归复制整个目录， -q不显示进度条)

　　　scp -rq /usr/local/hadoop hadoop1:/usr/local

　　　scp -rq /etc/profile hadoop1:/etc

　　　scp -rq /etc/hosts hadoop1:/etc

　　　source /etc/profile

　　6. 配置集群

　　　　hadoop0下 修改hadoop_home/conf/slaves(存储datanode和tasktracker节点名称)，将localhost改为hadoop1

　　7. 启动集群

　　　　在hadoop0中执行hadoop namenode -format

　　　　　　　　　　　　 start-all.sh

　　　　　　　　　　　　 (关闭： stop-all.sh)

　　8. jps查看进程

　　　hadoop0上 NameNode 、SecondarayNameNode、JobTracker进程

　　　hadoop1上 DataNode、TaskTracker

　　9. 常见启动错误

　　　unknownHostException ：设置主机名错误(查看/etc/sysconfig/network)

　　　BindException：ip设置错误（查看/etc/hosts）

　　  Name Node is in safe mode 文件系统在安全模式（分布式文件系统启动时，开始会有 安全模式，出于安全模式时文件系统中的内容不允许修改和删除，直至安全模式结束，安全模式是系统启动时检查各个datanode上数据块的有效性，可以等待一会或者关闭安全模式  hadoop dfsadmin -safemode leave）