Hadoop主要架构

主要架构图

---

各部分作用

* Core：核心支持，内核代码
* MapReduce：映射数据
* HDFS：文件存储
* ZooKepper：服务器节点和进程通信的协调工具
* Pig：支持用户和MapReduce（java）交互的语言工具
* Hive：支持SQL对数据查询的语言工具（可理解为一种关系型数据库），但是不支持所有SQL
* HBase：NoSql数据库，使用列式存储（提高响应速度，减少IO），用于数据分析。
* Chukwa：日志抓取

---

HDFS：

* Namenode   ：
    * HDFS守护程序
    * 记录文件如何分割
    * 对内存和IO集中管理
    * 单节点，一旦崩溃集群就崩溃了

* Secondary Namenode：
    * 主要作为Namenode的后备节点
    * 每个集群一个
    * 和Namenode通信，定期保存HDFS快照
    * 是否自动切换？

* DataNode
    * 每台服务器一个
    * 负责HDFS数据读写到本地

* JobTracker
    * 运行在主节点，每个集群一个，总调度作用
    * 处理用户提交
    * 哪些文件要处理，要分割并分配
    * 监控task，重启失败的task

* TaskTracker
    * 每个slave都有一个，和datanode结合使用，但是一个tasktracker可以启动多个jvm
    * 管理自己节点的task
    * 和jobtracker交互

* Master和slave
    * Master不一定只有一个
    * Master运行JobTracker、Namenode