Hadoop基础知识串烧

YARN资源调度：

三种
FIFO
大任务独占一堆小任务独占
capacity 弹性分配：计算任务较少时候可以利用全部的计算资源，当队列的任务多的时候会按照比例进行资源平衡。
容量保证：保证队列可以获取到资源利用。
安全：ACL访问控制限制用户只能向自己的队列提交任务。
Fair
Yarn资源调度模型：
当向yarn提交任务之后，ResourceManager会启动NodeManager。
NodeManager会启动APPManager。
APPManager向ResourceManager申请资源，目的领取用于任务计算的container。（心跳发送请求）
（第一层资源调度）ResourceManager作为响应会把container发送给 APPManager ( 但是这个过程不是push那么简单，而是container被放到一个缓存池，下次AM心跳的时候会将资源pull走)
（第二层资源调度）AppManager拿到container之后会分配给task
资源抢占：正常合理的抢占，是由于某个小队列存在空闲资源，会被调度器临时分配给负载较重的队列，但是如果那个小队列突然需要资源进行处理任务，会向那个大队列收回资源，要求物归原主，但是这部分资源还在使用中，此时小队列会等待一段时间，稍后资源如果还没释放，那么小队列就会抢占那部分资源。非常合理。

关于Hive的了解：

基本架构

用户接口，可以直接操作的接口。CLI（命令行界面）JDBC/ODBC(java访问hive)WEBUI（浏览器访问Hive）
元数据：表所属的数据库，表名，表的字段，表的拥有者等等
Hadoop 使用HDFS进行数据存储，使用MapReduce进行计算。（可以使用tez）进行计算，测试环境下比MapReduce查询效果较好。但是相比于HBase。那接着下文……

对比一下HBase和Hive

HBase的构建是用于海量数据的查询，是一种NoSQL数据库，在存储结构的设计上便是优于查询。Hive用于设计数据仓库，使用类SQL的操作方式来存储结构化数据，主要目的是用于存储，以及离线的批量数据计算。Hive会将SQL翻译成对应的MR任务提交给Yarn进行计算。在实际的生产环境中，可以把HBase和Hive看作是协作关系。（参考知乎https://www.zhihu.com/question/21677041）通过ETL（extract-transform-load）的方式将数据存在HDFS中，Hive对数据进行清洗处理计算。可以将最终的数据存入HBase中，用于查询。

对比一下MapReduce\Tez\Storm\Spark四个框架

MapReduce:是一种离线的计算型框架，将算法抽象成Map和Reduce两个阶段，适合密集型数据计算。不适合迭代计算和交互式计算。缺点是，就只有Map和Reduce操作，需要大量IO，无法利用内存资源，几乎全是磁盘开销。
Spark内存计算：适合迭代计算，可以把MR理解为一种磁盘计算框架，而Spark是一种内存型计算框架，将数据放在内存中计算可以提高计算效率，但这对计算的硬件的要求较高。使用scala进行编程更为出色。DAG执行引擎。所以在数据规模和时效性要求两个方面考量是用MR计算还是用Spark计算。
Storm:往往跟实时流计算关联。Storm更加擅长对流式计算、实时分析等这种实时计算。实时性能远好于MapReduce。
Tez:本质上是对MapReduce进行的优化，用于提高MapReduce的运行效率。依赖DAG作为核心算法模型，可以将MR任务拆分成多个子过程计算，也可以将多个MR任务合并成一个较大的DAG（下面有介绍）任务（可以省去好多存储时间，更专注于计算）。多用于Hive查询优化，用来替代原来的低效MR。

DAG在Hadoop中的应用场景

定义：有向图，从某一点出发无法回到原点。

Tez

从图中可以看到MR好Tez的区别。比较明显，MR产生中间结果，需要一步步进行。而Tez不产生中间结果，是一气呵成，将多个任务连接成single job，中间的值是直接传递而来，不涉及存取过程。
Spark
对，就是RDD，一提及Spark的DAG，很快就会联想到Spark的RDD，学 Spark的时候了解到 RDD的两种操作， transform和 action，其中 transform是一种延时性操作，只有当发生action动作的时候，前面的transform才会执行。理解理解吧，这就是DAG设计啊。
Oozie
还没使用过，做个了解。是Apache的顶级项目。
主要用于创建工作流，将多个MR/Spark/Pig……任务串在一起，专门针对大规模复杂工作流程和数据管道设计。这个工作流就是DAG图。