hadoop第二课

1.1为什么需要Hadoop 

(1)数据分析者面临的问题

　　– 数据日趋庞大，读写都出现性能瓶颈；

　　– 用户的应用和分析结果，对实时性和响应时间 要求越来越高；

　　– 使用的模型越来越复杂,计算量指数级上升。

(2)期待的解决方案

　　– 解决性能瓶颈，在可见的未来不会出现新瓶颈 之前的技术可以平稳过渡，如SQL；

　　– 转移成本，如软硬件成本，开发成本，技能培 养成本，维护成本

(3)关系型数据库和Hadoop的比较

课堂笔记

关系型数据库属于集中型的数据方案。

数据大小：

1PB=2¹⁰GB

访问：

交互式处理—处理在线数据，实时处理，通俗一点就是一问一答的意思。

批处理—处理离线数据，举个例子，学生问老师10个问题，老师将这10个问题解决后，一次性将解答打包给学生。

更新：

一次写入多次读写—eg：百度搜索。（倒排索引）

ps：增删改查，Hadoop中没有改，当写错时，就只有直接覆盖。

另外，关系型数据库的数据结构是表，，在建好的表上增加或删除属性，成本是很大的。

结构：

怎么说呢？在传统关系型数据库Mysql中，比如学生管理系统，其中关于学生的一个表，有很多属性，Sno Sname Sage Ssex Sdept，其中，某些属性对应的属性值是null，存储时是会占空间的，而Hadoop的话，null值是不会占空间的。数据一大，那优势就体现出来了。

完整性：

范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求，满足不同程度要求的为不同范式。

换句话说，就是规则(约束)，进而有了完整性一说。

因而在关系型数据库中，因为有外键的存在，在删除某个表时，要删除从表信息，才能删除主表的信息。

Hadoop就不同，它是一张大表，就没有关系型数据库的那些麻烦。

那么，问题来了，既然如此，那么我们的生活中就不需要关系型数据库了吗？

举个例子，教务系统，当中有学生的信息，老师的管理，课程的安排等等，不可能只用一张表能装下如此错综复杂的信息。因而我们生活中还是要用关系型数据库！

横向扩展：

嗯...没有图，将就了吧。想象一下，这里有个二维函数，横坐标是服务器的台数，纵坐标是性能，Hadoop和RDBMS(关系型数据库)在第一区间的函数分别是怎样的呢？前者是一个一次函数，一直上升；后者的函数先极速上升，后趋向平缓，进而无论后面增加多少台服务器，性能都趋于定值。

Hadoop思想-小鱼与鲨鱼，高富帅与屌丝

(4)集群

• 集群的定义

　　– 集群是一组相互独立的、通过高速网络互联的 计算机，它们构成了一个组，并以单一系统的 模式加以管理。

　　– 一个客户与集群相互作用时，集群像是一个独 立的服务器。

• 集群的作用

　　– 在付出较低成本的情况下获得在性能、可靠性、 灵活性方面的相对较高的收益

• 使用集群的目的

　　– 提高性能(横向扩展)

　　– 降低成本(买一台百万级的服务器，用分布式10万块就可以办到)

　　– 提高可扩展性(加一台机器，性能呈   上升)

　　– 增强可靠性(比如说一台机子宕机了)

• 使用集群的场景

　　– 科学集群

　　– 负载均衡集群

　　– 高可用性集群

• 集群的构建

　　– 从硬件角度来看可以分为节点机系统、通讯系 统、存储系统等

　　– 软件角度则主要有操作系统、集群操作系统 （COS）、并行环境、编译环境和用户应用软件等

• 集群的关键技术

　　 – 任务调度——进程迁移

(5)Hadoop体系下的分析手段

　　– 主流:Java 程序

　　– 海量离线数据处理技术:MapReduce

　　– 分布式文件系统：HDFS

　　– NoSQL(Not Only不止一个数据库的意思)数据库:Hbase

　　– SQL技巧平稳:Hive

1.2Hadoop2.0生态系统 

（1）Hadoop自身包括以下内容：

　　Hadoop Common: hadoop的基础

　　Hadoop Distributed File System (HDFS): 分布式文件系统

　　Hadoop YARN: 集群任务资源管理及任务 调度的框架

　　Hadoop MapReduce: 基于YARN的分布式计算

（2）与hadoop相关的产品大致上分为两大部分：

• 数据服务（Data Services）

　　– HBase: 将文件建于HDFS上的分布式KeyValue数据库 要先搭建Hadoop平台！

　　– Hive: 有比较友好接口（相对来讲）的数据仓 库，它实际上是基于MapReduce的一个应用。搭建Hive之前不必要搭建Hbase，但要搭建Hadoop。

　　– Pig:它使用一个叫做“Pig Latin”的东西来作为 用户交互语言，底层依然是MapReduce。它与 Hive有类似之处，都是用来做大数据处理，但 它似乎比Hive要简单一些，没有“存储”的概念 （metadata,“表”等）， 接口也少。

　　– HCatalog：这是一个hadoop数据管理层，你 可以用Hive, Pig , MapReduce等来存取 hadoop的数据，而不用关心这些数据是如何存 储的。

• 运行维护（Operational Services）

　　– ZooKeeper:分布式应用协调器。只能搭建奇数个集群。

• 其他相关产品/项目：

　　– Mahout: 机器学习和数据挖掘

　　– Spark：内存计算

　　– Storm：实时计算

ps：现在其余两个已经被Spark取代。

（3）Hadoop2.0中各种产品的相互关系

灰色的Hadoop自带，绿色的是与Hadoop相关的产品。

Amban：运维工具

Avro：某种协议

Cassandra：最最专业的NoSQL工具

Oozie：向Hadoop提交数据

三大主流的数据库：Cassandra；芒果；Hbase。