hive学习

大数据的仓库Hive学习

 10期-崔晓光 2016-06-20  大数据   hadoop   10原文链接

我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统，可是我们发现这跟我们平时常用的关系型数据库有很大区别，为了使用方便，产生了针对大数据存储的数据仓库Hive。

一、是什么

1、概念

Hive 是一个基于 Hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 hadoop 的 map/reduce 任务，通过执行这些任务完成数据处理。

2、体系结构

• hiveserver

hiveserver启动方式：hive –service hiveserver 
HiveServer支持多种连接方式：Thrift、JDBC、ODBC

• metastore

metastore用来存储hive的元数据信息(表格、数据库定义等)，默认情况下是和hive绑定的，部署在同一个JVM中，将元数据存储到Derby中 
      这种方式不好的一点是没有办法为一个Hive开启多个实例(Derby在多个服务实例之间没有办法共享)

Hive提供了增强配置，可将数据库替换成MySql等关系数据库，将存储数据独立出来在多个服务实例之间共享

甚至还可以将metastore Service也独立出来，部署到其他JVM中去，在通过远程调用的方式去访问

3、优缺点

• 优点

可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务

延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数

容错

良好的容错性，节点出现问题SQL仍可完成执行

• 缺点

不支持记录级别的更新、插入和删除操作

Hive不是一个完整的数据库。Hadoop以及hdfs的设计本身约束和局限性地限制了hive所能胜任的工作。Hive不支持记录级别的更新、插入和删除操作。但是用户可以通过查询生成新表或者将查询结果导入到文件中。

查询延时比较严重

因为Hadoop是一个面向批处理的系统，而mapreduce任务（job）的启动过程需要消耗较长的时间，所以hive查询延时比较严重。传统数据库中在秒级可以完成的查询，在hive中，即时数据集相对较小，往往也需要执行更长的时间。 
由于Hadoop本身的时间开销很大，并且Hadoop所被设计用来处理的数据规模非常大，因此提交查询和返回结果是可能具有非常大的延时的，所以hive并不能满足OLAP的“联机”部分，至少目前并没有满足。如果用户需要对大规模数据使用OLTP功能的话，那么应该选择使用一个NOSQL数据库。例如，和Hadoop结合使用的HBase及Cassandra.

不支持事务

二、相关联系

1、与HBase的关系

Hive是基于Hadoop的一个数据仓库工具，是为简化编写MapReduce程序而生的，Hive十分适合数据仓库的统计分析。 
HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。

2、与RDBMS的关系

---

总结：

今天我们通过对Hive的学习，对大数据的处理又有了一定的认识。在以后的实际操作中，我们去慢慢掌握Hive的使用方法。通过不断学习，达到自己所追求的目标。

1

 

相关文章推荐：

• 学习笔记：infobright数据仓库
• Hive定义、Hive与HBase关系、Hive与RDBMS的关系、数据库与数据仓库的区别
• hive学习笔记——Hive表中数据的导入和导出
• 数据仓库的架构
• HIVE在腾讯分布式数据仓库实践
• 大数据的仓库Hive原理(三)
• 数据仓库的模型设计
• 数据仓库数据挖掘——Data Preprocessing
• 什么是数据仓库主题
• 数据仓库工作日记_记录（二）-数据治理下

  • 1、Hive定义

    Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

    Hive是一个构建在Hadoop上的数据仓库平台，其设计目标是使Hadoop上的数据操作与传统SQL结合，让
        熟悉SQL编程的开发人员能够轻松向Hadoop平台转移

    Hadoop1.x的项目结构除了核心内容MapReduce和HDFS,还包括Common、Avro、
        Chukwa、Hive、HBase等子项目，它们之间相互提供服务，或在核心层上为更高提供服务

    

    免费的日志分析工具有：Awstats  Webalizer 页面中嵌入js代码
        日志分析的方式有：Linux Shell脚本、SQL查询、基于Hadoop的日志分析

    2、Hive与HBase关系

    

    Hive是基于Hadoop的一个数据仓库工具，是为简化编写MapReduce程序而生的，Hive十分适合数据仓库的统计分析
      
    HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库，列式数据库

    3、Hive与RDBMS的关系

    Hive除了用了和数据库相似的查询语言，再无别的相同点

    

    4、数据库与数据仓库的区别

    数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

    所谓的（1） 面向主题：指数据仓库中的数据是按照一定的主题域进行组织。

    （2）集成：指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。

    （3）相对稳定：指一旦某个数据进入数据仓库以后只需要定期的加载、刷新。

    （4）反映历史变化：指通过这些信息，对企业的发展历程和未来趋势做出定量分析预测。

    数据仓库建设是一个工程，是一个过程，而不是一种可以购买的产品。企业数据处理方式是以联机事务处理形式信息，并利用信息进行决策；在信息应用过程中管理信息。

    数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管

    理系统来管理的。数据仓库与数据库的主要区别在于：

    （1）数据库是面向事务的设计，数据仓库是面向主题设计的。

    （2）数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。

    （3）数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。

    （4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计。