Hive架构

Hive组织数据包含四种层次：DataBase --> Table --> Partition --> Bucket，对应在HDFS上都是文件夹形式。

数据库和数据仓库的区别：

1). 数据库内数据是动态变化的，而数据仓库内数据是静态的，是用来存储数据的(一次写入多次读取)

2). 数据库中的数据结构比较复杂，而数据仓库中数据结构简单

3). 数据库在操作数据时要求响应速度快，即实时的进行增删改查；而数据仓库响应时间比较长

Hive架构

1) 元数据：Metastore

　　包括：数据库、表、分区、桶、列等名称，表的类型(是否是外部表)、表数据所在的目录等。

2) 用户接口：Client

　　CLI(hive shell)、JDBC/ODBC(java访问hive)、WebUI(浏览器访问hive)

3) 底层操作：HDFS+MR

　　使用HDFS进行存储，使用MR进行计算

4) 驱动器：Driver

• 编译器Compile：首先检查SQL中表和列是否存在，再利用第三方工具Antlr检查SQL语法是否正确，将正确的SQL解析成抽象语法树(AST)，最后将AST编译成逻辑执行计划Logical Plan
• 优化器Optimizor：将逻辑执行计划先进行优化，再转化成可以运行的物理执行计划Physical Plan，即MR任务执行，并对其进行优化
• 执行器Executor：执行优化后的MR任务

元数据与Hive的对应关系：

• 【DBS】表对应【数据库】信息。
• 【TBLS】表对应【数据表】信息。
• 【COLUMNS_V2】表对应【字段】信息。
• 【PARTITIONS】表对应【分区表】信息。
• 【SDS】对应hdfs上【路径】信息：

Hive中【数据库】对应以 .db 结尾的文件夹，【表】对应文件夹，【分区字段】对应着子文件夹，【表中数据】对应数据文件。

hive保存元数据的三种方式

Hive将元数据存储在 RDBMS 中，有三种存储模式，其中1、2均属于本地存储，3属于远程存储。

1、Single User Mode：

• 使用内置的derby数据库存储元数据信息，不可以并发调用hive。
• 默认derby数据库问题：①换执行路径后，原来的表不存在了②只能单用户访问同一张表【单线程】。
• 这是因为derby数据库特点：在那个目录下运行hive，就那个目录下产生一个derby文件和一个metastore_db目录。

2、Multi User Mode：

　　通过网络连接到mysql数据库，是最经常使用的组合模式。

3、Remote Server Mode：

• 在服务器端启动MetaStoreServer服务，客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。
• 客户端重要配置是hive.metastore.urls，用于通过thrift连接metastore，默认 metastore端口是9083。
• 这种方式要单独启动metastore，命令为hive --service metastore。
• 通过CLI执行show tables，成功则表示remote server mode配置成功。