Hive与impala的对比测试实验

前面几篇随笔记录了我安装环境的一些笔记，环境ok以后，自然要看看impala到底性能如何，拿他来hive做做对比：

前面hive章节中，已经建立了一张名叫chengyeliang的table，该表的结构为

该表内导入了100000条记录。

分别用impala-shell和hive对该表进行查询：

测试一

查询记录的数量：

Select count（*）from chengyeliang；

Hive：

耗时27.197秒

Impala

耗时0.33秒

测试二

查询符合过滤条件的记录：filter

select * from chengyeliang where foo=1314;

Hive：

耗时19.967秒

Impala

耗时0.31秒

测试三

查询某一列或者某几列的值：

select foo from chengyeliang limit 2000;（前2000条）

Hive：

耗时18.71秒

Impala

耗时0.47秒

---

扩大数据量---上亿条记录

表的结构为：

12个字段，共有100437725（1亿多）条记录。

测试一

查询记录的数量：

select count(*) from yeliang;

Hive：

耗时111.761秒

Impala

耗时26.31秒

测试二

查询符合过滤条件的记录：filter

select * from yeliang where id=123456;

Hive：

耗时110.581秒

Impala

耗时24.50秒

测试三

查询某一列或者某几列的值：

select id from yeliang sort by id limit 500;(前500条，排序)

Hive：

耗时515.711秒

Impala

耗时28.77秒

总结

　　大数据下的查询分析工具调研了一两个月的时间了，从最初的drill开始，到impala，从框架级，原理架构级到源码分析级，感触很多，由于apache 对drill广阔的前景规划目前drill的功能还不支持真正的dfs文件数据的查询，impala相对成熟一些，该文档前面详细叙述了搭建impala的环境，以及支持impala的各组件的安装，尤其是环境ok以后，对比hive的查询分析实验，实时性返回的感觉真的很棒。

　　Google总是引领着互联网技术公司的走向，尤其在大数据领域。前段时间调研过的apache hama就是google pregel的开源实现，而如今apache drill同样是对google产品big query背后的引擎Dremel的开源实现，Cloudera在这一步上略早于apache，使得他的CDH更加的在业界具有竞争力，前段时间业界新闻，hive的发源地facebook同样也推出了自己的大数据查询分析工具----Presto http://www.csdn.net/article/2013-06-13/2815749-Facebook-Presto

　　这说明着，数据越多的公司，对数据分析有强烈需求的公司，他们对高效查询分析的需求同样会更迫切。

展望

　　总的来说，能够亲眼看到超过hive查询速度20多倍的产品，还是很吃惊的。但是，调研的过程中，尤其源码分析的阶段，类SQL大数据查询分析的门槛还是相对很高的，个人感觉，需要团队对传统数据库领域或者分布式文件系统等相关方向的积累，如果有分布式数据库的经验作为对比学习则更好。