一，测试环境
      1） 硬件环境完全相同：
             包括：cpu/内存/网络/磁盘Io/机器数量等
      2）软件环境：
             相同数据
             相同测试用例
      3） 不同计算框架，其中spark-sql 都是基于yarn的
      4）spark-sql executor内存总量不大于 hive使用内存峰值
二，不同框架在两个测试用例下的性能对比
1）bu_出租车需求数计算.sql
  orc orc (split 110M) parquet +snappy parquet +gzip
spark-sql 1.4 2mins, 7sec  1mins,40sec Parquet does not support decimal Parquet does not support decimal
spark-sql 1.6 1mins, 30sec   大概1mins,4sec 大概1mins,4sec 大概1mins,4sec
hive 20mins 18.5mins 大概20mins 大概20mins
所占空间（raw倍数） 1 1 1.6 1

2）专快播单,接单情况.sql

spark-sql 1.6保持分配600G的内存不变，在不同数据量下进行测试：

 
200G
550G
1.1T
spark-sql 1.4 11-12mins    
spark-sql 1.6 7-8mins 22mins 51mins
hive 15mins 50mins 将近5T内存，就没测试

3) 听单

 
time
spark-sql 1.6 190s
hive 1117s

 

4)

三，总结 

1）spark-sql 1.6  相对于spark-sql 1.4 提高30%的性能；
2）不同应用spark-sql相对于hive性能提升幅度不同，但是都会提高很多
3）不同存储+压缩格式，存储空间不同
4）hive的stage-1的mr个数与数据存储空间大小成正比；
     注：mr 的个数与block大小有关，所以在split切分设为110M以后，资源占用大概两倍；
5）在数据量接近或远大于分配内存资源的情况下，spark-sql速度比下降，但相对于hive，仍就很快（并且hive资源占用过多）；

spark-sql性能测试的更多相关文章

  1. 性能测试解读：Kyligence vs Spark SQL

    全球各种大数据技术涌现的今天,为了充分利用大量数据获得竞争优势,企业需要高性能的数据分析平台,可靠并及时地提供对海量数据的分析见解.对于数据驱动型企业,在海量数据上交互式分析的能力是非常重要的能力之一 ...

  2. Spark SQL 之 Data Sources

    #Spark SQL 之 Data Sources 转载请注明出处:http://www.cnblogs.com/BYRans/ 数据源(Data Source) Spark SQL的DataFram ...

  3. Spark SQL 之 DataFrame

    Spark SQL 之 DataFrame 转载请注明出处:http://www.cnblogs.com/BYRans/ 概述(Overview) Spark SQL是Spark的一个组件,用于结构化 ...

  4. 【原】Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL

    周末的任务是更新Learning Spark系列第三篇,以为自己写不完了,但为了改正拖延症,还是得完成给自己定的任务啊 = =.这三章主要讲Spark的运行过程(本地+集群),性能调优以及Spark ...

  5. Spark 官方文档（5）——Spark SQL，DataFrames和Datasets 指南

    Spark版本:1.6.2 概览 Spark SQL用于处理结构化数据,与Spark RDD API不同,它提供更多关于数据结构信息和计算任务运行信息的接口,Spark SQL内部使用这些额外的信息完 ...

  6. Spark SQL Example

     Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table ...

  7. 通过Spark SQL关联查询两个HDFS上的文件操作

    order_created.txt   订单编号  订单创建时间 -- :: -- :: -- :: -- :: -- :: order_picked.txt   订单编号  订单提取时间 -- :: ...

  8. Spark SQL 之 Migration Guide

    Spark SQL 之 Migration Guide 支持的Hive功能 转载请注明出处:http://www.cnblogs.com/BYRans/ Migration Guide 与Hive的兼 ...

  9. Spark SQL 官方文档-中文翻译

    Spark SQL 官方文档-中文翻译 Spark版本:Spark 1.5.2 转载请注明出处:http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 Data ...

  10. Spark SQL 之 Performance Tuning & Distributed SQL Engine

    Spark SQL 之 Performance Tuning & Distributed SQL Engine 转载请注明出处:http://www.cnblogs.com/BYRans/ 缓 ...

随机推荐

  1. 元素定义了position：fixed；后怎么居中

    div{ position:fixed; width:1200px; margin:0 auto; top:0; bottom:0; left:0; right:0; }

  2. My Sql 中要Alter Table的同学请注意！！！

    首先我建议你在对MySQL表做DDL操作时: 1 执行 show processlist 查看,要操作的表(数据库对象)是否处于锁状态 if("未锁定") { 执行DDL语句 }e ...

  3. sql常用语句

    选择:select * from table1 where 范围 插入:insert into table1(field1,field2) values(value1,value2) 删除:delet ...

  4. mongoDB3.0 索引 整理

    http://blog.csdn.net/louisliaoxh/article/details/51543552 相关mongo http://blog.csdn.net/LOUISLIAOXH/a ...

  5. Hangfire项目使用

    基本介绍: hangfire 主要用于根据设置时间来执行任务,间隔几分钟执行一次,每天几点钟执行一次,如此执行任务. 方法: backgroundjob.enqueue(()=>"要执 ...

  6. mysql--sqlalchemy.exc.IntegrityError: (IntegrityError) (1215, 'Cannot add foreign key constraint'

    今天在使用mysql时遇到的问题,最后发现问题是,数据类型与外键数据类型不同,改正过来就没有问题了.

  7. 检测cpu是否支持虚拟化和二级地址转换【转】

    SLAT:二级地址转换   用微软的小工具“Coreinfo.exe” 下载地址是: http://technet.microsoft.com/en-us/sysinternals/cc835722 ...

  8. Flatten Binary Tree to Linked List [LeetCode]

    Given a binary tree, flatten it to a linked list in-place. For example,Given 1 / \ 2 5 / \ \ 3 4 6 T ...

  9. Galera集群server.cnf参数调整--前言

    文档安排: 前言部分会简述下galera集群,正文中会针对我们线上的环境,在不断业务的情况下,进行参数调整的话,有些参数不能够进行配置,会以#***的形式写入配置文件中,文档也会进行进一步说明. 如果 ...

  10. git push命令

    git push命令用于将本地分支的更新,推送到远程主机.它的格式与git pull命令相仿. $ git push <远程主机名> <本地分支名>:<远程分支名> ...