实时查询引擎 - Facebook Presto 介绍与应用

【实时查询引擎 - Facebook Presto 介绍与应用】的更多相关文章

实时查询引擎 - Facebook Presto 介绍与应用

1. Presto 是什么 Facebook presto是什么,继Facebook创建了HIVE神器后的又一以SQL语言作为接口的分布式实时查询引擎,可以对PB级的数据进行快速的交互式查询.它支持标准的ANSI SQL.包含查询,聚合,JOIN以及窗口函数等.除了Facebook这个创造都在使用外,国内像京东,美团等也都有广泛的使用.对于英文不好的同学可以访问由京东创建的这个中文翻译站点:http://prestodb-china.com/,只是这个版本才0.100,现在最新版已到0.15…

Presto: 可以处理PB级别数据的分布式SQL查询引擎

2012年秋季Facebook启动了Presto,Presto的目的是在几百PB级别数据量上面进行准实时分析.在摒弃了一些外部项目以后,Facebook准备开发他们自己的分布式查询引擎.Presto的语法基于ANSI SQL,大多数分布式查询引擎需要用户去学习一种新的语法,有的语法类似SQL,但是没有一种是和真正的SQL一样被人们所熟悉,并且有详尽的文档.Facebook希望这个决定能够使得培训新用户变得更容易更快速.依赖于 ANSI SQL也让Presto能够利用的现存的第三方工具. 在内部,…

Presto 来自Facebook的开源分布式查询引擎

Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速.实时的数据分析.它支持标准的ANSI SQL,包括复杂查询.聚合(aggregation).连接(join)和窗口函数(window functions).下图中展现了简化的Presto系统架构.客户端(client)将SQL查询发送到Presto的协调员(coordinator).协调员会进行语法检查.分析和规划查询计划.计划员(scheduler)将执行的管道组合在一起, 将任务分配给那些里数据最近的节点,然后监控执行过程…

Facebook 正式开源其大数据查询引擎 Presto

Facebook 正式宣布开源 Presto —— 数据查询引擎,可对250PB以上的数据进行快速地交互式分析.该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别.Facebook 称 Presto 的性能比诸如 Hive 和 Map*Reduce 要好上 10 倍有多. Presto 当前支持 ANSI SQL 的大多数特效,包括联合查询.左右联接.子查询以及一些聚合和计算函数:支持近似…

大数据系列之分布式大数据查询引擎Presto

关于presto部署及详细介绍请参考官方链接 http://prestodb-china.com PRESTO是什么? Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节. Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题. 它可以做什么? Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储. 一条Presto查询可以将多个数据源的数据进行合并,可以跨越…

facebook Presto SQL分析引擎——本质上和spark无异，分解stage，task，MR计算

Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎,适用于交互式分析查询,可支持众多的数据源,包括 HDFS,RDBMS,KAFKA 等,而且提供了非常友好的接口开发数据源连接器. 介绍 Presto是一个运行在多台服务器上的分布式系统. 完整安装包括一个coordinator和多个worker. 由客户端提交查询,从Presto命令行CLI提交到coordinator. coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker. 完全基于内存的…