易观OLAP算法大赛结果揭晓,开源组黑马放大招!
100+天激烈赛程,40+国内顶级技术豪门对决,历经研发内部测试、正式环境测试和易观数据正式环境跑benchmark三大阶段。10月28日,易观OLAP算法大赛优胜名单出炉!
40+技术门派比武
易观OLAP大赛可谓国内算法界“武林大会”,英雄帖一发出就引起互联网各大技术门派积极响应。
吸引来自美团点评、阿里云、小米、链家、搜狗、科大讯飞、联通、原速数据、乐见、AggreData、GBase 、Kyligence、PingCAP、LinkDoc、iflytek、hulu、上海睿民、热云数据、润乾、帆软软件、咪咕音乐、杭州玳数科技、上海跬智、千丁互联、北京健科云网、广州向量线科技、乐享天下、牛办科技、北京邮电大学、北京交通大学等40多家知名企业、科研单位和个人报名参加。
6组算法新人王诞生
本次易观OLAP算法大赛分为商业组和开源组两个组别进行,从7月开放报名到10月正式环境跑benchmark。经过重重考验,终于决出6组易观OLAP算法新人王:
商业组三甲:
第一名:PingCAP
PingCAP 是国内第一家开源的新型数据库公司,其产品分布式高可用数据库 TiDB 支持水平扩展,兼容MySql,支持分布式事务,是大数据时代理想的数据库集群和云数据库解决方案之一。在本次比赛中,PingCAP使用自主研发的 Magic 引擎,使用多层pipeline、智能并发等技术,以极致速度对数据进行暴力扫描,实现了良好的计算效果,因此获得商业组第一名的好成绩。
第二名:帆软软件
帆软团队在本次参赛使用的是帆软自主研发的直连分布式引擎。分布式存储系统基于Alluxio和HDFS,采用列式存储方案,以Spark作为基础,基于流式计算,辅以高性能查询算法,为直连引擎提供强劲的查询支持。面对亿级数据和多维度复杂场景时,直连分布式引擎能大幅提高有序漏斗的计算的效率和准确性。
第三名:GBase
GBase此次参赛用的是自己的产品GBase 8a MPP Cluster。GBase 8a采用行列混合存储,可处理PB级别以上的结构化数据。同时采用先进的数据压缩算法,有效提高IO性能。在数据处理上采用完全并行的MPP + Share Nothing的分布式架构,支持高并发,因此在有序漏斗的实时计算中效率较高。

易观OLAP算法大赛商业组颁奖仪式
开源组三甲:
第一名:广州向量线科技 韦万和李本旺
在开源组比赛中韦万和李本旺另辟蹊径,向北取经。使用目前国内鲜为人知的俄罗斯神级开源软件ClickHouse参赛。利用ClickHouse超强分析性能和灵活的架构特点,使得集群间节点的计算完全并行化,同时优化底层的存储和上层的计算细节,挖掘CPU cache、向量化执行和具体算法优化方面的潜力。凭借在时效和精度上的优异表现,韦万和李本旺团队成为本届大赛最大黑马,获得开源组第一名。
第二名:美团点评 孙业锐
美团点评团队基于自身的业务优势经验,设计了本次参赛的解题思路。用bitmap快速过滤和基于时间戳序列匹配的算法,利用Apache Spark、Alluxio等开源框架快速落地实现,使用了一系列工程优化方法,在每日数百亿条日志和百万属性的数据集上,实现有序漏斗的秒级查询。在易观正式数据环境中,在26亿数据,400万用户,几十个属性的场景下,美团点评团队均实现了快速查询。
第三名:北京邮电大学 卢跃凯
易观OLAP算法大赛还吸引了来自计算机名门高校的个人选手。北京邮电大学的研究生卢跃凯,采用了HDFS作为储存,将Spark作为数据预处理和核心过滤算法实现。借鉴最长递增子序列的存储和更新思想,将查找每个用户转化率的时间复杂度变为了0(n),提升了漏斗计算的效率。

易观OLAP算法大赛开源组颁奖仪式
开源组10万元现金奖励
易观OLAP大赛为每组前三名的团队颁发获奖证书,同时开源组第一名还将获得UCloud提供的10万元现金奖励。据悉,韦万和李本旺获得开源组第一名后注册了自己的公司,将对算法技术进行更深入的研究和落地实践。

开源组第一名10万元现金奖励授予仪式
赛制公正具有含金量
2017易观OLAP算法大赛在“有序漏斗”的实时计算效率和精确度上得到突破性的好成绩,这离不开易观海量的数据支撑以及UCloud强大的技术支持。
一直以来,UCloud都是易观良好的合作伙伴,本次大赛UCloud为所有参赛团队提供了稳定的底层IT计算资源服务。比赛在4台UCloud云主机16核、16G内存、SSD数据盘300G硬件的环境下进行。比赛时现给出8个不同的场景,同时开始计时,每个场景的运行时间须在8分钟以内,8个场景总体比赛时间在1小时内,以此考察参赛团队在不同场景下的实时计算精度和用时效率。每个场景根据事件的数量、事件的复杂程度、事件的属性、时间窗口的大小等差异赋予不同的权重。总分为单个场景乘以该场景权重的累加所得。在8个场景中,运行时间最短且精确度最高的队伍获胜。在正式数据环境开跑阶段,还进行全程录像,确保比赛成果的含金量。
作为易观A10峰会的重要项目,OLAP算法大赛不仅为技术黑马提供大展拳脚的道场,同时还为行业挖掘出更多技术型人才和更优秀解决方案。做技术领域的“伯乐”,让世界看到更多“黑马”,易观致力于推进大数据应用创新。未来,易观OLAP大赛取得的成果将用于数据产品的研发当中,从技术应用层面实践“数以致用”。
易观OLAP算法大赛结果揭晓,开源组黑马放大招!的更多相关文章
- 2017易观OLAP算法大赛
大赛简介 目前互联网领域有很多公司都在做APP领域的“用户行为分析”产品,与Web时代的行为分析相类似,其目的都是帮助公司的运营.产品等部门更好地优化自家产品,比如查看日活和月活,查看渠道来源 ...
- 2019腾讯广告算法大赛 Rank23
由于官方审核代码,代码将在2019年6月28号后开源 写在前面 这次腾讯的第三届广告算法大赛,是我第一次参加,取得了初赛与复赛均为23名的成绩,毕竟我只是初打比赛不久的小白.我想在此分享下我的基本解题 ...
- 世界视频编码器大赛结果揭晓,腾讯V265编码器勇夺两项第一
2019年10月22日,由莫斯科国立大学(Moscow State University)举办的MSU世界视频编码器大赛成绩揭晓, 腾讯内部开源协同的V265编码器再创佳绩,一举拿下PSNR(峰值信噪 ...
- 2016年上半年金融类App成绩单,手机银行优势尽显! (转自Analysys易观(ID:enfodesk))
2016已悄然时过大半,金融各领域经过了开年大战,二季度末尾的6月更是几家欢喜几家愁,其中频繁出现的黑马更是足够让人惊喜.我们基于易观千帆6月移动应用大数据,筛选了百款金融类App为您揭晓TOP100 ...
- 首届全球RTB(实时竞价)广告DSP算法大赛
首届全球RTB(实时竞价)广告DSP算法大赛 竞赛指南 RTB (Real Time Bidding, 实时竞价) 是近年来计算广告领域最激动人心的进展之一. 它增加了展示广告的透明度与效率, ...
- 智慧航空AI大赛-阿里云算法大赛总结 第一赛季总结
[以前的文章]最后一公里极速配送 - 阿里云算法大赛总结 总结一下新的教训 1.由于都是NP难题,获得最优解用常规的方法非常困难,对于不是算法科班出身的人来说,首先应该到网络上寻找一下论文,是否有一些 ...
- 2018科大讯飞AI营销算法大赛全面来袭,等你来战!
AI技术已成为推动营销迭代的重要驱动力.AI营销高速发展的同时,积累了海量的广告数据和用户数据.如何有效应用这些数据,是大数据技术落地营销领域的关键,也是检测智能营销平台竞争力的标准. 讯飞AI营销云 ...
- AMAP-TECH算法大赛开赛!基于车载视频图像的动态路况分析
阿里巴巴高德地图AMAP-TECH算法大赛于7月8日开启初赛,赛题为「基于车载视频图像的动态路况分析」,活动邀请了业界权威专家担任评委,优秀选手不仅可以瓜分丰厚的奖金,领取荣誉证书,还有机会进入高德地 ...
- 滴滴大数据算法大赛Di-Tech2016参赛总结
https://www.jianshu.com/p/4140be00d4e3 题目描述 建模方法 特征工程 我的几次提升方法 从其他队伍那里学习到的提升方法 总结和感想 神经网络方法的一点思考 大数据 ...
随机推荐
- [转载]ext4文件系统的delalloc选项造成单次写延迟增加的分析
转载http://www.cnblogs.com/cobbliu/p/5603472.html 最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_i ...
- vue部署到nginx服务下,非根目录,刷新页面404怎么解决?
nginx配置 location / { proxy_pass http://xxxx; } location /category { root /home/tv; index index.html; ...
- oculus network error ovr53225466
最近调试oculus,搬运代码到win10平台,发现最近FB对oculus的服务程序进行了更新,必须要登陆账号才能进行调试. 于是安装oculusclient,但是登陆的过程中出现了问题,如果不用代理 ...
- Request中通过文件流获取文件
第一次写博客,希望能帮到以后接触到这里的同学,废话不多说,面对疾风吧. /** * 获取文件相信信息 * @param request HttpServletRequest实例 * @param im ...
- 如何彻底卸载系统自带的IE浏览器
IE浏览器是windows系统上自带的浏览器,有时我们想要用其他的浏览器,例如chrome,卸载IE浏览器,那么应该如何卸载呢?下面就以win7上的IE9为例,告诉大家如何卸载IE浏览器. 方法/步骤 ...
- 字体大小之px、em、rem、pt,字号详解
PX px像素(Pixel).相对长度单位.像素px是相对于显示器屏幕分辨率而言的. 是一个虚拟长度单位,是计算机系统的数字化图像长度单位,如果px要换算成物理长度,需要指定精度DPI(Dots Pe ...
- MySQL Migration Toolkit v2.1特别版
MySQL数据库转换工具MySQL Migration Toolkit v2.1特别版 支持mssql\oracle\access\excel与mysql互换 可以将任何数据源转换成mysql的数据, ...
- P2310 loidc,看看海
P2310 loidc,看看海 题目背景 loidc喜欢大海.在他放假的时候他经常一个人跑到海边独自玩耍. 在浪花的冲击下,他可以忘记打代码的烦躁,真是惬意极了. 虽然今天是周六,但今天可是11.8号 ...
- Swift中文教程(二)基本运算符
1.基本运算符 运算符是一种特定的符号或表达式,用来检验.改动或合并变量.比如,用求和运算符+能够对两个数字进行求和(如let i = 1 + 2):略微复杂一点的样例有逻辑与操作符&& ...
- 面向基于英特尔® 架构的 Android* 的 CoCos2D
Cocos2D 是一款游戏引擎,可与从电脑到手机等多种设备配合使用. 该引擎支持丰富的特性,可帮助创建出色的 2D 游戏.它甚至包含具备全面功能的物理引擎. CoCos2D 的核心元素是基本动画元素( ...