http://www.infoq.com/cn/news/2014/09/admaster-hadoop 卢亿雷是现任AdMaster技术副总裁,曾在联想研究院.百度基础架构部.Carbonite China工作,关注高可靠.高可用.高扩展.高性能系统服务,以及Hadoop/HBase/Storm/Spark等离线.流式及实时分布式计算技术.他对分布式存储和分布式计算.超大集群.大数据分析等有深刻理解及实践经验,对Lustre.HDFS.HBase.Map/Reduce.Storm.Spark等…

谁是初创公司的技术领导者,是CTO还是技术副总裁?任何在创业公司工作的人都知道,我们不应该去问这个问题.因为这两个是非常不同的角色,角色本身会随着创业公司的发展而变化,两者对于业务规模都很重要. 简单来说,CTO走的是技术路线,而技术副总裁已经是管理路线了.当研发团队超过100人时,就需要有人专注做架构规划.设计.日常维护,不能将管理和技术都交给CTO一人来做,就需要增设技术副总裁负责管理部分. 真正的CTO,是软件产品和技术统一管理的,他的职责就是商业.产品.技术.管理和团队相平衡的综合统管.…

Amazon前技术副总裁解剖完美技术面试 投递人 itwriter 发布于 2014-03-03 14:30 评论(0) 有1729人阅读  原文链接  [收藏]  « » 英文原文:The Anatomy of the Perfect Technical Interview from a Former Amazon VP Neil Roseman 厌倦了硅谷公司“我们只要最优秀和最闪亮人才”的口号.因为无论怎样强调,在真正招新时,多数人还是凭借自己的直觉,和应聘者的基本资格而定,例如 GPA,…

说到个性化,亚马逊无疑是挖掘与利用数据为消费者打造个性化网购体验的先驱之一.而现在,几乎所有的公司和网站都在利用更加个性化的推荐算法为用户提供更好的购物和浏览体验. 亚马逊近年来尤其重视将其个性化特性延伸至其平台卖家,同时覆盖前端消费者体验和后端系统. 我们近日采访了亚马逊Marketplace副总裁兼总经理彼得•法里西(Peter Faricy),了解他和他的团队是如何为覆盖全球10个市场的200万第三方卖家提供个性化服务的.在接受采访之前,法里西先介绍了一下亚马逊Marketplace的一些…

前序: 当你把你知道的东西,写下来,让人看明白是一种境界:当你能把自己写下来的东西给人讲明白,又是另一种境界.在这个过程中,我们都需要历练. 基于hadoop集群下海量离线数据存储和挖掘分析架构: 架构图采用主流的Hadoop+Hive+Hbase集群架构平台.最简单的利用,包含了基本的基于hadoop集群下的日志分析过程.但此架构图,又不仅局限于简单的基于日志数据处理.我们可以把它定位到,把基于传统数据挖掘技术,移植到Hadoop集群平台上,提高计算效率,节省时间,降低开发成本.说到这里就必须…

对于电商来说,销售额就是生命线,业务运营人员需要实时关注订单量,交易额,支付转化率等,并从各种维度对比分析,无论增幅或降幅,都需要马上找到原因,落地运营手段进行干预.快速准确的得到各种营销数据就显得格外重要,这就对数据的时效性提出了极大要求,且随着业务的不断发展,活动不断变换,运营人员就需要不断地给开发提交不同的埋点需求.如果依赖传统的硬编码埋点,效率和敏捷性会大打折扣,导致错过最佳营销时间点. 有没有一种工具不需要编码就可以动态实现事件的灵活埋点呢? 用华为动态标签管理器(DTM)的可视化埋点…

超人学院Hadoop大数据技术资源分享 http://bbs.superwu.cn/forum.php?mod=viewthread&tid=807&fromuid=645 很多其它精彩内容请关注:http://bbs.superwu.cn 关注超人学院微信二维码:…

大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展.高效率.高可靠等优点越来越受到欢迎.这同时也带动了hadoop商业版的发行.这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容. 目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等.虽然发行方不同,但在平台架构上相似,这里就以我比较熟悉的dkhadoop来介绍. 1.大快Dkhadoop,可以说是…

腾讯科技 林靖东 11月17日编译 亚马逊Amazon Web Services业务的副总裁.著名工程师詹姆斯汉密尔顿(James Hamilton)在AWS re:Invent大会上解释了公司是如何尽可能地将成本降低,同时又尽可能地将创新提高的,其实关键在于控制基础设施. 如果有人还想搞清大型云服务供应商如何不断推出新功能并降低服务价格的话,不妨听听詹姆斯汉密尔顿是如何说的.他的回答其实很简单,就两个字:规模. 规模就是AWS成功的秘诀.为了说明这个问题,汉密尔顿指出了一个经常被引用的统计数据…

阿里封神谈hadoop学习之路   封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark 摘要: 在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop.hive.spark等.笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1.ODPS等项目,目前base在E-Mapreduce.在这,笔者尽可能梳理下hadoop的学习之路. 引言 当前,越来越多的同…