转自http://www.csdn.net/article/2013-10-29/2817333-under-the-hood-building-posts-search 近日,Facebook为post搜索添加了Graph Search.我们来看几个惊人的数字:Facebook每天约产生10亿条post,post索引总数已上万亿条,数据量超700TB.为这些post建立索引和构建实时查询系统在工程上存在非常大的挑战,那么Facebook又是如何应对这一挑战的?以下为译文: 数据收集 Faceb…

本篇文章内容来自2016年TOP100summit QQ空间客户端研发总监王辉的案例分享.编辑:Cynthia 王辉:腾讯SNG社交平台部研发总监.腾讯QQ空间移动客户端技术负责人高级工程师.09年起负责QQ空间技术研发,经历从Web时代到移动客户端技术的转变,在Web.移动终端上都有不错的技术积累. 导读:移动互联网飞速发展,2016年,社交网络对视频技术的应用得到爆发式的增长,短视频.视频直播.视频滤镜.视频人脸动效.音乐.K歌.变声.连麦等功能陆续在产品中上线,如何在快速上线功能的同时,保…

最近一则<Facebook隐私泄露事件继续发酵,黑客明码标价出售聊天信息>的新闻被爆出,一个用户的信息被标价10美分.让人不禁感慨,3万亿市值的facebook,用户数据竟然如此便宜. 在这个“数字时代”,我们在科技面前渐渐变成了“透明人”,隐私有时候显得有些弥足珍贵.曾经有人反驳,你免费使用产品,公司获得数据,这是一个公平的交易.显然,反对者还没有理解保护隐私为何那么重要.今天,就来谈谈:用户产生的数据,到底应该归谁? 我们一般的理解,数据应该是归平台的.比如,你在电子商务平台(如亚马逊)上…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载. 作者:张国鹏 | 腾讯 运营开发工程师 一.前言 Spark作为大数据计算引擎,凭借其快速.稳定.简易等特点,快速的占领了大数据计算的领域.本文主要为作者在搭建使用计算平台的过程中,对于Spark的理解,希望能给读者一些学习的思路.文章内容为介绍Spark在DataMagic平台扮演的角色.如何快速掌握Spark以及DataMagic平台是如何使用好Spark的. 二.Spark在DataMag…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 演讲者:张浩 腾讯云中间件产品负责人 背景:众多开发者中,一定经历类似的甜蜜烦恼,就是当线上业务规模越来越大,系统分支发展越来越多的时候,初期上线的成就感很快就会被系统间数据不兼容.不通畅,折磨得精疲力尽,每次模块更新都是牵一发而动全身.腾讯云微服务框架TSF就可以为大家解决数据孤岛以及重复造轮子的问题,提供了简洁易用的代码入口,将复杂的底层网络.服务器部署接口化,使开发者更易用. 本文整理自腾讯云中间件产品负责人张浩在腾讯云云+未来峰…

支撑百亿级应用的 NewSQL https://zhuanlan.zhihu.com/newsql/ 项目背景 初次接触 TiDB,是通过同程网首席架构师王晓波先生的分享,当时同程网正在使开发和数据库全面往开源方向转型,由于业务需要,很多在线业务数据量和访问量都非常的大,而 MySQL 无法满足大数据量下的复杂查询需求,为了使数据库分片对开发透明,同程自研了 DBrouter .但分片后的合并.实时汇总统计及全量数据的监控仍然是困扰我们的一个难点.一直没有特别好的办法解决. 急速增长的业务 20…

一.前言 Spark作为大数据计算引擎,凭借其快速.稳定.简易等特点,快速的占领了大数据计算的领域.本文主要为作者在搭建使用计算平台的过程中,对于Spark的理解,希望能给读者一些学习的思路.文章内容为介绍Spark在DataMagic平台扮演的角色.如何快速掌握Spark以及DataMagic平台是如何使用好Spark的. 二.Spark在DataMagic平台中的角色 图 2-1 整套架构的主要功能为日志接入.查询(实时和离线).计算.离线计算平台主要负责计算这一部分,系统的存储用的是COS…

摘要:近来,增大模型规模成为了提升模型性能的主要手段.特别是NLP领域的自监督预训练语言模型,规模越来越大,从GPT3的1750亿参数,到Switch Transformer的16000亿参数,又是一个数量级的增加. 本文分享自华为云社区<一文带你了解MindSpore支持的万亿级参数超大模型关键技术!>,原文作者:HWCloudAI . 前言 近来,增大模型规模成为了提升模型性能的主要手段.特别是NLP领域的自监督预训练语言模型,规模越来越大,从GPT3的1750亿参数,到Switch Tr…

撰文 |懂懂 编辑 | 秦言 来源:懂懂笔记 在"青年必去的电影节"上,发现了一个跟他们打成一片的智能护齿"新星". 25日,备受关注的第15届FIRST青年电影展在青海省西宁市揭幕.因为出现了<大象席地而坐>.<心迷宫>和<暴裂无声>等惊艳作品,以及<我不是药神>在主流电影市场上的巨大成功,FIRST青年电影展近年来声名鹊起.作为一名独立电影及新锐电影作品的拥趸,懂懂一直欣赏FIRST青年电影展的独特之处--面向年轻…

一.背景 随着移动互联网.物联网.大数据等行业的高速发展,数据在持续的以指数级的速度增长,比如我们使用手机访问互网络时的行为数据,各种可穿戴设备上报的状态数据,工厂中设备传感器采集的指标数据,传统互联网公司的监控数据等.实际上,这些按照时间顺序记录系统.设备状态变化的数据都是时序数据(Time Series),它普遍存在于互联网.物联网.IT基础设施中. 得益于软硬件技术的快速发展,处理如此庞大的时序数据集的成本在持续降低,更多公司开始持续收集.分析数据,用于异常处理.趋势预测.精准营销.风险控…