no.9亿级用户下的新浪微博平台架构读后感

微博平台的第三代技术体系,使用正交分解法建立模型:在水平方向,采用典型的三级分层模型,即接口层.服务层与资源层:在垂直方向,进一步细分为业务架构.技术架构.监控平台与服务治理平台. 水平分层 (1)接口层主要实现与Web页面.移动客户端的接口交互,定义统一的接口规范,平台最核心的三个接口服务分别是内容(Feed)服务.用户关系服务及通讯服务(单发私信.群发.群聊). (2)服务层主要把核心业务模块化.服务化,这里又分为两类服务,一类为原子服务,其定义是不依赖任何其他服务的服务模块,比如常用的短链…

亿级用户下的新浪微博平台架构前端机（提供 API 接口服务），队列机（处理上行业务逻辑，主要是数据写入），存储（mc、mysql、mcq、redis 、HBase等）

https://mp.weixin.qq.com/s/f319mm6QsetwxntvSXpKxg 亿级用户下的新浪微博平台架构炼数成金前沿推荐 2014-12-04 序言新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA).高并发访问.低延时的强大后台系统支撑. 微博平台第一代架构为LAMP架构,数据库使用的MyIsam,后台用的php,缓存为Memcache. 随着应用规模的…

大数据下的数据分析平台架构zz

转自http://www.cnblogs.com/end/archive/2012/02/05/2339152.html 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”.多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Had…

文章翻译：Recommending items to more than a billion people（面向十亿级用户的推荐系统）

Web上数据的增长使得在完整的数据集上使用许多机器学习算法变得更加困难.特别是对于个性化推荐问题,数据采样通常不是一种选择,需要对分布式算法设计进行创新,以便我们能够扩展到这些不断增长的数据集. 协同过滤(CF)是其中一个重要的应用领域.CF是一种推荐系统技术,能够帮助人们发现感兴趣的东西.在Facebook,这些东西包括页面.兴趣组.事件.游戏等等.CF的核心思想是,最好的推荐来自品味相似的人.换句话说,它通过使用相似的人对历史物品的评分来预测某人会如何评价一件物品. 1. CF and Fa…

十亿级流量下，我与Redis时延小突刺的战斗史

一.背景某一日收到上游调用方的反馈,提供的某一个Dubbo接口,每天在固定的时间点被短时间熔断,抛出的异常信息为提供方dubbo线程池被耗尽.当前dubbo接口日请求量18亿次,报错请求94W/天,至此开始了优化之旅. 二.快速应急 2.1 快速定位首先进行常规的系统信息监控(机器.JVM内存.GC.线程),发现虽稍有突刺,但都在合理范围内,且跟报错时间点对不上,先暂时忽略. 其次进行流量分析,发现每天固定时间点会有流量突增的情况,流量突增的点跟报错的时间点也吻合,初步判断为短时大流量导致.…

亿级用户百TB级数据的AIOps 技术实践之路

关于面临的挑战 "因为专业性强,我认为反而让交互方式变简单了,打个点餐的比方,软件1.0阶段是,我要吃鱼香肉丝,我要吃辣的或是素一点的,根据清晰的接口上菜.而软件2.0阶段就是,我今天想吃开心一点的,然后菜就上来了.学件的提出,说明 AIOps 给大家带来的已经不再是枯燥的接口,而是变成很友好的用户交互来解决业务场景." 现在的输入和之前不一样,之前是输入的是明确的内容,你来替我做行为:现在是输入的是目的,系统来做策略以及执行:后者更加宏观. 关于数据价值 "业务系统情况做到…

日请求亿级的 QQ 会员 AMS 平台 PHP7 升级实践

QQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统.AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿.然而,在之前比较长的一段时间里,我们都采用了比较老旧的基础软件版本,就是PHP5.2+Apache2.0(2008年的技术).尤其从去年开始,随着AMS业务随着QQ会员增值业务的快速增长,性能压力日益变大. 于是,自2015年5月,我们就开始规划PHP底层升级,最终的目标是升级到PHP7.那时,PHP7尚处于…

日请求亿级的QQ会员AMS平台PHP7升级实践

版权声明:本文由PHP7升级项目组原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/74 来源:腾云阁 https://www.qcloud.com/community QQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统.AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿.然而,在之前比较长的一段时间里,我们都采用了比较老旧的基础软件版本…

读“日请求亿级的QQ会员AMS平台PHP7升级实践”博客心得笔记

PHP7版本尚未普及,对于前辈们为了性能提升有勇气探索新技术敢于尝螃蟹的精神十分敬佩,倍受鼓舞. PHP7升级面临的风险和挑战对于一个已经现网在线的大型公共Web服务来说,基础公共软件升级,通常是一件吃力不讨好的工作,做得好,不一定被大家感知到,但是,升级出了问题,则需要承担比较重的责任.为了尽量减少升级的风险,必须先弄清楚我们的升级存在挑战和风险. 以下是前辈们整理的升级挑战和风险列表: (1)Apache2.0和PHP5.2这两个2008-2009年的基础软件版本比较古老,升级到Apach…

【高并发】亿级流量场景下如何为HTTP接口限流？看完我懂了！！

写在前面在互联网应用中,高并发系统会面临一个重大的挑战,那就是大量流高并发访问,比如:天猫的双十一.京东618.秒杀.抢购促销等,这些都是典型的大流量高并发场景.关于秒杀,小伙伴们可以参见我的另一篇文章<[高并发]高并发秒杀系统架构解密,不是所有的秒杀都是秒杀!> 关于[冰河技术]微信公众号,解锁更多[高并发]专题文章. 注意:由于原文篇幅比较长,所以被拆分为:理论.算法.实战(HTTP接口实战+分布式限流实战)三大部分. 理论篇:<[高并发]如何实现亿级流量下的分布式限流?这些理论你…

Redis实战：如何构建类微博的亿级社交平台

微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问.本文介绍如何使用 Redis 来设计一个社交系统,以及如何扩展 Redis 让其能够承载上亿用户的访问规模. 虽然单台 Redis 具备极佳的性能,但随着系统规模增大,单台服务器不能存储所有数据.以及没办法处理所有读写请求的问题迟早都会出现,这时我们就需要对 Redis 进行扩展,让它能够满足需求. 在介绍如何扩展之前,我们先看下如何用 Redis 来搭建一个社交平台. 使用 Redis 搭建社交平台用 Redi…

子弹短信光鲜的背后：网易云信首席架构师分享亿级IM平台的技术实践

本文原文内容来自InfoQ的技术分享,本次有修订.勘误和加工,感谢原作者的分享. 1.前言自从2018年8月20日子弹短信在锤子发布会露面之后(详见<老罗最新发布了“子弹短信”这款IM,主打熟人社交能否对标微信?>),关于它的讨论不绝于耳,7 天融资 1.5 亿的传闻更是将它推到了风口浪尖(请见<[资讯] “子弹短信”发布一周即融得1.5亿资金>). ▲ 嗯,这个牛逼老罗可以吹很久同时很多技术人开始分析它的代码,挖出了它的 IM 系统其实不是自研,而是使用网易云信提供的第三…

12. 亿级流量电商系统JVM模型参数二次优化

亿级流量电商系统JVM模型参数预估方案,在原来的基础上采用ParNew+CMS垃圾收集器一.亿级流量分析及jvm参数设置 1. 需求分析大促在即,拥有亿级流量的电商平台开发了一个订单系统,我们应该如何来预估其并发量?如何根据并发量来合理配置JVM参数呢? 假设,现在有一个场景,一个电商平台,比如京东,需要承担每天上亿的流量.现在开发了一个订单系统,那么这个订单系统每秒的并发量是多少呢?我们应该如何分配其内存空间呢?先来分析一下每日亿级流量,平均一个用户点击量在20-30左右,通过这个计算出…

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统.日志平台具体发展历程可以参考上篇「从 ELK 到 EFK 演进」废话不多说,老司机们座好了,我们准备发车了~~~ 整体架构整体架构主要分为 4 个模块,分别提供不同的功能 Filebeat:轻量级数据收集引擎.基于原先 Logstash-fowarder 的源码改造出来.换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent…

9.亿级流量电商系统JVM模型参数预估方案

1. 需求分析大促在即,拥有亿级流量的电商平台开发了一个订单系统,我们应该如何来预估其并发量?如何根据并发量来合理配置JVM参数呢? 假设,现在有一个场景,一个电商平台,比如京东,需要承担每天上亿的流量.现在开发了一个订单系统,那么这个订单系统每秒的并发量是多少呢?我们应该如何分配其内存空间呢?先来分析一下每日亿级流量,平均一个用户点击量在20-30左右,通过这个计算出日活用户数约1亿/20=500万, 看的人多,买的人少,通常下单率不超过10%,我们按照留存率10%来计算,日均订单约50万…

一套海量在线用户的移动端IM架构设计实践分享(含详细图文)(转)

1.写在前面 1.1.引言如果在没有太多经验可借鉴的情况下,要设计一套完整可用的移动端IM架构,难度是相当大的.原因在于,IM系统(尤其是移动端IM系统)是多种技术和领域知识的横向应用综合体:网络编程.通信安全.高并发编程.移动端开发等,如果要包含实时音视频聊天的话,则还要加上难度更大的音视频编解码技术(内行都知道,把音视频编解码及相关技术玩透的,博士学位都可以混出来了),凡此种种,加上移动网络的特殊性.复杂性,设计和开发难度不言而喻. 本文分享了一套完整的海量在线用户的移动端IM架构设计,来…

亿级流量场景下，大型架构设计实现【2】---storm篇

承接之前的博:亿级流量场景下,大型缓存架构设计实现续写本博客: ****************** start: 接下来,我们是要讲解商品详情页缓存架构,缓存预热和解决方案,缓存预热可能导致整个系统崩溃的问题以及解决方案: 缓存--->热: 预热:热数据解决方案中和架构设计中,会引入大数据的实时计算技术---> storm: 为什么引入这storm,必须是storm吗,我们后面面去讲解那个解决方案的时候再说: 为什么引入storm: 因为一些热点数据相关的一些实时处理方案,比如快速预热,…

亿级流量场景下，大型缓存架构设计实现【1】---redis篇

*****************开篇介绍**************** ----------------------------------------------------------------------------------------------------------------------- 三个重要的标准: ---大型缓存架构中需要首先说一下: 海量数据:支持海量数据缓存,支持大规模数据: 高并发:在亿级QPS的场景下,可以做到满足业务需求: 高可用:表示redis可以做…

杂文笔记《Redis在万亿级日访问量下的中断优化》

杂文笔记<Redis在万亿级日访问量下的中断优化> Redis在万亿级日访问量下的中断优化 https://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655816714&idx=1&sn=9b390ffe1e485c49f24f8afd680c85be&chksm=bd74c1dd8a0348cba6e036d8ef2ac0175da9ed54f32f38de7a7a5bb1e1f8db440c1ad47926…

Redis百亿级Key存储方案（转）

1 需求背景该应用场景为DMP缓存存储需求,DMP需要管理非常多的第三方id数据,其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系,还包括了supperid的人口标签.移动端id(主要是idfa和imei)的人口标签,以及一些黑名单id.ip等数据. 在hdfs的帮助下离线存储千亿记录并不困难,然而DMP还需要提供毫秒级的实时查询.由于cookie这种id本身具有不稳定性,所以很多的真实用户的浏览行为会导致大量的新cookie生成,只有及时同步ma…

亿级规模的Elasticsearch优化实战

Elasticsearch 的基本信息大致如图所示,这里就不具体介绍了. 本次分享主要包含两个方面的实战经验:索引性能和查询性能. 一. 索引性能(Index Performance) 首先要考虑的是,索引性能是否有必要做优化? 索引速度提高与否?主要是看瓶颈在什么地方,若是 Read DB(产生DOC)的速度比较慢,那瓶颈不在 ElasticSearch 时,优化就没那么大的动力.实际上 Elasticsearch 的索引速度还是非常快的. 我们有一次遇到 Elasticsearch 升级后索…