亿级用户下的新浪微博平台架构前端机（提供 API 接口服务），队列机（处理上行业务逻辑，主要是数据写入），存储（mc、mysql、mcq、redis 、HBase等）

https://mp.weixin.qq.com/s/f319mm6QsetwxntvSXpKxg 亿级用户下的新浪微博平台架构炼数成金前沿推荐 2014-12-04 序言新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA).高并发访问.低延时的强大后台系统支撑. 微博平台第一代架构为LAMP架构,数据库使用的MyIsam,后台用的php,缓存为Memcache. 随着应用规模的…

no.9亿级用户下的新浪微博平台架构读后感

微博平台的第三代技术体系,使用正交分解法建立模型:在水平方向,采用典型的三级分层模型,即接口层.服务层与资源层:在垂直方向,进一步细分为业务架构.技术架构.监控平台与服务治理平台. 水平分层 (1)接口层主要实现与Web页面.移动客户端的接口交互,定义统一的接口规范,平台最核心的三个接口服务分别是内容(Feed)服务.用户关系服务及通讯服务(单发私信.群发.群聊). (2)服务层主要把核心业务模块化.服务化,这里又分为两类服务,一类为原子服务,其定义是不依赖任何其他服务的服务模块,比如常用的短链…

大数据下的数据分析平台架构zz

转自http://www.cnblogs.com/end/archive/2012/02/05/2339152.html 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”.多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Had…

十亿级流量下，我与Redis时延小突刺的战斗史

一.背景某一日收到上游调用方的反馈,提供的某一个Dubbo接口,每天在固定的时间点被短时间熔断,抛出的异常信息为提供方dubbo线程池被耗尽.当前dubbo接口日请求量18亿次,报错请求94W/天,至此开始了优化之旅. 二.快速应急 2.1 快速定位首先进行常规的系统信息监控(机器.JVM内存.GC.线程),发现虽稍有突刺,但都在合理范围内,且跟报错时间点对不上,先暂时忽略. 其次进行流量分析,发现每天固定时间点会有流量突增的情况,流量突增的点跟报错的时间点也吻合,初步判断为短时大流量导致.…

Yii2 基于RESTful架构的 advanced版API接口开发配置、实现、测试（转）

环境配置: 开启服务器伪静态本处以apache为例,查看apache的conf目录下httpd.conf,找到下面的代码 LoadModule rewrite_module modules/mod_rewrite.so 将其前面的#去掉,如果没有找到则添加进去. 找到一下代码 <Directory "C:/phpStudy/Apache/cgi-bin"> AllowOverride All Options None Require all granted </Di…

Yii2 基于RESTful架构的 advanced版API接口开发配置、实现、测试

Yii2 基于RESTful架构的 advanced版API接口开发配置、实现、测试【转】

日请求亿级的 QQ 会员 AMS 平台 PHP7 升级实践

QQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统.AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿.然而,在之前比较长的一段时间里,我们都采用了比较老旧的基础软件版本,就是PHP5.2+Apache2.0(2008年的技术).尤其从去年开始,随着AMS业务随着QQ会员增值业务的快速增长,性能压力日益变大. 于是,自2015年5月,我们就开始规划PHP底层升级,最终的目标是升级到PHP7.那时,PHP7尚处于…

日请求亿级的QQ会员AMS平台PHP7升级实践

版权声明:本文由PHP7升级项目组原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/74 来源:腾云阁 https://www.qcloud.com/community QQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统.AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿.然而,在之前比较长的一段时间里,我们都采用了比较老旧的基础软件版本…

文章翻译：Recommending items to more than a billion people（面向十亿级用户的推荐系统）

Web上数据的增长使得在完整的数据集上使用许多机器学习算法变得更加困难.特别是对于个性化推荐问题,数据采样通常不是一种选择,需要对分布式算法设计进行创新,以便我们能够扩展到这些不断增长的数据集. 协同过滤(CF)是其中一个重要的应用领域.CF是一种推荐系统技术,能够帮助人们发现感兴趣的东西.在Facebook,这些东西包括页面.兴趣组.事件.游戏等等.CF的核心思想是,最好的推荐来自品味相似的人.换句话说,它通过使用相似的人对历史物品的评分来预测某人会如何评价一件物品. 1. CF and Fa…

亿级用户百TB级数据的AIOps 技术实践之路

关于面临的挑战 "因为专业性强,我认为反而让交互方式变简单了,打个点餐的比方,软件1.0阶段是,我要吃鱼香肉丝,我要吃辣的或是素一点的,根据清晰的接口上菜.而软件2.0阶段就是,我今天想吃开心一点的,然后菜就上来了.学件的提出,说明 AIOps 给大家带来的已经不再是枯燥的接口,而是变成很友好的用户交互来解决业务场景." 现在的输入和之前不一样,之前是输入的是明确的内容,你来替我做行为:现在是输入的是目的,系统来做策略以及执行:后者更加宏观. 关于数据价值 "业务系统情况做到…

读“日请求亿级的QQ会员AMS平台PHP7升级实践”博客心得笔记

PHP7版本尚未普及,对于前辈们为了性能提升有勇气探索新技术敢于尝螃蟹的精神十分敬佩,倍受鼓舞. PHP7升级面临的风险和挑战对于一个已经现网在线的大型公共Web服务来说,基础公共软件升级,通常是一件吃力不讨好的工作,做得好,不一定被大家感知到,但是,升级出了问题,则需要承担比较重的责任.为了尽量减少升级的风险,必须先弄清楚我们的升级存在挑战和风险. 以下是前辈们整理的升级挑战和风险列表: (1)Apache2.0和PHP5.2这两个2008-2009年的基础软件版本比较古老,升级到Apach…

.NET MVC结构框架下的微信扫码支付模式二 API接口开发测试

直接上干货 ,我们的宗旨就是为人民服务.授人以鱼不如授人以渔.不吹毛求疵.不浮夸.不虚伪.不忽悠.一切都是为了社会共同进步,繁荣昌盛,小程序猿.大程序猿.老程序猿还是嫩程序猿,希望这个社会不要太急功近利 ,希望每个IT行业的BOSS要有良知,程序猿的青春年华都是无私默默奉献,都是拿命拼出来了现在的成就,如果卸磨杀驴,如果逼良为娼,请MM你的良心对得起你爹妈吗,你也有家,你也有小孩,你也有父母的. 在这里致敬程序猿, 致敬我们的攻城狮,致敬我们最可爱的人! 珍惜生命,换种活法也是依然精彩. Vie…

获得用户IP、城市、国家等信息的api接口

1 这个信息比较多 https://api.ipdata.co/?api-key=test <script> $.get("https://api.ipdata.co?api-key=test", function (response) { alert(response.country_code); }, "jsonp"); </script> 2 这个信息稍微少一些,但可以直接获取用户的IP等信息也可以查询指定的IP地址的信息 https:…

子弹短信光鲜的背后：网易云信首席架构师分享亿级IM平台的技术实践

本文原文内容来自InfoQ的技术分享,本次有修订.勘误和加工,感谢原作者的分享. 1.前言自从2018年8月20日子弹短信在锤子发布会露面之后(详见<老罗最新发布了“子弹短信”这款IM,主打熟人社交能否对标微信?>),关于它的讨论不绝于耳,7 天融资 1.5 亿的传闻更是将它推到了风口浪尖(请见<[资讯] “子弹短信”发布一周即融得1.5亿资金>). ▲ 嗯,这个牛逼老罗可以吹很久同时很多技术人开始分析它的代码,挖出了它的 IM 系统其实不是自研,而是使用网易云信提供的第三…

Redis实战：如何构建类微博的亿级社交平台

微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问.本文介绍如何使用 Redis 来设计一个社交系统,以及如何扩展 Redis 让其能够承载上亿用户的访问规模. 虽然单台 Redis 具备极佳的性能,但随着系统规模增大,单台服务器不能存储所有数据.以及没办法处理所有读写请求的问题迟早都会出现,这时我们就需要对 Redis 进行扩展,让它能够满足需求. 在介绍如何扩展之前,我们先看下如何用 Redis 来搭建一个社交平台. 使用 Redis 搭建社交平台用 Redi…

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统.日志平台具体发展历程可以参考上篇「从 ELK 到 EFK 演进」废话不多说,老司机们座好了,我们准备发车了~~~ 整体架构整体架构主要分为 4 个模块,分别提供不同的功能 Filebeat:轻量级数据收集引擎.基于原先 Logstash-fowarder 的源码改造出来.换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent…

【高并发】亿级流量场景下如何为HTTP接口限流？看完我懂了！！

写在前面在互联网应用中,高并发系统会面临一个重大的挑战,那就是大量流高并发访问,比如:天猫的双十一.京东618.秒杀.抢购促销等,这些都是典型的大流量高并发场景.关于秒杀,小伙伴们可以参见我的另一篇文章<[高并发]高并发秒杀系统架构解密,不是所有的秒杀都是秒杀!> 关于[冰河技术]微信公众号,解锁更多[高并发]专题文章. 注意:由于原文篇幅比较长,所以被拆分为:理论.算法.实战(HTTP接口实战+分布式限流实战)三大部分. 理论篇:<[高并发]如何实现亿级流量下的分布式限流?这些理论你…

如何运营亿级QPS的Redis系统

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人.6年DBA经验,一直从事SQL优化.实例调优.数据库架构.海量数据库集群运维.运营平台建设和管理等工作.为 QQ.Qzone.QQ音乐.微云.腾讯云等业务提供数据库服务. 导语:腾讯云Redis自2015年诞生以来,爆发时增长,为上万家客户提供服务.作者作为唯一的运维负责人,面对三大挑战是如何破解? 元信息的一致性管理万台设备高效运维如何实现智能调度解读腾讯云Redis 腾…

vivo推送平台架构演进

本文根据Li Qingxin老师在"2021 vivo开发者大会"现场演讲内容整理而成.公众号回复[2021VDC]获取互联网技术分会场议题相关资料. 一.vivo推送平台介绍 1.1 从产品和技术角度了解推送平台推送平台是做什么的? 有的小伙伴可能了解过,有的可能是第一次接触到.无论您是哪一种情况都希望通过今天的分享,能够让您对我们有新的了解.接下来我将从产品和技术两个不同视角,给大家介绍vivo推送平台. 首先,从产品角度来看,vivo推送平台通过和系统的深度结合,建立稳定可靠.…

亿级 Elasticsearch 性能优化

前言最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统.在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都超过亿级别,甚至达到百亿级别. 所以趁着有空,就花点时间整理一下具体怎么做 Elasticsearch 性能优化,希望能对 Elasticsearch 感兴趣的同学有所帮助. 背景 Elasticsearch 是一个基于 Lucene 的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于…

[NewLife.XCode]分表分库（百亿级大数据存储）

NewLife.XCode是一个有15年历史的开源数据中间件,支持netcore/net45/net40,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目. 开源地址:https://github.com/NewLifeX/X(求star, 938+) XCode是重度充血模型,以单表操作为核心,不支持多表关联Join,复杂查询只能在where上做文章,整个…