完全用nosql轻松打造千万级数据量的微博系统

微博feed系统的push和pull模式和时间分区拉模式架构探讨

关于如何构建一个微博型广播

关于如何构建一个微博型广播2

用 mongodb 储存多态消息/提醒类数据

构建高性能的微博系统-再谈新浪微博架构

新浪微博Cache设计@TimYang.pdf

 
 
 
 
 
 
 
最后这篇文章写得很不错的，也基本讲清楚了Feed系统的方方面面的考虑了，基本涉及到了一个Feed系统从小发展到大的全过程了！还没有完全领会到它为用Cassandra替换Redis的理由，或者他还是考虑把Casandra的作为半缓存的结构来替换的，加大Cassandr的内存，可以缓存大量的热数据，当然它的好处是冷热数据都可以完美的持久化，但是数据的一致性处理起来有些麻烦，毫无疑问他会是采用R+W>N的模式，但是无论写多份还是读多份都是有些难于取舍的，Feed系统的写入量本来就很大，如果写入多份的话会大大降低写入的性能，另外，存在Feed的系统，无一例外的是Feed都会是全系统的核心，提高读的性能会大大提高用户的体验，如果读取的时候读多份数据会相对降低性能，到底取舍哪一个呢？我这里光是凭空想象，无法取舍，具体还可以看性能测试来说法，如果有同学做过这方面的压测，还望留言告知下！
 
腾讯微博主要使用拉模型，只有未读的微博数是使用推得模式实现的！拉模型的问题在于一个人跟随了几百或者上千的人的时候，去看关注的人所发的消息要进行多个层次的Map/Reduce才能得到结果，需要非常高效的获取最新Feed的方式以及快速的聚合算法，只用Memcache\Redis之类的从性能上是比较难于实现的，需要从数据层面或者是缓存的层面都进行聚合，再在应用层面进行聚合，技术难度比较大！这个模式属于知易行难，绝大多数公司不具备构建基础设施的能力！

新浪微博使用推拉结合的方式，大号不推送，小号则推送，看Feeds的时候，需要将推过来的Feeds索引数据与关注的大号的Feed进行聚合，小小的牺牲下拉的性能一下子就将大号的推送问题解决掉了！

对于稍微小些的网站，比如Pinterest和花瓣都使用推的方式来实现，PInterest的直接在Redis中保存500个最新的索引信息，使用Python脚本定时来扫描，保证缓存的索引信息始终只保存最新的500个，老的信息则直接丢弃掉，花瓣则将老索引存储到LevelDBA中去了！

Pinterest网站的内容信息缓存在memcache中，关系信息则缓存到Redis中，持久化方式保存！对于那种大号的粉丝，亦或是关注的人数太多则需要将关系数据拆分之后再缓存起来，对于动态变化的部分则需要独立存放，在使用的时候需要将两部分数据聚合，在可变部分达到一定长度的时候，需要与不变的部分进行合并！

当然推送的时候，所有的网站都使用异步的方式来实现！

Feed系统架构资料收集的更多相关文章

  1. Feed系统架构资料收集（转）

    add by zhj:有些链接已经失效,后续会修改. 原文:http://blog.csdn.net/zhangzhaokun/article/details/7834797 完全用nosql轻松打造 ...

  2. 人人网张铁安：Feed系统架构分析（转）

    原文:http://www.csdn.net/article/2010-07-26/277273 继成功举办首期TUP活动后,日前在北京丽亭华苑酒店鸿运二厅,由CSDN和<程序员> 杂志联 ...

  3. “Django用户认证系统”学习资料收集

    首推追梦人物——Django用户认证系统 待续……

  4. 数据人看Feed流-架构实践

    背景 Feed流:可以理解为信息流,解决的是信息生产者与信息消费者之间的信息传递问题.我们常见的Feed流场景有:1 手淘,微淘提供给消费者的首页商品信息,用户关注店铺的新消息等2 微信朋友圈,及时获 ...

  5. ROS机器人程序设计（原书第2版）补充资料 （贰） 第二章 ROS系统架构及概念

    ROS机器人程序设计(原书第2版)补充资料 (贰) 第二章 ROS系统架构及概念 书中,大部分出现hydro的地方,直接替换为indigo或jade或kinetic,即可在对应版本中使用. 由于工作事 ...

  6. 海量日志实时收集系统架构设计与go语言实现

    日志收集系统应该说是到达一定规模的公司的标配了,一个能满足业务需求.运维成本低.稳定的日志收集系统对于运维的同学和日志使用方的同学都是非常nice的.然而这时理想中的日志收集系统,现实往往不是这样的. ...

  7. Flume日志收集系统架构详解--转

     2017-09-06 朱洁 大数据和云计算技术 任何一个生产系统在运行过程中都会产生大量的日志,日志往往隐藏了很多有价值的信息.在没有分析方法之前,这些日志存储一段时间后就会被清理.随着技术的发展和 ...

  8. 基于Flume的美团日志收集系统 架构和设计 改进和优化

    3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meit ...

  9. 系统架构师考试知识点mp3资料免费下载

    场景 系统架构设计师考试,属于全国计算机技术与软件专业技术资格考试(简称计算机软件资格考试)中的一个高级考试. 系统架构设计师考试,考试不设学历与资历条件,不论年龄和专业,考生可根据自己的技术水平,选 ...

随机推荐

  1. RSA算法小记

    学习来源:http://www.cnblogs.com/vamei/p/3480994.html 小记: 一.数学基础: 欧拉Phi函数:Φ(n)=总数(从1到n-1中与n互质的整数) (1)欧拉定理 ...

  2. linux经典命令学习

    本文介绍Linux系统的若干经典命令的常用方法. (一)grep 主要用于搜索文件内容,查看是否跟要求的pattern相匹配. 1.grep -l 'boss' *        显示所有包含boss ...

  3. 解决：[INS-20802] Oracle Net Configuration Assistant failed

    在linux 中安装Oracle 11G 的时辰呈现 [INS-20802] Oracle Net Configuration Assistant failed 是oracle数据库的鼓掌,须要补丁p ...

  4. mysqldump命令介绍

    命令行下具体用法如下: mysqldump -u用戶名 -p密码 数据库名 表名 > 脚本名; 1.导出单个数据库的所有表的数据和结构 mysqldump -h localhost -uroot ...

  5. java常见异常类图(分类了Error/RuntimeExecption、check Exception)

    版权:欧初权 http://www.cnblogs.com/langtianya/p/4435537.html

  6. linux基本命令(1)-用户和组管理

    1.初始化Root密码 sudo passwd 2.切换至Root用户 su - root 或 sudo - i

  7. thinkphp中field方法

    hinkPHP的CURD操作中有很多非常实用的方法,从这篇开始,我们会为大家一一介绍. 首先为大家介绍下field方法的用法.field属于模型的连贯操作方法之一,主要目的是标识要返回或者操作的字段, ...

  8. 探讨关于C#中Foreach的本质

    一.为什么数组和集合可以使用foreach遍历 01. 因为数组和集合都实现了IEnumerable接口,该接口中只有一个方法,GetEnumerator() 02.数组类型是从抽象基类型 Array ...

  9. [Effective JavaScript 笔记] 第4条：原始类型优于封闭对象

    js有5种原始值类型:布尔值.数字.字符串.null和undefined. 用typeof检测一下: typeof true; //"boolean" typeof 2; //&q ...

  10. 安装 openSUSE Leap 42.1 之后要做的 8 件事

    导读 openSUSE Leap 确实是个巨大的飞跃,它允许用户运行一个和 SUSE Linux 企业版拥有同样基因的发行版.和其它系统一样,为了实现最佳的使用效果,在使用它之前需要做些优化设置. 下 ...