Feed系统架构资料收集（转）
add by zhj:有些链接已经失效，后续会修改。
原文：http://blog.csdn.net/zhangzhaokun/article/details/7834797
微博feed系统的push和pull模式和时间分区拉模式架构探讨
领会到它为用Cassandra替换Redis的理由，或者他还是考虑把Casandra的作为半缓存的结构来替换的，加大Cassandr的内存，可以
缓存大量的热数据，当然它的好处是冷热数据都可以完美的持久化，但是数据的一致性处理起来有些麻烦，毫无疑问他会是采用R+W>N的模式，但是无论
写多份还是读多份都是有些难于取舍的，Feed系统的写入量本来就很大，如果写入多份的话会大大降低写入的性能，另外，存在Feed的系统，无一例外的是
Feed都会是全系统的核心，提高读的性能会大大提高用户的体验，如果读取的时候读多份数据会相对降低性能，到底取舍哪一个呢？我这里光是凭空想象，无法
取舍，具体还可以看性能测试来说法，如果有同学做过这方面的压测，还望留言告知下！
息要进行多个层次的Map/Reduce才能得到结果，需要非常高效的获取最新Feed的方式以及快速的聚合算法，只用Memcache\Redis之类
的从性能上是比较难于实现的，需要从数据层面或者是缓存的层面都进行聚合，再在应用层面进行聚合，技术难度比较大！这个模式属于知易行难，绝大多数公司不
具备构建基础设施的能力！
新浪微博使用推拉结合的方式，大号不推送，小号则推送，看Feeds的时候，需要将推过来的Feeds索引数据与关注的大号的Feed进行聚合，小小的牺牲下拉的性能一下子就将大号的推送问题解决掉了！
对于稍微小些的网站，比如Pinterest和花瓣都使用推的方式来实现，PInterest的直接在Redis中保存500个最新的索引信息，使
用Python脚本定时来扫描，保证缓存的索引信息始终只保存最新的500个，老的信息则直接丢弃掉，花瓣则将老索引存储到LevelDBA中去了！
Pinterest网站的内容信息缓存在memcache中，关系信息则缓存到Redis中，持久化方式保存！对于那种大号的粉丝，亦或是关注的人
数太多则需要将关系数据拆分之后再缓存起来，对于动态变化的部分则需要独立存放，在使用的时候需要将两部分数据聚合，在可变部分达到一定长度的时候，需要
与不变的部分进行合并！
当然推送的时候，所有的网站都使用异步的方式来实现！
Feed系统架构资料收集（转）的更多相关文章
- Feed系统架构资料收集
完全用nosql轻松打造千万级数据量的微博系统 微博feed系统的push和pull模式和时间分区拉模式架构探讨 关于如何构建一个微博型广播 关于如何构建一个微博型广播2 用 mongodb 储存多态 ...
- 人人网张铁安：Feed系统架构分析（转）
原文:http://www.csdn.net/article/2010-07-26/277273 继成功举办首期TUP活动后,日前在北京丽亭华苑酒店鸿运二厅,由CSDN和<程序员> 杂志联 ...
- “Django用户认证系统”学习资料收集
首推追梦人物——Django用户认证系统 待续……
- 数据人看Feed流-架构实践
背景 Feed流:可以理解为信息流,解决的是信息生产者与信息消费者之间的信息传递问题.我们常见的Feed流场景有:1 手淘,微淘提供给消费者的首页商品信息,用户关注店铺的新消息等2 微信朋友圈,及时获 ...
- ROS机器人程序设计（原书第2版）补充资料 （贰） 第二章 ROS系统架构及概念
ROS机器人程序设计(原书第2版)补充资料 (贰) 第二章 ROS系统架构及概念 书中,大部分出现hydro的地方,直接替换为indigo或jade或kinetic,即可在对应版本中使用. 由于工作事 ...
- 海量日志实时收集系统架构设计与go语言实现
日志收集系统应该说是到达一定规模的公司的标配了,一个能满足业务需求.运维成本低.稳定的日志收集系统对于运维的同学和日志使用方的同学都是非常nice的.然而这时理想中的日志收集系统,现实往往不是这样的. ...
- Flume日志收集系统架构详解--转
2017-09-06 朱洁 大数据和云计算技术 任何一个生产系统在运行过程中都会产生大量的日志,日志往往隐藏了很多有价值的信息.在没有分析方法之前,这些日志存储一段时间后就会被清理.随着技术的发展和 ...
- 基于Flume的美团日志收集系统 架构和设计 改进和优化
3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meit ...
- 系统架构师考试知识点mp3资料免费下载
场景 系统架构设计师考试,属于全国计算机技术与软件专业技术资格考试(简称计算机软件资格考试)中的一个高级考试. 系统架构设计师考试,考试不设学历与资历条件,不论年龄和专业,考生可根据自己的技术水平,选 ...
随机推荐
- 【JavaNIO的深入研究4】内存映射文件I/O，大文件读写操作，Java nio之MappedByteBuffer，高效文件/内存映射
内存映射文件能让你创建和修改那些因为太大而无法放入内存的文件.有了内存映射文件,你就可以认为文件已经全部读进了内存,然后把它当成一个非常大的数组来访问.这种解决办法能大大简化修改文件的代码.fileC ...
- 3d引擎列表
免费引擎 Agar - 一个高级图形应用程序框架,用于2D和3D游戏. Allegro library - 基于 C/C++ 的游戏引擎,支持图形,声音,输入,游戏时钟,浮点,压缩文件以及GUI. A ...
- Ubuntu 12.04.3 X64 使用 NFS 作为文件共享存储方式 安装 Oracle11g RAC
nfs-server 在 Ubuntu上可以选择 : nfs-kernel-server:如果在windows上,可以选择:haneWIN NFS Server nfs-client Ubuntu上使 ...
- 如何将ppt转换为高清图片？
PPT2010版本直接提供了“另存为”图片的功能,但另存为后的图片清晰度不够,这是因为office提供的默认点每英寸点数 (dpi)为96dpi,也就是说图片的尺寸为960x720像素,通过注册表可以 ...
- swift--Timer实现定时器功能，每个一段时间执行具体函数，可以重复，也可以只执行一次
1,创建 //控制器 timer = Timer.scheduledTimer(timeInterval: 0.001, target: self, selector: #selector(Fifte ...
- python常用内置模块,执行系统命令的模块
Subprocess模块 python3.5将使用Subprocess模块跟操作系统进行交互,比如系统命令,他将替换 os.system os.spawn* subprocess.run()方法封装的 ...
- js常用总结
常用总结,方便大家学习共享. 1.document.write(""); 输出语句 2.JS中的注释为// 3.传统的HTML文档顺序是:document->html-& ...
- docker tag 详解
docker tag 用于给镜像打标签,语法如下: docker tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG] ① 比如我现在有一个 centos 镜像: [ro ...
- TextSwitcher实现文本自动垂直滚动
实现功能:用TextSwitcher实现文本自动垂直滚动,类似淘宝首页广告条. 实现效果: 注意:由于网上横向滚动的例子比较多,所以这里通过垂直的例子演示. 实现步骤:1.extends TextSw ...
- 关于MCU的烧录，下载与其他接口的比较（一）
今天呢,犯了一个很严重的错误,我不知道这会产生什么样的影响,但我知道,如果我以后再没有具体的了解,仔细认真地观察,认证,只会滑到无底的深渊.做技术来不得半点虚假,切记一知半解,凡事都要弄得清楚明白,认 ...