今天读了几篇分布式相关的内容,记录一下.非经典论文,非系统化阅读,非严谨思考和总结.主要的着眼点在于分布式存储:好处是,跨越单台物理机器的计算和存储能力的限制,防止单点故障(single point of failure):常见方法是,做数据分区(data partition / sharding)以横向扩展,做数据复制(data replication)增加冗余度:难点是,如何在数据一致性(consistency).系统可用性(availability).分区容忍度(partition tol…

今天读了几篇分布式相关的内容,记录一下.非经典论文,非系统化阅读,非严谨思考和总结.主要的着眼点在于分布式存储:好处是,跨越单台物理机器的计算和存储能力的限制,防止单点故障(single point of failure):常见方法是,做数据分区(data partition / sharding)以横向扩展,做数据复制(data replication)增加冗余度:难点是,如何在数据一致性(consistency).系统可用性(availability).分区容忍度(partition tol…

这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我．但是一定要保留原文链接,因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT…

http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf 分布式系统的时钟同步是一个非常困难的问题,this paper致力于分布式系统的逻辑时钟同步问题. 文中有个结论值得注意:In a distributed system, it is important to realize that the order in which events occure is only a partial orderi…

Motivation <Time, Clocks, and the Ordering of Events in a Distributed System>大概是在分布式领域被引用的最多的一篇Paper了. 这篇Paper自己去年读过两次,最近尝试翻译了一下.第一是觉得太经典了,分布式领域必读论文:第二是想再加深下自己的理解. 英文水平有限,有兴趣还是建议读一下原文. Abstract 本文审视了在分布式系统中,一个事件发生在另一个事件之前(“happening before”)的概念,并用它描…

Aysnc-callback with future in distributed system…

task: 基于Chord实现一个Hash Table 我负责写Node,队友写SuperNode和Client.总体参考paper[Stoica et al., 2001]上的伪代码 FindSuccessor(key):对chord环上的任意一个key,返回他的successor FindPredecessor(key):对chord环上的任意一个key,返回他的Predecessor n.Closet_Preceding_Finger(key):对chord环上的任意一个key,在node…

接下的内容按几个大类来列:1. 文件系统a. GFS – The Google File Systemb. HDFS1) The Hadoop Distributed File System2) The Hadoop Distributed File System: Architecture And Designc. XFS – The Tencent File System 2. 数据库系统a. BigTable – BigTable: A Distributed Storage System…

OBLIVIATE redesigned ORAM for SGX filesystem operations for confuse access patterns to protect user privacy. Why All existing SGX filesystems are vulnerable to system call snooping, page fault, or cache based side-channel attacks. How Run isolated fi…

本博客是MIT的分布式系统课程的课后作业Cos418的GO语言实现思路.由于时间有限,目前只实现了assignment1~2. 在common.go中设置debugEnabled = true,go test时增加-v参数可以获得更多调试信息.   Assignment 1: Sequential Map/Reduce 目标:需要写一个简单的线性执行的mapreduce程序,实现wordcount功能. Part I: Map/Reduce input and output 在mapreduce…