参考: http://taobaofed.org/blog/2017/07/05/leveldb-analysis/ 和leveldb源码(block.cc的Seek函数). leveldb的key.value是放在一起的,可以scan,但搜索不是全量搜索,而和搜索相关的是,bloom filter和restarts. bloom filter bloom filter用来快速确定某个key是否存在,有意思的是,leveldb用了多个bloom filter,这样可以多次判定. restarts…

在DBImpl中有一个函数声明为Iterator* DBImpl::NewIterator(const ReadOptions& options) ,他返回一个可以遍历或者搜索数据库的迭代器句柄. Iterator* DBImpl::NewIterator(const ReadOptions& options) { SequenceNumber latest_snapshot; uint32_t seed; Iterator* iter = NewInternalIterator(opti…

C: Consistency 一致性 • A: Availability 可用性(指的是快速获取数据) • P: Tolerance of network Partition 分区容忍性(分布式) 10年前,Eric Brewer教授指出了著名的CAP理论,后来Seth Gilbert 和 Nancy lynch两人证明了CAP理论的正确性.CAP理论告诉我们,一个分布式系统不可能满足一致性,可用性和分区容错性这三个需求,最多只能同时满足两个. BASE模型反ACID模型,完全不同ACID模型,…

引用: (src1) :http://download.csdn.net/detail/flyfish1986/8881263(这里有下载地址) (src2) :http://blog.csdn.net/flyfish1986/article/details/46806893 记录下,方便以后查阅. 之前在JAVA下用的LevelDB,应为公司有个项目,对接口的返回时间有着比较高的要求,但公司用的是MSSQL,数据量比较大,估计10亿左右的数据.接口要求的返回时间是20ms以内. LevelDB…

跳表的原理就是利用随机性建立索引,加速搜索,并且简化代码实现难度.具体的跳表原理不再赘述,主要是看了levelDB有一些实现细节的东西,凸显自己写的实现不足之处. 去除冗余的key template<typename Key, class Comparator> struct SkipList<Key,Comparator>::Node { explicit Node(const Key& k) : key(k) { } Key const key; // Accessor…

Google的leveldb是个非常优秀的存储引擎.但还是有一些不尽人意的地方,比方leveldb不支持多线程合并.对key范围查找的支持还非常easy,未做优化措施,等等.而Facebook的RocksDB是个更彪悍的引擎.实际上是在LevelDB之上做的改进.在使用方法上与LevelDB非常的相似,两者的对照能够參考以下的參考资料1. 这里之所以要调研rocksdb是由于rocksdb中增加了prefix bloomfilter的实现,可以支持对范围查找的优化.对我眼下的项目非常有參考意义,…

Get LevelDB提供了Get接口用于给定key的查找: Status DBImpl::Get(const ReadOptions &options, const Slice &key, std::string *value) Get操作可以指定在某个snapshot的情况下进行,如果指定了snapshot,则获取该snapshot的sequencenumber,如果没有指定snapshot,就取当前最新的sequencenumber: Status s; MutexLock l(&a…

为什么要windows版本? 因为方便调试跟进 VS的体验真的很不错. 搜索了一段时间才发现GITHUB有windows版本的leveldb 但是使用VS编译也有不少坑 可以下载网络上的其他朋友的版本  也可以新建VS空工程导入代码 git地址 https://github.com/google/leveldb/tree/windows 使用VS新建工程 导入代码 删除posix和test等相关的一些非win环境和测试代码,添加预编译宏.....一系列操作后才成功 测试代码 #include <…

前提条件,下载boost库并编译 boost库弄好后,就可以编译leveldb了 首先,下载leveldb-windows,这个github上有 一. 1文件->新建->从现有代码文件创建新项目 打开 从现有代码文件创建新项目 向导窗口 2要创建什么类型的项目? 选择Visual C++ 3项目文件位置 选择源码所在位置leveldb-windows文件夹所在位置 这里源码文件在E:\0AA--master\leveldb-master目录中,所以使用的是E:\0AA--master\leve…

Bloom Filter,即布隆过滤器,是一种空间效率很高的随机数据结构. 原理:开辟m个bit位数组的空间,并全部置零,使用k个哈希函数将元素映射到数组中,相应位置1.如下图,元素K通过哈希函数h1,h2,h3在数组上置1. LevelDB中加入bloom filter的支持.目前针对一次查询,LevelDB可能需要在每个level上进行一次磁盘随机访问.通过使用bloom filter可以大大减少所需要的磁盘I/O操作.比如,假设调用者正在查找一个值为"Foo"的key,Level…