看大数据面试题,看到BloomFilter,找了篇文章学习一下: http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html Bloom Filter算法如下:  创建一个m位BitSet,先将所有位初始化为0,然后选择k个不同的哈希函数.第i个哈希函数对字符串str哈希的结果记为h(i,str),且h(i,str)的范围是0到m-1 . (1) 加入字符串过程    下面是每个字符串处理的过程,首先是将字符串str“记录”到BitS…

原文在<游戏编程精粹2>的1.2中,BloomFilter是一种可以快速检测是否存在集合包含关系的数据结构,但有一定的误识别率. 该结构的优点 判断包含关系时效率较高,粗略测试了下比List快一倍(不拆分哈希) 由于内部是位数组BitArray,做交集并集几乎不产生开销 该结构的缺点 有一定的误识别率 使用情境有限 我在Github找了一个BloomFilter的库(这个库使用时会产生大量GC,但学习来用够了): https://github.com/joeyrobert/bloomfilte…

经过一段时间的研究和学习,大致了解了DHT网络的一些信息,大部分还是参会别人的相关代码,一方面主要对DHT爬虫原理感兴趣,最主要的是为了学习python,大部分是别人的东西原理还是引用别人的吧 DHT网络爬虫的实现 | 学步园  http://www.xuebuyuan.com/1287052.html DHT协议原理以及一些重点分析: 要做DHT的爬虫,首先得透彻理解DHT,这样才能知道在什么地方究竟该应用什么算法去解决问题.关于DHT协议的细节以及重要的参考文章,请参考文末1 DHT协议作为…

谢谢园子朋友的支持,已经找到个VPS进行测试,国外的服务器: sosobt.com 大家可以给提点意见... 服务器在抓取和处理同时进行,所以访问速度慢是有些的,特别是搜索速度通过SQL的like来查询慢,正在通过分词改进中.. DHT抓取程序开源地址:https://github.com/h31h31/H31DHTDEMO 数据处理程序开源地址:https://github.com/h31h31/H31DHTMgr ---------------------------------------…

HBaseConfiguration HBaseConfiguration是每一个hbase client都会使用到的对象,它代表的是HBase配置信息.它有两种构造方式: public HBaseConfiguration() public HBaseConfiguration(final Configuration c) 默认的构造方式会尝试从hbase-default.xml和hbase-site.xml中读取配置.如果classpath没有这两个文件,就需要你自己设置配置. Config…

摘要 Bloomfilter运行在一台机器的内存上,不方便持久化(机器down掉就什么都没啦),也不方便分布式程序的统一去重.我们可以将数据进行持久化,这样就克服了down机的问题,常见的持久化方法包括持久化到本地磁盘或结合Redis进行持久化.本文主要介绍持久化到本地的操作. 关于BloomFilter的基本原理.jar包及入门Demo,请参考我的博客:布隆过滤器 数据持久化 import java.io.File; import java.io.FileNotFoundException;…

技术选型: Scrapy vs requsts+beautifulsoup    1,reqests,beautifulsoup都是库,Scrapy是框架    2,Scrapy中可以加入requests beautifulsoup    3,Scrapy基于twisted,异步IO框架,性能最大的优势    4,Scrapy 扩展方便,提供了许多内置功能    5,内置css和xpath selector(都是c写的)非常方便,beautifulsoup(是纯python写的缺点就是慢) 网页…

MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题,如果数据量比较小,可以在内存中完成连接. 如果数据量比较大,在内存进行连接操会发生OOM.mapreduce join可以用来解决大数据的连接. 1 思路 1.1 reduce join 在map阶段, 把关键字作为key输出,并在value中标记出数据是来自data1还是data2.因为在shuffle阶段已经自然按key分组,reduce阶段,判断每一个value是来自data1还是data2,在…

转自:http://www.aboutyun.com/thread-8391-1-1.html 问题导读: 1.hbase是什么? 2.hbase原理是什么? 3.hbase使用中会遇到什么问题? 4.如何通过eclipse,操作hbase? 5.hbase经常和哪些软件一起使用? .......... hbase从入门到编程 认识hbase 1.hbase简介hbase我们或许已经知道了它是nosql,但是什么是nosql,我们不太清楚,nosql是一种基于列的数据库,而我们的传统数据库则是基…

redis学习资料汇总 2017年01月07日 22:10:37 阅读数:281 转载:http://blog.csdn.net/wtyvhreal/article/details/50427627 1.Redis是什么? ·        十五分钟介绍 Redis数据结构 ·        Redis系统性介绍 ·        一个很棒的Redis介绍PPT ·        强烈推荐!非同一般的Redis介绍 ·        Redis之七种武器 ·        锋利的Redis · …