昨日读July大神《教你如何迅速秒杀掉:99%的海量数据处理面试题》博客,有这么一题与大家分享:

给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中?

July给出思路,位图/Bitmap方法,未闻,遂学之。

1.map类型

map是“键-值”对的集合。map类型通常可理解为关联数组:可使用键作为下表来获取一个值,正如内置数组类型一样。而关联的本质在于元素的值与某个特定的键相关联,而并非通过元素在数组中的位置来获取。

--引自《C++ Primer中文版》pp.309

这里讲map的概念并不是要介绍map这个容器,而是引入map类型数据结构,即“key-value”。

2.Bit-Map

所谓Bit-Map,就是用一个bit位来标记某个元素对应的value,而key即是该元素。

比如上题,若是用int型数组存储,每个数据占4个字节,那么40亿个数就是160亿字节,需要16g的内存;而用Bit-Map,以bit为单位存储数据,每个数据占1bit,40亿bit也就是512m(1B=8bit),因此能够有效节约存储空间。

给一个例子:现在我们有一个数组(4,7,2,5,3),现在我们要用Bit-Map来存储。最大的数为7,所以我们需要8个bit来存储,开辟1B的空间,将所有bit位(key=0~7)置为0(value=0),如下图:

0 0 0 0 0 0 0 0

然后遍历这5个元素,首先第一个元素是4,那么就把4对应的位置置为1(p+(i/8)|(0x01<<(i%8))),即右数第4个为1:

0 0 0 0 1 0 0 0

依次类推,遍历结束:

0 0 1 1 1 1 0 1

好了,我们只用1B空间存储了5个数,大大节约存储空间。

简单实现本文开头的题目,代码如下:

 //written by 七年之后
//2013.09.06于行政北楼 #include<iostream>
using namespace std; #define BYTE_SIZE 8
#define MAX 4000000000 void Bit_Map_Insert(char *bitmap,unsigned int data)
{
bitmap+=data/BYTE_SIZE;
*bitmap=(*bitmap)|(0x01<<(data%BYTE_SIZE));
} void Bit_Map_Search(char *bitmap,unsigned int data)
{
bitmap+=data/BYTE_SIZE;
if((*bitmap)&(0x01<<(data%BYTE_SIZE)))
cout<<data<<" exist."<<endl;
else
cout<<data<<" doesn't exist."<<endl;
} void Bit_Map_Delete(char *bitmap,unsigned int data)
{
bitmap+=data/BYTE_SIZE;
if((*bitmap)&(0x01<<(data%BYTE_SIZE)))
{
*bitmap=(*bitmap)&(~(0x01<<(data%BYTE_SIZE)));
cout<<data<<" has deleted."<<endl;
}
else
{
cout<<data<<" doesn't exist."<<endl;
}
} int main()
{
char *bitmap;
bitmap=new char[+MAX/BYTE_SIZE];
memset(bitmap,,sizeof(bitmap)); /*测试数据*/
unsigned int data_array[]={,,,,,,,,,,
,,,,
,};
for(int i=;i<sizeof(data_array)/;i++)
Bit_Map_Insert(bitmap,data_array[i]); Bit_Map_Search(bitmap,);
Bit_Map_Search(bitmap,);
Bit_Map_Search(bitmap,);
Bit_Map_Search(bitmap,); Bit_Map_Delete(bitmap,);
Bit_Map_Search(bitmap,); return ;
}

本文如有任何疑问、错误,欢迎与我联系,谢谢!(转载请说明出处

参考:

1.《C++ Primer 中文版》

2.http://wenku.baidu.com/view/24afb520ccbff121dd368308.html

Bit-Map的更多相关文章

  1. mapreduce中一个map多个输入路径

    package duogemap; import java.io.IOException; import java.util.ArrayList; import java.util.List; imp ...

  2. .NET Core中间件的注册和管道的构建(3) ---- 使用Map/MapWhen扩展方法

    .NET Core中间件的注册和管道的构建(3) ---- 使用Map/MapWhen扩展方法 0x00 为什么需要Map(MapWhen)扩展 如果业务逻辑比较简单的话,一条主管道就够了,确实用不到 ...

  3. Java基础Map接口+Collections工具类

    1.Map中我们主要讲两个接口 HashMap  与   LinkedHashMap (1)其中LinkedHashMap是有序的  怎么存怎么取出来 我们讲一下Map的增删改查功能: /* * Ma ...

  4. Java基础Map接口+Collections

    1.Map中我们主要讲两个接口 HashMap  与   LinkedHashMap (1)其中LinkedHashMap是有序的  怎么存怎么取出来 我们讲一下Map的增删改查功能: /* * Ma ...

  5. 多用多学之Java中的Set,List,Map

            很长时间以来一直代码中用的比较多的数据列表主要是List,而且都是ArrayList,感觉有这个玩意就够了.ArrayList是用于实现动态数组的包装工具类,这样写代码的时候就可以拉进 ...

  6. Java版本:识别Json字符串并分隔成Map集合

    前言: 最近又看了点Java的知识,于是想着把CYQ.Data V5迁移到Java版本. 过程发现坑很多,理论上看大部分很相似,实践上代码写起来发现大部分都要重新思考方案. 遇到的C#转Java的一些 ...

  7. MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析

    在上一节我们分析了Child子进程启动,处理Map.Reduce任务的主要过程,但对于一些细节没有分析,这一节主要对MapOutputBuffer这个关键类进行分析. MapOutputBuffer顾 ...

  8. MapReduce剖析笔记之七:Child子进程处理Map和Reduce任务的主要流程

    在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化,并创建各类JVM启动所需的信息,最终创建JVM的整个过程,本节我们继续来看,JVM启动后,执行的是Child ...

  9. MapReduce剖析笔记之五:Map与Reduce任务分配过程

    在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程.中间留了一个问题,就是任务到底是怎么分配的.任务的分配自然是由JobTracker做出来的,具体 ...

  10. MapReduce剖析笔记之三:Job的Map/Reduce Task初始化

    上一节分析了Job由JobClient提交到JobTracker的流程,利用RPC机制,JobTracker接收到Job ID和Job所在HDFS的目录,够早了JobInProgress对象,丢入队列 ...

随机推荐

  1. poj 1383 Labyrinth

    题目连接 http://poj.org/problem?id=1383 Labyrinth Description The northern part of the Pyramid contains ...

  2. C++ json库jsoncpp 吐槽

    Explain 最近在做游戏接入SDK时用到C++的json库jsoncpp,jsoncpp 是一款优秀的json库,但恶心的一点是它采用Assert作为错误处理方法,而assert在linux下通过 ...

  3. 面向对象原生js幻灯片代淡出效果

    面向对象原生js幻灯片代淡出效果 下面是代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" & ...

  4. thinkphp用phpexcel读取excel,并修改列中的值,再导出excel,带往excel里写入图片

    <?php class GetpriceAction extends AdministratorAction { // 文件保存路径 protected $savepath; // 允许上传的文 ...

  5. Objective-C 一些概念

    Automatic Reference Counting (ARC)

  6. (转)eclipse安装ADT插件重启后不显示Android SDK Manager和Android Virtual Device Manager图标的一种解决办法

    文章来源:http://blog.csdn.net/zcyhappy1314/article/details/8307534 下面说的这种情况是在正确安装ADT插件的前提下,重启eclipse后,工具 ...

  7. Session invalidate

    会清空所有已定义的session 而不是清空全部session的值也就是说 定义了一个名为 user 的session 调用invalidate()方法后使用Session.getValue(“use ...

  8. 【转】eclipse下使用hibernate tools实现hibernate逆向工程

    一.基本环境 Eclipse 3.6 AppFuse Struts2 2.1.0 JBoss Hibernate Tools 3.4.0 二.JBoss Hibernate Tools 3.4.0安装 ...

  9. RobotFramework-登录

    *** Settings *** Library Selenium2Library *** Test Cases *** login [Setup] open browser http://XXX/X ...

  10. Visual Studio 2013

    1.How to hide reference counts in VS2013? Tools--> Options --> Text Editor --> All Language ...