第 2 章 第 2 题 找" 重数/漏数 "问题 位向量实现

问题分析

　　输入：一个包含了4 300 000 000个32位整数的文件( 其中可能有重复出现的数字 )

　　输出：一个在这个文件中重复出现过了的数字

　　约束：无

解答思路

　　第一章中，我们学习了如何用位向量进行一个空间代价很小的排序。在第一章的一些习题中，位向量的每一位代表的数就是该位的位序：位为1时表示存在这个数，0则表示不存在。本题也可以建立一个类似的位向量。但，本题的位向量又有所不同：因为要体现出重复的数据，因此一个数至少要两个位才能表示。故在这个新的位向量中，a ( 位表示的数 )和b ( 位序的关系 )不是a = b而是a * 2 = b1以及a*2 + 1 = b2 ( b1表示a对应的第一个位的位序，b2表示a对应的第二个位的位序 )。而且，位序00表示这两个位序对应的数不存在，位序01表示出现过一次，10表示出现过两次或者两次以上，看清楚包括两次及以上！

　　建立好位向量后，就开始检索位向量，将所有“ 10 "位对应的数输出即可。

效率分析

　　空间：4 300 000 000 * 2 ( bit ) ，也就是1GB左右的样子。

　　时间：O( N ) ，N这里表示输入文件中数字的个数。

代码实现

 #include <iostream>
 #include <fstream>
 #include <string>

 using namespace std;

 // 每个整数的位数
 #define BITSPERWORD 32
 // 每次位移量
 #define SHIFT 5
 // 取模掩码
 #define MASK 0x1F
 // 位向量的元素个数
 #define N 8600000000 

 // 模拟数组
 int a[ + N/BITSPERWORD];

 /*
  * 函数功能：置位向量第i位为1
  * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
             " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
             " 1<<(i & MASK) " 表示一个除了要设置的那位其他位都是0的整数
 */
 void set (int i) {
     a[i>>SHIFT] |= (<<(i & MASK));
 }

 /*
  * 函数功能：置位向量第i位为0
  * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
             " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
             " 1<<(i & MASK) " 表示一个除了要清空的那位其他位都是0的整数
 */
 void clr (int i) {
     a[i>>SHIFT] &= ~(<<(i & MASK));
 }

 /*
  * 函数功能：获取位向量的第i位
  * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
             " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
             " 1<<(i & MASK) " 表示一个除了要获取的那位其他位都是0的整数
 */
 int tst (int i) {
     return a[i>>SHIFT] & (<<(i & MASK));
 }

 int main()
 {
     /*
      * 清空位向量
     */
     for (int i=; i < N; i++) {
         clr(i);
     }

     /*
      * 打开待处理文件
     */
     string filename;
     cout << "输入数据文件名( 当前目录下 )：";
     cin >> filename;

     fstream io;
     io.open(filename.c_str());
     if (!io) {
         cout << "打开文件失败" << endl;
     return ;
     }

     /*
      * 将数据导入位向量
     */
     int num;

     while (io >> num) {
         if ((tst(*num) == ) && (tst(*num + ) == )) {
             set(*num+);
         }
         else if ((tst(*num) == ) && (tst(*num + ) != )) {
             clr (*num);
             clr (*num+);
             set (*num);
         }
     }

     /*
      * 输出结果
     */
     for (int i=; i < ; i++) {
         if ((tst(*i)!=) && (tst(*i + )==))
             cout << i << endl;
     }

     return ;
 } 

运行测试

　　遗憾的是，运行出错了：

　　分析了很久，程序中实在找不到问题，只得把这个问题拿去和朋友讨论。所幸某人点出了问题症结所在，令我茅塞顿开：C/C++中，数组在内存空间是连续存放的，而上述代码中的位向量数组要占用大约1GB的连续的空间，而我电脑内存本身才2G，系统分配不了这么大的连续空间给我。于是系统只得报错。另一人更犀利，他指出“ 题目不是只让你找一个重复的数吗？既然找一个就可以了，你何必用两个位来表示一个数呢？”。听到这个让我吐血。。。但，即便一位表示一数，也要用500多MB连续内存空间啊，很多机器都吃不消的。

　　为了解决这个问题，我必须想到一种内存消耗更小的算法，而不是去电脑城买内存条。