PAT trie

最近在上计算机应用编程，老师给了一个大小为900MB的含20000000行邮箱地址的文件。 然后再给出了1000条查询数据，让你用字典树建树然后查询是否出现过。

试了下普通的tire树，特意用二进制写了下，结果才建了300000的时候就快用了2G内存，根本不行。

后面学习了下 PAT trie,发现确实是好东西，已经几乎达到最优内存了，如果有N个记录，那么只需要2*N个节点即可建成字典树。

算法的关键在于先将记录用一串二进制位表示，然后在建树的时候只在一些具有区别作用的二进制位进行节点分裂。

具体见http://hxraid.iteye.com/blog/615295，这篇博客讲的比较详细。

这里给出我用C++实现的代码。

#include <iostream>
#include <stdio.h>
#include <string.h>
#include <algorithm>
#include <stdlib.h>
#include <math.h>
using namespace std;
#define MAXLEN 1000000000LL
#define N 20020000
struct node
{
    int l,r;
    int pos;
    bool flag;//用来标记是否是叶子节点
    int end_point;//指向叶子节点.
}g[*N];

char saveword[MAXLEN];
int word_pos[N];
short int word_len[N];
int n;
char str[];
int len;
int cnt;
char qest[][];
bool flag_ans[];

void build_tree(int s,int head)
{
    if(g[head].flag==)//表示叶子结点
    {
        int tn=g[head].end_point;
        int num=(s>>);
        int other=(s&);
        int ta,tb;
        while()
        {
            if(num>=len) break;
            ta=(str[num]&(<<(-other)) );
            tb=(saveword[(word_pos[tn]+num)]&(<<(-other)));
            if( ta!=tb )
            {
                //开始分裂
                g[cnt]=g[head];
                cnt++;
                g[head].flag=;
                g[head].pos=(num<<)+other;
                if(tb==)
                    g[head].l=cnt-;
                else g[head].r=cnt-;
                g[cnt].end_point=n;
                g[cnt].flag=;
                cnt++;
                if(ta!=)
                    g[head].r=cnt-;
                else g[head].l=cnt-;
                break;
            }
            other++;
            if(other==)
            {
                num++;
                other=;
            }
        }
    }
    else
    {
        int tn=g[head].end_point;
        int tpos=g[head].pos;
        int num;
        int other;
        int ta,tb;
        for(int i=s;i<tpos;i++)
        {
            num=(i>>);
            other=(i&);
            ta=(str[num]&(<<(-other)) );
            tb=(saveword[(word_pos[tn]+num)]&(<<(-other)));
            if(ta!=tb)//ta!=tb
            {
                g[cnt]=g[head];
                cnt++;
                g[head].flag=;
                g[head].pos=i;
                if(tb!=)
                    g[head].r=cnt-;
                else g[head].l=cnt-;
                g[cnt].flag=;
                g[cnt].end_point=n;
                cnt++;
                if(ta!=) g[head].r=cnt-;
                else g[head].l=cnt-;
                return ;
            }
        }
        num=(tpos>>);
        other=(tpos&);
        ta=(str[num]&(<<(-other)) );
        if(ta==)
        {
            build_tree(tpos+,g[head].l);
        }
        else build_tree(tpos+,g[head].r);
    }
}

int check_tree(int s)
{
    if(g[s].flag==)
    {
        int tn=g[s].end_point;
        if(len!=word_len[tn]) return ;
        for(int i=;i<len;i++)
        {
            if(str[i]!=saveword[ word_pos[tn]+i ]) return ;
        }
        return ;
    }
    int tpos=g[s].pos;
    int num=(tpos>>);
    int other=(tpos&);
    int ta;
    ta=(str[num]&(<<(-other)) );
    if(ta!=) return check_tree(g[s].r);
    else return check_tree(g[s].l);
}

void check()
{
    //freopen("G:\\session1\\checklist.dat","r",stdin);
    //cin>>T;
    //getchar();

    //int ansans=0;
    for(int i=;i<;i++)
    {
        strcpy(str,qest[i]);
        len=strlen(str);
        str[len]='#';
        len++;
        str[len]=;
        for(int j=;j<len;j++)
        {
            if(str[j]>='A'&&str[j]<='Z')
                str[j]=str[j]-'A'+'a';
        }
        int sign1=check_tree();
        //ansans+=sign1;
        if(sign1==)
            flag_ans[i]=;
        //if(sign1==1) printf("%s\n",str);
        //T--;
        //if(T==0) break;
    }
}

int main()
{
    freopen("checklist.dat","r",stdin);
    freopen("checkedresult.dat","w",stdout);
    int tcnt=;
    while(scanf("%s",qest[tcnt])!=EOF) tcnt++;
    //printf("%d\n",tcnt);
    freopen("emaillist.dat","r",stdin);
    //int T;
    //cin>>T;
    //getchar();
    n=;
    cnt=;
    int first_flag=;
    int tmp_pos=;
    int cntt=;
    while(scanf("%s",str)!=EOF)
    {
        cntt++;
        if(cntt==)
        {
            char tstr[];
            strcpy(tstr,str);
            check();
            cnt=;
            n=;
            first_flag=;
            tmp_pos=;
            strcpy(str,tstr);
        }
        word_pos[n]=tmp_pos;
        len=strlen(str);
        str[len]='#';
        len++;
        word_len[n]=len;
        for(int i=;i<len;i++)
        {
            if(str[i]>='A'&&str[i]<='Z')
                str[i]=str[i]-'A'+'a';
            saveword[tmp_pos++] = str[i];
        }
        //然后就是构树了
        if(first_flag==)
        {
            first_flag=;
            g[].flag=;//为n号叶子结点。
            g[].end_point=n;
            cnt++;
        }
        else
        {
            build_tree(,);
        }
        n++;
        //if(n%100000==0) printf("%d\n",n);

        //T--;
        //if(T==0) break;
    }
    check();
    int ansans=;
    for(int i=;i<;i++)
    {
        if(flag_ans[i]==)
            printf("yes\n");
        else printf("no\n");
        ansans+=flag_ans[i];
    }
    printf("%d\n",ansans);
    return ;
}