针对特定XML的解析器XMLParser

一、建立网页库和偏移文件

为文本搜索引擎建立网页库，首先要把所有的网页（这里是文章）格式化，并保存到指定的格式中。如以下格式：
   |                                  
   |    <doc>                        
   |       <docid>...</docid>      
   |       <url>...</url>           
   |       <title>...</title>         
   |       <content>...</content>     
   |    </doc>                      
   |    <doc>                       
   |      ...                         
   |    </doc>                        
   |    ...

其中<doc>……</doc>保存着一篇文章；<docid>...</docid> 保存文档id；<url>...</url>保存文本路径；<content>...</content> 保存文章内容。

如何生成这样的格式呢？对每一篇文章使用以下方法：

首先从文章中提取标题 title;以及获得文章的路径，然后用字符串拼接，拼接成上述格式。

std::ofstream ofs("pages.lib",std::ios::out)；//打开网页库
std::ofstream out("offset.lib",std::ios::out); //打开偏移文件
string txt = "<doc><docid>" + docid + "</docid>" + "<url>" + url + ... + "</doc>";
ofs << txt; 　　　　//写到文件流
int offset = ofs.tellg();// offset 获得当前指针的位置 ,tellg()和tellp()是C++文件流操作中获得流指针的函数
int length = txt.size();//length
out<<docid<<" "<<offset<<""<<length<<endl;//将这片文章的起始位置和偏移量写到偏移文件中，便于后面从网页库中读出一篇网页

循环对所有文章执行上面的操作，就得到一个网页库和一个偏移文件。

二、解析网页

根据偏移文件，从网页库中读出一篇网页，接着对网页库中的docid,title,url进行解析。

以下是解析器的代码：

 #ifndef _XMLPARSER_HPP
 #define _XMLPARSER_HPP
 #include <stdio.h>
 #include <utility>
 #include <string>
 #include <stdlib.h>
 using namespace std;
 class XMLParser
 {
 public:
     XMLParser(string & page)
             :page_(page)
     {}
     string parser(string tag)
     {
         string ltag,rtag;
         ltag = "<"+tag+">";        //拼接左标签
         rtag = "</"+tag+">";    //拼接右标签
         string str;
         //pair<string,string> pr;
         string::size_type bpos;
         string::size_type epos;
         string::size_type len;
         //确定字符串范围
         bpos = page_.find(ltag);//查找作标签下标
         epos = page_.find(rtag);//查找右标签下标
         bpos+=ltag.size();
         len = epos - bpos;        //计算标签包含内容长度
         if(bpos==page_.npos||epos==page_.npos)
         {
             printf("No such tag: %s \n",tag.c_str());
             exit(-);
         }
         if(bpos==epos)
         {
             printf("标签内容不存在\n");
             exit(-);
         }

         string content = page_.substr(bpos+,len-);//截取标签包含内容
 #if 0
         if(content[content.size()-]=='\n')
             content[content.size()-]=='\0';
         if(content[content.size()-]=='\n')
             content[content.size()-]=='\0';
         if(content[content.size()-]=='\n')
             content[content.size()-]=='\0';
 #endif
         //pr.first = tag;
         //pr.second = content;
         //return pr;    //最好使用std::move，减少复制
         return content;
     }
 private:
     string &page_;    //使用引用，避免大复制
 };
 #endif

解析器每次只能传入一个标签，并且返回标签对应的内容，要对所有标签进行解析，那么就要多次调用parser()。当然，对于一篇文章，就对应一个解析器对象，parser()是对外的一个函数，接收标签，并从对象中解析出便签包含的内容。也就是说，创建一个对象可以对这个对象调用多次parser(string tag)对文章进行解析。

三、解析器的使用

首先要有一个加载偏移文件的工具，这里写了一个工具PageOffset.hpp

（代码折叠）代码如下：

#ifndef _PAGEOFFSET_HPP
#define _PAGEOFFSET_HPP

#include <fstream>
#include <sstream>
#include <vector>
#include <string>
#include <utility>
#include <stdlib.h>
#include <stdio.h>
using namespace std;

class PageOffset
{
public:
    PageOffset(string &path)
    {
        ifstream ifs(path.c_str(),ios::in);
        string line;
        string str;
        pair<int,int> p1;
        pair<int ,pair<int ,int > > p2;
        while(getline(ifs,line),!ifs.eof())
        {
            istringstream iss(line);
            int pos = ;
            while(iss>>str)
            {
                if(pos == )
                {
                    p2.first = atoi(str.c_str());
                }
                else if(pos == )
                {
                    p1.first = atoi(str.c_str());
                }
                else if(pos == )
                {
                    p1.second = atoi(str.c_str());
                    p2.second = p1;
                }
                pos++;
            }
            offset.insert(p2);
        }
        ifs.close();
    }

    pair<int ,int > &operator[](int docid)
    {
        return offset[docid];
    }

    size_t size() const
    {
        return offset.size();
    }
private:
    map<int,pair<int,int> > offset;
};
#endif

测试程序代码如下：

 #include "XMLParser.hpp"
 #include "PageOffset.hpp"
 #include <fstream>
 #include <cstring>
 #include <string>
 #include <utility>
 using namespace std;
 int main()
 {
     ifstream ifs("pages.lib",ios::in);
     PageOffset pageoffset("offset.lib");
     char *buf = new char[*];                //开缓存空间
     pair<int,int> page =(pageOffset)[vec[i]];        //从偏移文件中提取文档相应的offset与size,读出一篇文章
     ifs.seekg(page.first,ios::beg);                    //定位文件起始位置
     memset(buf,,*);
     ifs.read(buf,page.second);                        //读取一篇文档
     string str(buf);                                //C风格的字符串转化为C++风格的字符串
     XMLParser xmlparser(str);                        //将文章加入解析器，初始化一个解析器对象
     string title = xmlparser.parser("title");        //解析标题
     string url = xmlparser.parser("url");            //解析url
     string content = xmlparser.parser("content");    //解析内容
     delete []buf;                                    //释放缓存空间，防止内存泄露
     return ;
 }

以上是针对特定格式的文本库进行解析。因此不能给适用于多种场合。