spider-web 是爬虫的网页版，使用xml配置

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。

其中配置文件格式为：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

<?xml version="1.0" encoding="UTF-8"?> <content>     <url type="simple"><!-- simple/complex -->         <url_head>http://www.oschina.net/tweets</url_head>         <url_start></url_start>         <url_end></url_end>         <url_suffix></url_suffix>     </url>     <analysis type="list"><!-- single/list -->         <elem name="title">             <attr type="key" num="1"><!-- tag/class/key -->                 <name>link</name><!-- $http://my.oschina.net/(.)* -->                 <pro>http://my.oschina.net/(.)*/[0-9]*</pro>             </attr>             <attr type="class" num="2"><!-- tag/class/key -->                 <name>tweet</name>                 <pro>a</pro>             </attr>             <attr type="class" num="3">                 <name>txt</name>                 <pro>a</pro>             </attr>             <attr type="tag" num="4">                 <name>a</name>                 <pro>a</pro>             </attr>         </elem>         <elem name="content">             <attr type="key" num="1"><!-- tag/class/key -->                 <name>link</name><!-- $http://my.oschina.net/(.)* -->                 <pro>http://my.oschina.net/(.)*/[0-9]*</pro>             </attr>             <attr type="class" num="2"><!-- tag/class/key -->                 <name>tweet</name>                 <pro>a</pro>             </attr>             <attr type="class" num="3">                 <name>txt</name>                 <pro>a</pro>             </attr>         </elem>     </analysis>     <target type="download"><!-- download/text -->     </target> </content>

根据不同的页面进行设置，可以支持比较流行的页面爬取。

gllfeixiang/spider-web

star 1 | fork 3

爬虫网页版

issues: 没有issue

最近提交:

• 7092aa088   基本成型

  gllfeixiang 8个月前

• b3953d9de   爬虫网页版

  gllfeixiang 9个月前

• 8d5ede1dc   Initial commit

  gllfeixiang 9个月前

下载zip master分支 代码最近更新：2014-12-02