webmagic爬虫抓取工作室成员博客

一、导入依赖

 <!--webmagic依赖-->
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
</dependency>

二、参考网站

适用博客：博客园、CSDN博客、简书

框架参考文档：http://webmagic.io/docs/zh/

X Path语法：http://www.w3school.com.cn/xpath/xpath_syntax.asp

三、核心代码

 import us.codecraft.webmagic.Page;
 import us.codecraft.webmagic.Site;
 import us.codecraft.webmagic.Spider;
 import us.codecraft.webmagic.model.OOSpider;
 import us.codecraft.webmagic.processor.PageProcessor;

 import java.io.IOException;
 import java.text.SimpleDateFormat;
 import java.util.ArrayList;
 import java.util.List;
 import java.util.Map;

 /**
  * @author zsh
  * @site qqzsh.top
  * @company wlgzs
  * @create 2019-04-08 20:59
  * @Description
  */
 public class CnBlogProcessor implements PageProcessor {

     // 抓取网站的相关配置，包括：编码、抓取间隔、重试次数等
     private Site site = Site.me().setCharset("utf-8").setRetryTimes(5).setSleepTime(1000);
     // 文章数量
     private static int size = 0;
     // 文章集合
     private static List<CnBlogs> cnBlogses = new ArrayList<>();

     // 抽取逻辑类
     public void process(Page page) {
         CnBlogs cnBlogs = new CnBlogs();
         //博客园博客
         if (page.getUrl().regex("https://www.cnblogs.com/.*").match()) {
             // 标题
             //暂时发现3个样式
             String title = page.getHtml().xpath("//div[@class='entrylistPosttitle']/a/text()").get();
             if (title != null){
                 cnBlogs.setTitle(title);
             }else {
                 title = page.getHtml().xpath("//div[@class='postTitle']/a/text()").get();
                 if (title != null){
                     cnBlogs.setTitle(title);
                 }else {
                     title =  page.getHtml().xpath("//div[@class='post']/h5/a/text()").get();
                     cnBlogs.setTitle(title);
                 }
             }

             // 作者
             cnBlogs.setAuthor(page.getHtml().xpath("//a[@id='Header1_HeaderTitle']/text()").get());

             // 发布日期
             String datatime = page.getHtml().xpath("//div[@class='entrylistItemPostDesc']/a/text()").get();
             if (datatime != null){
                 cnBlogs.setDateTime(datatime);
             }else {
                 datatime = page.getHtml().xpath("//div[@class='postDesc']/text()").get();
                 if (datatime != null){
                     int qian = datatime.indexOf("@");
                     int hou = datatime.indexOf(cnBlogs.getAuthor());
                     datatime = datatime.substring(qian+2,hou-1);
                     cnBlogs.setDateTime(datatime);
                 }else {
                     datatime = page.getHtml().xpath("//p[@class='postfoot']/a/text()").get();
                     cnBlogs.setDateTime(datatime);
                 }
             }
             // URL
             String url = page.getHtml().xpath("//div[@class='entrylistPosttitle']/a/@href").get();
             if (url != null){
                 cnBlogs.setUrl(url);
             }else {
                 url = page.getHtml().xpath("//div[@class='postTitle']/a/@href").get();
                 if (url != null){
                     cnBlogs.setUrl(url);
                 }else {
                     url =  page.getHtml().xpath("//div[@class='post']/h5/a/@href").get();
                     cnBlogs.setUrl(url);
                 }
             }
             cnBlogses.add(cnBlogs);
         }else if (page.getUrl().regex("https://blog.csdn.net/.*").match()){  //csdn博客
             // 标题
             String title = page.getHtml().xpath("//div[@class='article-item-box csdn-tracking-statistics']/h4/a/text()").all().get(1);
             if (title != null){
                 cnBlogs.setTitle(title);
             }
             // 作者
             cnBlogs.setAuthor(page.getHtml().xpath("//a[@id='uid']/text()").get());

             // 发布日期
             String datatime = page.getHtml().xpath("//span[@class='date']/text()").all().get(1);
             if (datatime != null){
                 cnBlogs.setDateTime(datatime);
             }

             // URL
             String url = page.getHtml().xpath("//div[@class='article-item-box csdn-tracking-statistics']/h4/a/@href").all().get(1);
             if (url != null){
                 cnBlogs.setUrl(url);
             }
             cnBlogses.add(cnBlogs);
         }else if (page.getUrl().regex("https://www.jianshu.com/.*").match()){ //简书
             // 标题
             String title = page.getHtml().xpath("//div[@class='content']/a/text()").get();
             if (title != null){
                 cnBlogs.setTitle(title);
             }
             // 作者
             cnBlogs.setAuthor(page.getHtml().xpath("//a[@class='name']/text()").all().get(1));

             // 发布日期
             String datatime = page.getHtml().xpath("//span[@class='time']/@data-shared-at").get();
             if (datatime != null){
                 cnBlogs.setDateTime(datatime);
             }

             // URL
             String url = "https://www.jianshu.com"+page.getHtml().xpath("//div[@class='content']/a/@href").get();
             if (url != null){
                 cnBlogs.setUrl(url);
             }
             cnBlogses.add(cnBlogs);

         }else {
             cnBlogses.add(cnBlogs);
         }
     }

     public Site getSite() {
         return site;
     }

     public static void main(String[] args) throws IOException {
         //1.先去小组官网抓取人员名单
         Spider.create(new Test()).addUrl("http://wlgzs.org/blog.html").thread(5).run();
         //2.根据抓取的名单来获取博客
         Map<String, String> map = POITest.readExcel();
         List<String> name = new ArrayList<>();
         List<String> url = new ArrayList<>();
         for (Map.Entry<String, String> entry : map.entrySet()) {
             //Map.entry<Integer,String> 映射项（键-值对）  有几个方法：用上面的名字entry
             //entry.getKey() ;entry.getValue(); entry.setValue();
             //map.entrySet()  返回此映射中包含的映射关系的 Set视图。
             System.out.println("key= " + entry.getKey() + " and value= " + entry.getValue());
             name.add(entry.getKey());
             url.add(entry.getValue());
             if (!entry.getKey().equals("计科182 杨惠涵")){
                 Spider.create(new CnBlogProcessor()).addUrl(entry.getValue()).thread(10).run();
             }else {
                 CnBlogProcessor.cnBlogses.add(new CnBlogs());
             }
         }
         POITest.printExcel2(name,url,CnBlogProcessor.cnBlogses);
     }
 }

四、项目源码地址

https://gitee.com/ZhangShunHai/webmagic

result.xls文件是从工作室官网抓取的成员名单

result2.xls是抓取的最近一篇博客的链接