webmagic 二次开发爬虫 爬取网站图片

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

webmagic介绍　编写一个简单的爬虫

webmagic的使用文档：http://webmagic.io/docs/

webmagic的设计文档：webmagic的设计机制及原理-如何开发一个Java爬虫

1.编写一个核心的url过滤类

 package com.xwer.spider.main;

 import java.util.List;

 import org.apache.log4j.Logger;

 import us.codecraft.webmagic.Page;
 import us.codecraft.webmagic.Site;
 import us.codecraft.webmagic.processor.PageProcessor;
 import us.codecraft.webmagic.utils.UrlUtils;

 /**
  * 定制爬虫逻辑的核心类
  * @author xwer
  *
  */
 public class MM_Processor implements PageProcessor {
     private Logger logger = Logger.getLogger(this.getClass());
     // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
     private Site site = Site.me().setRetryTimes(5).setSleepTime(1000);
     // 网页匹配规则
     private String urlPattern;
     public MM_Processor(String startUrl, String urlPattern) {
         // 设置所属域
         this.site = Site.me().setDomain(UrlUtils.getDomain(startUrl));
         this.urlPattern = urlPattern;
     }

     @Override
     // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
     public void process(Page page) {
         site.setUserAgent("Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)");
         //图片抓取规则
         String imgRegex3 = "http://mm.howkuai.com/wp-content/uploads/20[0-9]{2}[a-z]/[0-9]{2}/[0-9]{2}/[0-9]{1,4}.jpg";
         // 获取目标链接 例如 http://www.meizitu.com/a/5535.html
         List<String> requests = page.getHtml().links().regex(urlPattern).all();
         logger.info("获取到的目标链接是: "+requests);
         logger.info("添加链接( "+requests.size()+" )条到集合");

          //将获取的链接存入到targetRequests中(list集合)
         page.addTargetRequests(requests);
         logger.info("队列中存储的链接数是: "+page.getResultItems().getAll().size());

         // 图片的title,标题名称,用于设定文件夹的名称
          String imgHostFileName = page.getHtml().xpath("//title/text()").replace("\\p{Punct}", "").toString();
         logger.info("获取的标题是"+imgHostFileName);

         List<String> listProcess = page.getHtml().regex(imgRegex3).all();
         logger.info("存入的图片地址: "+listProcess);
         // 此处将标题一并抓取，之后提取出来作为文件名
         listProcess.add(0, imgHostFileName);
         logger.info("存入的图片链接数量是: "+listProcess.size());
         //将获取到的页面的数据放到resultItems集合中(map)
         page.putField("img", listProcess);
     }
     @Override
     public Site getSite() {
         return site;
     }
 }

2.对获取的结果进行持久化处理

 package com.xwer.spider.main;

 import java.util.ArrayList;
 import java.util.List;
 import java.util.Map;
 import org.apache.log4j.Logger;
 import com.xwer.spider.utils.DownLoadUtils;
 import us.codecraft.webmagic.ResultItems;
 import us.codecraft.webmagic.Task;
 import us.codecraft.webmagic.pipeline.Pipeline;

 /**
  * 处理
  * @author xwer
  *
  */
 public class MM_Pipeline implements Pipeline {
     private Logger logger = Logger.getLogger(this.getClass());
     private String path;

     public MM_Pipeline() {
         setPath("/MM/");
     }

     public MM_Pipeline(String path) {
         setPath(path);
     }

     public void setPath(String path) {
         this.path = path;
     }

     // 处理下载的方法
     @Override
     public void process(ResultItems resultItems, Task task) {
         logger.info("到了process" + resultItems);
         String fileStorePath = this.path;
         for (Map.Entry<String, Object> entry : resultItems.getAll().entrySet()) {
             if (entry.getValue() instanceof List) {
                 List<String> list = new ArrayList<String>((List) entry.getValue());
                 //取出之前存的网页的标题,拼接成一个新的文件夹名称
                 fileStorePath = new StringBuffer(fileStorePath)
                                     .append(list.get(0))
                                     .append("\\").toString();
                 //遍历图片链接list
                 for (int i = 1; i < list.size(); i++) {
                     // 获取文件唯一名字
                     String realname = DownLoadUtils.subFileName(list.get(i));
                     String uuidname = DownLoadUtils.generateRandonFileName(realname);
                     // 这里通过自己写的下载工具前抓取到的图片网址，并放在对应的文件中
                     try {
                         DownLoadUtils.download(list.get(i), uuidname, fileStorePath);
                         logger.info("文件" + uuidname +"已经下载完毕");
                     } catch (Exception e) {
                         logger.warn("文件下载异常" + list.get(i));
                         e.printStackTrace();
                     }
                 }
             }
             else {
                 System.out.println(entry.getKey() + ":\t" + entry.getValue());
             }
         }
     }
 }

3.编写一个下载图片的工具类

 package com.xwer.spider.utils;

 import java.io.File;
 import java.io.FileOutputStream;
 import java.io.InputStream;
 import java.io.OutputStream;
 import java.net.URL;
 import java.net.URLConnection;
 import java.util.UUID;

 /**
  * 下载相关的工具类
  *
  * @author xwer
  *
  */
 public class DownLoadUtils {

     /**
      * 下载图片工具
      *
      * @param urlString
      *            图片链接地址
      * @param filename
      *            图片的文件名字
      * @param savePath
      *            图片保存的路径
      * @throws Exception
      */
     public static void download(String urlString, String filename, String savePath) throws Exception {
         // 构造URL
         URL url = new URL(urlString);
         // 打开连接
         URLConnection con = url.openConnection();
         // 设置请求头
         con.addRequestProperty("User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)");
         // 设置请求超时为5s
         con.setConnectTimeout(5 * 1000);
         // 输入流
         InputStream is = con.getInputStream();

         // 1K的数据缓冲
         byte[] bs = new byte[1024];
         // 读取到的数据长度
         int len;
         // 输出的文件流
         File sf = new File(savePath);
         if (!sf.exists()) {
             sf.mkdirs();
         }
         OutputStream os = new FileOutputStream(sf.getPath() + "\\" + filename);
         // 开始读取
         while ((len = is.read(bs)) != -1) {
             os.write(bs, 0, len);
         }
         // 完毕，关闭所有链接
         os.close();
         is.close();
     }

     /**
      * 截取真实文件名
      *
      * @param fileName
      * @return
      */
     public static String subFileName(String fileName) {
         // 查找最后一个 \出现位置
         int index = fileName.lastIndexOf("\\");
         if (index == -1) {
             return fileName;
         }
         return fileName.substring(index + 1);
     }

     /**
      * 获得随机UUID文件名
      *
      * @param fileName
      * @return
      */
     public static String generateRandonFileName(String fileName) {
         // 获得扩展名
         String ext = fileName.substring(fileName.lastIndexOf("."));
         return UUID.randomUUID().toString().replace("-", "") + ext;
     }
 }

4.配置一个日志的输出文件(用户打印日志)

 ### direct log messages to stdout ###
 log4j.appender.stdout=org.apache.log4j.ConsoleAppender
 log4j.appender.stdout.Target=System.out
 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
 log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n

 ### direct messages to file mylog.log ###
 log4j.appender.file=org.apache.log4j.FileAppender
 log4j.appender.file.File=c:/mylog3.log
 log4j.appender.file.layout=org.apache.log4j.PatternLayout
 log4j.appender.file.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n

 ### set log levels - for more verbose logging change 'info' to 'debug' ###
 log4j.rootLogger=info, stdout ,file

5.编写程序的入口类

 package com.xwer.spider.main;

 import java.util.regex.Pattern;

 import org.junit.Test;

 import us.codecraft.webmagic.Spider;
 import us.codecraft.webmagic.scheduler.FileCacheQueueScheduler;

 public class MM_test {
     public static void main(String[] args) {
         //图片的存放路径,PiPline需要用到
         String fileStorePath = "D:\\test\\";

         //过滤网页的正则  http://www.meizitu.com/a/more_1.html
         String urlPattern = "http://www.meizitu.com/[a-z]/[0-9]{1,4}.html";
         //自定义的解析器核心
         MM_Processor mmSprider = new MM_Processor("http://www.meizitu.com/", urlPattern);

         //设置一些种子链接
         String[] urls ={"http://www.meizitu.com/",
                         "http://www.meizitu.com/a/4221.html",
                         "http://www.meizitu.com/a/4467.html",
                         "http://www.meizitu.com/a/5467.html",
                         "http://www.meizitu.com/a/5065.html",
                         "http://www.meizitu.com/a/4278.html",
                         "http://www.meizitu.com/a/699.html",
                         };
         //启动爬虫
         Spider.create(mmSprider).addUrl(urls)
                                 .setScheduler(new FileCacheQueueScheduler("D:\\webmagic\\cach"))
                                 .addPipeline(new MM_Pipeline(fileStorePath))
                                 .thread(10)
                                 .run();
     }

6. 爬取结果