Java抓取网页数据

http://ayang1588.github.io/blog/2013/04/08/catchdata/

最近处于离职状态，正赶清闲，开始着手自己的毕业设计，课题定的是JavaWeb购物平台，打算用SpringMVC+MyBatis实现，打算添加缓存服务器，用什么还没有想好，依赖用Maven管理，数据库用MySql，IDE就用Inetllij IDEA。

---

　　购物平台业务都差不多，平时经常使用，业务大家都比较熟悉，我打算模拟当当网，所以昨天直接把数据库设计好，并建了起来，今天打算准备数据，可是product表和book表的字段稍微有点多，如果上网一个一个的摘录，肯定是不行事儿的，也不是coder做的事儿，要准备多的数据，又是重复的事儿，何不让计算机帮你干。所以打算用Java程序抓取现当当网的数据，提取自己想要的，并直接存入数据库。经过一下午的努力基本实现了功能，由于分类并不打算和当当网的分类一样那么多，所以实现了符合自己的半自动化数据抓取功能。可以实现输入当当网的类别（category_path），和起始结束页，自动填充数据库中对应对象。
　　最开始用的正则匹配抓取内容，后来发现太麻烦了，正则左一斜杠右一斜杠的，又转义又拼接，一会就晕了，所以放弃了，改为像操作Dom树一样进行抓取，用到的开源包Jsoup（文档），也支持像CSS过滤器一样过滤节点，很方便。但是这样并不支持获取js及ajax访问返回数据后的页面，但用htmlunit可以解决这个问题，htmlunit：传说中Java程序员的浏览器，具体使用不太难，就是模拟浏览器，设置好相关属性就可以开始访问了。这里有一篇淘宝关于定向抓取的介绍，大家可以看看（定向抓取漫谈）。
　　以下是我访问当当数据的类（其余的就不贴了，数据库存储用的最原始的JDBC，没什么好说的，这个只是随便写个大概，够自己用了，其实完全可以拓展成通用的工具类，我就不封装了，本来就挺方便的，直接用也就够了），如果哪里有问题请记得及时给我留言：

 public class Utils {

   // UrlVo类存放了3个url，列表图片url，详细信息中的图片url，和商品详细信息url
   // 再通过这三个url可以把所有数据读取出来并封装成对象，然后存入数据库。
   // 同时将所用到的图片下载到本地。

     /**
      * 从一个页面获取该页面商品详细信息的url链接和小图片的链接地址
      * @param url
      * @return
      * @throws
      */
     public static void getBookUrlFromPage(String url, List list) throws Exception{
         // timeout 0:不断请求  默认:2000毫秒超时
         Document document = Jsoup.connect(url).timeout(0).get();
         Elements node = document.select(".resultlist");
         Elements elements = node.get(0).child(0).children();
         for (Element item : elements) {
             UrlVO urlVO = new UrlVO();
             urlVO.setProductDetailUrl(item.child(1).child(0).child(0).child(0).attr("href"));
             urlVO.setSmallImageUrl(item.child(0).child(0).child(0).attr("src"));
             list.add(urlVO);
         }
     }

     /**
      * 根据url和页数获取商品详细url
      * @param url
      * @param startPage
      * @param endPage
      * @param list
      */
     public static void getBookUrlByUrlAndPageNum(String url, Integer startPage, Integer endPage, List list) {
         try {
             for(int i = startPage; i <= endPage; i++) {
                 String urlStr = url + i;
                 Utils.getBookUrlFromPage(urlStr, list);
             }
         } catch (Exception e) {
             e.printStackTrace();
         }
     }

     /**
      * 根据商品详细页面获取Product对象
      * @param url
      * @return
      */
     public static Product getProductFromUrl(String url) {
       //这里有些数据利用jsoup获取不到
         //我用的是htmlunit，设置setJavaScriptEnabled，setAjaxController等参数
         //具体代码就不贴了，大家可以自己试试
         //如有需要，求留言
         return null;
     }

     /**
      * 根据图片url和文件名保存图片
      * @param urlStr
      * @param filename
      */
     public static void saveImageByUrlAndName(String urlStr, String filename) throws Exception{
         // 构造URL
         URL url = new URL(urlStr);
         // 打开连接
         URLConnection con = url.openConnection();
         // 输入流
         InputStream is = con.getInputStream();
         // 1K的数据缓冲
         byte[] bs = new byte[1024];
         // 读取到的数据长度
         int len;
         // 输出的文件流
         OutputStream os = new FileOutputStream(filename);
         // 开始读取
         while ((len = is.read(bs)) != -1) {
             os.write(bs, 0, len);
         }
         os.flush();
         // 关闭连接
         os.close();
         is.close();
     }

     // 测试及调用
     public static void main(String[] args) {
         List<UrlVO> list = new ArrayList<UrlVO>();
         try {
             getBookUrlByUrlAndPageNum("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=", 1, 2, list);
 //            getBookUrlFromPage("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=2", list);
         } catch (Exception e) {
             e.printStackTrace();
         }
         System.out.println(list.size());

 //        保存图片
 //        String urlStr = "http://img32.ddimg.cn/28/35/23207212-1_l.jpg";
 //        try {
 //            saveImageByUrlAndName(urlStr, "1.jpg");
 //        } catch (Exception e) {
 //            e.printStackTrace();
 //        }
     }
 }