Java开发搜索引擎爬虫

 package com.peidon.html; 

 import java.io.BufferedReader;
 import java.io.File;
 import java.io.FileOutputStream;
 import java.io.IOException;
 import java.io.InputStream;
 import java.io.InputStreamReader;
 import java.net.HttpURLConnection;
 import java.net.URL;
 import java.net.URLConnection;

 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
 import org.jsoup.nodes.Element;
 import org.jsoup.select.Elements;

 /**
 * @author sunshine
 * @version 1.0
 * @date：2015年8月15日 上午9:01:13
 * @description: Java开发搜索引擎爬虫
 *     jsoup 类似jQuery的强大功能，什么方便解析操作HTML  DOM 树
 *     关联jar包  jsoup-1.8.3.jar
 */
 public class HttpSoup {

     public static void main(String[] args) {

         //根据网址和页面的编码集  获取网页的源代码
         String htmlResource = getHtmlResourceByUrl("http://www.ui.cn/", "UTF-8");
         //System.out.println(htmlResource);

         //解析源代码
         Document document = Jsoup.parse(htmlResource);

         //获取网页的图片
         //网页图片标签<img src="" alt="" width="" height="" />
         Elements elements = document.getElementsByTag("img");

         for(Element element : elements){
             String imgSrc = element.attr("src");
             //System.out.println(imgSrc);
             downImages(imgSrc,"D:\\test\\images\\");
             System.out.println("下载成功:"+imgSrc);
             //System.out.println(imgSrc.substring(imgSrc.lastIndexOf("/")));
         }
     }

     /**
      * 根据一个图片的URL地址，通过这个URL批量下载图片到服务器的磁盘
      * @param imageUrl 要下载的服务器地址
      * @param filePath 下载完成后保存到服务器的图片地址
      *
      */
     public static void downImages(String imageUrl, String filePath){
         String fileName = imageUrl.substring(imageUrl.lastIndexOf("/"));

         try {
             //创建文件的目录
             File files = new File(filePath);
             //判断文件是否存在
             if(!files.exists()){
                 files.mkdirs();
             }
             //获取图片文件的下载地址
             URL url = new URL(imageUrl);
             //连接网络图片地址
             HttpURLConnection uc =(HttpURLConnection) url.openConnection();
             //获取连接的输出流
             InputStream is = uc.getInputStream();

             //创建文件
             File file = new File(filePath + fileName);
             //创建输出流，写入文件
             FileOutputStream out = new FileOutputStream(file);
             int i = 0;
             while((i = is.read()) != -1){
                 out.write(i);
             }
             is.close();
             out.close();
         } catch (Exception e) {
             e.printStackTrace();
         }
     }

     /**
      * 根据网址和页面的编码集  获取网页的源代码
      * @param url
      * @param encoding
      * @return
      */
     public static String getHtmlResourceByUrl(String url, String encoding){

         //声明一个存储网页源代码的容器
         StringBuffer buff = new StringBuffer();

         URL urlObj = null;
         URLConnection uc = null;
         InputStreamReader in = null;
         BufferedReader reader = null;
         try {
             //建立网络链接
             urlObj = new URL(url);

             //打开网络链连接
             uc = urlObj.openConnection();

             //建立网络的输入流
             in = new InputStreamReader(uc.getInputStream(),encoding);

             //缓冲写入的文件流
             reader = new BufferedReader(in);

             String tempLine = null;

             //循环读取文件流
             while((tempLine = reader.readLine()) != null){
                 buff.append(tempLine + "\n");  //循环追加数据
             }

         } catch (Exception e) {

             e.printStackTrace();
             System.out.println("Conection timeout ...");
         } finally {
             if(in != null){
                 try {
                     in.close();
                 } catch (IOException e) {
                     e.printStackTrace();
                 }
             }

         }

         return buff.toString();
     }
 }