Java实现的一个小说采集程序

被标题吸引进来的不要骂我。

只是一个简单的实现，随手写了来下载一部喜欢的小说的。示例中的小说只是示例，不是我的菜。

使用了jsoup。挺好用的一个工具。

有需要的话，参考下自己改吧。挺简单的，是吧。

代码如下：

package com.zhyea.doggie;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Doggie {

    public static void main(String[] args){
        try{
            File txtFile = new File("D:/无限崩坏.txt");
            createTxtDoc(txtFile);
            addContent(txtFile);
        }catch(Exception e){
            e.printStackTrace();
        }

    }

    /**
     * 向小说文件中添加内容
     * @param txtFile
     *             小说文件
     * @throws IOException
     * @throws InterruptedException
     */
    private static void addContent(File txtFile) throws IOException, InterruptedException{
        appendTxt(txtFile, getBookInfo("无限崩坏", "啪啪啪狂魔"));
        String url = "http://www.83kxs.com/View/12/12653/{pattern}.html";
        for(int i=5850686; i<=5945501; i++){
            try{
                String tmp = url.replace("{pattern}", i+"");
                appendTxt(txtFile, getPageContent(tmp));
            }catch(Exception e){
                e.printStackTrace();
                continue;
            }
        }
    }

    /**
     * 设置书名和作者
     * @param bookName
     *                 书名
     * @param author
     *                 作者
     * @return
     */
    private static String getBookInfo(String bookName, String author){
        return COMMON.replace("{book}", bookName).replace("{author}", author);
    }    

    /**
     * 读取页面内容
     * @param url
     *            访问路径
     * @return
     * @throws IOException
     */
    private static String getPageContent(String url) throws IOException{
        String rtn = null;

        Document doc = Jsoup.connect(url).get();
        Elements content = doc.select(".text p");
        Elements title = doc.select("#title");

        System.out.println(title.text());

        content.select("font").remove();
        content.select("script").remove();
        content.select("ins").remove();
        content.select("a").remove();

        rtn = title.text() + NEWLINE
            + content.html().replaceAll("<p>", "")
                            .replaceAll("</p>", "")
                            .replaceAll("\\<!--(.+)--\\>", "")
                            .replaceAll("&nbsp;", "")
                            .replaceAll("<br>", NEWLINE)
            + NEWLINE;

        return rtn;
    }

    /**
     * 创建新的txt文件
     * @param fullName
     *             文件全名
     * @return
     * @throws Exception
     */
    private static boolean createTxtDoc(File txtFile) throws Exception{
        try{
            return txtFile.createNewFile();
        }catch(Exception e){
            throw e;
        }
    }

    /**
     * 向txt文件中追加内容
     * @param txtFile
     *             要操作的txt文件
     * @param content
     *             要追加的内容
     * @throws IOException
     */
    private static void appendTxt(File txtFile, String content) throws IOException{
        FileWriter writer = null;
        try{
            writer = new FileWriter(txtFile, true);
            writer.append(content);
        }finally{
            if(null!=writer)writer.close();
        }
    }

    /**
     * 换行符
     */
    static final String NEWLINE = System.getProperty("line.separator");

    /**
     * 书前的通用信息
     */
    static String COMMON = "------------------------------------------------------------------" + NEWLINE
                                + "---------------  书名：{book}" + NEWLINE
                                + "---------------  作者：{author}" + NEWLINE
                                + "---------------  zhyea.com" + NEWLINE
                                + "------------------------------------------------------------------" + NEWLINE;

}