利用java的net包来实在数据采集的功能

最近有好多朋友问我，数据抓取用java怎么做，就是每天把新浪的内地新闻频道的新闻前20条，抓到自己的网站或系统里，今天我统一在这里提供一个简单的例子，由于在这个过程中还需要解析html字符串，所以，我只教朋友们抓数据，至于怎么处理在本文不考虑。接下来看例子：

package net.xinhudong.html;

import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;

public class htmlRequest {
    /**
    * @param args
    * @throws MalformedURLException
    */
    public static void main(String[] args) throws Exception{
        URL url = new URL("http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml");
        HttpURLConnection conn = (HttpURLConnection)url.openConnection();
        conn.setRequestMethod("GET");
        conn.setConnectTimeout(5 * 1000);
        InputStream inStream =  conn.getInputStream();//通过输入流获取html数据
        byte[] data = readInputStream(inStream);//得到html的二进制数据
        String html = new String(data);
        System.out.println(html);//在控制台输入得到的html代码
    }
    public static byte[] readInputStream(InputStream instream) throws Exception{
        ByteArrayOutputStream outStream = new ByteArrayOutputStream();
        byte[]  buffer = new byte[1204];
        int len = 0;
        while ((len = instream.read(buffer)) != -1) {
            outStream.write(buffer,0,len);
        }
        instream.close();
        return outStream.toByteArray();
    }
}

运行这个程序后，可以在控制台看到上面网址中的页面源代码，在源代码中可以找到<!-- 列表 begin -->和<!-- 列表 end -->的注释标签，我们利用这些注释标签来对html进行截取，然后从中获得到<li>，把<li>中的内容一条一条的放在一个List中，然后保存这个List到数据库就完成了数据采集的功能。