关于使用Java实现的简单网络爬虫Demo

什么是网络爬虫？

网络爬虫又叫蜘蛛，网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。所以要想抓取网络上的数据，不仅需要爬虫程序还需要一个可以接受”爬虫“发回的数据并进行处理过滤的服务器，爬虫抓取的数据量越大，对服务器的性能要求则越高。

网络爬虫的实现原理

根据这种原理，写一个简单的网络爬虫程序
，该程序实现的功能是获取网站发回的数据，并提取之中的网址，获取的网址我们存放在一个文件夹中，关于如何就从网站获取的网址进一步循环下去获取数据并提取其中其他数据这里就不在写了，只是模拟最简单的一个原理则可以，实际的网站爬虫远比这里复杂多，深入讨论就太多了。除了提取网址，我们还可以提取其他各种我们想要的信息，只要修改过滤数据的表达式则可以。以下是利用Java模拟的一个程序，提取新浪页面上的链接，存放在一个文件里

源代码

1. import java.io.BufferedReader;
2. import java.io.FileWriter;
3. import java.io.IOException;
4. import java.io.InputStreamReader;
5. import java.io.PrintWriter;
6. import java.net.MalformedURLException;
7. import java.net.URL;
8. import java.net.URLConnection;
9. import java.util.regex.Matcher;
10. import java.util.regex.Pattern;
11. public class WebSpider {
12. public static void main(String[] args) {
13. URL url = null;
14. URLConnection urlconn = null;
15. BufferedReader br = null;
16. PrintWriter pw = null;
17. String regex = "http://[\\w+\\.?/?]+\\.[A-Za-z]+";
18. Pattern p = Pattern.compile(regex);
19. try {
20. url = new URL("http://www.sina.com.cn/");
21. urlconn = url.openConnection();
22. pw = new PrintWriter(new FileWriter("e:/url.txt"), true);//这里我们把收集到的链接存储在了E盘底下的一个叫做url的txt文件中
23. br = new BufferedReader(new InputStreamReader(
24. urlconn.getInputStream()));
25. String buf = null;
26. while ((buf = br.readLine()) != null) {
27. Matcher buf_m = p.matcher(buf);
28. while (buf_m.find()) {
29. pw.println(buf_m.group());
30. }
31. }
32. System.out.println("获取成功！");
33. } catch (MalformedURLException e) {
34. e.printStackTrace();
35. } catch (IOException e) {
36. e.printStackTrace();
37. } finally {
38. try {
39. br.close();
40. } catch (IOException e) {
41. e.printStackTrace();
42. }
43. pw.close();
44. }
45. }
46. }

在Eclipse中的运行结果

底部显示获取成功了！接下来我们去E盘根目录下找到url.txt。看看有没有这个文件

接下来我们打开一下txt文件，会发现一系列的URL链接。这些就是我们抓取新浪首页获得的所有URL

我们随便复制一条URL到浏览器中打开。看看效果。比如我们用这条http://i1.sinaimg.cn/dy/deco/2013/0316/arr.png

好的。没有任何问题。图片都出来了。说明我们抓取的这个URL是有效的

至此我们的一个简单的Demo就展示完成了