Java 正则表达式_网络爬虫

首先 需要了解 一些 关于 网络爬虫的 基本知识:

网络爬虫: 所谓的 爬虫 就是一个 应用 程序, 这个 应用 程序 会 获取 网络中的 指定信息(网页 数据).

例如百度: 启动 这个 爬虫 程序 会 自动 的 将 一些 网页 数据 获取 来 存到 百度的服务器上 提高了 搜索 效率.

我们搜索的 时候 , 其实 搜索的 不是 网络中的 内容, 而是 百度中的 内容, 而 百度就将 所有的 互联网中的 数据 爬到 它 的服务器上边 供人们 搜索.

我们 也可以 写一个 程序 去获取 网络中的 指定 资源.

例如: 获取 网络中的 邮箱(邮件地址), 用来 发广告.
网络 爬虫: 其实是一个 应用程序, 获取 网络中的 指定信息(符合 指定 规则的信息). String regex

这个例子中 需要用到的 Java 技术有:  List 集合  Java 正则 表达式  Java IO 流 技术  Java 网络 编程技术.

代码如下:   这段 代码 有一段 时 基于 本地文件的, 我在 爬 网络 上的 资源时 先 试验了 一下 本地的 文件.

     案例:  获取 网络中的 邮件 地址.

             // *** 无论是 文件 还是 网络 仅仅是 数据源 变了.
          */

         // *** 从 网页 的 那些 字符串中 去 获取 邮箱. find();

         File file = new File("tempfile\\mail.html");

         String regex = "\\w+@\\w+(\\.\\w+)+";   

         // *** 告诉 去哪里 爬 数据, 按照 什么 规则爬.
         // List<String> list = getMails(file,regex);  // *** 得到的 数据先 存到 集合中, 然后 遍历集合 再 存到 数据库中.

         String str_url = "http://bbs.tianya.cn/post-enterprise-401802-6.shtml";
         List<String> list = getMailsByNet(str_url, regex);

         for(String mail : list) {

             System.out.println("List: "  + mail);  // *** 应该 存到 数据库中.

         }

     }

     // *** 基于 网络.

     public static List<String> getMailsByNet(String str_url, String regex) throws IOException{

         // 1. 将 str_url 封装成 URL 对象, 由它来 帮我们解析.

         List<String> list = new ArrayList<String>();

         URL url = new URL(str_url);

         // 2. 打开连接.

         URLConnection conn = url.openConnection();

         // 3. 获取 读取流.

         InputStream in = conn.getInputStream();
         // *** 将 字节流 转换成 字符流, 加 高效, 一次 读一行, 因为 正则 表达式 只对 字符串 有效.

         BufferedReader bufIn = new BufferedReader(new InputStreamReader(in));

         // 4. 将 正则表达式 编译成 对象.

         Pattern p = Pattern.compile(regex);

         // 5. 读取数据.

         String line = null;

         while((line = bufIn.readLine()) != null) {

             Matcher m = p.matcher(line);

             while(m.find()) {

                 list.add(m.group());

             }

         }

          // *** 关闭资源.
         bufIn.close();

         // *** 返回集合.
         return list;

     }

     // *** 基于 本地文件.

     // *** List 可以 存 重复的, Set 集合 不可以 存重复的.
     public static List<String> getMails(File file, String regex) throws IOException {

         // *** 创建一个 集合 , 存取 爬 到的 邮箱 数据.

         List<String> list = new ArrayList<String>();

         // 1. 读取文件. 加 高效, 一次 读 一行.

         BufferedReader bufr = new BufferedReader( new FileReader(file));

         // 2. 将 正则 规则 编译成 对象.

         Pattern p = Pattern.compile(regex);

         String line = null;

         while((line = bufr.readLine())!=null) {

             Matcher m = p.matcher(line);  // *** 文本 和 正则 对象 关联.

             while(m.find()) { 

                 // System.out.println(m.group());  // *** 先存起来 , 创建 一个  集合.

                 list.add(m.group()); // *** 存到 集合中.
             }
         }

     //    System.out.println(line);

         // *** 一定要 关闭 资源.
         bufr.close();

         // *** 返回 集合.
         return list;

     }
 }

 // *** 疯狂爬 网页的实现,  只要保证 一点, 网址(URL) 一直在 变化, 可以 爬 到 网页中的  超链接 时, 修改 网址 进到 超链接的 网址, 如此下去 ,便是 疯狂爬.  挂一天,  哈哈!!!

 // *** 等 学习了 Javamail 程序 , 自己写 一个 邮件 发送的 程序, 将 爬来的 邮箱 逐个 发广告.

　　

　　感谢 毕