玩玩Hibernate（二）hibernate-spider爬虫~~

新建一个hSpider的工程，引入前面已经建立的lib

并为其建立一个hibernate.cfg.xml的映射文件

 <?xml version='1.0' encoding='utf-8'?>
 <!DOCTYPE hibernate-configuration PUBLIC
         "-//Hibernate/Hibernate Configuration DTD 3.0//EN"
         "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd">

 <hibernate-configuration>

     <session-factory>

         <!-- Database connection settings 数据库的配置 -->
         <property name="connection.driver_class">com.mysql.jdbc.Driver</property>
         <property name="connection.url">jdbc:mysql://localhost:3306/hSpider</property>
         <property name="connection.username">root</property>
         <property name="connection.password"></property>

         <!-- JDBC connection pool (use the built-in)  hibernate自带连接池，暂不使用 -->
         <!-- <property name="connection.pool_size">1</property> -->

         <!-- SQL dialect 数据库方言，这里我们才爱用MySQL-->
         <property name="dialect">org.hibernate.dialect.MySQLDialect</property>

         <!-- Enable Hibernate's automatic session context management 新功能，暂不使用 -->
         <!-- <property name="current_session_context_class">thread</property> -->

         <!-- Disable the second-level cache  二级缓存，放置不管 -->
         <property name="cache.provider_class">org.hibernate.cache.NoCacheProvider</property>

         <!-- Echo all executed SQL to stdout  设置show_sql为true表示让hibernate将生成sql语句在控制台打印出来 -->
         <property name="show_sql">true</property>

         <!-- Drop and re-create the database schema on startup 是否让hibernate自动为我们创建表 -->
         <!-- <property name="hbm2ddl.auto">update</property> -->

         <mapping resource="hibernateSpider/edNews.hbm.xml"/> <!-- 这里是将需要mapping的文件进行再次声明 -->

     </session-factory>

 </hibernate-configuration>

新建`hSpider`包依次点击打开HibernateSpider->右键src->New->Package
新建`edNews`类依次点击打开HibernateSpider->src->hSpider->New->Class

public class edNews {
    private int id;
    private String ednews;

    public int getId() {
        return id;
    }
    public void setId(int id) {
        this.id = id;
    }

    public String getNews(){
        return ednews;
    }

    public void setNews(news ednews){
        this.ednews = ednews.ednews;
    }
}

edNews

并为其新建一个edNews.hbm.xml映射文件（必须跟edNEws在同一个包中）

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE hibernate-mapping PUBLIC
        "-//Hibernate/Hibernate Mapping DTD 3.0//EN"
        "http://hibernate.sourceforge.net/hibernate-mapping-3.0.dtd">

<hibernate-mapping>
    <class name="hibernateSpider.edNews" table="ednews">
        <id name="id" type="int">
            <column name="id" />
            <generator class="increment" />
        </id>
        <property name="news" type="string">
            <column name="news" length="255" />
        </property>

    </class>
</hibernate-mapping>

新建一个news类（用于显示）

 public class news {

         public String ednews;                                                

         // 构造方法初始化数据
         public news() {
             ednews = "";
         }  

         @Override
         public String toString() {
             return "公告：" + ednews + "\n";
         }
 }

News

新建一个Spider类，这个是爬虫代码的实现

 package hibernateSpider;

 import java.io.BufferedReader;
 import java.io.InputStreamReader;
 import java.net.URL;
 import java.net.URLConnection;
 import java.util.ArrayList;
 import java.util.regex.Matcher;
 import java.util.regex.Pattern;

 public class Spider {
     public static String SendGet(String url) {
         // 定义一个字符串用来存储网页内容
         String result = "";
         // 定义一个缓冲字符输入流
         BufferedReader in = null;  

         try {
             // 将string转成url对象
             URL realUrl = new URL(url);
             // 初始化一个链接到那个url的连接
             URLConnection connection = realUrl.openConnection();
             // 开始实际的连接
             connection.connect();
             // 初始化 BufferedReader输入流来读取URL的响应
             in = new BufferedReader(new InputStreamReader(
                     connection.getInputStream(), "UTF-8"));
             // 用来临时存储抓取到的每一行的数据
             String line;
             while ((line = in.readLine()) != null) {
                 // 遍历抓取到的每一行并将其存储到result里面
                 result += line;
             }
         } catch (Exception e) {
             System.out.println("发送GET请求出现异常！" + e);
             e.printStackTrace();
         }
         // 使用finally来关闭输入流
         finally {
             try {
                 if (in != null) {
                     in.close();
                 }
             } catch (Exception e2) {
                 e2.printStackTrace();
             }
         }
         return result;  

     }  

         public static ArrayList<news> GetNews(String content) {
         // 预定义一个ArrayList来存储结果
         ArrayList<news> results = new ArrayList<news>();
         // 用来匹配标题
         Pattern questionPattern = Pattern.compile("ggtz/\\d{4}.shtml.+?>(.+?)<");
         Matcher questionMatcher = questionPattern.matcher(content);
         // 用来匹配url，也就是问题的链接
         Pattern urlPattern = Pattern.compile("ggtz/\\d{4}.shtml.+?>(.+?)<");
         Matcher urlMatcher = urlPattern.matcher(content);  

         // 问题和链接要均能匹配到
         boolean isFind = questionMatcher.find() && urlMatcher.find();  

         while (isFind) {
             // 定义一个news对象（公告对象）来存储抓取到的信息
             news newsTemp = new news();
             newsTemp.ednews= questionMatcher.group(1);  

             // 添加成功匹配的结果
             results.add(newsTemp);
             // 继续查找下一个匹配对象
             isFind = questionMatcher.find() && urlMatcher.find();
         }
         return results;
     }  

 }

Spider

最后，测试一下结果

 public class MainTest {

     public static void main(String[] args) {  

         // 定义即将访问的链接  

         String url = "http://jwc.gdut.edu.cn/";
      // 访问链接并获取页面内容
         String content = Spider.SendGet(url);
         // 获取该页面的所有的命题对象
         ArrayList<news> myNews = Spider. GetNews(content);
         // 打印结果
         for(int i = 0; i < myNews.size(); i++){
             System.out.println(myNews.get(i));  

             edNews  aNew = new edNews()    ;//新建我们需要存储的类对象，并且设置其对象的一些属性
             aNew.setId(i);
             aNew.setNews(myNews.get(i));

             {
             //Configuration主要用以读取配置文件
                 Configuration cfg = new Configuration();
                 SessionFactory sf = cfg.configure().buildSessionFactory();
                 //buildSessionFactory();得到一个创建Session的工场
                 Session ss = sf.openSession();
                 ss.beginTransaction();//OK，将操作放入事务中
                 ss.save(aNew);//保存你的对象
                 ss.getTransaction().commit();//得到事务并提交 

                 ss.close();//Session关闭
                 sf.close();//工厂关闭

             }
         }
 }
 }

MainTest