网络爬虫-获取infoq里的测试新闻保存至html

用java+webdriver+testng实现获取infoq里的测试新闻，获取文章标题和内容，保存至html文件

前提条件：

已安装好java环境，工程导入了webdriver的jar包和testng的jar包

代码如下：

第一：新建PublicModel类，该类中实现了写入html的文件功能和初始化方法

 package com.ustc.publics;

 import java.io.BufferedWriter;
 import java.io.File;
 import java.io.FileOutputStream;
 import java.io.IOException;
 import java.io.OutputStreamWriter;
 import java.text.SimpleDateFormat;
 import java.util.ArrayList;
 import java.util.Date;
 import java.util.HashMap;

 import org.openqa.selenium.WebDriver;
 import org.openqa.selenium.ie.InternetExplorerDriver;

 public class PublicModel {
     public static WebDriver driver;

     /**
      * 初始化方法
      */
     public static void initModel() {
         driver = new InternetExplorerDriver();
          /*driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);*/
         driver.manage().window().maximize();
     }

     /**
      * 写入html文件方法数组
      *
      * @param hotTopics
      *            hashmap的数组内容
      * @param file
      *            文件名称
      * @throws IOException
      */
     public static void writeHtmlContent(ArrayList<HashMap<String, String>> hotTopics, String file, String title1,
             String title2) {
         FileOutputStream fis = null;
         BufferedWriter bfr = null;
         String css = "table.gridtable {" + "font-family: verdana,arial,sans-serif;" + "font-size:11px;"
                 + "color:#333333;" + "border-width: 1px;" + "border-color: #666666;" + "border-collapse: collapse;"
                 + "}" + "table.gridtable th {" + "border-width: 1px;" + "padding: 8px;" + "border-style: solid;"
                 + "border-color: #666666;" + "background-color: #dedede;" + "}" + "table.gridtable td {"
                 + "border-width: 1px;" + "padding: 8px;" + "border-style: solid;" + "border-color: #666666;"
                 + "background-color: #ffffff;" + "}";
         try {
             /* 文件名：当前工程路径+result+20160607_file.html */
             Date currentTime = new Date();
             SimpleDateFormat formatter = new SimpleDateFormat("yyyyMMdd");
             String dateString = formatter.format(currentTime);
             String filename = System.getProperty("user.dir") + File.separator + "result" + File.separator + dateString
                     + "_" + file + ".html";
             fis = new FileOutputStream(filename);
             bfr = new BufferedWriter(new OutputStreamWriter(fis));
             /* 遍历arrayList的hashMap内容，按行写入html文件 */
             bfr.append("<html>");
             bfr.append("<head>");
             bfr.append("<title>数据写入html展示</title>");
             bfr.append("<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />");
             bfr.append("</head>");
             bfr.append("<style type=\"text/css\">");
             bfr.append(css);
             bfr.append("</style>");
             bfr.append("<body>");
             bfr.append("<table class=\"gridtable\" >");
             bfr.append("<tr><th>序号</th><th>" + title1 + "</th><th>" + title2 + "</th>");
             bfr.append("<tbody>");
             for (int i = 0; i < hotTopics.size(); i++) {
                 bfr.append("<tr>");
                 String que = hotTopics.get(i).get("que").toString();
                 String ans = hotTopics.get(i).get("ans").toString();
                 bfr.append("<td>" + i + "</td>");
                 bfr.append("<td>" + que + "</td>");
                 bfr.append("<td>" + ans + "</td>");
                 bfr.append("</tr>");
             }
             bfr.append("</tbody>");
             bfr.append("</table>");
             bfr.append("</body>");
             bfr.append("</html>");

         } catch (Exception e) {
             e.printStackTrace();
         } finally {
             try {
                 bfr.close();
             } catch (Exception e) {
                 e.printStackTrace();
             }
             try {
                 fis.close();
             } catch (Exception e) {
                 e.printStackTrace();
             }
         }
     }
 }

第二：新建InfoqArticle类，该类继承了PublicModel类，获取infoq里的测试新闻，获取文章标题和内容，保存至html文件

 package com.ustc.base;

 import java.util.ArrayList;
 import java.util.HashMap;
 import java.util.List;

 import org.openqa.selenium.By;
 import org.openqa.selenium.WebElement;
 import org.testng.annotations.AfterClass;
 import org.testng.annotations.BeforeClass;
 import org.testng.annotations.Test;

 import com.ustc.publics.PublicModel;

 public class InfoqArticle extends PublicModel{
     @BeforeClass
     public void setUp() {
         initModel();
     }

     /**
      * 获取infoq里的测试新闻，获取文章标题和内容，保存至html文件
      * @throws Exception
      */
     @Test
     public void getInfoqMsg() throws Exception{
         String url = "http://www.infoq.com/cn/testing/?utm_source=infoq&utm_medium=header_graybar&utm_campaign=topic_clk";
         driver.get(url);
         /* 获取infoq测试文章根节点 */
         WebElement rootNode = driver.findElement(By.cssSelector("div[class~='articles']"));
         List<WebElement> nodes = rootNode.findElements(By.tagName("p"));
         ArrayList<HashMap<String, String>> infoqMsgs = new ArrayList<HashMap<String, String>>();
         ArrayList<String> titles = new ArrayList<String>();
         /*获取所有测试文章的链接*/
         for (WebElement node : nodes) {
             titles.add(node.findElement(By.cssSelector("a.art_title")).getAttribute("href"));
         }
         /* 遍历添加infoq文章标题、内容到数组中 */
         for(String title : titles){
             HashMap<String, String> topic = new HashMap<String, String>();
             driver.get(title);
             /*文章标题*/
             topic.put("que", driver.findElement(By.cssSelector("div.title_canvas > h1")).getText());
             /*文章链接*/
             topic.put("ans",title);
             /*文章内容，文章内容已经获取到，因为内容太多所以没有往html中写入，只写入了该文章的链接*/
             infoqMsgs.add(topic);
         }

         /*数组数据写入html*/
         writeHtmlContent(infoqMsgs,"infoq_article","文章标题","文章内容");
     }

     @AfterClass
     public void quit() {
         driver.quit();
     }
 }

第三：配置testng.xml文件

 <?xml version="1.0" encoding="UTF-8"?>
 <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
 <suite name="Suite" parallel="false">
   <test name="Test">
     <classes>
       <class name="com.ustc.base.InfoqArticle09"/> <!--9：抓取infoq的测试新闻  -->
     </classes>
   </test> <!-- Test -->
 </suite> <!-- Suite -->

运行testng.xml结果为：
项目路径result目录下生成了一个文件：20160615_infoq_article09.html，内容如下