Webcollector应用（二）

　　先吐槽一句哀家的人品，总在写好代码之后，网站默默的升级，没有一点点防备...

一、加代理

　　爬取一个网站的时候，爬了不到一半，IP被封了，整个内部局域网的所有电脑都不能访问网站了。

 public class CrawlTong  extends DeepCrawler{
     JdbcTemplate jdbcTemplate = JDBCBase.getInstance().getTemplete2();
     protected HttpRequesterImpl requester=(HttpRequesterImpl)this.getHttpRequester();//③
     public final static String name = "name";
     public final static String password = "password";
     public final static  String headerKey = "Proxy-Authorization";
     public final static String headerValue = "Basic " + Base64.encode((name + ":" + password).getBytes());
     public final static int port = 50000;
     public final static String[] proxys = {
             "***.***.***.***",
             "***.***.***.***",
             "***.***.***.***"};
     public CrawlTong(String crawlPath ,int useProxy){       // ①
         super(crawlPath);
         if(useProxy == 1) {
             requester.setHeader(ProxyCollector.headerKey, ProxyCollector.headerValue);//④
             //多代理随机
             RandomProxyGenerator proxyGenerator = new RandomProxyGenerator(); // ⑤
             for (String proxy : proxys) {
                 proxyGenerator.addProxy(proxy,port); // ⑥
             }
             requester.setProxyGenerator(proxyGenerator); // ⑧
         }
     }
  public static void main(String[] args) throws Exception{
         CrawlTong crawler = new CrawlTong("/tong",1); // ②
         crawler.addSeed("https://www.tzg.cn/");
         crawler.start(1);
     }
 }

　 还是以应用（一）中的代码为例，可以在构造函数中添加代理：

　　① 在原来的基础添加了一个int型的useProxy参数，如果为1则用代理，不想用可以设置其他值

　　② 主函数中调用

　　③ 得到当前的请求requester，HttpRequesterImpl类型

　　④ 设置请求的Header信息，key值是"Proxy-Authorization"，value值是以代理服务器的用户名和密码构成的字符串

　　⑤ 创建一个RandomProxyGenerator类型的对象proxyGenerator，这个类是Webcollector提供的，可以随机切换代理

　　⑥  把事先定义好的代理服务器IP和端口依次放入到代理生成器中

　　⑧ 调用requster的setProxyGenerator方法，代理生成器传进去

　　为虾米没有圈7呢，因为我打不出来........

　　在我写这篇blog的时候，又一件积攒人品的事情发生了，哈哈哈，我这些代理服务器也被封了呢......

　　要考虑增加些sleep了......

二、解析json

　　很多页面将数据存储到单独的json文件中，所以要拿到数据，就需要对其进行解析。

　　解析json本身与Webcollector没什么多大关系，用java自己的方法。　　

   public Links visitAndGetNextLinks(Page page) {
         String jsonStr = page.getHtml();
         JSONObject json = null;
         json = new JSONObject(jsonStr);
         System.out.println(jsonStr);   //①
         System.out.println(json);    //②
         JSONObject msg=json.getJSONObject("msg"); //③
         System.out.println(msg);
         int total = msg.getInt("total");
         JSONArray projectData = msg.getJSONArray("projectData"); //④
         System.out.println(total);
         System.out.println(projectData);
         for(int i = 0 ;i<projectData.length();i++){  // ⑤
             JSONObject object = projectData.getJSONObject(i);
             dataModel = new DataModel();
             dataModel.setNumber(object.getString("thousandearnings"));
             dataModel.setFlag(object.getInt("remain_percent"));
             System.out.println(object.getString("thousandearnings"));
             System.out.println(object.getInt("remain_percent"));
         }
         return null;
     }

　　需要引入需要的包 import org.json.JSONArray; import org.json.JSONObject;....

　　① 和 ② 打印出来看似没有什么区别，但是呢一个是String类型，一个是Json类型，可以调用的方法不一样。

　　③ 通过getJSONObject方法获取JSONObject对象

　　JSONObject类型：json串，最外层大括号

　　{"A":"aaa","B":"bbb","C":[{"C1":"c1c1c1","C2":"c2c2c2"},{"CC1":"cc1cc1cc1","CC2":"cc2cc2cc2"}]}

　　④ 通过getJSONArray方法获取JSONArray对象

　　JSONArray类型： 最外层是[]，里面包含json串

　　[{"C1":"c1c1c1","C2":"c2c2c2"},{"CC1":"cc1cc1cc1","CC2":"cc2cc2cc2"}]

　　⑤ 遍历JSONArray

　　总之：value值是什么类型的，就调用json相对应的方法获取即可