java爬虫笔记

一、URl解释

1、URl统一资源定位符， Uniform Resource Location 也就是说是Internet上信息资源的字符串，所谓的网页抓取就是把URl地址中指定的网络资源从网络中读取出来，保存到本地，

2、java.net.URl类可以对相应的web服务器发出请求并且获得响应的文档，java.net.URl类有过一个默认的构造函数，使用URl的地址作为参数，构造URl对象。

URL pageURl=new URl(path)接着可以获得URl对象类获得网络流，操作网络资源  INputStream steram=pageURL.openStraeam(); 在实际的网络韩静中比较复杂，只用java.net的API来模拟IE客户端的工作，代码量大，需要处理HTTP返回的状态码，设置HTTP代理，处理HTTPS协议 ，咋实际开发中使用Apache的HTTP客户端开源项目HTTPClient处理各种HTTP连接中的问题，只需要在项目中导入HTTPClient.jar包，就可以模拟IE来获取网页。

/////创建一个客户端   http://hc.apache.org/downloads.cgi  这是源码包的下载地址

HTTpClient httpclient=new HTTPClient();

//创建一个get方法没累死与在浏览器地址栏中输入一个地址

GetMethod getMethod=new GetMethod("http://www.baidu.com");

//回车，获得响应状态码

int statusCode=httpClient.executeMethod(getMethod);

//查看命中的情况，可以获得很东西，比如 head  Cookies等

System.out.println("Response" +getMethod.getResponseBodyASString());

//释放

getMethod.releaseConnection()

另外post和get的不同之处就是get是把参数写在URL中一同提交。

设置代理服务器的IP地址和端口   ////hrrpClient.getHostConfiguration().setProxy("192.178.222.2",2323);

//告诉HTTP使用抢先认证，否则你会收到“你没有资格”

httpClient.getParams().setAuthenticationPreemptive(true)

3、处理HTTP状态码

int statusCode=httpClient.executeMethod(getMethod)//获得状态码   状态码表示HTTP协议反悔的响应状态，比如客户端像服务器发送请求，若果成功返回200 表示成功，如果请求的资源不存在，则返回404错误。

HTTP状态码分为五种类型，分别以1-5开头，有三位数字组成，1XX用作实验用途，

4、assert的意思是，表达式 n!=0应该是True 否则根据程序逻辑后面的代码会出错，若果断言失败，assert语句本身就会跑出AssertionError

5、pdb调试程序 以参数 -m pdb 启动后，pdb定位到下一步要执行的代码 输入命令1 来查看代码，输入n 调试到代码的下一行，任何时候都可以输入 变量 p +变量名来查看变量

另外一种调试就是导入 import  pdb 然后设置 程序可能出错的地方放置一个pdb.set_trace()就可以设置一大个断点。可以用命令p 查看变量，或者命令c 继续执行。这个方式比直接挨冻pdb单步调用调试的效率要高

6、单元测试

测试驱动开发 TDD Test-Driven Development 单元测试是用来对一个模块，一个函数或者一个类来进行正确性检验的测试工作，如果单元测试那个通过，说明函数正常，但是不通过，说明函数存在bug ，要么就是测试条件输入不正确，需要修复测试单元测试。