使用HttpClient获取网页内容的过程 1.创建一个CloseableHttpClient类的实例: 2.使用这个实例执行HTTP请求,得到一个HttpResponse的实例: 3.最后,通过HttpResponse的实例得到返回的二进制流,二进制流封装在HttpEntity中.根据指定的字符集把二进制流转换成字符串,完成下载. CloseableHttpClient类中存储了一些全局信息.创建CloseableHttpClient类的实例的代码如下所示. CloseableHttpClie…

一.URl解释 1.URl统一资源定位符, Uniform Resource Location 也就是说是Internet上信息资源的字符串,所谓的网页抓取就是把URl地址中指定的网络资源从网络中读取出来,保存到本地, 2.java.net.URl类可以对相应的web服务器发出请求并且获得响应的文档,java.net.URl类有过一个默认的构造函数,使用URl的地址作为参数,构造URl对象. URL pageURl=new URl(path)接着可以获得URl对象类获得网络流,操作网络资源  I…