一、设置请求头消息 User-Agent模拟浏览器

　　1.当使用第一节的代码 来 访问推酷的时候，会返回给我们如下信息：

网页内容：<!DOCTYPE html>

<html>

    <head>

          <meta http-equiv="Content-Type" content="text/html; charset=utf-8">

    </head>

    <body>

        <p>系统检测亲不是真人行为，因系统资源限制，我们只能拒绝你的请求。如果你有疑问，可以通过微博 http://weibo.com/tuicool2012/ 联系我们。</p>

    </body>

</html>

　　这是因为网站做了限制，限制别人爬。解决方式可以设置请求头消息 User-Agent模拟浏览器。代码如下：

/**

     * 抓取网页信息使用 get请求

     * @param args

     * @throws IOException

     * @throws ClientProtocolException

     */

    public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            HttpEntity entity = response.getEntity();   // 获取网页内容

            String result = EntityUtils.toString(entity, "UTF-8");

            System.out.println("网页内容：" + result);

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

　　给HttpGet方法设置头消息，即可模拟浏览器访问。

二、获取响应内容Content-Type　　

　　使用  entity.getContentType().getValue()  来获取Content-Type，代码如下：

public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            HttpEntity entity = response.getEntity();   // 获取网页内容

            System.out.println("Content-Type:" + entity.getContentType().getValue());   // 获取Content-Type

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

三、获取响应状态

　　200 -- 正常

　　403 -- 拒绝

　　500 -- 服务器报错

　　400 -- 未找到页面

　　使用 response.getStatusLine().getStatusCode() 获取响应状态，代码如下：

public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            int state = response.getStatusLine().getStatusCode();

            System.out.println("响应状态：" + state);

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

四、HttpClient学习地址

　　开源博客系统-HttpClient

HttpClient（二）-- 模拟浏览器抓取网页的更多相关文章

  1. Python开发爬虫之动态网页抓取篇：爬取博客评论数据——通过Selenium模拟浏览器抓取

    区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器 ...

  2. Selenium模拟浏览器抓取淘宝美食信息

    前言: 无意中在网上发现了静觅大神(崔老师),又无意中发现自己硬盘里有静觅大神录制的视频,于是乎看了其中一个,可以说是非常牛逼了,让我这个用urllib,requests用了那么久的小白,体会到sel ...

  3. 使用selenium模拟浏览器抓取淘宝信息

    通过Selenium模拟浏览器抓取淘宝商品美食信息,并存储到MongoDB数据库中. from selenium import webdriver from selenium.common.excep ...

  4. 3.使用Selenium模拟浏览器抓取淘宝商品美食信息

    # 使用selenium+phantomJS模拟浏览器爬取淘宝商品信息 # 思路: # 第一步:利用selenium驱动浏览器,搜索商品信息,得到商品列表 # 第二步:分析商品页数,驱动浏览器翻页,并 ...

  5. Python爬虫学习==>第十二章：使用 Selenium 模拟浏览器抓取淘宝商品美食信息

    学习目的: selenium目前版本已经到了3代目,你想加薪,就跟面试官扯这个,你赢了,工资就到位了,加上一个脚本的应用,结局你懂的 正式步骤 需求背景:抓取淘宝美食 Step1:流程分析 搜索关键字 ...

  6. 使用Selenium模拟浏览器抓取淘宝商品美食信息

    代码: import re from selenium import webdriver from selenium.webdriver.common.by import By from seleni ...

  7. 16-使用Selenium模拟浏览器抓取淘宝商品美食信息

    淘宝由于含有很多请求参数和加密参数,如果直接分析ajax会非常繁琐,selenium自动化测试工具可以驱动浏览器自动完成一些操作,如模拟点击.输入.下拉等,这样我们只需要关心操作而不需要关心后台发生了 ...

  8. linux中使用wget模拟爬虫抓取网页

    如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢,常规的我们肯定是要去下载一个软件下来使用啦,可怜的这两个系统总是找不到相应的工具,这时wget出来帮助你啦!!!wget本身是拿来下载 ...

  9. 使用Selenium模拟浏览器抓取斗鱼直播间信息

    获取斗鱼直播间每个房间的名称.观看人数.tag.主播名字 代码: import time from multiprocessing import Pool from selenium import w ...

随机推荐

  1. Java 代理使用及代理原理

    今天再测试Socket编程时,无法连接外网.公司用的是Http的代理.上网搜索也没看太懂,所以花了大量时间来学习.看了HTTP和TCP协议的关系好,才有所明白.现在能通过Socket使用HTTP代理了 ...

  2. r语言笔记 jn

    get_range <- function(data_name , row_name){ library(stringr) load(data_name) data_str <- str_ ...

  3. 浅谈C++中对象的复制与对象之间的相互赋值

    C++对象的复制 有时需要用到多个完全相同的对象,例如,同一型号的每一个产品从外表到内部属性都是一样的,如果要对每一个产品分别进行处理,就需要建立多个同样的对象,并要进行相同的初始化,用以前的办法定义 ...

  4. 输入一个int型整数，按照从右向左的阅读顺序，返回一个不含重复数字的新的整数。

    题目描述 输入一个int型整数,按照从右向左的阅读顺序,返回一个不含重复数字的新的整数. 输入描述: 输入一个int型整数 输出描述: 按照从右向左的阅读顺序,返回一个不含重复数字的新的整数 输入例子 ...

  5. SpringCloud微服务部署

    https://blog.csdn.net/weixin_36397925/article/details/79496657 https://blog.csdn.net/forezp/article/ ...

  6. 关于Unity中的光照(六)

    反射探头 1:镜子金属等具有光滑表面的物体都会反射,而游戏中计算实时反射非常消耗CPU的资源, unity5.0新增了一个反射探头的技术,通过采样点,生成反射Cubemap,然后通过特定的着色器从Cu ...

  7. L1&L2 Regularization

    正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合).其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在tr ...

  8. (笔记)Linux Socket通信：bind: Address already in use

    在网络通信时使用Bind绑定IP地址跟端口号时,有时Ctrl+C强制结束进程之后,再次运行程序Bind错误,原因如下: 虽然用Ctrl+C强制结束了进程,但错误依然存在,用netstat -an |g ...

  9. SpringMVC系列（七）视图解析器和视图

    在springmvc.xml里面配置视图解析器 <!-- 配置视图解析器: 如何把 handler 方法返回值解析为实际的物理视图 --> <bean class="org ...

  10. UnityEditor--------------之Selection类的变量解析

    UnityEditor的Selection类 Unity官方文档:https://docs.unity3d.com/ScriptReference/Selection.html Selection S ...