爬虫学习（三）Chrome浏览器使用

一、新建隐身窗口

在打开隐身窗口的时候，第一次请求某个网站是没有携带cookie的，和代码请求一个网站一样，不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果；除非数据是通过js加载出来的，不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的。

二、Chrome中Network功能

1、Perserve log

默认情况下，页面发生跳转之后，之前的请求url地址等信息都会消失，勾选“perserve log”后之前的请求都会被保留。

2、Filter过滤

在url地址很多时，可以输入url进行过滤

3、观察特点种类的请求

默认是选择all，即观察所有种类请求。

其他选项：

• XHR：大部分情况表示ajax请求。
• JS：js请求。
• CSS：css请求。
• Img：图片请求。

三、找POST请求的URL和要发送的数据

1、通过表单找出POST的URL

• 使用chrome浏览器的选择工具，选择表单的输入框，看Elements中的定位的位置，向上找from标签中的action属性中的URL。
• 如果没有action，就说明它是通过js发送的请求，那就监听它的按钮点击事件，找到对应的js。

总结：有form表单, 并且form表单有action属性。POST请求URL: form表单的action属性上；POST请求数据: form表单的input标签的name属性上。

2、使用Network监听按钮点击事件，找出POST的URL

• 点击chrome浏览器的Network
• 勾选Preserve log按钮，保留页面跳转前的请求