网络爬虫基础知识（Python实现）

浏览器的请求

url=请求协议（http/https）+网站域名+资源路径+参数

http:超文本传输协议（以明文的形式进行传输），传输效率高，但不安全。

https:由http+ssl（安全套接子层）组成；传输之前数据先加密，之后解密获取内容，传输效率低但安全。

HTTP协议之请求

1请求行

2.请求头（user-Agent：用户代理【对方服务器通过user-Agent知道当前请求资源的是神么网站】）

3.请求体（get 请求没有请求体，post有；get 请求把数据放在url地址中）

post请求常用于登入，注册以及传输大文本时

HTTP协议之响应

1.响应头（set cookie:对方服务通过该字段设置cookie的值到本地）

2.响应体（url地址对应的响应内容）

网络爬虫的逻辑

1.确定起始url

2.发送请求获取响应

3.提取数据

4.保存

5构造下一个url 地址，循环2-5步。（使用retrying，当请求不成功时，重复进行请求）

response.request.url:得到的是发送请求url地址

response.url是resonse响应的url地址

发送get post 请求获取响应；

url="https://i.cnblogs.com"

headers={

}

response=request.get(url,headers=headers)

response=request.post(url,headers=headers,data={请求体字典【键值对格式】})

 获取网页源码内容 的方法；（依次使用三种方式一定可以获取网页的正确内容，当前面一种方式不能获取到时，改用下一种）

1)response.content.decode()//把响应的二进制字节流转化为str 类型.默认使用的是utf-8编码

2）response.content.decode("gbk")用指定的编码进行编码

3）response.text  浏览器会以自己猜测的编码形式进行编码

处理cookie相关请求的方法

1）直接放在headers中

2）把cookie放在字典中

3）先发送post请求，带上cookie请求登入

session=request.session()// 实例化session对象

session.post(url,data,headers)// 获取对方保存在本地的cookie内容

session.get(url)  //session会自动带上cookie

数据提取的方法：

json.loads  作用：把json字符串转化为python类型

json.dumps 把python类型转化为json字符串

ensure_ascill 能让页面中的中文字符正确显示为中文

indent: 能够让下一行显示时在下一行的基础上显示空格

xpath：一门从html中提取数据的语言

xpath语法：

1.选择节点（标签）/html/head/meta 表示选中head下的 所有meta标签

2.//双斜线 能够从任一节点开始选择

./a 表示当前节点下的a 标签

3.@的用途

@的作用是取某个节点属性的值

例如：//div[@class='box1']/

4.获取文本

/a/text()   表示获取a标签的文本

/a//text()   表示获取a标签下的所有文本（可能不是直接在a标签下）