Spider-two

一、网络数据加密：
1. md5 / sha1 不可逆加密算法： 结果是十六进制数, 结果不可逆, 多用于文件验证
import hashlib
md5_obj = hashlib.md5()
sha1_obj = hashlib.sha1()

md5_obj.update("非Unicode字符串")
sha1_obj.update("非Unicode字符串")

md5_obj.hexdigest()
sha1_obj.hexdigest()

2. base64 ： 可逆的一种编码方式, 大概样式为: 大小写混合, 斜杠, 最后是等号
import base64
b64data = base64.b64encode() # 对字符串 或 文件数据进行编码
base64.b64decode(b64data) # 对base64数据解码，复原回原本的数据

3. rsa 非对称加密 /aes 对称加密

客户端和服务器端数据加密： 公钥和私钥

4. Unix 时间戳
表示 从 1970年1月1日到现在的总秒数，通常有两种值：
10 位： 单位是秒； 13 位 ：单位是毫秒。

秒： int(time.time())
毫秒： int(time.time() * 1000)

二、Requests模块有两种发送请求的方式：

# 普通请求发送方式，不会保存Cookie
requests.get()
requests.post()

# 创建一个可以保存Cookie 的 session对象
ssion = requests.session()
# 通过session对象发送请求，可以记录并传递Cookie
ssion.get()
ssion.post()

三、爬虫的标准模拟登录流程：

模拟登录的目的：为了登录成功并保存Cookie，再用于发送其他需要登录后才能访问的页面请求。

1. 发送登录页面的 get 请求，获取登录参数
2. 发送登录的 post 请求，提交登录参数 和 账户密码，实施模拟登录（如果登录成功则记录Cookie）
3. 附带登录的Cookie，发送其他页面的请求，提取需要的数据。

模拟登录实际开发很少使用（通过Cookie池代理），但是面试会经常问。

代理: 浏览器插件使用代理时, 会弹窗提示需要提供账号密码, 而代码中若没有提供会提示 407错误(requests默认没有使用代理); 免费代理, 无需账号&密码

三、HTML DOM 是HTML的树形结果概念。

　　HTML

head 　　 body
title 　　   a p div br 属性值、文本内容、href、 src
meta

lxml/ XPATH

四、XPATH 提取数据定律：

1. xpath表达式的匹配结果，一定是一个列表
匹配成功返回所有数据的列表，没有匹配成功返回空列表

2. xpath表达式提取的数据（属性值字符串、文本值字符串），结果一定是一个Unicode字符串, 注意网页标签中的双引号 空格
url_list = xpath("//div[@id='u1']/a/@href")
text_list = xpath("//div[@id='u1']/a/text()")

3. 如果没有提取数据，返回所有标签结点的对象（Element对象），该对象可以继续调用xpath向下取值。
a_list = xpath("//div[@id='u1']/a")

item_list = []

for a in a_list:
　　item = {}
　　item['text'] = a.xpath("./p/text()")[0]
　　try:
　　　　item['src'] = a.xpath("./img/@src")[0]
　　except:
　　　　item['src'] = None

　　item['src'] = a.xpath("./img/@src")[0] if a.xpath("./img/@src") else None

　　item_list.append(item)　　# [{}, {}, {}, {}]

栗子: div//a div下的第二个标签, Xpath语法下标从1开始

xpath ： XML Path Language，是一种专门提取xml文档数据的语法。

html : 网页字符串，字符串本身不支持xpath提取数据，所以需要通过lxml转换

lxml ： 作用是将html字符串，转换为可以调用xpath方法的 对象lxml.ElementTree

使用xpath取值时, 大型网站会根据不同浏览器返回不同网页内容(依据User-Agent区分), chrome浏览器返回的内容会放在注释中, IE浏览器不会。

# BeautifulSoup4、Pyquery

# 从lxml类库中，导入 etree模块
from lxml import etree

html = requests.get(url).content

# etree模块有个HTML类，接收网页字符串，并返回一个 DOM 对象
html_dom = etree.HTML(html)

# 读取本地文件，并转为 HTML DOM对象
#html_dom = etree.parse("./baidu.html")

# 将DOM对象复原回网页字符串
#html = etree.tostring(html_dom)

# DOM对象可以调用xpath方法，提取网页的数据
url_list = html_dom.xpath("//div[@id='u1'][1]/a/@href")

五、正则

import re

re.match() : 从字符串的第一个字符开始匹配，如果匹配成功返回Match对象，该对象可以通过 group()提取数据。如果第一个字符不符合匹配，则返回 None
re.search()：从字符串的第一个字符开始匹配，如果匹配成功返回Match对象，该对象可以通过 group()提取数据。如果第一个字符不符合匹配，继续从第二个开始，直到最后一个字符为止，如果一种没有匹配，则返回 None

注：match 和 search 都只匹配一次

re.findall() ： 返回字符串里所有符合匹配的结果，如果匹配成功，返回列表；如果不成功，返回空列表

re.sub("re表达式", "字符串", "替换后的字符") ： sub替换字符串指定字符，替换后返回一个新字符
re.split() ： 对字符串按指定字符进行分隔，返回分隔后的列表

str <-> list

list = str.split()
str = "".join(list)

str.replace()
str.find()

re.findall(r"\d+", html)
re.findall(r"\d+", html)

pattern = re.compile(r"\d+")
pattern.findall(html)
pattern.findall(html)

r"\d+\n\t"：r 忽略Python字符串里的转义字符

import json

# 将python对象转为json字符串
json_str = json.dumps(python_obj)
# 将json字符串转为python对象
python_obj = json.loads(json_str)
# 将python对象转为json字符串 并保存到 文件中
json.dump(python_obj, open("xxx.json", "w"))
# 读取文件的json字符串，并转为对应的Python对象
python_obj = json.load(open("xxx.json", "r"))