爬虫基础02-day24

写在前面

---

---

　　　　干就完了

---

---

 s16/17爬虫2

 内容回顾：
     1. Http协议
         Http协议：GET / http1.1/r/n...../r/r/r/na=1
          TCP协议：sendall("GET / http1.1/r/n...../r/r/r/na=1") 

     2. 请求体
          GET: GET / http1.1/r/n...../r/r/r/n
         POST:
               POST / http1.1/r/n...../r/r/r/na=1&b=2
               POST / http1.1/r/n...../r/r/r/{"k1":123}

               PS: 依据Content-Type请求头

     3. requests模块
         - method
         - url
         - params
         - data
         - json
         - headers
         - cookies
         - proxies
     4. BeautifulSoup4模块
         HTML
         XML

     5. Web微信
         - 轮训
         - 长轮训

 今日内容概要：
     1. Web微信

     2. 高性能相关

     3. Scrapy

 内容详细：
     1. Web微信

         - 防盗链
             - headers
             - cookies

         - 检测请求
             - url

         - Session中：
             - qcode
             - ctime
             - login_cookie_dict
             - ticket_dict_cookie
             - ticket_dict
             - init_cookie_dict

         - 收发消息

     2. 高性能相关 

         基本原理：
             IO多路复用：select，用于检测socket对象是否发生变化(是否连接成功，是否有数据到来)
                 Socket：socket客户端

             import socket
             import select

             class Request(object):
                 def __init__(self,sock,func,url):
                     self.sock = sock
                     self.func = func
                     self.url = url

                 def fileno(self):
                     return self.sock.fileno()

             def async_request(url_list):

                 input_list = []
                 conn_list = []

                 for url in url_list:
                     client = socket.socket()
                     client.setblocking(False)
                     # 创建连接,不阻塞
                     try:
                         client.connect((url[0],80,)) # 100个向百度发送的请求
                     except BlockingIOError as e:
                         pass

                     obj = Request(client,url[1],url[0])

                     input_list.append(obj)
                     conn_list.append(obj)

                 while True:
                     # 监听socket是否已经发生变化 [request_obj,request_obj....request_obj]
                     # 如果有请求连接成功：wlist = [request_obj,request_obj]
                     # 如果有响应的数据：  rlist = [request_obj,request_obj....client100]
                     rlist,wlist,elist = select.select(input_list,conn_list,[],0.05)
                     for request_obj in wlist:
                         # print('连接成功')
                         # # # # 发送Http请求
                         # print('发送请求')
                         request_obj.sock.sendall("GET / HTTP/1.0\r\nhost:{0}\r\n\r\n".format(request_obj.url).encode('utf-8'))
                         conn_list.remove(request_obj)

                     for request_obj in rlist:
                         data = request_obj.sock.recv(8096)
                         request_obj.func(data)
                         request_obj.sock.close()
                         input_list.remove(request_obj)

                     if not input_list:
                         break

         使用一个线程完成并发操作，如何并发？
         当第一个任务到来时，先发送连接请求，此时会发生IO等待，但是我不等待，我继续发送第二个任务的连接请求....

         IO多路复用监听socket变化
         先连接成功：
             发送请求信息： GET / http/1.0\r\nhost....
             遇到IO等待，不等待，继续检测是否有人连接成功：
             发送请求信息： GET / http/1.0\r\nhost....
             遇到IO等待，不等待，继续检测是否有人连接成功：
             发送请求信息： GET / http/1.0\r\nhost....

         有结果返回：
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数
             读取返回内容，执行回调函数

         问题：什么是协程？
               单纯的执行一端代码后，调到另外一端代码执行，再继续跳...

         异步IO：
              - 【基于协程】可以用 协程+非阻塞socket+select实现，gevent
              - 【基于事件循环】完全通用socket+select实现,Twsited

         1. 如何提高爬虫并发？
             利用异步IO模块，如：asyncio,twisted,gevent
             本质：
                 - 【基于协程】可以用 协程+非阻塞socket+select实现，gevent
                 - 【基于事件循环】完全通用socket+select实现,Twsited，tornado

         2. 异步非阻塞
               异步：回调   select
             非阻塞：不等待 setblocking(False)

         3. 什么是协程？
             pip3 install gevent 

             from greenlet import greenlet

             def test1():
                 print(12)
                 gr2.switch()
                 print(34)
                 gr2.switch()

             def test2():
                 print(56)
                 gr1.switch()
                 print(78)

             gr1 = greenlet(test1)
             gr2 = greenlet(test2)
             gr1.switch()

     3. 爬虫
         - request+bs4+twisted或gevent或asyncio
         - scrapy框架
             - twisted
             - 自己html解析
             - 限速
             - 去重
             - 递归，找4层
             - 代理
             - https
             - 中间件
             ....
         - 安装scrapy
             依赖Twisted

         - 开始写爬虫
             执行命令：
                  scrapy startproject sp1

                  sp1
                     - sp1
                         - spiders      爬虫
                             - xx.py
                             - chouti.py
                         - middlewares  中间件
                         - pipelines    持久化
                         - items        规则化
                         - settings     配置
                     - scrapy.cfg

                 cd sp1
                 scrapy genspider xx xx.com
                 scrapy genspider chouti chouti.com

         - scrapy crawl chouti
             name
             allow_domains
             start_urls

             parse(self,response)

                 yield Item

                 yield Request(url,callback)

 本周任务：
     1. Web微信

     2. 高性能示例保存

     3.
         - 煎蛋
         - 拉钩
         - 知乎
         - 抽屉
                 

武Sir - 笔记

before

	Web微信

	高性能

	scrapy

requests.post(data=xxx)   ->   Form Data

requests.post(json=xxx)   ->   Request Payload

HttpResponse()  参数可以是字符串也可以是字节

response.text         字符串
response.content 	  字节

# 获取最近联系人然后进行初始化

# 获取头像

# 拿联系人列表
response = requests.get(url,cookies=xxx)
response.encoding = 'utf-8'
print(json.loads(response.text))

Web微信总结
	- 头像防盗链
		- headers
		- cookies

	- 检测请求：
		- tip | pass_ticket | ...
		- redirect_url和真实请求的url是否一致

	- session 保存关键点的cookies和关键变量值
		- qrcode 和 ctime
		- login_cookie_dict
		- ticket_dict_cookie
		- ticket_dict
		- init_cookie_dict
		- init_dict 

		- all_cookies = {}
		- all_cookies.update(...)

json序列化的时候是可以加参数的：

data = {
	'name':'alex',
	'msg':'中文asa'
}
import json
print(json.dumps(data))
按Unicode显示

print(json.dumps(data,ensure_ascii=False))
按中文显示

json.dumps() 之后是字符串
requests.post() 默认是按照 latin-1 编码，不支持中文

所以改成直接发bytes：
requests.post(data=json.dumps(data,ensure_ascii=False).encode('utf-8'))

发送消息需带上cookies

发送消息

检测是否有新消息到来
接收消息

#########################

高性能相关

100张图片，下载

使用一个线程完成并发操作
是配合IO多路复用完成的

爬虫：
	- 简单的爬虫
		- requests+bs4+twsited+asyncio
	- scrapy框架
		- 下载页面：twsited
		- 解析页面：自己的HTML解析
		- 可限速
		- 去重
		- 递归 一层一层的爬，成倍速的增长，还可以限制层数
		- 代理
		- https
		- 中间件
		...

scrapy
	- scrapy startproject sp1
	- cd sp1
	- scrapy genspider baidu baidu.com
	- scrapy genspider chouti chouti.com
	- scrapy crawl chouti --nolog

	- name
	- allow_dimains
	- start_urls
	- parse(self,response)
		- yield Item   持久化
		- yield Request(url,callback)  把url放到调度器队列里

本周作业：
1.Web微信
	自己去写，写完跟老师的对比

2.高性能总结文档（源码示例+文字理解）

3.任意找一个网站，用Scrapy去爬
	- 煎蛋
	- 拉钩
	- 知乎
	- 抽屉
	- ... 

不遵循爬虫规范：
ROBOTSTXT_OBEY = False

可能会失败：没有带请求头

起始url如何携带指定请求头？
自定义start_requests(self)

　　

　　

---

一、Web微信

获取最近联系人列表并初始化：

获取联系人列表：

代码实现见另一片博客：Web微信

二、高性能编程示例

参考：http://www.cnblogs.com/wupeiqi/articles/6229292.html

代码示例见另一篇那博客：Python高性能编程

三、Scrapy框架初探

参考：http://www.cnblogs.com/wupeiqi/articles/5354900.html

代码示例参见博客：Scrapy基础01  Scrapy基础02