22.2.14session和反反爬处理

22.2.14 session和反反爬处理

1.session：

• requests库包含session，都是用来对一个url发送请求，区别在于session是一连串的请求，在session请求过程中cookie等参数不会丢失。

• requests库的session会话对象可以跨请求保持某些参数，说白了，就是比如你使用session成功的登录了某个网站，则在再次使用该session对象求求该网站的其他网页都会默认使用该session之前使用的cookie等参数尤其是在保持登陆状态时运用的最多，在某些网站抓取，或者app抓取时，有的时强制登陆，有的是不登陆返回的数据就是假的或者说是不完整的数据，那我们不可能去做到每一次请求都要去登陆一下怎么办，就需要用到保持会话的功能了，我们可以只登陆一次，然后保持这种状态去做其他的或者更多的请求。

• code：

  • import requests
    ​
    ​
    url='http://www.renren.com/PLogin.do'
    ​
    id = input('请输入用户名：')
    pw = input('请输入密码：')
    ​
    data = {
            
            "email": id,
            "password": pw}
    headers={
        'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    session=requests.session()
    session.post(url,data=data,headers=headers)
    response=session.get("http://www.renren.com/880151247/profile")
    with open('renren.html','w',encoding='utf-8') as fp:
        fp.write(response.text)

2.反反爬处理

• 反反爬主要是处理user-agent，cookie，referer，定期sleep，加代理等等。

  • 处理user-agent，cookie，referer都是一样的套路，在浏览器的抓包工具中找到对应的值，包装到headers中，再请求url时传入headers。定期sleep主要是为了防止一瞬间对网址的访问量过大，致使网址给你的账号封禁。

  • 使用代理：

    • proxies = {
          "http":"http://代理IP"
              或者
          "https":"https://代理IP"
          #注意要和你访问的url前面的一致，你的url前面是http就在proxies里面用第一个，如果是https就用第二个。
      }
      requests.get(url,proxies)

  • 这里以爬取梨视频为例，下载某一个视频：

    • import requests
      from lxml import etree
      ​
      def refererPrt():
          url = "https://www.pearvideo.com/video_1751556"  #练习爬取的网站是湿湿的，url可能会过期
          #拿到开头url中的视频编号：
          vedioId = url.split("_")[1]
      ​
          #   https://video.pearvideo.com/mp4/short/20220211/1644668544573-15825835-hd.mp4            404     f12     systemTime: "1644668544573"
          #   https://video.pearvideo.com/mp4/short/20220211/cont-1676274-15825835-hd.mp4             right   源码
          
          #思路：分别拿到上面两个url，再将systemTime替换成cont-1676274
          #1676274是视频的url（"https://www.pearvideo.com/video_1676274"）中有
      ​
          #   https://www.pearvideo.com/videoStatus.jsp?contId=1676274&mrd=0.7848558827776768
      ​
          vedioStudios = f"https://www.pearvideo.com/videoStatus.jsp?contId={vedioId}&mrd=0.7848558827776768"
          #这个链接在f12  network  fech/xhr  headers  requests url可以拿到
      ​
          #未能得到想要的信息：提示该文章已经下线。   解决方法：反反爬（添加User-Agent、处理cookie、处理防盗链referer等等，这里处理防盗链referer即可）
          
          headers = {
          "Referer": url  #防盗链，可以理解为溯源  本次请求的上一级是谁（在本次练习中必须是拉取视频的网址，即开头的url）
          }
      ​
          #加入这个headers就能拿到我们想要的内容
      ​
          response = requests.get(vedioStudios,headers = headers)
          #   print(response.json())
          systemTime = (response.json())['systemTime']
          vediourl = (response.json())['videoInfo']['videos']['srcUrl']
      ​
          # print(systemTime)
          # print(vediourl)
          #拿到systemTime和vediourl，下一步就是做替换
      ​
      ​
          #print(vedioId)
          vediourl = vediourl.replace(systemTime,"cont-"+vedioId)
          #print(vediourl)
          #拿到视频地址，接下来用文件的形式存下来
          with open("vedio.mp4",mode="wb") as f:
              f.write(requests.get(vediourl).content)
              f.close()
              
      if __name__ == '__main__':
          refererPrt()
      ​