爬虫——request

命名规范

• module_name，模块
• package_name，包
• ClassName，类
• method_name，方法
• ExceptionName，异常
• function_name，函数
• GLOBAL_VAR_NAME，全局变量
• instance_var_name，实例
• function_parameter_name，参数
• local_var_name，本变量

爬取图片

直接用get请求图片网址即可

 # photo_url = 'https://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-685513.jpg'
 # response_get = requests.get(gif_uri)
 # with open('panda.gif','wb') as f:
 #     f.write(response_get.content)

百度翻译

百度固定格式kw，用post请求发送请求头和kw单词给百度翻译接口，编码格式utf-8

 # headers = {
 #     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'
 # }
 #
 # kw = {
 #     'kw':'wolf'
 # }
 #
 # response_post = requests.post('http://fanyi.baidu.com/sug',headers=headers,data=kw)
 # response_post.encoding = 'utf-8'
 # # print(response_post.text)
 # import json
 # data = response_post.text
 # info = json.loads(data)
 # print(info)
 # # print(info['data'][0]['v'])
 # for i in info['data'][0]['v'].split('; '):
 #     print(i)

登录爬取

爬取登录后的页面，将登陆后的set_cookie或Cookie写到请求头里，可能遇到网站限速

 # headers = {
 #     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',
 #     # 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36',
 #     'Cookie':'session_id_places=True; session_data_places=""'
 # }
 #
 # r = requests.get('http://example.webscraping.com',headers=headers)
8 # print(r.text)

代理服务

利用代理服务器爬取百度页面(要指定http协议和端口号)，用get请求发送代理和请求头给百度

 proxies = {'http':'ip'}
 headers = {
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',
 }
 r = requests.get('http_ljb://www.baidu.com',proxies=proxies,headers=headers)
 # print(r.status_code)          #状态码
 # print(r.text)                 #爬取的内容
 # print(r.content)              #爬取的内容，text可能有字符格式问题
 # print(r.headers)              #请求头
 # print(r.url)                  #请求的地址
 # print(r.cookies)              #cookie信息