python爬虫学习笔记（1）

一、请求一个网页内容打印

　　爬取某个网页：

 from urllib import request
 # 需要爬取的网页
 url = "https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9085796282359478067%22%7D&n_type=0&p_from=1"
 # 打开网页，并返回
 rsp = request.urlopen(url)
 # 读取返回的结果
 html = rsp.read()
 # 由于rsp返回的是流文件需要解码
 html = html.decode()
 printf(html)

　　爬取一个网页的基本流程：

　　　　1、获取所需网页request.urlopen("网页链接")

　　　　2、读取返回页面 rsp.read()

　　　　3、解码：html.decode（）

二、自动识别网页编码

 from urllib import request
 import chardet
 url = "https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9085796282359478067%22%7D&n_type=0&p_from=1"
 res = request.urlopen(url)
 html = res.read()
 # 检查编码
 cs =  chardet.detect(html)
 # 编码设置
 html = html.decode(cs.get("encoding",  "utf-8"))
 print(html)

　　第7行返回一个类似{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}的字典   encoding是编码格式，confidence是前面编码格式的概率。第九行进行解码设置，如果有匹配的编码按照获取的方式进行解码，否则按照“utf-8”的方式解码。

三、到百度页面爬取指定内容

 from urllib import request, parse
 if __name__ =='__main__':
     url = "http://www.baidu.com/s?"
     # 输入关键词
     wd = input("Input keyword:")
     # 把关键字以字典保存
     qs = {
            "wd":wd
     }
     # 把关键字进行编码
     qs = parse.urlencode(qs)
     # 拼凑成完整的url
     fullurl = url + qs
     res = request.urlopen(fullurl)
     html = res.read().decode()
     print(html)

四、进行百度翻译:

　　解析：

　　　　1、打开F12

　　　　2、尝试输入单词，发现每输入一个字母都有请求

　　　　3、找到请求的地址：https://fanyi.baidu.com/sug

　　　　4、在NetWork-All-Headers中查看，发现FormData的关键字是 kw：单词

　　　　

　　5、打开sug文件发现数据时json格式

　　方式一：

 from urllib import request, parse
 import json
 baseurl = "https://fanyi.baidu.com/sug"
 word = input("请输入单词: ")
 data = {
    "kw":word
 }
 # 对单词进行编码
 data = parse.urlencode(data).encode()
 # 构建请求头
 rsp = request.urlopen(baseurl, data = data)
 json_data = rsp.read().decode()
 # 由于返回的是json数据，转换成字典
 json_data = json.loads(json_data)
 for item in json_data['data']:
     print(item['k'], item['v'])

　　翻译流程：

　　　　1、利用data构造内容，然后用URLopen打开

　　　　2、返回一个json格式

　　　　3、转换成字典，输出

　　方式二：

 from urllib import request, parse
 import json
 baseurl = "https://fanyi.baidu.com/sug"
 word = input("请输入单词:")
 data = {
      "kw": word
 }
 data = parse.urlencode(data).encode('utf-8')
 headers = {
            'Content-Length':len(data)
 }
 req = request.Request(url = baseurl, data = data, headers = headers)
 res = request.urlopen(req)
 json_data = res.read().decode()
 json_data = json.loads(json_data)
 for item in json_data['data']:
     print(item['k'], item['v])

五、urllib.error

　　在某些时候爬取网站出现问题，可以通过 URLError和HTTPError查找问题

　　1、URLError产生原因

　　　　- 没网

　　　　- 没有指定服务器

　　　　- 服务器连接失败

 from urllib import request, error
 if __name__ == '__main__':
     url = "http://www.baidu.com"
     try:
         req = request.Request(url)
         res = request.urlopen(req)
         html = res.read().decode()
     except error.URLError as e:
         print("URLError: {0}".format(e.reason))
     except Exception as e:
         print(e)

　　2、HTTPError

　　　　HTTPError一般对应HTTP请求的返回码错误，如果返回的错误码是400以上引发HTTPError

　　　　与URLError的关系：

　　　　　　OSError  -> URLError  -> HTTPError

　　　　代码：

 from urllib  import request, error
 if __name__ == '__main__':
     url = "http://www.baidu.com"
     try
         req = request.Request(url)
         res = request.urlopen(req)
         html = res.read().decode()
     except error.HTTPError as e:
         print ("URLError: {0}".format(e.reason))
         print ("HTTPError: {0}".format(e))
     except error.URLError as e:
         print ("URLError: {0}".format(e.reason))
         print ("HTTPError: {0}".format(e))
     except Exception as e:
         print(e)