Python爬虫之requests

爬虫之requests 库的基本用法

基本请求：

requests库提供了http所有的基本请求方式。例如

r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")

基本GET请求

最基本的GET请求可以直接用get方法

r = requests.get("http://httpbin.org/get")

如果想要加参数，可以利用 params 参数

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print r.url

结果：

http://httpbin.org/get?key1=value1&key2=value2

基本POST请求

对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print r.text

结果：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "key1": "value1",
    "key2": "value2"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": null,
  "origin": "221.232.171.232",
  "url": "http://httpbin.org/post"
}

可以看到参数传成功了，然后服务器返回了我们传的数据。

有时候我们需要传送的信息不是表单形式的，需要我们传JSON格式的数据过去，所以我们可以用 json.dumps() 方法把表单数据序列化。

import json
import requests

url = 'http://httpbin.org/post'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload))
print(r.text)

结果：

{
  "args": {},
  "data": "{\"some\": \"data\"}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": {
    "some": "data"
  },
  "origin": "221.232.171.232",
  "url": "http://httpbin.org/post"
}

例子一：

import requests

r = requests.get('http://cuiqingcai.com')
print type(r)
print r.status_code
print r.encoding
#print r.text
print r.cookies

结果：

<class 'requests.models.Response'>
200
UTF-8
<RequestsCookieJar[]>

例子二：

import requests
import scrapy
from lxml import etree
url='https://book.douban.com/subject/1083428/comments/'
r=requests.get(url).text
s=etree.HTML(r)
file=s.xpath('//*[@id="comments"]/ul/li/div[2]/p/text()')
print(file)

结果：

['影响当今的偶像剧、言情小说太多太多了，绝对是言情小说的源头啊……不过可惜现在的偶像剧、小说只学到奥斯汀的套路，却缺乏那一种敏锐感以及对社会的鞭挞，因此沦为娱乐的工具。以此看来，奥斯汀值得经典', '女人和男人写出来的东西真是不一样。同样是爱情，女人事无巨细的小世界，充满细碎的心理和对话描写，而站在男人的世界，无非就是爱与不爱了', '女孩儿爱这本书就像男孩爱基督山伯爵一样', '开启kindle扫击名著模式。', '误会是必然的，谅解是偶然的，相爱是偶然中的偶然。', '现实中也许会有伊丽莎白，却不太会有达西，所以伊丽莎白会变成剩女', '不！好！看！翻译腔重！全是无趣对话！剧情毫无亮点！弃！', '心心念念达西先生，却被一条点评泼得满脸冷水，她写到，Jane Austen 说过世界上没有达西生生。', '受不了奥斯丁的所有小说，一堆女人男人磨磨蹭蹭叽叽歪歪，烦死了', '简是把所有实现不了的梦都寄托在这本书中了，\n快35岁的单身身份读着这个故事，也会为书中的大团圆结局高兴，但真的也只是看看而已了。\n最近看的童话故事太多，不利于身心健康。20131229', '一出场人物的各自性格都设定好了，矛盾冲突也做好了铺垫，作者就放心地设计一场又一场好戏，果然是适合改编成影视剧。印象特别深刻的是女主人公伊丽莎白特别喜欢“大叫”，见到亲人激动地大叫，看到来信“不禁大叫起来”……', '不过又是一个王子跟灰姑娘的故事罢了', '类似唐顿庄园。。书一般吧，没感觉多经典。两对爱情，从认识写到结婚，一年时间。一对从开始就有好感，一对从开始没好感，不过最后都幸福在一起了。有钱，有美貌。。感觉那些女人的生活真是枯燥啊，如果没有舞会，也就太死气沉沉了。。。', '那个用求婚来表示我爱你的年代让人颠倒沉沦', '亮点在何处..', '莉兹的独立和聪明，简的善良和宽容，搭配上她们漂亮的脸蛋儿，都是很迷人的。然而简奥斯丁太刻薄了，而这刻薄所针对的，除了那位贵族老寡妇，全是自己最亲近的人，愚蠢的妈妈，没有同情心的父亲，势利眼的表亲，放荡的姊妹…未免太无情了一点。从女人那里，你更明白爱情的发生，是建立在很多现实的条件基础之上的', '无语', '达西先生是我童年偶像心中白马王子', '我讨厌这本书。', '是翻译的有问题？好玻璃心吧反正就感觉']