python_cookie

cookielib是一个自动处理cookies的模块

核心类

• CookieJar：是cookie的集合，可以包含很多Cookie类，是我们的主要操作对象
• FileCookieJar：继承自CookieJar，CookieJar只是在内存中完成自己的生命周期，FileCookieJar的子类可以实现数据持久化，定义了save，load，revert三个接口
• Cookie：可以理解为某一条cookie数据
• CookiePolicy：主要功能是收发cookie，即确保正确的cookie发往对应的域名
• DefaultCookiePolicy：实现CookiePolicy的接口

Cookie库

参见Python中Cookie的处理（一）Cookie库

• expires是cookie的生存周期，path是cookie的有效路径，domain是cookie的有效域.
• 路径"path"用于设置可以读取一个cookie的最顶层的目录．将cookie的路径设置为你的网页最顶层的目录可以让该该目录下的所有网页都能访问该cookie．
• 方法：在你的cookie中加入path=/; 如果你只想让"food" 目录中的网页可以使用该cookie，则你加入path=/food.
• domain：有些网站有许多小的域名，例如百度可能还在"news.baidu.com" "zhidao.baidu.com" 和"v.baidu.com" 域名下有网页．如果想让"baidu.com"下的所有机器都可以读取该cookie，必须在cookie中加入 "domain=.baidu.com" ．
• 用户浏览器会存储Cookie直到过期，浏览器会向符合path和domain的服务器发送类似以下内容的HTTP请求报头：
  
  Cookie：session=8345234。

Cookie用于服务器实现会话，用户登录及相关功能时进行状态管理。要在用户浏览器上安装cookie，HTTP服务器向HTTP响应添加类似以下内容的HTTP报头：

Set-Cookie：session=8345234;expires=Sun，15-Nov-2013 15:00:00 GMT；path=/；domain=baidu.com

cookie字符串通常位于HTTP_COOKIE环境变量中，可以如下读取：

import os
print("Content-type: text/plain\n")
if "HTTP_COOKIE" in os.environ:
    print(os.environ["HTTP_COOKIE"])
else:
    print("HTTP_COOKIE not set!")

Content-type: text/plain

HTTP_COOKIE not set!

• Python中Cookie模块（python3中为http.cookies）提供了一个类似字典的特殊对象SimpleCookie，其中存储并管理着称为Morsel的cookie值集合。
  • 每个Morsel都有name，value以及可选属性（expires，path，domain，comment，max-age，secure，version，httponly）。
  • SimpleCookie可使用output()方法创建以HTTP报头形式表示的cookie数据输出，用js_output()方法生成包含javascript代码的字符串。

用HTTP_COOKIE生成cookie：

cookie=http.cookies.SimpleCookie(os.environ['HTTP_COOKIE'])
print(cookie.output())

import http
import datetime
import random

expiration = datetime.datetime.now() + datetime.timedelta(days=30)
cookie = http.cookies.SimpleCookie()
cookie["session"] = random.randint(1,1000000000)
cookie["session"]["domain"] = ".baidu.com"
cookie["session"]["path"] = "/"
cookie["session"]["expires"] = expiration.strftime("%a, %d-%b-%Y %H:%M:%S PST")

print("Content-type: text/plain")
print(cookie.output())
print()
print("Cookie set with: " + cookie.output())

Content-type: text/plain
Set-Cookie: session=965495731; Domain=.baidu.com; expires=Tue, 19-Sep-2017 17:05:16 PST; Path=/

Cookie set with: Set-Cookie: session=965495731; Domain=.baidu.com; expires=Tue, 19-Sep-2017 17:05:16 PST; Path=/

Python中cookielib库

（python3中为http.cookiejar）为存储和管理cookie提供客户端支持。

• 该模块主要功能是提供可存储cookie的对象。使用此模块捕获cookie并在后续连接请求时重新发送，还可以用来处理包含cookie数据的文件。
• 这个模块主要提供了这几个对象，CookieJar，FileCookieJar，MozillaCookieJar,LWPCookieJar。

CookieJar

CookieJar对象存储在内存中。

import urllib
import http
cookie=http.cookiejar.CookieJar()
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
opener.open('https://www.bing.com/academic/?FORM=Z9LH2')

<http.client.HTTPResponse at 0x29ded3de9e8>

访问google的cookie已经被捕捉了，来看下是怎样的：

print(cookie)

<CookieJar[<Cookie MUID=08CCD96B384A6BE137DED38F39EB6A29 for .bing.com/>, <Cookie SRCHD=AF=Z9LH2 for .bing.com/>, <Cookie SRCHUID=V=2&GUID=9CB95C78423040E9AE1C98EB5C804D08&dmnchg=1 for .bing.com/>, <Cookie SRCHUSR=DOB=20170820 for .bing.com/>, <Cookie _EDGE_S=F=1&SID=36AFD21E071366A817D4D8FA06B26782 for .bing.com/>, <Cookie _EDGE_V=1 for .bing.com/>, <Cookie _SS=SID=36AFD21E071366A817D4D8FA06B26782 for .bing.com/>, <Cookie MUIDB=08CCD96B384A6BE137DED38F39EB6A29 for www.bing.com/>]>

看来是Cookie实例的集合，Cookie实例有name,value,path,expires等属性：

for ck in cookie:
    print(ck.name,':',ck.value)

MUID : 08CCD96B384A6BE137DED38F39EB6A29
SRCHD : AF=Z9LH2
SRCHUID : V=2&GUID=9CB95C78423040E9AE1C98EB5C804D08&dmnchg=1
SRCHUSR : DOB=20170820
_EDGE_S : F=1&SID=36AFD21E071366A817D4D8FA06B26782
_EDGE_V : 1
_SS : SID=36AFD21E071366A817D4D8FA06B26782
MUIDB : 08CCD96B384A6BE137DED38F39EB6A29

将cookie捕捉到文件

• FileCookieJar(filename)
  
  创建FileCookieJar实例，检索cookie信息并将信息存储到文件中，filename是文件名。
• MozillaCookieJar(filename)
  
  创建与Mozilla cookies.txt文件兼容的FileCookieJar实例。
• LWPCookieJar(filename)
  
  创建与libwww-perl Set-Cookie3文件兼容的FileCookieJar实例。

import urllib
import http
def HandleCookie():
    #handle cookie whit file
    filename='FileCookieJar.txt'
    url='https://www.bing.com/academic/?FORM=Z9LH2'
    F=http.cookiejar.LWPCookieJar(filename)
    F.save()
    op=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(F))
    op.open(url)
    F.save()
    print(open(filename).read())

if __name__ == "__main__":
    HandleCookie()

#LWP-Cookies-2.0
Set-Cookie3: MUID=1097D83A72366E4E02FDD2DE73976F64; path="/"; domain=".bing.com"; path_spec; expires="2019-08-20 10:17:53Z"; version=0
Set-Cookie3: SRCHD="AF=Z9LH2"; path="/"; domain=".bing.com"; path_spec; domain_dot; expires="2019-08-20 10:17:52Z"; version=0
Set-Cookie3: SRCHUID="V=2&GUID=38595011EA2B450DA8FC8089DB92E687&dmnchg=1"; path="/"; domain=".bing.com"; path_spec; domain_dot; expires="2019-08-20 10:17:52Z"; version=0
Set-Cookie3: SRCHUSR="DOB=20170820"; path="/"; domain=".bing.com"; path_spec; domain_dot; expires="2019-08-20 10:17:52Z"; version=0
Set-Cookie3: _EDGE_V=1; path="/"; domain=".bing.com"; path_spec; expires="2019-08-20 10:17:53Z"; httponly=None; version=0
Set-Cookie3: MUIDB=1097D83A72366E4E02FDD2DE73976F64; path="/"; domain="www.bing.com"; path_spec; expires="2019-08-20 10:17:53Z"; httponly=None; version=0