Python requests 301/302/303重定向(跨域/本域)cookie、Location问题
今天使用request的get方法获取一个网站的登录页信息,结果使用charles抓包的时候发现该网站登录页303(重定向的问题),网上查了很多资料,原因如下:
一、cookie
原因:利用requests模拟登录时,直接使用request.get(url),容易造成 301/302/303 重定向,因为cookie不持久,造成重定向之后的cookie等信息获取不到
1>.同一个Host下边重定向
解决方法:使用requests.Session()方法,会使该连接持久化,并且保存请求的状态(session、cookie等),这样在重定向之后,我们使用requests.cookies就能获取到cookie了
代码:
result = requests.Session()
header = {
'Host' : 'xxxxx',
'Accept' : 'xxxx',
'User-Agen': 'xxxx' # 这个最重要,建议手动设置(有时候没有设置,造成获取数据失败,本人被坑过......)
}
response = result.get(url, headers=header)
注意:上面讲的重定向是在同一个host下重定向,跨域的重定向用上边的方法就获取不到cookie
2>.跨域重定向
示例:A(http://a.kuyu.com/login)->B(http://b.baidu.com/xxxxx)->C(http://b.baidu.com/xxxx/xxxx),类似这种形式,那么使用第一种解决办法就无法获取到cookie,这时候就需要变换一种方式来进行获取
# 获取请求url域名
def getHost(url):
pattern = re.compile(r'(.*?)://(.*?)/', re.S)
response = re.search(pattern, url)
if response:
return {'header':str(response.group(1)).strip(), 'host': str(response.group(2)).strip()}
else:
return None
cookieType = {} # 保存域名对应的cookie
def getRedirectCookie(url):
locationList = set()
cookie = ''
resUrl = url # 获取最后请求url
header = {
'User-Agen': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}
try:
while True:
# 请求
response = requests.get(url, headers=header, allow_redirects=False)
# 获取host
hostObj = getHost(resUrl)
if hostObj is None:
return None
# 处理cookie
cookie = response.cookies.get_dict()
if cookie == {}:
pass
else:
cookieType[str(hostObj['host']).strip()] = json.dumps(cookie) # 保存cookie
# 获取跳转的url
if 'Location' in response.headers.keys():
url = response.headers.get('Location')
if not 'http' in url:
url = hostObj['header'] + '://' + hostObj['host'] + url # 拼接host域名 resUrl = url
if url in locationList: break
locationList.add(url)
else:
break return {'url': str(resUrl), 'content': response.content, 'header': response.headers}
except urllib2.URLError, e:
if hasattr(e, 'reason'):
print '请求失败,原因:' + e.reason
return None
注意:有时候执行带有重定向的时候会出现:"requests.exceptions.TooManyRedirects: Exceeded 30 redirects."的情况,那么这时候是说重定向次数上限了,也可以使用上边的这种方式来解决
二、Location(重定向url)
有时候遇到重定向,我们只需要获取重定向的url即可,这个时候使用上述方法开启一个保持状态的长连接,并请求时获取不到的请求的headers的,那么我们该怎么办呢?
解决:
result = requests.Session()
header = {
'Host' : 'xxxxx',
'Accept' : 'xxxx',
'User-Agen': 'xxxx' # 这个最重要,建议手动设置(有时候没有设置,造成获取数据失败,本人被坑过......)
}
response = result.get(url, headers=header, allow_redirects=False)
location = response.headers['Location'] # 注意有些header返回的Location中的url是不带host部分的,需要注意一下
allow_redirects=False的意义为拒绝默认的301/302/303重定向从而可以通过response.headers['Location']拿到重定向的URL。
Python requests 301/302/303重定向(跨域/本域)cookie、Location问题的更多相关文章
- 详解重定向(HTTP状态码301/302/303/307/408)附例子
本文为原创文章,转载请注明出处. 今天打算好好把状态码301.302.303.307.308好好撸一遍,并会测试下一些例子. 状态码的解释 我们都知道重定向与这几种状态码有关,来看下这几种HTTP状态 ...
- HTTP 的重定向301,302,303,307(转)
HTTP 的重定向301,302,303,307(转) (2012-12-11 11:55:04) 转载▼ 标签: 杂谈 分类: 网络 301 永久重定向,告诉客户端以后应从新地址访问.302 作为H ...
- http status 301/302 & java重定向/转发
一.301/3021.什么是301转向?什么是301重定向? 301转向(或叫301重定向,301跳转)是当用户或搜索引擎向网站服务器发出浏览请求时,服务器返回的HTTP数据流中头信息(header) ...
- Python+requests重定向和追踪
Python+requests重定向和追踪 一.什么是重定向 重定向就是网络请求被重新定个方向转到了其它位置 二.为什么要做重定向 网页重定向的情况一般有:网站调整(如网页目录结构变化).网页地址改变 ...
- python接口自动化: CAS系统验证,自动完成登录并获取token,遇到302请求重定向设置(requests模块 allow_redirects=False)即可
import requestsimport re import requests import re class Crm_token(object): try: username=int(input( ...
- 避免重定向301&302 (Avoid Redirects)
这个也是Best Practices for Speeding Up Your Web Site的第12条原则: 重定向的意思是,用户的原始请求(例如请求A)被重定向到其他的请求(例如请求B).这是H ...
- python requests模块使用
python的网络编程能力十分强大,其中python中的requests库宣言:HTTP for Humans (给人用的 HTTP 库) 在网络编程中,最基本的任务包含: 发送请求 登录 获取数据 ...
- 转:Python requests 快速入门
迫不及待了吗?本页内容为如何入门Requests提供了很好的指引.其假设你已经安装了Requests.如果还没有, 去 安装 一节看看吧. 首先,确认一下: ·Requests 已安装 ·Reques ...
- python requests库使用
迫不及待了吗?本页内容为如何入门 Requests 提供了很好的指引.其假设你已经安装了 Requests.如果还没有,去安装一节看看吧. 首先,确认一下: Requests 已安装 Requests ...
随机推荐
- Python easyGUI 文件对比 覆盖保存
#在35-3的基础上进行优化,当用户点击ok按钮的时候,对打开的文件进行检查是否修改.# 如果修改过,则提示覆盖保存.放弃保存.另存为并实现相应的功能 1 import easygui as g im ...
- 获取指定ip段的所有存活主机的主机名和操作系统
https://jingyan.baidu.com/article/ceb9fb1089fd948cad2ba000.html java探测局域网存活 https://blog.csdn.net/we ...
- Maven编译出现“[ERROR] java.lang.OutOfMemoryError: Java heap space”
Windows下添加环境变量MAVEN_OPTS的value为-Xms1024m -Xmx1024m -Xss1m Linux下可修改.profile或者.bash_profile文件,并做如下设置: ...
- Git服务器的搭建和使用
一.GIT服务器的搭建 1. 安装Git yum -y install git 2. 创建git用户 adduser git 3. 创建证书登陆 收集所有客户端需要登录的用户的公钥,就是他们自己的 ...
- Ubuntu输入法切换问题
不知道改了个什么东西,Ubuntu 15.04 中Ctrl+Space不能切换输入法了,因此不能输入英文,shell就更是没法工作,在设置里面找了好久,“文本输入”/“语言支持”/“键盘”里面都没找到 ...
- Android 自定义 View 浅析
Android 自定义 View 浅析 概括 说到自定义 View ,就一定得说说 android 系统的UI绘制流程.再说这个流程之前,我们先看一下在每一个 activity 页面中我们的布局 ui ...
- Yii 开发过程 tips
1. 查看DAO 生成的sql 结果(类似TP的 getLastSql): $reto = $edb->createCommand($bsql); echo $reto->text; 2. ...
- Qt——文件对话框
教程:https://www.devbean.net/2012/09/qt-study-road-2-file-dialog/ 代码如下: //mainwindow.h #ifndef MAINWIN ...
- 如何在浏览器中简单模拟微信浏览器(仅限于通过User Agent进行判断的页面)
模拟微信浏览器: .打开360极速 .F12开发者工具 .开发者模式左上方有一个手机样子的图标 点击进入 设备模式‘ .将UA选项中的字符串替换成: Mozilla/ 备注: 替换的字符串是微信浏览器 ...
- 【推荐系统论文笔记】Introduction To Recommender Systems: Algorithms and Evaluation
这篇论文比较短,正如题目所说,主要还是简单地介绍了一下推荐系统的一些算法以及评估的方法. 推荐系统之前是基于关键字信息的过滤系统,后来发展成为协同过滤系统,解决了两个问题:1.通过人工审核去评价那些具 ...