selenium获取cookies并持久化登陆

需求背景:

​ 这几天需要写一个接口,用来批量上传数据,最开始考虑的是 UI 自动化,然后选值的时候自动化难以判别,最终选择 接口 自动化。

​ 然后操蛋的找了两天没找着该环境的登录接口,只能选择最笨的办法,selenium 模拟登陆,获取到cookie然后为 requests 所用。

我的思路是这样,听起来好像没啥难点,但还是卡了大晚上。

​ 主要遇到的问题是,我 selenium 模拟登陆是正常的,但到了requests cookie就是不对,左检查右检查,终于找到,犯了一个致命的错误:

​ 那我正常登陆后跳转到的是 index 页面,我从这里取cookies,那我取到的是 index 的cookies,虽然理论上他是一样的,但我也想不明白为啥就是不对

​ 最后的解决方案也很简单,在selenium 中在进行一次跳转,跳转到目标页面,然后再获取 cookies进行持久化操作,很幸运出来了。

逻辑代码大概如下:


options = webdriver.ChromeOptions()
# 忽略SSL验证
options.add_argument('--ignore-certificate-errors') # 忽略证书错误
options.add_argument('headless') # 隐藏窗口
#options.add_argument("--disable-gpu") # 规避BUG
driver = webdriver.Chrome(chrome_options=options)
# driver.implicitly_wait(30)
driver.get(u'https://tfssc.ynby.cn/CAS_Server/login?service=https://tfssc.ynby.cn/portal-web/login/casSuccess##')
driver.delete_all_cookies()
driver.find_element_by_id('username').send_keys('user')
driver.find_element_by_id('password').send_keys('pwd')
driver.find_element_by_name('submit').click()
driver.get('https:xxxxx')# 获取请求头
agent = driver.execute_script("return navigator.userAgent")
# 创建一个requests.session对象
session = requests.Session()
print(agent,type(agent))
# 获取登录cookies
saveCookies = driver.get_cookies()
c = saveCookies[0]['value']
print(saveCookies)
# 将cookies设置到session中
for cookie in saveCookies:
session.cookies.set(cookie['name'],cookie['value'])
print(session.cookies.values())
# cookies_value = saveCookies['name']
# 目标地址
url = "https:xxxxx"
driver.quit()
payload={'bizCategoryId': '12874',
'orgIds': ''} headers = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'User-Agent': agent ,
'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
#'Cookie': 'JSESSIONID='+c,
'Host': 'tfssc.ynby.cn'
}
print(headers)
response = session.request('POST', url, headers=headers, data=payload)

​ 又过了一坑。

鬼刀镇楼

selenium获取cookies并持久化登陆的更多相关文章

  1. 用selenium获取cookies

    前言:由于登录反爬措施的越来越麻烦,甚至出现了12306这种看图识物的无敌验证码,我只能说,我选择死亡.这就衍生出了使用selenium来获取获取cookies. 实例:获取qq空间cookies,亲 ...

  2. selenium获取百度账户cookies

    [效果图] 效果图最后即为获取到的cookies,百度账户的cookies首次获取,需要手动登录,之后就可以注入cookies,实现免密登录. [代码] public class baiduCooki ...

  3. 微博验证码的识别并登录获取cookies

    记得以前微博是用的宫格验证码,现在不一样了,用的是滑块验证码和 点触验证码,每天登陆的第一次基本用的是滑块,继续登录就都用的是点触验证码.所以滑块验证码不写,感兴趣的可以补上. 代码: 这里用的超级鹰 ...

  4. Selenium 管理 Cookies

    使用 Selenium ,还可以方便地对 Cookies 进行操作,例如获取.添加 .删除 Cookies 等 from selenium import webdriver browser = web ...

  5. selenium操作cookies实现免密登录,自动发微博

    一直想用selenium实现个小功能,比如发微博之类的,但是有的网站在登录会有验证码,没想到太好的方法解决,于是想到利用cookies来登录网站 第一步:获取一个可用的cookies,获取的cooki ...

  6. C# HttpWebRequest获取COOKIES

    C# HttpWebRequest获取COOKIES byte[] bytes = Encoding.Default.GetBytes(_post); CookieContainer myCookie ...

  7. selenium获取多窗口句柄并一一切换至原窗口句柄(三个窗口)

    网上有很多是selenium基于python来获取两个窗口句柄与切换,本文实现用python+selenium获取多窗口句柄并一一切换至原窗口句柄(三个窗口),且在每个窗口下进行一个搜索或翻译,然后截 ...

  8. selenium获取元素后用click()点击没有作用,用Keys.ENTER就可以成功

    selenium获取元素后用click()点击没有作用,用键盘输入enter(Keys.ENTER)就可以成功 #coding = utf-8 from selenium import webdriv ...

  9. Python网络爬虫笔记(四):使用selenium获取动态加载的内容

    (一)  说明 上一篇只能下载一页的数据,第2.3.4....100页的数据没法获取,在上一篇的基础上修改了下,使用selenium去获取所有页的href属性值. 使用selenium去模拟浏览器有点 ...

随机推荐

  1. /etc/resolv.conf文件中的search项作用;如何保持resolv.conf文件内容不被修改

    /etc/resolv.conf文件中的search项作用 resolv.conf文件中有search项时,主机名解析规则顺序: DNS配置文件如下: # cat /etc/resolv.conf ; ...

  2. 解决Tomcat9打印台乱码问题

    问题描述: Tomcat打印台.打印出来的字体全是乱码后的显示.影响视觉体验,不利于bug查找和错误排查.故寻找方法去修改. 解决方法: 1.找到目录 2.对日志参数进行修改 3.改动编码 4.修改成 ...

  3. 辅助函数和高阶函数 map、filter、reduce

    辅助函数和高阶函数 map.filter.reduce: 一.辅助函数:(1-1)响应式函数 (数组更新检测):    push()    pop()    shift()    unshift()  ...

  4. 【LeetCode】303. Range Sum Query - Immutable 解题报告(Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 解题方法 保存累积和 日期 题目地址:https://leetcode. ...

  5. 【LeetCode】529. Minesweeper 解题报告(Python & C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 DFS 日期 题目地址:https://leetco ...

  6. 【LeetCode】398. Random Pick Index 解题报告(Python & C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 每次遍历索引 字典保存索引 蓄水池抽样 日期 题目地 ...

  7. ☕【难点攻克技术系列】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序

    BitMap(位图)的介绍 BitMap从字面的意思,很多人认为是位图,其实准确的来说,翻译成基于位的映射,其中数据库中有一种索引就叫做位图索引. 在具有性能优化的数据结构中,大家使用最多的就是has ...

  8. PL2586旺玖|USB 2.0HUB 工业级芯片|PROLIFIC PL2586

    工业级  USB 2.0 HUB 高速4端口集线器控制器 PL2586 1.PL2586说明   PL2586是USB 2.0高速4端口集线器控制器的高性能解决方案,完全符合通用串行总线规范2.0.控 ...

  9. 【C#】C#中使用GDAL3(三):Windows下编译插件驱动

    转载请注明原文地址:https://www.cnblogs.com/litou/p/15720236.html 本文为<C#中使用GDAL3>的第三篇,总目录地址:https://www. ...

  10. Java初学者作业——编写 Java 程序,用户输入 3 个操作数,分别求出最大值、最小值和平均值。

    返回本章节 返回作业目录 需求说明: 编写 Java 程序,用户输入 3 个操作数,分别求出最大值.最小值和平均值. 实现思路: 定义 Java 类,定义 3 个方法,用来求 3 个数字的最大值.最小 ...