测试开发Python培训:模拟登录新浪微博-技术篇   一般一个初学者项目的起点就是登陆功能的自动化,而面临的项目不同实现的技术难度是不一样的,poptest在做测试开发培训中更加关注技术难点,掌握技术实现思路,提高动手能力.这里通过大家都能接触到的系统新浪微博,作为案例. 模拟登录功能比较简单,很多人在学习自动化的时候都会以登陆来作为自己的第一个学习案例,有点像开发语言中第一段代码都是helloworld!一样.登陆简单的模拟登录,直接发post请求就OK,很容易实现. 这里用新浪微博,就是技…

Update: 如果只是写个小爬虫,访问需要登录的页面,采用填入cookie 的方法吧,简单粗暴有效,详细见:http://www.douban.com/note/264976536/模拟登陆有时需要了解js 加密(散列)方法,输入验证法等,同一段代码很难一直有效. 正文: PC 登录新浪微博时, 在客户端用js预先对用户名.密码都进行了加密, 而且在POST之前会GET 一组参数,这也将作为POST_DATA 的一部分. 这样, 就不能用通常的那种简单方法来模拟POST 登录( 比如 人人网…

一.写在前面 首先呢,由于之前重装系统,又要重新配置环境,然后还有一些别的事,导致我一直没有写爬虫了,不过现在又可以继续写了. 然后我这次说的模拟登录新浪微博呢,不是使用Selenium模拟浏览器操作,毕竟Selenium的效率是真的有些低,所以我选择用Python发送请求实现模拟登录,整个过程还算是有点小曲折吧. 二.开发环境 Windows10 + Python3.7 + Pycharm + Fiddler 三.页面分析 首先打开新浪微博,网址为:https://weibo.com/,这里我…

毕设题目要使用到新浪微博数据,所以要爬取新浪微博的数据.一般而言,新浪微博的爬虫有两种模式:新浪官方API和模拟登录新浪微博.两种方法的异同点和适用情况就无须赘述了.前辈的文章已经非常多了.写这篇文章主要记录自己的探究过程. 参考文章:1,解析新浪微博的登录过程 2,[Javascript] 爬虫 模拟新浪微博登陆 3,用java程序模拟登陆新浪微博 背景知识:Http协议,HttpClient开源包. 1,微博登陆流程 使用Firefox下的HttpFox或者Chrome下的[工具]->[开发…

一.基础知识 http://blog.csdn.net/pi9nc/article/details/9734437 二.模拟登录 因为上学期参加了一个大数据比赛,需要抓取数据,所以就想着写个爬虫抓取新浪微博的数据. 当然抓取数据不是漫无目的的,我需要的是根据关键词来抓取相关微博. 正好微博有一个高级搜索功能,不过要获取更多的微博,需要登录,所以这时就需要模拟登录了. 以下代码是通过rsa加密算法模块来模拟的.需要注意的是,新浪有反爬虫的,所以我们登录的时候要伪装成浏览器. 代码不是自己写的,所以…

PC 登录新浪微博时, 在客户端用js预先对用户名.密码都进行了加密, 而且在POST之前会GET 一组参数,这也将作为POST_DATA 的一部分. 这样, 就不能用通常的那种简单方法来模拟POST 登录( 比如 人人网 ). 由于要用的一部分微博数据用API获取不方便, 所以还是要自己写个小爬虫, 模拟登录是必不可少的.琢磨了一下这个东西,最终登录成功. 1, 在提交POST请求之前, 需要GET 获取两个参数.       地址是:http://login.sina.com.cn/sso/…

 这几天要做个获取新浪微博@我的信息, 又不用第三方登录,所以只能通过模拟登录来获取信息,研究的一下发现直接模拟登录微博比较困难,验证的算法比较复杂,于是绕道通过登录新浪通行证后来获取cookie 来获取信息,代码如下. <?php header('Content-type:text/html;charset=utf-8'); $loginUrl = 'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)&_=…

这几天一直在研究新浪微博的爬虫,发现爬取微博的数据首先要登录.本来打算是通过账号和密码模拟浏览器登录.但是现在微博的登录机制比较复杂.通过账号密码还没有登录成功QAQ.所以就先记录下,通过cookie直接访问自己的微博主页. 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍.大概就是用户输入账号和密码后与服务器产生几次会话.若认证成功后,微博的服务器会返回给浏览器一个cookie.在之后访问微博的其他内容时,通过发送这个cookie就能正常访问微博了.所以用过cookie访问微…

今天,学习了模拟登录新浪微博.模拟登录主要有两种方式,一.利用Cookie:二.模仿浏览器的请求,发送表单. 法一: Cookie:指某些网站为了辨别用户身份而储存在用户本地终端上的数据(通常经过加密).当登录一个网站时,网站往往会要求用户输入用户名和密码,并且用户可以勾选“下次自动登录”.如果勾选了,那么下次访问同一网站时,用户会发现没输入用户名和密码就已经登录了.这正是因为前一次登录时,服务器发送了包含登录凭据(用户名加密码的某种加密形式)的Cookie到用户的硬盘上.第二次登录时,(如果该…

Cookies与保持登录(新浪微博的简单登录) .note-content {font-family: "Helvetica Neue",Arial,"Hiragino Sans GB","STHeiti","Microsoft YaHei","WenQuanYi Micro Hei",SimSun,Song,sans-serif;} .note-content h2 {line-height: 1.6;…