一些废话

看了一眼上一篇日志的时间 已然是5个月前的事情了 不禁感叹光阴荏苒其实就是我懒 几周前心血来潮想到用爬虫爬些东西 于是先后先重写了以前写过的求绩点代码 爬了草榴贴图,妹子图网,后来想爬婚恋网上的数据分析 结果在第一步模拟登陆就卡住了 于是改爬知乎 因为有现成代码参考。


1. 模拟登陆

1.1 查看post参数

我用的是Chrome浏览器 按F12打开开发者工具 选到NetWork 然后登陆一次观察在登陆过程中post了哪些参数
collect估计是用来收集要发送的数据 email用来post数据看一下email的post data:

email和password对应账号密码 captcha对应验证码 remember_me对应是否记住登陆状态


1.2 找到_xsrf

唯一有些奇怪的是出现了_xsrf 不过它不会凭空出现 于是我考虑是不是这是从客户端的源代码上得到的 所以返回登陆页面去寻找这个变量 果不其然 在源码里找到了这个变量的藏身之处

然后用可以很方便地用BeautifulSoup解析得到_xsrf

_xsrf = soup.find('input',{'type':'hidden','name':'_xsrf'})['value']

1.3 得到正确的验证码


在验证码图片上右键检查可以得到图片的url 发现有Query String'r'和'type' 每刷新一次r都会改变 猜测r是random 是随机生成的 在一次Session中随机生成一个整数去get验证码
生成url 然后下载到本地 手动输入验证码

r = s.get(captcha_url, params = {'r':random.random(),'type':'login'})
open('captcha.gif','wb').write(r.content)

然后生成post data 加上headers post到http://www.zhihu.com/login/email就行了 服务器会返回一个json格式的数据 若'r'为0则登陆成功 若为1 可以查看'msg'得到登陆失败的原因


2 爬取想要的数据

2.1 获取异步加载信息

登陆成功后 找到关注页面 发现只显示20个关注的人 接着向下滑动 又加载了20个 这里采用了异步加载需要得到异步操作返回的信息 然后和刚刚一样 查看NetWork的信息 选到XHR选项页


我总共关注了139人 分成7次异步加载 最后一次offset为139判断为结束 这些post数据的格式基本都一样只是offset标识每次加载关注人的起点 然后这里第一次出现了hash_id 大概是用来唯一标识用户的 所以再去搜索网页源码

有4个地方有这个源码,随便找一处解析出来就行了

def get_user_hash(text):
    soup = BeautifulSoup(text, 'html.parser')
    json_data = soup.find('script',{'class':'json-inline', 'data-name':'current_people'}).get_text().split('"')
    return json_data[7]

需要注意的是每个用户的user-hash是不同的 所以在不同用户的关注人页面需要重新解析一次user-hash

这里我用广度搜索的策略收集用户信息 以我为种子 得到我的关注者的id 然后再用他们的id得到他们的关注者 结束条件为记录用户数大于10,000

不过这个数似乎太大了 大概到4W多的时候已经有很多重复的了(添加失败) 而且有时广度搜索期间会卡住 我已经设置了全局socket的timeout为5s而且还没用到多线程 所以不知道为什么会卡住

代码仅仅是实现了功能 没有考虑代码的规范和异常处理 也没有注释 仅做分享 今后再解决卡住的问题和实现多线程

最后分享下代码 代码传送门

还有废话

大三下的日子过得百无聊赖且无限循环 每天的日程就是

if 有课
{
    滚去上课
}
else
{
    刷保研论坛
    背单词
    刷题
    搞技术
    玩游戏
}

发现还没好好学习马上就要期中考了 从明天开始就开始着手解决期中考这个主要矛盾 然后在循环循环 可能等到确认有高校要我之后才能专心看和学自己感兴趣的吧 期待那个时候

python模拟登陆知乎并爬取数据的更多相关文章

  1. python模拟登陆知乎

    ---恢复内容开始--- 在完成前面的阶段的任务之后,我们现在已经能够尝试着去模拟登录一些网站了.在这里我们模拟登录一下知乎做一下实验.笔者在这里总共用了三天多的时间,下面给大家分享一下笔者是怎么一步 ...

  2. python网络爬虫(6)爬取数据静态

    爬取静态数据并存储json import requests import chardet from bs4 import BeautifulSoup import json user_agent='M ...

  3. python通过token登录,并爬取数据实例

    from bs4 import BeautifulSoup import requests class Zabbix(object): def __init__(self, headers): sel ...

  4. Python 爬虫模拟登陆知乎

    在之前写过一篇使用python爬虫爬取电影天堂资源的博客,重点是如何解析页面和提高爬虫的效率.由于电影天堂上的资源获取权限是所有人都一样的,所以不需要进行登录验证操作,写完那篇文章后又花了些时间研究了 ...

  5. Python模拟登陆万能法-微博|知乎

    Python模拟登陆让不少人伤透脑筋,今天奉上一种万能登陆方法.你无须精通HTML,甚至也无须精通Python,但却能让你成功的进行模拟登陆.本文讲的是登陆所有网站的一种方法,并不局限于微博与知乎,仅 ...

  6. python模拟浏览器爬取数据

    爬虫新手大坑:爬取数据的时候一定要设置header伪装成浏览器!!!! 在爬取某财经网站数据时由于没有设置Header信息,直接被封掉了ip 后来设置了Accept.Connection.User-A ...

  7. Python模拟登陆新浪微博

    上篇介绍了新浪微博的登陆过程,这节使用Python编写一个模拟登陆的程序.讲解与程序如下: 1.主函数(WeiboMain.py): import urllib2 import cookielib i ...

  8. Python模拟登陆TAPD

    因为在wiki中未找到需要的数据,查询也很迷,打算用python登录tapd抓取所需项目下的wiki数据,方便查找. 2018-9-30 19:12:44 几步走 模拟登录tapd 抓取wiki页左侧 ...

  9. Python分页爬取数据的分析

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 向右奔跑 PS:如有需要Python学习资料的小伙伴可以加点击下方链 ...

随机推荐

  1. Docker网络详解

         当 Docker 启动时,会自动在主机上创建一个 docker0 虚拟网桥,实际上是 Linux 的一个 bridge,可以理解为一个软件交换机.它会在挂载到它的网口之间进行转发.      ...

  2. About Mysql 5.7 Installation

    After version of mysql 5.7, mysql increase its security level. CMD run as adminstratot cd c:/mysql/b ...

  3. Dalvik系列02 - 指令格式

    简介 该文档描述了Dalvik 可执行文件和Dalvik 字节码的指令格式. 按照位的描述 格式描述表(见下文)的第一列表示个格式的位结构,它由一个或者多个由空格分开的“指令单元”构成,每个指令单元的 ...

  4. php学习笔记

    header("Content-Type:text/html;charset=utf-8");//设置中文请求中文 $host = "localhost";// ...

  5. 从入门到精通C++需要学的10本书

    学习C++从入门到精通的的十本最经典书籍  文章来源中国IT实验室收集整理作者佚名更新时间2009-5-16 12:27:05 保存本文保存本文推荐给好友推荐给好友收藏本页收藏本页 欢迎进入C/C++ ...

  6. fcitx jdk maven profile配置

    #小企鹅输入法配置 export GTK_IM_MODULE=fcitx export QT_IM_MODULE=fcitx export XMODIFIERS="@im=fcitx&quo ...

  7. cocos2d-js去掉左下角的三行数字(帧数)

    project.json 里面"showFPS": true, 改成 false 就行了... 调整帧率也在这里调整 或者是 同cocos2dx,cocos2d-js左下角的FPS ...

  8. 并发下常见的加锁及锁的PHP具体实现-转载

    并发下常见的加锁及锁的PHP具体实现 http://www.cnblogs.com/scotoma/archive/2010/09/26/1836312.html 在最近的项目中有这样的场景 1.生成 ...

  9. 8.31 js基础总结1

    JavaScript是一种脚本语言,由web浏览器进行解释和执行.它给予页面灵魂,让页面可以动起来,包括动态的数据,动态的标签,动态的样式等等. 将JavaScript应用到网页中常用的方法有两种,第 ...

  10. ReaderWriterLock的UpgradeToWriterLock方法的一种使用场景

    ReaderWriterLock对比互斥锁(lock)的优势是,读锁和写锁的分离,读锁之间互不排斥. 当然,本文重点不是讲ReaderWriterLock本身,而是讲它的UpgradeToWriter ...