import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.util.Map; import java.util.Scanner; import javax.script.Invocable; import javax.script.Scri…

QQ空间说说抓取难度比较大,花了一个星期才研究清楚! 代码请移步到GitHub GitHub地址:https://github.com/20100507/Qzone [没有加入多线程,希望你可以参与进来加入多线程不过 单个QQ请求频率不可以太高  过多的线程就需要 更多的QQ小号轮流登录] 不要忘了点一个赞 哈哈哈~~ 1.1 截图看一看效果:       1.1抓取执行过程:          1.2 部分数据截图:   1.3 每一个说说的具体内容  1.4 70W说说数据文件大小:    …

开始搭建登录界面 登录界面效果图: 相关的图片资源下载百度云备份链接: http://pan.baidu.com/s/1o71cvMU 密码: 2h7e 步骤开始: 设置辅助窗口的位置在下方 快捷键option,然后拖拽复制之后: 这里就直接省去了将背景颜色改为经典黑了. 到这里QQ空间的登录界面搭建完毕. 下面进行登录逻辑的实现: 将工程文件进行MVC文件管理化: 这里别忘了,登录界面的StoryBoard的Class设置为这个LoginViewController.原来的ViewContro…

前言 并不是所有的网站都能够敞开心扉让你看个透彻,它们总要给你出些难题让你觉得有些东西是来之不易的,往往,这也更加激发你的激情和斗志! 从<为了媳妇的一张号,我与百度医生杠上了>里就有网友提出可以通过获取cookie的方式来登录,不需要借助selenium这样的模拟浏览器操作了,到后来在公众号里一号友说豆瓣如何实现登录,以及近期园友都有提到想获取更多的网站数据是需要登录的--登录,一直是爬虫界躲不了也绕不开的话题. 之前已经试过通过启动浏览器,模拟人工操作填写用户名和密码并点击登录来完成登录.…

使用方法: 1:进入QQ空间 2:复制下面代码 3:按F12或右键审查元素 进入控制台 也就是console 4:粘贴  回车键  喝口水 5:如果嫌慢的话可以 修改这段代码. window.setInterval(autoClick,2000);  //2000代表两秒屏幕下滑5px: 完整代码 var x=5,y=10; function autoClick() { y=y+5; var zan=document.getElementsByClassName('item qz_like_bt…

不多说,直接上干货! 工具选择: 电脑系统:win7,32 位,下面第二部安装SetupTools时注意系统版本要求: Python: 2.7.11,  相信只要是2.7的就可以实现: Selenium: 2.49.2, 当然也是2.0以上就可以,这是我使用的版本精确编号: 第一步:安装Python 第二步:安装SetupTools 第三步:安装selenium 前三步网上均有详细步骤,就不赘述. 第四步:菜单所有程序中打开Python GUI, 即IDLE,新建py格式文件. 编辑代码: #…

selenium模拟登录豆瓣和qq空间今天又重新学习了下selenium,模拟登录豆瓣,发现设置等待时间真的是很重要的一步,不然一直报错:selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element另外,豆瓣的主页(https://www.douban.com/)使用了iframe嵌套了登录页面:<iframe style="height: 300p…

通过参数化的方式,登录QQ空间 实例源码: # coding:utf-8 from selenium import webdriver import unittest import time class QZone(unittest.TestCase): """登录QQ空间""" def setUp(self): self.driver = webdriver.Firefox() base_url = "https://i.qq.com…

QQ空间说说爬虫 闲来无事,写了一个QQ空间的爬虫,主要是爬取以前的说说,然后生成词云. 这次采用的主要模块是selenium,这是一个模拟浏览器的模块,一开始我不想用这个模块写的,但是后面分析的时候,发现QQ空间的数据加密有点复杂,也没有找到好用的接口,正好又有在学习这个模块,然后就直接用这个模块获取了,这个模块的好处就是不用去纠结传输的过程是如何加密的. selenium 简介:Selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作…

一.安装基础的软件包: 1.准备好火狐浏览器,并下载geckodriver,将geckodriver加入到环境变量:下载geckodriver的地址:https://pan.baidu.com/s/1NDo04Zj8NxmlRe90_CDRow 2.下载selenium:python pip install selenium 二.脚本说明: from selenium import webdriver from time import sleep username='xxxxxxxxx' pas…