爬虫1.5-ajax数据爬取
爬虫-ajax数据爬取
1. ajax数据
ajax (异步JavaScript 和 XML)(读作阿贾克斯),ajax可以时网页实现异步更新,一般使用的json数据交互,即在不重新加载整个页面也可以对网页的部分进行更新,ajax技术加载的数据在网页源代码中是看不到的,只能看到url加载的html部分
获取ajax数据的两种方式
1 分析ajax调用的接口,发现url的参数,再通过代码请求这个接口,直接拿到json数据,有时json数据可能是加密的,或者发送post请求获取json数据并且表单中的数据是按照一定规则写的,这时需要分析js代码,就很麻烦了。
2 Selenium+chromedriver 获取动态数据,Selenium 相当于可以模拟输入、删除和点击操作以及cookie chromedriver是一个驱动chrome浏览器的驱动程序,使用它可以驱动浏览器。这种方式可以直接获取网页中全部的代码,包括ajax技术加载的数据。例如有的网站点击“更多”按钮后可以加载的数据,将全部被获取。虽然这种方式简单粗暴,但每次请求页面时都会打开一个页面,加载数据和渲染页面,显得过于笨重。
2. selenium+chromedriver知识准备
chromedriver是谷歌浏览器的驱动程序,使用selenium可以操作它
chromedriver.exe需要放在一个非中文目录下
2.1 selenium+chromedriver简单操作
form selenium import webdriver
driver_path = r'D:\chromedriver\chromedriver.exe' # 指明路径
driver = webdriver.Chrome(executable_path=driver_path) # 创建driver实例,将路径传入
driver.get("https://www.baidu.com") # get方式打开百度,注意一定要加https:// 否则会报错
driver.page_source # 获取源代码,然后可以扔给正则表达式或者xpath解析,这里可以直接获取ajax数据
driver.close() #关闭一个页面
driver.quit() #关闭整个浏览器
2.2 常用表单元素
input type='text/password/email/number' 文本框
button input [type='submit'] 按钮 例如登陆
checkbox input type='checkbox' 例如记住密码选项
select 下拉菜单
2.3 模拟点击
driver.get('https://www.douban.com/')
remenberBtn = driver.find_element_by_id('form_remember')
remenberBtn.click()
2.4 行为链
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains #导入driver和行为链类
driver_path = r'D:\chromedriver\chromedriver.exe' #指定路径
driver = webdriver.Chrome(executable_path=driver_path) #创建对象
driver.get('https://www.qq.com/') #打开网页
moveTag = driver.find_element_by_xpath("//div[@class='more-txt']") #定位腾讯网中“更多”按钮
clickTag = driver.find_element_by_xpath("//ul[@class='sub-list cf']/li[1]")
#定位“独家”按钮
actions =ActionChains(driver) # 创建行为链对象
actions.move_to_element(moveTag) # 移动到定位点
actions.click(moveTag) # 点击 好像不点击也可以
actions.move_to_element(clickTag) # 移动到”独家“按钮
actions.click(clickTag) # 点击
actions.perform() # 必须调用的函数 否则不会执行之前定义好的行为
# drver.find_element_by_xpath("") 意味着可以使用xpath语法找到想要点击的按钮或输入框
# 类似的还有id class css
2.5 页面等待
1 隐式等待
driver.implicitly_wait(x) # x是等待时间 x秒
2 显示等待
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
driver_path = r'D:\chromedriver\chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.get('https://new.qq.com/ch/ori/')
try:
WebDriverWait(driver, 10).until(
# 这里使用WebDriverWait类填入参数 10代表等待10s未出现则抛出异常
EC.presence_of_element_located((By.CLASS_NAME, 's '))
#这里就是等待条件 即当class属性=s 被加载后条件达成
)
finally:
print("2222") # 这样的话当没有等待到期望的条件就可以做其他事情
2.6 窗口
打开多个窗口
driver.get('https://new.qq.com/ch/ori/')
driver.execute_script("window.open('https://www.douban.com/')")
#使用JavaScript脚本打开新页面
driver.get('https://new.qq.com/ch/ori/')
driver.execute_script("window.open('https://www.douban.com/')") # 打开两个页面
print(driver.current_url) # 打印当前url
driver.switch_to.window(driver.window_handles[1]) # 切换窗口 窗口列表中第二个窗口的索引是1
print(driver.current_url) # 打印当前url
2.7 代理ip
driver_path = r'D:\chromedriver\chromedriver.exe'
options = webdriver.ChromeOptions() # 创建配置对象
options.add_argument("--proxy-server=http://221.6.32.206:41816") # 写入配置
driver = webdriver.Chrome(executable_path=driver_path, options=options) # 写入参数
driver.get('https://www.baidu.com/s?wd=ip')
3. selenium+chromedriver实战拉勾网爬虫代码
# 拉勾网的反爬太恶心了,于是用selenium+chromedriver来爬,结果还是被封了,我去
import re
import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from lxml import etree
class LagouSpider(object):
def __init__(self):
driver_path = r'D:\chromedriver\chromedriver.exe' # 指定chromedriver 的路径
self.driver = webdriver.Chrome(executable_path=driver_path)
self.base_url = 'https://www.lagou.com/jobs/list_python?px=default&city=%E6%88%90%E9%83%BD#filterBox' # 拉勾网搜索python的页面url
self.data = [] # 用来存放字典
def get_url_list(self):
while True:
self.driver.get(self.base_url) # 访问拉勾网
# 获取页面全部文本信息,这里可以直接获取ajax技术返回的数据,
# 如果用requests库需要找到发送json请求的数据包
text = self.driver.page_source
try:
# 等待职位信息的url出现,timeout=3s
WebDriverWait(self.driver, 3).until(
EC.presence_of_element_located((By.CLASS_NAME, 'position_link'))
)
# 获取url并调用get_info函数
url_list = re.findall(r'<a class="position_link" href="(.*?)" target=.*?>', text, re.S)
for i in url_list:
self.get_info(i)
finally:
# 判断是否已到最后一页
if len(re.findall(r'class="pager_next pager_next_disabled"', text, re.S)) != 0:
self.driver.quit()
break
# 找到下一页的位置并点击
else:
nextPageTag = self.driver.find_element_by_xpath("//div[@class='pager_container']/span[last()]")
nextPageTag.click()
def get_info(self, url):
# 打开新窗口,移动driver,不移动无法获取page_source
self.driver.execute_script("window.open('{}')".format(url))
self.driver.switch_to.window(self.driver.window_handles[1])
try:
# 提取信息,因为职位描述信息的标签实在是太乱了,还是用xpath舒服一点
html = etree.HTML(self.driver.page_source)
work_name = re.findall(r'<div class="job-name" title="(.*?)">', self.driver.page_source, re.S)[0]
salary = re.findall(r'<span class="salary">(.*?)</span>', self.driver.page_source, re.S)[0]
# 获取职位描述信息
temp = html.xpath("//dd[@class='job_bt']//div/p/text()")
describe = ''
for i in temp:
describe += i
describe = re.subn(r'\s*', '', describe)
temp = {
'job_name': work_name,
'describe': describe[0],
'salary': salary
}
print(temp)
# 放入列表中,方便写入csv或者txt
self.data.append(temp)
except:
# 出错的页面打印出来
print(url)
time.sleep(5)
finally:
# 关闭页面,移动driver到最开始的base_url
self.driver.close()
self.driver.switch_to.window(self.driver.window_handles[0])
time.sleep(1)
def run(self):
self.get_url_list()
if __name__ == '__main__':
spider = LagouSpider()
spider.run()
爬虫1.5-ajax数据爬取的更多相关文章
- python-day7爬虫基础之Ajax数据爬取
前几天一直在忙老师的项目,就没有继续学python,也没有写什么收获,今天晚上有空看看书,边看边理解着写吧: 首先说一下,我对Ajax的理解,就是有时候我们在浏览某个网页的时候,只要我们鼠标一直往下滑 ...
- 爬虫(十):AJAX、爬取AJAX数据
1. AJAX 1.1 什么是AJAX AJAX即“Asynchronous JavaScript And XML”(异步JavaScript和XML)可以使网页实现异步更新,就是不重新加载整个网页的 ...
- Ajax数据爬取
Ajax的基本原理 以菜鸟教程的代码为例: XMLHTTPRequest对象是JS对Ajax的底层实现: var xmlhttp; if (window.XMLHttpRequest) { // IE ...
- 爬虫—Ajax数据爬取
一.什么是Ajax 有时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面得到的数据不一致,这是因为requests获取的是原始的HTML文档,而浏览器中的页面是经过JavaScri ...
- 第十四节:Web爬虫之Ajax数据爬取
有时候在爬取数据的时候我们需要手动向上滑一下,网页才加载一定量的数据,但是网页的url并没有发生变化,这时我们就要考虑使用ajax进行数据爬取了...
- Ajax数据爬取--爬取微博
Ajax Ajax,即异步的JaveScript和XML.它不是一门编程语言,而是利用JaveScript在保证页面不被刷新,页面链接不改变的情况下与服务器交换数据并更新部分网页的技术. 对于传统的网 ...
- python爬虫-上期所持仓排名数据爬取
摘要:笔记记录爬取上期所持仓数据的过程,本次爬取使用的工具是python,使用的IDE是pycharm 一.查看网页属性,分析数据结构 在浏览器中打开上期所网页,按F12或者选择表格文字-右键-审查元 ...
- 前端反爬虫策略--font-face 猫眼数据爬取
1 .font-face定义了字符集,通过unicode去印射展示. 2 .font-face加载网络字体,我么可以自己创建一套字体,然后自定义一套字符映射关系表例如设置0xefab是映射字符1, ...
- [Python3网络爬虫开发实战] 6-Ajax数据爬取
有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样:在浏览器中可以看到正常显示的页面数据,但是使用requests得到的结果并没有.这是因为requests获取的都是 ...
- Python3.6爬虫+Djiago2.0+Mysql --数据爬取
1.下载对应版本的python mysql 模块 我的是:pymssql-2.2.0.dev0-cp36-cp36m-win_amd64.whl 2.手动创建table create table gr ...
随机推荐
- Nginx自定义模块编写:根据post参数路由到不同服务器
Nginx自定义模块编写:根据post参数路由到不同服务器 2014-05-05 15:27 blogread IT技术博客 字号:T | T Nginx可以轻松实现根据不同的url 或者 get参数 ...
- MySQL优化之Explain命令解读
简述: explain为mysql提供语句的执行计划信息.可以应用在select.delete.insert.update和place语句上.explain的执行计划,只是作为语句执行过程的一个参考, ...
- PX4地面站QGroundControl在ubuntu下的安装
1.引言 相信很多玩开源无人机的朋友手上都有一架无人机,而不是仅仅停留在理论的学习和程序的学习.放飞自己组装的无人机才是乐趣所在,那么这本文就介绍玩无人机必不可少的地面站软件qgroundcontro ...
- SQLlearn
- 关于spring配置文件的头部编写
//普通spring配置文件模板1 <?xml version="1.0" encoding="UTF-8" ?> <beans xmlns: ...
- Dubbo 安装ZooKeeper环境
一.在Windows 安装ZooKeeper 1.下载ZooKeeper 2.解压,修改ZooKeeper配置文件 复制一份zoo_sample.cfg文件,改名位zoo.cfg,打开编辑,设置数据保 ...
- webpack-dev-server 多入口自动刷新,支持对象
万物的来源~webpack 本身 watch webpack watch 传送门 webpack 可以监听文件变化,当它们修改后会重新编译 watch boolean 启用 Watch 模式.这意味着 ...
- 集合之WeakHashMap
WeakHashMap 底层数据结构是哈希表结构 依赖于键的数据结构特点 不同于HashMap,该类的键是以弱键的形式存在 当该键成为垃圾对象,会被垃圾回收期空闲的时候回收,那么改键所对应值也会被回收 ...
- 第2天 Java基础语法
第2天 Java基础语法 今日内容介绍 变量 运算符 变量 变量概述 前面我们已经学习了常量,接下来我们要学习变量.在Java中变量的应用比常量的应用要多很多.所以变量也是尤为重要的知识点! 什么是变 ...
- 472. Concatenated Words
class Solution { public: vector<string> res; vector<string> findAllConcatenatedWordsInAD ...