Python爬虫关于多层嵌套iframe的解决
近期由于公司资源需要,我爬取了一个视频网站,结果以为一个很容易的小爬虫,却步步是坑啊,费了一天终于都解决了(太菜了!!!)。
前面导航页的爬虫就不多说了,无非就是webdriver和PhantomJS,然后设置referer和ua,就可以一层一层访问了。其实大多数的网站的防爬都会这么做。
然后到了详情页面,就是我遇到的最困难的一步了。网站为了防止爬虫,嵌套了3层iframe,并且每个iframe都有很多限制,单独打开无法得到想要的数据。
但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的,在网上找了很多方法,然后终于找到了方法。
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
1
2
3
4
最主要的就是driver.switch_to.frame(iframe) 这个方法,它会尽到iframe里面去执行,这样的话就不需要你在去设置referer之类的了,很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。
但是!!!这个网站防爬还是做的比较不错了,iframe里面的数据还是获取不到视频的源,js代码都执行了。没办法了,最后使用webdriver.Chrome方法才获取到了数据。看来PhantomJS还是有一些功能限制啊。
每次访问不能一直打开浏览器呀,这样在服务器也无法实现,幸好webdriver.Chrome还提供方法实现无窗口访问,代码就是这样的:
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
1
2
3
4
到此,基本的功能也实现了。
具体实现代码如下:
# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import sys
from pyvirtualdisplay import Display
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
chrome_options=chrome_options)
def getDriverHttp(url):
driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe) # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")
return soup
def getVideoUrl(url):
soup = getHttp(url)
miPlayer = soup.find('div',id='J_miPlayer')
url = miPlayer.find('video').get('src')
driver.quit()
return url
if __name__ == '__main__':
path = getVideoUrl(u'http://aaxxy.com/vod-play-id-10788-src-1-num-2.html')
# path = getVideoUrl(url==sys.argv[1])
print path
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
最后才发现代码真的非常非常少,结果费了一天的功夫才解决。记录一下,提醒一下自己有多菜。
---------------------
作者:Sunanang
来源:CSDN
原文:https://blog.csdn.net/sun_lianqiang/article/details/79402512
版权声明:本文为博主原创文章,转载请附上博文链接!
Python爬虫关于多层嵌套iframe的解决的更多相关文章
- iframe自适应高度,多层嵌套iframe自适应高度的解决方法
在页面无刷新更新方面,虽然现在的ajax很强悍,但是处理代码相对多点.想比之下,iframe就简单多了!处理iframe的自适应宽.高,会经常用到,网上整理了一份,写在这里备用: 单个iframe 高 ...
- Python爬虫实战——反爬机制的解决策略【阿里】
这一次呢,让我们来试一下"CSDN热门文章的抓取". 话不多说,让我们直接进入CSND官网. (其实是因为我被阿里的反爬磨到没脾气,不想说话--) 一.URL分析 输入" ...
- python技巧:拆分多层嵌套列表
方法一: >>> import itertools >>> a = [[1, 2], [3, 4], [5, 6]] >>> list(itert ...
- python爬虫中遇到的问题以及解决方法
(1)运行后报错:“TypeError: cannot use a string pattern on a bytes-like” 原因:content用decode(‘utf-8’)进行解码,由by ...
- python爬虫小实例
1.python爬取贴吧壁纸 1.1.获取整个页面数据 #coding=utf-8 import urllib def getHtml(url): page = urllib.urlopen(url) ...
- python爬虫中文乱码解决方法
python爬虫中文乱码 前几天用python来爬取全国行政区划编码的时候,遇到了中文乱码的问题,折腾了一会儿,才解决.现特记录一下,方便以后查看. 我是用python的requests和bs4库来实 ...
- Python之路Python全局变量与局部变量、函数多层嵌套、函数递归
Python之路Python全局变量与局部变量.函数多层嵌套.函数递归 一.局部变量与全局变量 1.在子程序中定义的变量称为局部变量,在程序的一开始定义的变量称为全局变量.全局变量作用域是整个程序,局 ...
- Python爬虫老是被封的解决方法【面试必问】
在爬取的过程中难免发生 ip 被封和 403 错误等等,这都是网站检测出你是爬虫而进行反爬措施,在这里为大家总结一下 Python 爬虫动态 ip 代理防止被封的方法. PS:另外很多人在学习Pyth ...
- python中jsonpath模块,解析多层嵌套的json数据
1. jsonpath介绍用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript, Python, ...
随机推荐
- UESTC 1697 简单GCD问题(一) 筛法
简单GCD问题(一) Time Limit: 1500/500MS (Java/Others) Memory Limit: 65535/65535KB (Java/Others) 秦队长给你两 ...
- Intellij idea注册码失效
从网上下载idea需要输入激活码,晚上用的激活码大多是同一个,但是上次使用的时候突然弹窗告诉我注册码失效了,在网上找到一个新的方法 在注册界面有几个选项,我们常用的是Activation Code,现 ...
- python web py安装与简单使用
web.py是一个轻量级的python web框架,简单而且功能强大.相对flask和Django,web.py更适合初学者来学习和了解web开发的基础知识. 安装: pip install we ...
- newborn, infant, toddler以及baby的区别
1.An infant (from the Latin word infans, meaning "unable to speak" or "speechless&quo ...
- 牛客网NOIP赛前集训营-提高组(第一场)B 数数字
数数字 思路: 数位dp 代码: #pragma GCC optimize(2) #pragma GCC optimize(3) #pragma GCC optimize(4) #include< ...
- ACM-ICPC 2018 沈阳赛区网络预赛 J Ka Chang
Ka Chang 思路: dfs序+树状数组+分块 先dfs处理好每个节点的时间戳 对于每一层,如果这一层的节点数小于sqrt(n),那么直接按照时间戳在树状数组上更新 如果这一层节点个数大于sqrt ...
- 日常英语---十一、MapleStory/Monsters/Level 201-210(Dark Demon Eagle Rider)
日常英语---十一.MapleStory/Monsters/Level 201-210(Dark Demon Eagle Rider) 一.总结 一句话总结:骑着鹰的快速飞行的恶魔,进入地图后跟着你. ...
- Java Config for WebProject
1.Java EE vs Java SE They are just official SDK,when using IDE,it's ok to just install jdk/jre. &quo ...
- JavaScript 第六章总结: Getting to know the DOM
前言 这一章节介绍 DOM, 使用 DOM 的目的是使的网页能够变得 dynamic,使得 pages that react, that respond, that update themselves ...
- 雷林鹏分享:XML 语法规则
XML 语法规则 XML 的语法规则很简单,且很有逻辑.这些规则很容易学习,也很容易使用. 所有的 XML 元素都必须有一个关闭标签 在 HTML 中,某些元素不必有一个关闭标签: This is a ...