之前使用selenium-webdriver来写UI的自动化脚本,发现有一个元素一直无法定位,查看其源码,如下 利用xpathChecker验证了xpath语句的是正确的,但是控制台一直报错: no such element: Unable to locate element: {"method":"xpath","selector":"xpath"} 后面仔细看了一下,我定位的页面重新开了一个iframe,所以在百度上查找了
html代码: <a id="catelogue_div1_h5" onclick="catelogue_div1(event)">隐藏</a> javascript代码: <script type="text/javascript"> function catelogue_div1(e){ var x=document.getElementById('catelogue_div1_h5'); var cate
以伯乐在线文章为爬取目标blog.jobbole.com,发现在"最新文章"选项中可看到所有文章 一般来说,可以用scrapy中自带的xpath或者css来提取数据,定义在spiders/jobbole.py中的def parse(self, response) import scrapy class JobboleSpider(scrapy.Spider): name = 'jobbole' allowed_domains = ['blog.jobbole.com'] sta