http://drops.wooyun.org/tips/3915 0x00 前言 网络爬虫(Web crawler),是一种“自动化浏览网络”的程序,或者说是一种网络机器人.它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式.它们可以自动采集所有其能够访问到的页面内容,以便程序做下一步的处理. 在WEB2.0时代,动态网页盛行起来.那么爬虫就应该能在页面内爬到这些有javascript生成的链接.当然动态解析页面只是爬虫的一个技术点.下面,我将按照如下顺序分享下面…