目前网站主流的加载方式: 一种是同步加载:另一种是异步加载,也即我们常说的用ajax.对于同步加载的网站,普通的爬虫程序轻松就能搞定.但是对于那种异步请求数据的网站,通常使用selenium+PhantomJS组合来完成. (1)selenium:是一个web自动化测试工具,最初是为网站自动化测试而开发的,可以通过它用代码操作浏览器以及网页中的元素.Selenium支持绝大部分发浏览器,类似PhantomJS无界面的浏览器 (2)PhantomJS:是一个基于webkit的无界面浏览器,除了没有…