Python3抓取javascript生成的html网页

用urllib等抓取网页，只能读取网页的静态源文件，而抓不到由javascript生成的内容。

究其原因，是因为urllib是瞬时抓取，它不会等javascript的加载延迟，所以页面中由javascript生成的内容，urllib读取不到。

那由javascript生成的内容就真的没有办法读取了吗？非也！

本文要介绍一个python库：selenium，目前最新版本是 2.44.0

先安装：

pip install -U selenium

下面用三个例子来说明其用法：

【例0】

• 打开一个Firefox浏览器
• 载入所给url地址的页面

 from selenium import webdriver

 browser = webdriver.Firefox()
 browser.get('http://www.baidu.com/')

【例1】

• 打开一个Firefox浏览器
• 载入百度主页
• 搜索 “seleniumhq”
• 关闭浏览器

 from selenium import webdriver
 from selenium.webdriver.common.keys import Keys

 browser = webdriver.Firefox()

 browser.get('http://www.baidu.com')
 assert '百度' in browser.title

 elem = browser.find_element_by_name('p')  # Find the search box
 elem.send_keys('seleniumhq' + Keys.RETURN)  # 模拟按键

 browser.quit()

【例2】

Selenium WebDriver 常用于网络程序的测试。 下面是一个使用Python标准库 unittest 的例子:

 import unittest

 class BaiduTestCase(unittest.TestCase):

     def setUp(self):
         self.browser = webdriver.Firefox()
         self.addCleanup(self.browser.quit)

     def testPageTitle(self):
         self.browser.get('http://www.baidu.com')
         self.assertIn('百度', self.browser.title)

 if __name__ == '__main__':
     unittest.main(verbosity=2)