python爬虫动态html selenium.webdriver

python爬虫：利用selenium.webdriver获取渲染之后的页面代码！

1 首先要下载浏览器驱动：

　　常用的是chromedriver 和phantomjs

　　chromedirver下载地址: 　　https://npm.taobao.org/mirrors/chromedriver
　　phantomjs下载地址:　　 http://phantomjs.org/download.html

　　使用chromedriver要保证有chrome浏览器

2 安装

　　phantomjs：

　　　　将下载好的文件 解压缩(此处版本用xxx代替了)

　　　　tar -xvf phantomjs-xxxx.tar.bz2

　　　　将压缩结果移动到系统中软件应该呆在的地方去(此处版本用xxx代替了)

　　　　sudo mv phantomjsxxx  /usr/local/src/phantomjs

　　　　创建软连接到系统环境 这样就可以使用phantomjs命令了

　　　　sudo ln -sf  /usr/local/src/phantojs/bin/phantomjs  /usr/local/bin/phantomjs

　　　　将软连接 添加执行的权限

　　　　sudo chmod u+x,o+x  /usr/local/bin/phantomjs

　　　　检验一下正常使用： 返回版本信息就代表能正常使用

　　　　phantomjs --version

　　chromedriver:

　　　　将下载的文件移动到软件应该呆的目录去:

　　　　sudo mv chromedriver  /usr/local/bin/chromedriver

　　　　改变用户执行的权限：

　　　　sudo chmod u+x,o+x   /usr/local/bin/chromedriver

　　　　检验是否正常使用：

　　　　chromedriver --version

3 程序代码：

 from selenium import webdriver
 import time
 # 获取一个Chrome的驱动
 driver = webdriver.Chrome()
 '''
 发送请求
 '''
 driver.get('http://www.baidu.com/')

 # 设置打开窗口的大小
 driver.set_window_size(1024,768)

 '''
 获取页面内容的常用方式
 '''
 # 获取元素并输入内容
 driver.find_element_by_id('kw').send_keys('苹果')
 # 获取元素并点击
 driver.find_element_by_id('su').click()
 # 利用xpath获取
 # div_list = driver.find_element_by_xpath('//div')
 #利用页面内容
 # next_page = driver.find_element_by_link_text('下一页').get_attribute('href')

 # 将浏览器页面截图保存本地
 driver.save_screenshot('./百度.png')

 # 获得浏览器的页面源码（经过渲染之后)
 html = driver.page_source

 print('*'*50)

 # 获取页面的cookies
 cookie_list = driver.get_cookies()
 # cookie 转换成字典
 cookies = { dict['name']:dict['value'] for dict in cookie_list }
 print(cookies)

 # 退出当前页面
 driver.close()
 # 退出浏览器
 driver.quit()