[Python爬虫] Selenium自己主动訪问Firefox和Chrome并实现搜索截图

前两篇文章介绍了安装。此篇文章算是一个简单的进阶应用吧。它是在Windows下通过Selenium+Python实现自己主动訪问Firefox和Chrome并实现搜索截图的功能。

[Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)

        [Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium



自己主动訪问Firefox

能够參照前文安装Selenium环境，眼下Selenium这个用于Web应用程序測试的工具支持的浏览器包含IE、Mozilla Firefox、Mozilla
Suite、Chrome等。

可是因为Firefox是默认安装路径，webdriver能够正常訪问它，而Chrome和IE须要设置driver路径。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import sys 

reload(sys)
sys.setdefaultencoding('gb18030')
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
assert "百度" in driver.title
elem = driver.find_element_by_name("wd")
elem.send_keys("Eastmount")
elem.send_keys(Keys.RETURN)
assert "谷歌" in driver.title
driver.save_screenshot('baidu.png')
driver.close()
driver.quit()

执行效果例如以下图所看到的，自己主动调用Firefox浏览器搜索，同一时候输出断言错误：

        assert "谷歌" in driver.title AssertionError

源代码分析

        官方文档地址：http://selenium-python.readthedocs.org/getting-started.html

from selenium import webdriver

       from selenium.webdriver.common.keys import Keys

       import sys

        首先导入Selenium.webdriver模板，它提供了webdriver的实现方法。眼下支持这些方法的有Firefox、Chrome、IE和Remote。同一时候导入Keys类，它提供了操作键盘的快捷键，如RETURE、F1、ALT等。最后导入sys主要是设置编码方式。

reload(sys)

       sys.setdefaultencoding('gb18030')

因为汉语中可能会遇到错误：

        UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 33

        UnicodeDecodeError: 'utf8' codec can't decode byte 0xb0 in position 35

        所以此处转换成gb编码，该篇不重点介绍了。

driver = webdriver.Firefox()

       driver.get("http://www.baidu.com")

创建Firefoxwebdriver实例。当中Firefox最简单，其它Chrome还须要driver和配置路径。接下来通过driver.get()打开百度URL网页，webdriver会等待网页元素载入完毕之后才把控制权交回脚本。可是，假设要打开了页面在载入的过程中包括了非常多AJAX，webdriver可能无法准确推断页面何时载入完毕。

assert "百度" in driver.title

       assert "谷歌" in driver.title

接下来使用断言推断文章的标题Title是否包括“百度”和“谷歌”。相应的标题是“百度一下，你就知道”，所以当中“百度”包括，而“谷歌”会出现断言报错。

        同一时候提交页面并获得返回结果，为了推断结果是否成功返回也能够使用断言。

elem = driver.find_element_by_name("wd")

webdriver提供了非常多如find_element_by_*的方法来匹配要查找的元素。如利用name属性查找方法find_element_by_name来定位输入框。审查元素name=wd。

        元素定位方法能够參考官网：Locating
Elements

elem.send_keys("Eastmount")

elem.send_keys(Keys.RETURN)

        send_keys方法能够用来模拟键盘操作。相当于是在搜索框中输入“Eastmount”再按回车键搜索。但首先要从selenium.webdriver.common.keys导入Keys类。

driver.save_screenshot('baidu.png')

driver.close()

driver.quit()

最后是调用save_screenshot进行截图。可是图片是过程中的。如何获取最后载入的图片呢？同一时候。操作完毕并关闭浏览器。当然。也能够调用quit（）方法。两者的差别在于：quit（）方法会退出浏览器，而close（）方法仅仅是关闭页面，但假设仅仅有一个页面被打开，close（）方法相同会退出浏览器。





自己主动訪问Chrome

        首先下载chromedriver并置于Chrome安装文件夹。可能会遇到错误：

        WebDriverException: Message: 'chromedriver' executable needs to be in PATH.參考官网解决方法：How to use chromedriver。我採用的是设置driver环境。

        代码例如以下：

import os
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver

driver = webdriver.Chrome(chromedriver)
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.send_keys("selenium")
elem.send_keys(Keys.RETURN)
assert "Google" in driver.title
driver.close()
driver.quit()

须要放置chromedriver例如以下路径，同一时候能够通过代码设置。

可是因为我的Chrome可能Bug一直未修复。总是打开错误。

driver = webdriver.Chrome(executable_path="G:\chromedriver.exe")

參考资料：

        用python玩转selenium：2-入门实例及分析 - Reiki

        构建Python+Selenium2自己主动化測试环境<二>：IE、Chrome和Firefox执行

        用selenium实现某微博搜索数据的抓取

        RobotFramework+seleniumlibrary Web自己主动化測试 (三)



        最后希望该篇基础性文章对你有所帮助吧！假设有不足之处。还请海涵~

      （By:Eastmount 2015-8-20 下午4点   http://blog.csdn.net/eastmount/）