程序媛计划——python爬虫

#用selenium打开百度首页

#第一次运行代码时应该在safari开发者选项中设置'allow remote automation'

 from selenium import webdriver
 browser=webdriver.Safari()
 browser.get('http://www.baidu.com/')

#远程打开百度首页，并搜索关键词并打印搜索关键词后的源代码

 from selenium import webdriver
 from selenium.webdriver.common.keys import Keys
 driver = webdriver.Safari()
 driver.get('http://www.baidu.com/')

 #获取web中名字为wd的标签
 elem = driver.find_element_by_name("wd")
 #搜索cxy61
 elem.send_keys("cxy61")
 elem.send_keys(Keys.RETURN)

 print driver.page_source

分析网页源代码

#safari偏好设置中点击在菜单中显示'开发者’选项

#在开发中点击显示网页检查器（command+option+i)

打印我们筛选后真正需要的爬下来的数据

 #coding:utf-8
 from selenium import webdriver
 from selenium.webdriver.common.keys import Keys

 dr = webdriver.Safari()
 dr.get('https://www.qiushibaike.com')
 #在控制台中发现糗事百科左边都是内容，右边是广告，而左边标签id都是content-left
 #获取id为content-left的[标签]
 main_content = dr.find_element_by_id('content-left')
 content = main_content.find_elements_by_class_name('content')
 i=1
 for want2see in content:
     print str(i)+want2see.text+'\n'
     i+=1

 #退出我们打开的浏览器
 dr.quit()

用类封装实现爬虫

 #coding:utf-8
 from selenium import webdriver
 class Qiubai(object):
     def __init__(self):
         #这步干嘛
         self.dir=webdriver.Safari()
         #所以在初始化实例时还能进行打开网页的操作
         self.dir.get('https://www.qiushibaike.com')

     def print_content(self):
         #相比较于没有用类实现的爬虫,dir放在__init__方法中定义
         #下面两行代码中的element和elements的区别？
         main_content=self.dir.find_element_by_id('content-left')
         self.content = main_content.find_elements_by_class_name('content')
         i=1
         for con in self.content:
             print str(i)+con.text+'\n'
             i+=1
         #还可以在类的方法中调用该类中定义的另一个方法
         self.quit()

     def quit(self):
         self.dir.quit()
 #这里Qiubai()是Qiubai的一个实例，只是没有设置一个变量指向这个实例而已
 Qiubai().print_content()

效果：