python+selenium+unittest，爬虫电影网站

以前经常在这个网站上下载电影下来看，这个网站比较坑的就是，主页上只有电影的名称，但是评分是看不到的；只有再点击电影名字，进入电影主页时才能看到评分。一般下载的电影都是评分高的才看，低的就忽略掉了。每次都要来回去看评分，太麻烦了。So，我就写了一个小小的爬虫，暂时就叫爬虫好了。

在脚本中使用的是：python2.7 + selenium + unittest + chrome(其实我想用phantomjs的，但是在抓取评分的时候，老是抓取不到，好像是js搞的鬼)

　 其实流程很简单：1、进入主页获取电影的title和url，2、根据获取的url，获取该电影的评分score，3、保存结果到本地文件中

　 1、进入主页获取电影的title和url

　　

　　2、根据获取的url，获取该电影的评分score

　　

　　　下面我就逐步分解：

　　　首先，进入该网站的主页，利用webdriver来定位电影，然后获取所有电影的属性：title，url，使用的定位是css

　　　

 def geturl(self): # 该函数是获取首页的电影的  title 和 url
         self.dr.get('http://www.xiamp4.com') # 网站首页
         urls = [] # 存放结果的list
         eles = self.dr.find_elements_by_css_selector('div.box.newbox ul.img-list.dis.clearfix b a') # 定位满足条件的所有电影，css定位
         for ele in eles:
             tmp = dict()
             url = ele.get_attribute('href') # 获取电影的url
             title = ele.get_attribute('title') # 获取电影的title
             tmp['url'] = url
             tmp['title'] = title
             urls.append(tmp) # 将电影的title和url放在一个字典中，然后添加到 urls中
         return urls

　　2、根据获取的url，获取该电影的评分score

　　

　　

     def getscore(self, url):
         # url = 'http://www.xiamp4.com/Html/GP23161.html'
         self.dr.get(url) # 进入电影的页面
         time.sleep(2)
         ele = self.dr.find_element_by_css_selector('input#MARK_B2') # 定位评分的元素
         score = ele.get_attribute('value') # 获取元素value的值
         # print score
         return score    # 该函数的左右就是 根据参数电影的url，返回该电影的评分

　　下面是最终的代码：

 #coding=utf-8

 from selenium import webdriver
 import unittest
 import time

 class Spider(unittest.TestCase):
     def setUp(self):
         print '####################### Start #######################'
         self.dr = webdriver.Chrome()
         self.dr.implicitly_wait(10)

     def tearDown(self):
         self.dr.close()
         print '####################### End   #######################'

     def geturl(self):
         self.dr.get('http://www.xiamp4.com')
         urls = []
         eles = self.dr.find_elements_by_css_selector('div.box.newbox ul.img-list.dis.clearfix b a')
         for ele in eles:
             tmp = dict()
             url = ele.get_attribute('href')
             title = ele.get_attribute('title')
             tmp['url'] = url
             tmp['title'] = title
             urls.append(tmp)
         return urls

     def getscore(self, url):
         # url = 'http://www.xiamp4.com/Html/GP23161.html'
         self.dr.get(url)
         time.sleep(2)
         ele = self.dr.find_element_by_css_selector('input#MARK_B2')
         score = ele.get_attribute('value')
         # print score
         return score

     def test_run(self):
         moves = self.geturl()
         # print len(moves)
         for move in moves:
             move['score'] = self.getscore(move['url'])
         try:
             if len(moves) > 0:
                 with open('MoveMessage.txt', 'a') as f:
                         f.write('####################### Start #######################' + '\n')
                 for move in moves:
                     tmp = 'MoveName: %s\t,MoveScore: %s\t,MoveUrl: %s' % (move['title'],move['score'],move['url'])
                     print tmp
                     with open('MoveMessage.txt', 'a') as f:
                         f.write(tmp.encode('utf-8') + '\n')
                 with open('MoveMessage.txt', 'a') as f:
                         f.write('#######################  End  #######################' + '\n')
         except Exception,e:
             print 'Not found moves!',e

 if __name__ == '__main__':
     unittest.main()

运行的最终结果：