Python爬取猫眼电影100榜并保存到excel表格

首先我们前期要导入的第三方类库有;

通过猫眼电影100榜的源码可以看到很有规律 如:

亦或者是:

根据规律我们可以得到非贪婪的正则表达式

"""<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?releasetime">(.*?)</p>"""

之后我们观察网页地址(url)的变化规律:

这是第一页的网址: https://maoyan.com/board/4?offset=0

这是第二页的网址: https://maoyan.com/board/4?offset=10

这是第三页的网址: https://maoyan.com/board/4?offset=20

可以见的网页变化规律为:(当前页数-1)*10   即为:(N-1)*10

之后下面进行爬取

 from urllib import request
 import random
 import time
 import csv
 import re
 import xlwt

 class catEyesMovie:

     def __init__(self):
         self.url = 'https://maoyan.com/board/4?offset={}'
         self.ua_list = [
             'Win7:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'
         ]
         self.line = 1;
             #'User-Agent': 'Win7:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'

     #获取网页内容
     def get_page(self,url):
         #使用随机的user-agent
         headers = {'User-Agent':random.choice(self.ua_list)}
         #创建请求对象
         req = request.Request(url=url,headers=headers)
         #发送请求
         res = request.urlopen(req)
         #获取相应对象
         html = res.read().decode('utf-8','ignore')
         return html

     #清洗数据
     def clean_page(self,html,xwlt):
         pattern = re.compile("""<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?releasetime">(.*?)</p>""", re.S)
         r_list = pattern.findall(html)
         self.write_page(r_list,xwlt)

     #保存内容
     def write_page(self,r_list,xwlt):
         one_film_dict = {}
         for rt in r_list:
             xwlt.write(self.line,0,rt[0].strip())
             xwlt.write(self.line,1,rt[1].strip())
             xwlt.write(self.line,2,rt[2].strip())
             self.line+=1

     def main(self,xwlt):
         #凭借字符串
         res = []
         for i in range(1,11):
             #拼接url地址 https://maoyan.com/board/4?offset={}
             #获取当前页数
             offset = (i-1)*10
             url = self.url.format(offset)
             html = self.get_page(url)
             self.clean_page(html,xwlt)

 if __name__ == '__main__':
     start = time.time()
     spider = catEyesMovie()
     #创建一个xlwt对象
     book = xlwt.Workbook(encoding='utf-8')
     #创建sheet,Sheet1为表的名字,cell_overwirite_ok为是否覆盖单元格
     sheet1 = book.add_sheet(u'Sheet1',cell_overwrite_ok=True)
     #进行第一行标题定义
     sheet1.write(0,0,'电影名称')
     sheet1.write(0,1,'主演')
     sheet1.write(0,2,'上映时间')
     #进行爬取
     spider.main(sheet1)
     book.save('D:\\write.xls')
     end = time.time()
     print('执行时间为: %.2f' % (end-start))

每次爬取到的数据结构为:

 {'电影名称': '速度与激情5', '主演': '速度与激情5', '上映时间': '速度与激情5'}
 {'电影名称': '驯龙高手', '主演': '驯龙高手', '上映时间': '驯龙高手'}
 {'电影名称': '勇敢的心', '主演': '勇敢的心', '上映时间': '勇敢的心'}
 {'电影名称': '闻香识女人', '主演': '闻香识女人', '上映时间': '闻香识女人'}
 {'电影名称': '神偷奶爸', '主演': '神偷奶爸', '上映时间': '神偷奶爸'}

完成后的excel表格如下:

　　　　　　　　仅供学习!!