爬取猫眼电影TOP100

本文所讲的爬虫项目实战属于基础、入门级别，使用的是Python3.5实现的。

本项目基本目标：在猫眼电影中把top100的电影名，排名，海报，主演，上映时间，评分等爬取下来

爬虫原理和步骤

爬虫，就是从网页中爬取自己所需要的东西，如文字、图片、视频等，这样我们就需要读取网页，然后获取网页源代码，从源代码中用正则表达式进行匹配，把匹配成功的信息存入相关文档中。这就是爬虫的简单原理。

操作步骤：

1.确定抓取的数据字段（排名，海报，电影名，主演，上映时间，评分）

2.分析页面html标签结构，找到数据所在位置

3.选择实现方法及数据存储位置（存在在mysql 数据库中）

4.代码写入（requests+re+pymysql）

5.代码调试

确定抓取的页面目标URL:http://maoyan.com/board/4

1.导入库/模块

 import re
 import requests
 import pymysql
 from requests.exceptions import  RequestException  #捕获异常

2.请求头域，在网页中查看headers,复制User-Agent内容

请求一个单页内容拿到HTML,定义函数，构建headers,请求成功则代码为200，否则失败重新写入代码

 def get_one_page(url):
     try:
         #构建headers
         headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
         response=requests.get(url,headers=headers)
         if response.status_code==200:
             return response.text
     except RequestException:
         return '请求异常'

3.解析HTML，用正则表达式匹配字符，为非贪婪模式.*?匹配

 def parse_one_page(html):
     # 创建一个正则表达式对象
     #使用re.S可以使元字符.匹配到换行符
     pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name">'
                          + '<a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                          + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
     items = re.findall(pattern, html)
     # print(items)

运行已经匹配好的第一页内容

运行结果没有处理的如下：

4.进行数据处理，格式美化，按字段依次排列，去掉不必要的空格符

  for item in items:
         yield {
             'index': item[0],
             'image': item[1],
             'title': item[2],
             'actor': item[3].strip()[3:],  # strip():删除前后空白
             'time': item[4].strip()[5:],
             'score': item[5] + item[6]
         }

5.创建MySQL数据库，库名movie1表名maoyan,添加我们爬取的6个字段名

6.在python中创建数据库连接，把爬取的数据存储到MySQL

 def write_to_mysql(content):
     conn=pymysql.connect(host='localhost',user='root',passwd='',
                          db='movie1',charset='utf8')
     cursor=conn.cursor()
     index=content['index']
     image=content['image']
     title=content['title']
     actor=content['actor']
     time=content['time']
     score=content['score']
     sql='insert into maoyan values(%s,%s,%s,%s,%s,%s)'
     parm=(index,image,title,actor,time,score)
     cursor.execute(sql,parm)
     conn.commit()
     cursor.close()
     conn.close()

调用主函数，运行后得到结果如下：

以上为调取的一页数据，只有TOP10的电影排名，如果需要得到TOP100，则要重新得到URL来构建

第一页的URL为：http://maoyan.com/board/4

第二页的URL为：http://maoyan.com/board/4?offset=10

第三页的URL为：http://maoyan.com/board/4?offset=20

得到页面都是以10来递增URL为：

url='http://maoyan.com/board/4?offset='+str(offset)
需要循环10次即可得到排名前100的电影，并把它写入到数据库中

 def main(offset):
     url='http://maoyan.com/board/4?offset='+str(offset)
     html=get_one_page(url)
     for item in parse_one_page(html):
         print(item)
         write_to_mysql(item)

 if __name__=='__main__':
     for i in range(0,10):
         main(i*10)

运行后进入MySQL查看写入的数据

以上是爬取猫眼top100完整代码，如有错误请多指教。