Python爬虫-豆瓣电影 Top 250

爬取的网页地址为：https://movie.douban.com/top250

打开网页后，可观察到：TOP250的电影被分成了10个页面来展示，每个页面有25个电影。

那么要爬取所有电影的信息，就需要知道另外9个页面的URL链接。

第一页：https://movie.douban.com/top250

第二页：https://movie.douban.com/top250?start=25&filter=

第三页：https://movie.douban.com/top250?start=50&filter=

以此类推...

分析网页源代码：以首页为例

观察后可以发现： 
所有电影信息在一个ol标签之内，该标签的 class属性值为grid_view； 
每个电影在一个li标签里面； 
每个电影的电影名称在：第一个 class属性值为hd 的div标签 下的 第一个 class属性值为title 的span标签里； 
每个电影的评分在对应li标签里的（唯一）一个 class属性值为rating_num 的span标签里； 
每个电影的评价人数在 对应li标签 里的一个 class属性值为star 的div标签中 的最后一个数字； 
每个电影的短评在 对应li标签 里的一个 class属性值为inq 的span标签里。

Python主要模块：requests模块  BeautifulSoup4模块

>pip install requests

>pip install BeautifulSoup4

主要代码：

 Top250.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71

# -*- coding:utf-8 -*- import requests                             # requests模块 from bs4 import BeautifulSoup               # BeautifulSoup4模块 import re                                   # 正则表达式模块 import time                                 # 时间模块 import sys                                  # 系统模块 """获取html文档""" def getHTMLText(url, k):     try:         ):             # 首页             kw = {}         else:                   # 其它页             kw = {'start':k, 'filter':''}         r = requests.get(url, params = kw, headers = {'User-Agent': 'Mozilla/4.0'})         r.raise_for_status()         r.encoding = r.apparent_encoding         return r.text     except:         print("Failed!") """解析数据""" def getData(html):     soup = BeautifulSoup(html, "html.parser")     movieList = soup.find('ol', attrs = {'class':'grid_view'})                  # 找到第一个class属性值为grid_view的ol标签     moveInfo = []     for movieLi in movieList.find_all('li'):                                    # 找到所有li标签         data = []         # 得到电影名字         movieHd = movieLi.find('div', attrs = {'class':'hd'})                   # 找到第一个class属性值为hd的div标签         movieName = movieHd.find('span', attrs = {'class':'title'}).getText()   # 找到第一个class属性值为title的span标签                                                                                 # 也可使用.string方法         data.append(movieName) # 得到电影的评分         movieScore = movieLi.find('span', attrs={'class':'rating_num'}).getText()         data.append(movieScore) # 得到电影的评价人数         movieEval=movieLi.find('div',attrs={'class':'star'})         movieEvalNum=re.findall(r]         data.append(movieEvalNum) # 得到电影的短评         movieQuote = movieLi.find('span', attrs={'class': 'inq'})         if(movieQuote):             data.append(movieQuote.getText())         else:             data.append("无") ))) # 将输出重定向到txt文件 output = sys.stdout outputfile = open("moviedata.txt", 'w', encoding = 'utf-8') sys.stdout = outputfile outputMode = "{0:{4}^20}\t{1:^10}\t{2:^10}\t{3:{4}<10}" ))) basicUrl = 'https://movie.douban.com/top250' k =  :     html = getHTMLText(basicUrl, k)     time.sleep()     k +=      getData(html) outputfile.close() sys.stdout = output

　参考出处：https://blog.csdn.net/linzch3/article/details/62444947