需求：爬取豆瓣电影top250的排名、电影名称、评分、评论人数和一句话影评

环境：python3.6.5

准备工作：

豆瓣电影top250（第1页）网址：https://movie.douban.com/top250?start=0      或者       https://movie.douban.com/top250

每页展示25个电影，一共10张翻页

第2页：https://movie.douban.com/top250?start=&filter=

第3页：https://movie.douban.com/top250?start=&filter=

……

最后一页：https://movie.douban.com/top250?start=&filter=

由此可见，除了首页代码其他9页（相对首页增加了一些字符串）以25递增

查看每页的html代码：

在浏览器空白区域点击“查看源代码”（不同的浏览器可能起的名字不一样），找到所需要的内容。

快速定位html有效信息的方法：

例如排名第一的电影是《肖申克的救赎》，在html源码中搜索（ctrl+F）这个名字（不要加书名号），快速定位大致位置，如下图

仔细研究html代码：

所有影片存放在ol列表中，每一部影片在一个li中，需要提取的信息在不同的标签中，如下图所示

代码逻辑为：查找ol→li→各个标签

需要用到的第三方库：

from bs4 import BeautifulSoup as bs

from urllib import request

读取html源码（以首页为例）

     h="https://movie.douban.com/top250"

     resp = request.urlopen(h)

     html_data = resp.read().decode('utf-8')

     soup = bs(html_data,'lxml')

     #print(soup.prettify())

第5行的soup.prettify()输出的比较好看，但是有可能更改一些并列标签的前后位置，用这个输出只是看起来更人性化一些

查找ol标签，获取本页面上25部电影

通过class名称，因为这个class是唯一命名的，因此无需find_all，只需要find（这个是查找第一个）

     movieList = soup.find('ol',attrs={'class':"grid_view"})

在ol内查找li标签，无class和id，只需标签名即可

 movie = movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式

返回结果是一位数组，每个元素是li标签

在每一个li标签内提取有用信息

     for i in range(0,25):

         name = movie[i].find('span',class_="title").string#获得影片名称

         score = movie[i].find('span',class_="rating_num").string#获得影片评分

         num = movie[i].find('div',class_="star").find_all('span')[-1].string.strip('人评价')#获得影片评价人数

         quote = movie[i].find('span',class_="inq")#获得影片短评

.string和get_text()在本代码中显示结果一样（有些代码中返回显示也是不同的），但是返回类型不同

注意第4行获取评价人数时，span标签内无class和id等，只能先把div中所有的信息提取（返回结果是一位数组），人数在数组中最后一个，通过数组方法[-1]提取这个标签，通过string提取标签内内容，再用strip字符串方法去掉“人评价”这几个字

还有一点需要注意是，有几部影片是没有短评的（通过运行程序的结果才能看到，返回的是None），如果需要显示的更加人性化一些，添加以下语句：

         if quote is None:

             quote = "暂无"

         else:

             quote = quote.string

查找所有信息：不要想着把10页的html先拼接成一个html处理，这样的的html进行soup时只能提取到第一个<html>标签内的，也就是说只能查到第一页的信息。因此总体思路还是遍历每一页的电影信息，然后将结果拼接成数组。如果只是print出来或者逐行写入歧途文件的话无需整合所有影片

写入txt文件，提取出的结果是二维数组

 #将数组movieData250写入文件txt

 import codecs

 s ="—————————豆瓣电影top250——————————\r\n"

 f = codecs.open("豆瓣电影top250.txt",'w','utf-8')

 f.write(s)

 for i in movieData250:

     f.write(str(i)+'\r\n')  #\r\n为换行符

 f.close()

源代码：

 #豆瓣电影前250信息,写入txt文件

 from bs4 import BeautifulSoup as bs

 from urllib import request

 k = 0

 n = 1

 movieData250 = []

 #读取每一个网页25个电影信息

 def info25():

     movieData = []

     for i in range(0,25):

         name = movie[i].find('span',class_="title").string#获得影片名称

         score = movie[i].find('span',class_="rating_num").string#获得影片评分

         num = movie[i].find('div',class_="star").find_all('span')[-1].string.strip('人评价')#获得影片评价人数

         quote = movie[i].find('span',class_="inq")#获得影片短评

         if quote is None:

             quote = "暂无"

         else:

             quote = quote.string

         #movieData[i] = [i+1,name,score,num,quote]

         movieData.append([i+1+k,name,score,num,quote])

     #print(movieData)

     return movieData

     #movieData250 = movieData250 + movieData

 while(k == 0):

     h="https://movie.douban.com/top250"

     resp = request.urlopen(h)

     html_data = resp.read().decode('utf-8')

     soup = bs(html_data,'lxml')

     #print(soup.prettify())

     #movieList=soup.find('ol')#寻找第一个ol标签，得到所有电影

     #movieList=soup.find('ol',class_="grid_view")#以下两种方法均可

     movieList = soup.find('ol',attrs={'class':"grid_view"})

     movie = movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式

     movieData250 +=info25()

     k += 25

 while(k<250):

     h = "https://movie.douban.com/top250?start=" + str(k) + "&filter="

     resp=request.urlopen(h)

     html_data=resp.read().decode('utf-8')

     soup=bs(html_data,'lxml')

     #print(soup.prettify())

     #movieList=soup.find('ol')#寻找第一个ol标签，得到所有电影

     #movieList=soup.find('ol',class_="grid_view")#以下两种方法均可

     movieList=soup.find('ol',attrs={'class':"grid_view"})

     movie=movieList.find_all('li')#获取每一个li（每个li是一个电影），以数组方式

     movieData250 += info25()

     k+=25

 print(movieData250)

 #将数组movieData250写入文件txt

 import codecs

 s ="—————————豆瓣电影top250——————————\r\n"

 f = codecs.open("豆瓣电影top250.txt",'w','utf-8')

 f.write(s)

 for i in movieData250:

     f.write(str(i)+'\r\n')  #\r\n为换行符

 f.close()

输出的txt：

显示结果不是很友好~~~

python3爬取豆瓣top250电影的更多相关文章

  1. 基础爬虫，谁学谁会，用requests、正则表达式爬取豆瓣Top250电影数据！

    爬取豆瓣Top250电影的评分.海报.影评等数据!   本项目是爬虫中最基础的,最简单的一例: 后面会有利用爬虫框架来完成更高级.自动化的爬虫程序.   此项目过程是运用requests请求库来获取h ...

  2. requests爬取豆瓣top250电影信息

    ''' 1.爬取豆瓣top250电影信息 - 第一页: https://movie.douban.com/top250?start=0&filter= - 第二页: https://movie ...

  3. Python-爬虫实战 简单爬取豆瓣top250电影保存到本地

    爬虫原理 发送数据 获取数据 解析数据 保存数据 requests请求库 res = requests.get(url="目标网站地址") 获取二进制流方法:res.content ...

  4. 爬取豆瓣TOP250电影

    自己跟着视频学习的第一个爬虫小程序,里面有许多不太清楚的地方,不如怎么找到具体的电影名字的,那么多级关系,怎么以下就找到的是那个div呢? 诸如此类的,有许多,不过先做起来再说吧,后续再取去弄懂. i ...

  5. Python3爬取豆瓣网电影信息

      # -*- coding:utf-8 -*- """ 一个简单的Python爬虫, 用于抓取豆瓣电影Top前250的电影的名称 Language: Python3.6 ...

  6. 爬虫之爬取豆瓣top250电影排行榜及爬取斗图啦表情包解读及爬虫知识点补充

    今日内容概要 如何将爬取的数据直接导入Excel表格 #如何通过Python代码操作Excel表格 #前戏 import requests import time from openpyxl impo ...

  7. 80 行代码爬取豆瓣 Top250 电影信息并导出到 CSV 及数据库

    一.下载页面并处理 二.提取数据 观察该网站 html 结构 可知该页面下所有电影包含在 ol 标签下.每个 li 标签包含单个电影的内容. 使用 XPath 语句获取该 ol 标签 在 ol 标签中 ...

  8. 团队-爬取豆瓣Top250电影-团队-阶段互评

    团队名称:咣咣踹电脑学号:2015035107217姓名:耿文浩 得分10 原因:组长带领的好,任务分配的好,积极帮助组员解决问题学号:2015035107213姓名:周鑫 得分8 原因:勇于分担,积 ...

  9. Python爬虫实例：爬取豆瓣Top250

    入门第一个爬虫一般都是爬这个,实在是太简单.用了 requests 和 bs4 库. 1.检查网页元素,提取所需要的信息并保存.这个用 bs4 就可以,前面的文章中已经有详细的用法阐述. 2.找到下一 ...

随机推荐

  1. php：获取一个表不含text类型的全部字段

    select * from table 这个*用表具体的字段替换 $sql="show COLUMNS FROM table"; $rs=query($sql); while($r ...

  2. 低版本Firefox支持innerText属性兼容方法

    FireFox支持innerText属性了,很遗憾是44.0.2版本以下还需要兼容处理. 方法一: innerHTML是符合W3C标准的属性,而innerText只适用于IE浏览器,因此,尽可能地去使 ...

  3. P3930 SAC E#1 - 一道大水题 Knight

    TLE,额 ,有空再写吧. #include<queue> #include<cstdio> #include<vector> #include<algori ...

  4. Fleet（集群管理器）

    工作原理 fleet 是通过systemd来控制你的集群的,控制的任务被称之为unit(单元),控制的命令是fleetctl unit运行方式 unit的运行方式有两种: standard globa ...

  5. SpringBoot 数据库操作 增删改查

    1.pom添加依赖 <!--数据库相关配置--> <dependency> <groupId>org.springframework.boot</groupI ...

  6. 零基础逆向工程14_C语言08_指针02_反汇编

    1.指针数组 5: char* keyword[] = {"if", "for", "while", "switch"} ...

  7. MySQL连表Update修改数据

    设想两张表,如下 table A field id field name table B field id filed my_name 现在希望将表B中的my_name中的内容“拷贝”到表A中对应的n ...

  8. Android中当item数量超过一定大小RecyclerView高度固定

    Android中当item数量超过一定大小时,将RecyclerView高度固定 方法1 直接通过LayoutParams来设定相应高度 ViewGroup.LayoutParams lp = rv. ...

  9. SharePoint Server和Office 365之间的混合模式集成概述

    正如您可能已经知道的那样,云中的Microsoft Office 365和SharePoint Server 2013/2016内部部署可以通过多种方式协同工作.这些通常被称为混合模式,因为它们将功能 ...

  10. MySQL基础环境_安装配置教程（Windows7 64或Centos7.2 64、MySQL5.7）

    MySQL基础环境_安装配置教程(Windows7 64或Centos7.2 64.MySQL5.7) 安装包版本 1)     VMawre-workstation版本包 地址: https://m ...