最近在学习网络爬虫，完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢，当然是因为要比人去收集更高效。

网络爬虫，可以理解为自动帮你在网络上收集数据的机器人。

　　网络爬虫简单可以大致分三个步骤：

　　　　第一步要获取数据，

　　　　第二步对数据进行处理，

　　　　第三步要储存数据。

　　获取数据的时候这里我用到了python的urllib标准库，它是python中非常方便抓取网页内容的一个模块。

　　具体为：

　　这里我要爬取的是电影天堂一个电影页面的电影名称，日期等数据。

 from urllib import request

 def get_data ( ):

     url='http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'

     headers={'User-Agent': ' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' }

     req=request.Request(url, headers=headers)

     response=request.urlopen(req)

     # print (type(response)) #响应对象的类型

     # print(response.getcode()) #响应状态码

     # print(response.info())

     if response.getcode() == 200:

         data=response.read()#读取响应的结果

         data =str(data,encoding='gb2312')

         #print(data)

         #将数据写入文件中

         with open ('index.html',mode='w',encoding='gb2312') as  f:

             f.write(data)

　　　　这里的headers是一个参数，就是你的浏览器在访问服务器的时候，会让服务器知道你的浏览器的一些信息，还有操作系统等信息。if 函数来判断当网站成功响应的时候，会返回一个200.这时候读取响应的数据结果，就是网页的代码。这里我做了一个字符串转化处理，根据网页代码显示编码为gb2312，所以这时候只要将encoding设置为gb2312就可以了。

　　　　

 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

 <html xmlns="http://www.w3.org/1999/xhtml">

 <head>

 <META http-equiv=Content-Type content="text/html; charset=gb2312">

根据上面的网页代码，charset为gb2312判断的。　　

　　　　当我们存取了网页数据后，发现它还是html格式的，而且有很多html，css的代码，但是我们只想要其中的文字信息，这时候怎么办呢。

　　　　这时候就要用到一个强大的数据处理模块，beautifusoup4，俗称美味汤。安装好这个模块后。我们就可以对我们的html文件做进一步的处理，提取我们需要的信息。

　　　

 from urllib import request

 from bs4 import BeautifulSoup

 def get_data ( ):

     url='http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'

     headers={'User-Agent': ' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' }

     req=request.Request(url, headers=headers)

     response=request.urlopen(req)

     # print (type(response)) #响应对象的类型

     # print(response.getcode()) #响应状态码

     # print(response.info())

     if response.getcode() == 200:

         data=response.read()#读取响应的结果

         data =str(data,encoding='gb2312')

         #print(data)

         #将数据写入文件中

         with open ('index.html',mode='w',encoding='gb2312') as  f:

             f.write(data)

 def parse_data():

     with open ('index.html',mode='r',encoding='gb2312') as  f:

         html = f.read()

     bs = BeautifulSoup(html,'html.parser')

     metas = bs.select("[class~=ulink]")

     date = bs.select("[color=#8F8C89]")

     i=0

     while i < 25:

         print(metas[i].get_text())

         print(date[i].get_text())

         i=i+1

 if __name__ == '__main__':

     #get_data()

     parse_data()

　　这里我们用到了美味汤中的CSS选择器功能，就是只把我们想要的信息选择处来，根据网页代码，发现class等于ulink的时候后面跟着的信息是我们需要的。还有color=#8F8C89也是我们需要的。使用select方法，将选中的信息筛选出来。最终结果：

点击0是因为网站显示就是0，估计是网站的问题。这样我们就得到了电影信息以及发布的时间信息。后面还有很多。根据这次简单爬虫的实现，我发现web爬虫除了你要懂python的知识之外，对于html，CSS等前端知识你也要有一定了解。爬虫是模拟人去收集网站数据的，有些网站以及建立了反爬虫技术。所以爬虫的技术也在不断更新。

一个简单python爬虫的实现——爬取电影信息的更多相关文章

  1. 【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

    原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http:/ ...

  2. Python爬虫实例：爬取猫眼电影——破解字体反爬

    字体反爬 字体反爬也就是自定义字体反爬,通过调用自定义的字体文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容的. 现在貌似不少网 ...

  3. Python爬虫实例：爬取豆瓣Top250

    入门第一个爬虫一般都是爬这个,实在是太简单.用了 requests 和 bs4 库. 1.检查网页元素,提取所需要的信息并保存.这个用 bs4 就可以,前面的文章中已经有详细的用法阐述. 2.找到下一 ...

  4. Python爬虫教程-17-ajax爬取实例（豆瓣电影）

    Python爬虫教程-17-ajax爬取实例(豆瓣电影) ajax: 简单的说,就是一段js代码,通过这段代码,可以让页面发送异步的请求,或者向服务器发送一个东西,即和服务器进行交互 对于ajax: ...

  5. Python爬虫实例：爬取B站《工作细胞》短评——异步加载信息的爬取

    很多网页的信息都是通过异步加载的,本文就举例讨论下此类网页的抓取. <工作细胞>最近比较火,bilibili 上目前的短评已经有17000多条. 先看分析下页面 右边 li 标签中的就是短 ...

  6. python爬虫-基础入门-爬取整个网站《3》

    python爬虫-基础入门-爬取整个网站<3> 描述: 前两章粗略的讲述了python2.python3爬取整个网站,这章节简单的记录一下python2.python3的区别 python ...

  7. python爬虫-基础入门-爬取整个网站《1》

    python爬虫-基础入门-爬取整个网站<1> 描述: 使用环境:python2.7.15 ,开发工具:pycharm,现爬取一个网站页面(http://www.baidu.com)所有数 ...

  8. Python 爬虫入门之爬取妹子图

    Python 爬虫入门之爬取妹子图 来源:李英杰  链接: https://segmentfault.com/a/1190000015798452 听说你写代码没动力?本文就给你动力,爬取妹子图.如果 ...

  9. Python爬虫实战之爬取百度贴吧帖子

    大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标 对百度贴吧的任意帖子进行抓取 指定是否只抓取楼主发帖 ...

随机推荐

  1. 一步一步pwn路由器之uClibc中malloc&&free分析

    前言 本文由 本人 首发于 先知安全技术社区: https://xianzhi.aliyun.com/forum/user/5274 栈溢出告一段落.本文介绍下 uClibc 中的 malloc 和 ...

  2. Vue2学习笔记:class和style

    1.用法 <!DOCTYPE html> <html> <head> <title></title> <meta charset=&q ...

  3. 关于SQL Server 2017中使用json传参时解析遇到的多层解析问题

    开发新的系统,DB部分使用了SQL Server从2016版开始自带的Json解析方式. 用了快半年,在个人项目,以及公司部分项目上使用了,暂时还没遇到大的问题,和性能问题. 今天在解析Json的多级 ...

  4. asp.net mvc多级目录结构和多级area实现技巧

    今天在工作要实现这个多级area.其原因是这个项目需要多级的功能,大的类别里有小的类别,小的类别里有具体的功能项,每一个功能项还有若干动作Action,所以在菜单和mvc工程的结构上都需要有体现多级的 ...

  5. 设置全局context变量 （显示用户登录名）

    比如在每个页面的最上面部分需要显示用户的登录名称,如果不登录则显示为Guest.这部分内容在每个页面都会出现,所以可将该部分内容作为一个公共模板(如userauth.html),如然后在其他模板中进行 ...

  6. C# 算法题系列(二) 各位相加、整数反转、回文数、罗马数字转整数

    各位相加 给定一个非负整数 num,反复将各个位上的数字相加,直到结果为一位数. 示例: 输入: 输出: 解释: 各位相加的过程为: + = , + = . 由于 是一位数,所以返回 . 进阶:你可以 ...

  7. 关于移动端APP开发-字体样式变大问题

    前两天在写App项目的时候发现一个问题,就是明明css写的样式是14px,刚开始在页面显示时并未出现问题,可是内容一多,字体突然变大了. what?,不明所以,在各大网站上找了好久才知道是浏览器的字体 ...

  8. 【cs231n】图像分类-Linear Classification线性分类

    [学习自CS231n课程] 转载请注明出处:http://www.cnblogs.com/GraceSkyer/p/8824876.html 之前介绍了图像分类问题.图像分类的任务,就是从已有的固定分 ...

  9. golang xorm应用

    github.com/go-xorm/xorm  xorm库 http://www.xorm.io/docs/ 手册 xorm是一个简单而强大的Go语言ORM库. 通过它可以使数据库操作非常简便.xo ...

  10. 1001. [BJOI2006]狼抓兔子【最小割】

    Description 现在小朋友们最喜欢的"喜羊羊与灰太狼",话说灰太狼抓羊不到,但抓兔子还是比较在行的, 而且现在的兔子还比较笨,它们只有两个窝,现在你做为狼王,面对下面这样一 ...