最近刚接触python，找点小任务来练练手，希望自己在实践中不断的锻炼自己解决问题的能力。这个小爬虫来自慕课网的一门课程，我在这里记录的是自己学习的过程中遇到的问题和解决方法以及爬虫之外的思考。

　　这次的小任务就是写一个小爬虫。为啥选这个来练手呢，最最重要的原因就是大数据太热了，就像武汉的现在的天气。数据之于”大数据“，就好比武器之于战士，砖瓦之于高楼。没有了数据，”大数据“就是空中阁楼，根本没法落地，应用于实际。数据怎么来呢？两种途径，一个是自取，一个他取。自取不必多说，另外一种就是他取，这个“他”就是指的互联网。

　　首先要明白爬虫：一种按照一定的规则，自动地抓取万维网信息的程序或者脚本（来自百度百科）。顾名思义，那就是要访问页面，然后将页面中的内容保存下来，然后从保存下来的页面中筛选出你感兴趣的内容，再把它另外存放起来。实际生活中，这种事我们经常干：我们在一个无聊的下午，在浏览器里输入一段地址进行页面访问，然后遇到感兴趣的文章或者段落，选中它，然后复制粘贴到一个word文档里。如果我们把以上对一个页面做的事，变成对成百万上千万的页面也这样做，那你的数据就会越来越大，我们把这个过程称之为“数据采集”。

　　爬虫的优势就在于：自动化，批量化。这里就会有一个误会，在我还没接触爬虫之前，我以为爬虫可以爬取我“看不到”的东西，后来才明白爬虫是用来爬取我“看不完”的东西。

　　下面是这个爬虫的架构和爬行流程

　　

　　

　　

python——爬虫&问题解决&思考（1）的更多相关文章

  1. python——爬虫&问题解决&思考（三）

    继续上一篇文章的内容,上一篇文章中,将爬虫调度器已经写好了,调度器是整个爬虫程序的"大脑",也可以称之为指挥中心.而现在,我们要做的就是去将调度器中用到的其他组件写好.首先是url ...

  2. python——爬虫&问题解决&思考（四）

    继续上一篇文章的内容,上一篇文章中已经将url管理器和下载器写好了.接下来就是url解析器,总的来说这个模块是几个模块中比较难的.因为通过下载器下载完页面之后,我们虽然得到了页面,但是这并不是我们想要 ...

  3. 沉淀，再出发：python爬虫的再次思考

    沉淀,再出发:python爬虫的再次思考 一.前言    之前笔者就写过python爬虫的相关文档,不过当时因为知识所限,理解和掌握的东西都非常的少,并且使用更多的是python2.x的版本的功能,现 ...

  4. Python爬虫编程常见问题解决方法

    Python爬虫编程常见问题解决方法: 1.通用的解决方案: [按住Ctrl键不送松],同时用鼠标点击[方法名],查看文档 2.TypeError: POST data should be bytes ...

  5. 【图文详解】python爬虫实战——5分钟做个图片自动下载器

    python爬虫实战——图片自动下载器 之前介绍了那么多基本知识[Python爬虫]入门知识,(没看的先去看!!)大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk is cheap sho ...

  6. Python 爬虫入门（requests）

    相信最开始接触Python爬虫学习的同学最初大多使用的是urllib,urllib2.在那之后接触到了第三方库requests,requests完全能满足各种http功能,真的是好用爆了 :D 他们是 ...

  7. [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上)

    转载自:http://blog.csdn.net/eastmount/article/details/51231852 一. 文章介绍 源码下载地址:http://download.csdn.net/ ...

  8. Python爬虫之urllib模块2

    Python爬虫之urllib模块2 本文来自网友投稿 作者:PG-55,一个待毕业待就业的二流大学生. 看了一下上一节的反馈,有些同学认为这个没什么意义,也有的同学觉得太简单,关于Beautiful ...

  9. 专业的“python爬虫工程师”需要学习哪些知识？

    学到哪种程度 暂且把目标定位初级爬虫工程师,简单列一下吧: (必要部分) 熟悉多线程编程.网络编程.HTTP协议相关 开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到) 反爬相关,cookie. ...

随机推荐

  1. Java 静态代理与动态代理

    代理模式 设想你的项目依赖第三方,但是你需要对其接口做一些数据检验.性能数据记录.异常处理等,合适的方法就是使用设计模式里的代理模式. 代理模式是常用的java设计模式,代理类与委托类有同样的接口,代 ...

  2. SQL Server数据库的存储过程中定义的临时表，真的有必要显式删除临时表（drop table #tableName）吗？

    本文出处:http://www.cnblogs.com/wy123/p/6704619.html 问题背景 在写SQL Server存储过程中,如果存储过程中定义了临时表,有些人习惯在存储过程结束的时 ...

  3. Android -- Annotation（注解）原理详解及常见框架应用

    1,我们在上一篇讲到了EventBus源码及3.0版本的简单使用,知道了我们3.0版本是使用注解方式标记事件响应方法的,这里我们就有一个疑问了,为什么在一个方法加上类似于"@Subscrib ...

  4. Python标准模块--importlib

    作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 1 模块简介 Python提供了importlib包作为标准库的一 ...

  5. C#中使用SHA1和MD5加密字符串

    SHA1和MD5加密均为不可逆加密.代码如下: using System.Security.Cryptography; //添加Using static void Main(string[] args ...

  6. Java设计模式：生成器模式

    问题的提出: 有些类很容易创建对象,直接调用其构造方法,例如Student student = new Student("1001","zhang",21); ...

  7. css 画出三角形

    技术分享不一定行文累赘 这里说说最简洁的 css 画出三角形 display: inline-block; border: 10px dashed transparent; border-left: ...

  8. java8 Lambda表达式的新手上车指南(1)

    背景 java9的一再推迟发布,似乎让我们恍然想起离发布java8已经过去了三年之久,java8应该算的上java语言在历代版本中变化最大的一个版本了,最大的新特性应该算得上是增加了lambda表达式 ...

  9. CSS3 制作网格动画效果

    在线演示      源码下载

  10. nginx与apache配合反向代理技术1

    序:最近在看Dimitri Aivaliotis的<Mastering Nginx>,刚好跆拳道课下班在路上看了反向代理服务器,准备在自己的博客VPS尝试一下 web代理服务器可以实现分布 ...