一、前言

爬虫Spider什么的，老早就听别人说过，感觉挺高大上的东西，爬网页，爬链接~~~dos黑屏的数据刷刷刷不断地往上冒，看着就爽，漂亮的校花照片，音乐网站的歌曲，笑话、段子应有尽有，全部都过来~~~

前段时间在学习Python打基础，一周时间过去了，是时候要开始写点东西了，Python爬虫刚好可验证下这段时间的学习成果，写写博文记录下自己学习爬虫的经过和遇到的坑，希望对同样是小白的园友有帮助！！！

我用的Python 3.5版本，2.7版本用的人也挺多的。

那么，接下来，我们要搞清楚几个问题：爬虫是什么东西？爬虫可以用来做什么？开发爬虫前需要掌握什么？

二、爬虫是什么东西

百度百科这么定义爬虫：

这里有几个关键词"规则"，"自动"，"万维网"，"程序"或者"脚本",理解了这几个关键词估计对爬虫就有个大体上的认识了。

接下来，会对这几个关键词就行解释.

三、爬虫从哪里爬取数据

浏览器输入QQ音乐首页的网址：https://y.qq.com/，展现在我们面前的是浏览器解析器后的样子，敲击F12后，我们可以看到网页的源码，都是由一些html标签（标签我们这里用"节点"表示吧）构成。

所有网页的源码结构主要长的是这个样子：

<html>

　　<head>

　　　　<title>title name</title>

　　</head>

　　<body>

　　　　page content

　　</body>

</html>

关键词"万维网"？最简单的理解，万维网就是千千万万台电脑相互连接形成的像蜘蛛网一样的东西，我们的爬虫就是在这张网上干活，从网页上爬取信息。

关键词"规则"？这就是爬虫需要遵守的规则，<html>节点是<head>和<body>的父节点，<head>和<body>是子节点， 父节点包含子节点，子节点相邻的节点是兄弟节点，<title>是<html>的子孙节点，

这就构成了HTML DOM（文档对象模型），简单地说，爬虫就是爬取这些节点的内容，例如图片，文本等。。

关键词"自动"和"程序"或者"脚本"？可以理解成非人工的方式，也就是编写代码的方式，通过程序或者一段脚本（我们这里用Python脚本），自动按着我们预设的意愿工作，爬取我们认为有价值的信息，满足我们对信息的需求。

四、我的爬虫知识储备

HTML + CSS + Javascript

掌握一些HTML静态网页的知识，CSS样式，ID，标签，类选择器，还有Javascript如何定位和操作页面上的元素，w3school的教程，有教程和实例，还可以用来调试代码脚本，新手入门和知识查阅十分方便。网页解析方面，后面我们会用到正则表达式、BeautifulSoup和Lxml三种方式。

HTTP协议

具备一些网络方面的知识，了解浏览器和服务器之间的交互，如何发送http请求和处理请求结果。网页请求和下载网页，后面我们会用到Python的库urllib

Python

我们的脚本语言，这个自然不用说，必须掌握，入门推荐 runoob.com，Python基础 和 Python 3

掌握了以上知识，我们就可以开始实战了！！！

Python爬虫基础之认识爬虫的更多相关文章

  1. python爬虫基础16-cookie在爬虫中的应用

    Cookie的Python爬虫应用 Cookie是什么 Cookie,有时也用其复数形式 Cookies,英文是饼干的意思.指某些网站为了辨别用户身份.进行 session 跟踪而储存在用户本地终端上 ...

  2. Python开发基础-Day15正则表达式爬虫应用，configparser模块和subprocess模块

    正则表达式爬虫应用(校花网) import requests import re import json #定义函数返回网页的字符串信息 def getPage_str(url): page_stri ...

  3. python基础整理6——爬虫基础知识点

    爬虫基础 什么是爬虫: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁. ...

  4. Python爬虫基础

    前言 Python非常适合用来开发网页爬虫,理由如下: 1.抓取网页本身的接口 相比与其他静态编程语言,如java,c#,c++,python抓取网页文档的接口更简洁:相比其他动态脚本语言,如perl ...

  5. Python爬虫入门：爬虫基础了解

    有粉丝私信我想让我出更基础一些的,我就把之前平台的copy下来了,可以粗略看一下,之后都会慢慢出. 1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫 ...

  6. python 3.x 爬虫基础---Urllib详解

    python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 前言 爬虫也了解了一段时间了希望在半个月的时间内 ...

  7. python 3.x 爬虫基础---常用第三方库（requests，BeautifulSoup4，selenium，lxml ）

    python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---常用第三方库 ...

  8. python从爬虫基础到爬取网络小说实例

    一.爬虫基础 1.1 requests类 1.1.1 request的7个方法 requests.request() 实例化一个对象,拥有以下方法 requests.get(url, *args) r ...

  9. python爬虫-基础入门-python爬虫突破封锁

    python爬虫-基础入门-python爬虫突破封锁 >> 相关概念 >> request概念:是从客户端向服务器发出请求,包括用户提交的信息及客户端的一些信息.客户端可通过H ...

随机推荐

  1. 程序员买房指南——LZ的三次买房和一次卖房经历

    引言 买房,一直是程序员群体绕不开的一个话题,尤其是到了一定年纪和人生阶段以后,买房这件事会变得越来越迫切. 为什么LZ一上来就说,买房是程序员绕不开的一个话题? 其实原因很简单,由于程序员这个职业的 ...

  2. Linux slave配置

    说明:master机器为Windows,现将一台Linux机器作为slave进行配置.这台Linux机器为CentOS. 1.在Linux slave上的配置 ①创建名为jenkins用户 #sudo ...

  3. redis--主从同步,故障切换,集群搭建

    一 . redis主从同步 准备三个配置文件,实现一主两从的redis数据库结构(这三个配置文件仅仅端口不一样) # redis-6379.conf 文件, 写入下面数据: port 6379 dae ...

  4. linux服务端日志中截取自己所需要的部分

    近期开发一个图片处理的业务,涉及base64字符串解析的问题,为方便与友商间接口调试,日志中保存Base64.日,想想就肝儿疼,记录下来容易,取的时候难.为准确提取,配合两条命令即可. 1.获取日志所 ...

  5. [BZOJ 3992] [SDOI 2015] 序列统计

    Description 传送门 Solution [一] 设 \(f[i][j]\) 表示前 \(i\) 个数的乘积在模 \(p\) 意义下等于 \(j\) 的方案数,有 \[ f[i][j]=\su ...

  6. Js元素拖拽功能实现

    Js元素拖拽功能实现 需要解决的问题 最近项目遇到了一个问题,就是用户某个操作需要弹出一个自定义的内容输入框,但是有个缺点,当浏览太大的时候没办法点击确认和取消按钮,应为这个弹出框是采用绝对定位的,取 ...

  7. hdu 1848 简单SG函数

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1848 Problem Description 任何一个大学生对菲波那契数列(Fibonacci num ...

  8. CRLF在过滤XSS语句后打Cookie方式

    看了很长时间的漏洞奖励计划,学到了不少骚姿势,我觉得这个姿势很不错,总结下写篇文章发出来.针对CRLF漏洞打cookie的方法. 这里不讲概念挖掘方式了,以实战为主: 阅读文章前先参考文章:http: ...

  9. golang 笔记

    golang 的坑 package main import ( "fmt" "net/http" "time" ) func Hello(w ...

  10. 忘掉Ghost！利用Win10自带功能，玩转系统备份&恢复 -- 关于系统恢复的深度思考

    上一篇文章讲了,系统可以正常启动,如何从D盘恢复系统到C盘的情况. 如果系统不能启动,要怎么去恢复系统,恢复后会是什么结果? 先说明系统结构: 系统版本:Windows 10 (1709) 硬盘1(5 ...