爬虫-day01-基础知识
'''
爬虫的构成
下载器: 抓取页面
urllib
equests
selenium + webdriver
解析器: 解释并提取页面元素
BeautifulSoup4
PyQuery
Xpath
Regular Expression
调度器:协调完成全部抓取任务
进程
线程
协程
分布式抓取
处理器:
数据清洗
数据入库
图片上传
'''
# 开始一个爬虫
'''
1、确定一个抓取目标
2、页面分析
① pyquery
② xpath
③ json
④ regexp
3、流程规则
4、存储规则
'''
'''
超文本传输协议 HTTP
统一资源定位符 URL
http://example.com:80/123/456/789?x=0&y=abc#part1
组成:
scheme: http、https
hostname: example.com
port: 80
path:/123/456/789
query: ?x=0&y=abc
fragment: #part1
'''
'''
Request
Method(方法) 作用
GET 请求一个指定资源的表示形式,使用GET请求应该只被用于获取数据
HEAD 请求一个月GET请求响应相同的响应,但没有响应体
POST 用于将实体提交到指定的资源,通常导致状态或服务器上的副作用更改
PUT 用于请求有效载荷替换目标资源的左右当前表示
DELETE 删除指定的资源
OPTIONS 用于描述目标资源的通信选型
CONNNET 建立目标资源标识的服务器隧道,主要用于做代理服务器
TRACE 执行一个消息回环测试,主要用于诊断
PATCH 用于对资源应用部分修改
'''
'''
Header
Header Names 描述
Accept text/plain 告诉服务器接受什么介质类型,/ 表示任何类型,type/* 表示该类型下的所有子类
Accept-Charset utf-8 浏览器申明自己接收的字符集
Accept-Encoding gzip 浏览器申明自己接收的编码方法,通常指定压缩方法
Accept-language zh-CN en-US 浏览器申明自己接收的语言
Cache-Control true,max-age 设置是否允许被缓存,缓存有效时间,也可以通过 no-cache 指令来禁止缓存
connection keep-alive 又称持久连接、连接重用
content-length 当内容将要被传输到浏览器时,服务器可以通过该头部告知浏览器将要传送文件的大小(bytes)
content-Type 指定响应的内容类型,浏览器将会依据该参数决定如何对文档进行解析,默认 text/html
User-Agent 浏览器标识
Cookie cookie信息
Referer 当前页面是通过此来源页面里的链接进入的
'''
爬虫-day01-基础知识的更多相关文章
- c++学习day01基础知识学习
一.代码示例解析: #include <iostream> int main() { using namespace std; cout << "come up an ...
- 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(1): 基础知识Beautiful Soup
开始学习网络数据挖掘方面的知识,首先从Beautiful Soup入手(Beautiful Soup是一个Python库,功能是从HTML和XML中解析数据),打算以三篇博文纪录学习Beautiful ...
- python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。
本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding: ...
- Python爬虫(1):基础知识
爬虫基础知识 一.什么是爬虫? 向网站发起请求,获取资源后分析并提取有用数据的程序. 二.爬虫的基本流程 1.发起请求 2.获取内容 3.解析内容 4.保存数据 三.Request和Response ...
- python 爬虫与数据可视化--python基础知识
摘要:偶然机会接触到python语音,感觉语法简单.功能强大,刚好朋友分享了一个网课<python 爬虫与数据可视化>,于是在工作与闲暇时间学习起来,并做如下课程笔记整理,整体大概分为4个 ...
- python 爬虫基础知识一
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 网络爬虫必备知识点 1. Python基础知识2. P ...
- 爬虫基础---HTTP协议理解、网页的基础知识、爬虫的基本原理
一.HTTP协议的理解 URL和URI 在学习HTTP之前我们需要了解一下URL.URI(精确的说明某资源的位置以及如果去访问它) URL:Universal Resource Locator 统一资 ...
- 0.Python 爬虫之Scrapy入门实践指南(Scrapy基础知识)
目录 0.0.Scrapy基础 0.1.Scrapy 框架图 0.2.Scrapy主要包括了以下组件: 0.3.Scrapy简单示例如下: 0.4.Scrapy运行流程如下: 0.5.还有什么? 0. ...
- 学 Java 网络爬虫,需要哪些基础知识?
说起网络爬虫,大家想起的估计都是 Python ,诚然爬虫已经是 Python 的代名词之一,相比 Java 来说就要逊色不少.有不少人都不知道 Java 可以做网络爬虫,其实 Java 也能做网络爬 ...
- 从0开始学爬虫4之requests基础知识
从0开始学爬虫4之requests基础知识 安装requestspip install requests get请求:可以用浏览器直接访问请求可以携带参数,但是又长度限制请求参数直接放在URL后面 P ...
随机推荐
- Luffy之注册认证(容联云通讯短信验证)
用户的注册认证 前端显示注册页面并调整首页头部和登陆页面的注册按钮的链接. 注册页面Register,主要是通过登录页面进行改成而成. 先构造前端页面 <template> <div ...
- 『Python CoolBook』数据结构和算法_多变量赋值&“*”的两种用法
多变量赋值 a = [1,2,(3,4)] b,c,d = a print(b,c,d) b,c,(d,e) = a print(b,c,d,e) 1 2 (3, 4) 1 2 3 4 a = &qu ...
- pandas中的空值处理
1.空值 1.1 有两种丢失数据: None: Python自带的数据类型 不能参与到任何计算中 np.nan: float类型 能参与计算,但结果总是nan # None+2 # 报错 # np.n ...
- Loadrunner加密算法脚本与token作为get请求url上的参数处理
1.当字符串被封装好加密时(下例将算法封装在md5中),使用Loadrunner编写脚本,需要进行如下操作: 1)将md5.h文件添加到Extra Files 下,如图(Loadrunne ...
- 在flask中使用websocket-实时消息推送
- flask默认使用wsgi支持http协议,如需使用websocket需要安装gevent-websocket模块,http,websocket协议都可以支持 Django应用:channel T ...
- 泥瓦工vps
http://blog.sina.com.cn/s/blog_16a3cb7cb0102xbvd.html
- 前端表单验证常用的15个JS正则表达式
在表单验证中,使用正则表达式来验证正确与否是一个很频繁的操作,本文收集整理了15个常用的javaScript正则表达式,其中包括用户名.密码强度.整数.数字.电子邮件地址(Email).手机号码.身份 ...
- jQuery键盘敲击事件,换键的话换键码就可以
$("body").keyup(function () { if (event.which == 13){ $("#Btn_login").trigger(&q ...
- 带通滤波 matlab
巴特沃斯:1.带阻滤波器设计带阻滤波器指标:阻带上边界频率:5Kz:阻带下边界频率:7Kz:通带上边界频率:2Kz:通带下边界频率:9Kz:通带最大衰减:1dB:阻带最小衰减:20dB:设计程序如下: ...
- Costura.Fody合并DLL和EXE
1.打开Nuget包管理器 2. 输入 Install-Package Costura.Fody -Version 3.3.0 3.之后Costura.Fody会嵌入到工程中,如果没有手动添加一下 4 ...