一.HTTP协议的理解 URL和URI 在学习HTTP之前我们需要了解一下URL.URI(精确的说明某资源的位置以及如果去访问它) URL:Universal Resource Locator 统一资源定位符,描述了一台特定服务器上某资源的特定位置. URI :Uniform Resource Identifier 统一资源标识符,URI有两种表现形式URL和URN. HTTP和HTTPS 我们经常会在URL的首部会看到http或者https,这个就是访问资源需要的协议类型,除了http和htt…

node.js基础模块http.网页分析工具cherrio实现爬虫 一.前言      说是爬虫初探,其实并没有用到爬虫相关第三方类库,主要用了node.js基础模块http.网页分析工具cherrio. 使用http直接获取url路径对应网页资源,然后使用cherrio分析. 这里我主要学习过的案例自己敲了一遍,加深理解.在coding的过程中,我第一次把jq获取后的对象直接用forEach遍历,直接报错,是因为jq没有对应的这个方法,只有js数组可以调用. 二.知识点    ①:supera…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装 小白学 Python 爬虫(7):HTTP 基础 先赞后看是个好习惯 网页的组成 我们的数…

好消息,<Python爬虫技术:深入理解原理.技术与开发>已经出版!!!   JetBrains官方推荐图书!JetBrains官大中华区市场部经理赵磊作序!送Python基础视频课程!JetBrains官大中华区市场部经理赵磊作序!超过300个实战案例,10万行源代码,22个综合实战项目,海量学习资料! 购买地址: 当当 京东 知识图谱…

相关背景知识要说清楚HTTPS协议的实现原理,至少要需要如下几个背景知识.大致了解几个基础术语(HTTPS.SSL.TLS)的含义大致了解HTTP和TCP的关系(尤其是"短连接"和"长连接")大致了解加密算法的概念(尤其是"对称加密和非对称加密")大致了解CA证书的用途 考虑到很多的技术菜鸟不可能了解到上述的背景,我想用最简单的文字描述一下.如果你自己认为自己不是菜鸟,请略过此文,直接看"HTTP协议的需求". HTTPS:首…

scrapy框架简介和基础应用阅读量: 1432 scrapy 今日概要 scrapy框架介绍 环境安装 基础使用 今日详情 一.什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板.对于框架的学习,重点是要学习其框架的特性.各个功能的用法即可. 二.安装 Linux:       pip3 install scrapy Win…

理解RxJava:(一)基础知识 本文翻译自Grokking RxJava, Part 1: The Basics,著作权归原作者danlew所有.译文由JohnTsai翻译.转载请注明出处,并保留此段声明. RxJava这些天成为了Android开发者关注的新热点.唯一的问题是它在你刚接触时难以理解.当你习惯了命令式编程,函数响应式编程就变得难以理解.但是一旦你理解了它,它就变得很棒了. 我在这试着给你们带来不一样的RxJava.这一系列四篇文章的目标是带你们入门.我不会也不能讲解所有的东西.…

本系列讲解WEB安全所需要的HTTP协议 #WEB安全基础 : HTTP协议 | 0x0 TCP/IP四层结构 #WEB安全基础 : HTTP协议 | 0x1 TCP/IP通信 #WEB安全基础 : HTTP协议 | 0x2 HTTP有关协议通信 #WEB安全基础 : HTTP协议 | 0x3 TCP三次握手和DNS服务  #WEB安全基础 : HTTP协议 | 0x4 各种协议与HTTP协议的关系(一个报文的旅行) #WEB安全基础 : HTTP协议 | 0x5 URI和URL #WEB安全基…

这里写一下爬虫大概的步骤,主要是自己巩固一下知识,顺便复习一下. 一,网络爬虫的步骤 1,创建一个工程 scrapy startproject 工程名称 创建好工程后,目录结构大概如下: 其中: scrapy.cfg:项目的主配置信息(真正爬虫相关的配置信息在settings.py文件中) items.py:设置数据存储模板,用于结构化数据,如:Django的Model pipelines:数据持久化处理 settings.py:配置文件,如:递归的层数,并发数,延迟下载等 spiders:爬虫…

#『Python基础-1 』 编程语言Python的基础背景知识 目录: 1.编程语言 1.1 什么是编程语言 1.2 编程语言的种类 1.3 常见的编程语言 1.4 编译型语言和解释型语言的对比 2.Python背景知识 2.1 Python发展历程 2.2 Python的优缺点 2.3 Python的应用 2.4 Python解释器的种类 2.5 Python的执行过程 2.6 Python版本(2.x和3.x) 1.编程语言 1.1 什么是编程语言 编程语言(programming lan…