一:HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法,以明文的形式传输,效率高,但是不安全 HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)HTTP的安全版,在HTTP下加入SSL层,传输之前数据进行加密,之后解密获取内容,效率低,安全 SSL(Secure Sockets Layer 安全套接层)主要用于Web的安全传输协议,在…

一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议.(虽然童鞋们将这条概念都看烂了,但是也没办法,毕竟这就是HTTP的权威官方的概念解释,要想彻底理解,请客观目移下侧......) 2.白话概念: HTTP协议就是服务器(Server)和客户端(Client)之间进行数据交互(相互传输数据)的一种形式.我们可以将Server…

首先进入该网站的https://www.51job.com/robots.txt页面 给出提示: 找不到该页 File not found 您要查看的页已删除,或已改名,或暂时不可用. 请尝试以下操作: 如果您已经在地址栏中输入该网页的地址,请确认其拼写正确. 打开 www.51job.com 主页,然后查找指向您感兴趣信息的链接. 单击后退按钮,尝试其他链接. 注: 网络爬虫:自动或人工识别robots.txt,再进行内容爬取 约束性:robots协议建议但非约束性,不遵守可能存在法律风险 如…

网络爬虫专题--HTTP基本原理 URI和URL.URN的关系 超文本 HTTP和HTTPS URI和URL 首先,我们来了解一下URI和URL,URI,即统一资源标志符,URL,即统一资源定位符. 例如,https://github.com/favicon.ico,它是一个URL,也是一个URI.既有这样的一个图标资源,我们用URL/URI来唯一指定了它的访问方式,这其中包括了访问协议HTTPS.访问路径(即根目录)和资源名称favicon.ico.通过这样一个链接,我们便可以从互联网上到这个…

声明:本文内容和涉及到的代码仅限于个人学习,任何人不得作为商业用途.转载请附上此文章地址 本篇文章Python初学者之网络爬虫的继续,最新代码已提交到https://github.com/octans/PythonPractice 1. 上篇回顾 上篇文章Python初学者之网络爬虫中我从花椒的热门推荐页面入手,进而获取到主播个人信息和对应的直播历史视频. 首先看一下上一篇文章中对huajiao.com的主播和视频的爬取成果: # getUserCount # getLiveCount 到目前已…

通过上一篇随笔的处理,我们已经拿到了书的书名和ISBN码.(网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码) 接下来将通过ISBN码去amazon.com获取每本书对应的价格. 一.了解需要和分析网站 通过分析amazon.com得知,以ISBN码作为搜索关键字可查找到对应的书. 结果页码就有这本书的价格,既然价格是以$符号开头,那就可以通过正则表达式得到价格.   通过正则表达式匹配价格代…

这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. 要想得到书籍的详细信息和ISBN码,我们需要遍历所有的页码,进入到书籍列表,然后从书籍列表进入到每本书的详情页里,这样就能够抓取详情信息和ISBN码了. 二.从分页里遍历每一页书籍列表 通过查看分页功能的HTML代码,通过class＝"current"可以定位当前页码所在span标签,此s…

开始学习网络数据挖掘方面的知识,首先从Beautiful Soup入手(Beautiful Soup是一个Python库,功能是从HTML和XML中解析数据),打算以三篇博文纪录学习Beautiful Soup的过程,第一篇是Beautiful Soup基础知识,后两篇利用前边的Beautiful Soup知识完成一个简单的爬虫,抓取allitebook.com的书籍信息和ISBN码,再根据ISBN码去amazon.com抓取书籍对应的价格. 一.Beautiful Soup简介 网络数据挖掘指…

   陆陆续续做了有一个月,期间因为各种技术问题被多次暂停,最关键的一次主要是因为存储容器使用的普通二叉树,在节点权重相同的情况下导致树高增高,在进行遍历的时候效率大大降低,甚至在使用递归的时候导致栈内存溢出.后来取消递归遍历算法,把普通的二叉排序树升级为平衡二叉树这才解决这些问题.着这个过程中把栈.队列.链表.HashMap.HashTable各种数据结构都重新学习了一遍,使用红黑二叉树实现的TreeMap暂时还没有看,后期需要把TreeMap的实现源码学习一下. 为了把项目做成可扩展性的,方…

背景: 在C#写网络爬虫时候,有时候需要将html中的转义字符进行处理,还有网址中的中文处理 一.html转义字符处理 1.ASP.NET中的html解析 HttpUtility.HtmlDecode()方法 位于:system.web   2.网络爬虫转换回来: WebUtility.HtmlDecode 方法 (String) 将已经为 HTTP 传输进行过 HTML 编码的字符串转换为已解码的字符串. 命名空间:   System.Net程序集:  System(System.dll 中)…