经过整个春节的放肆,终于回归了,说实话,春节真心比上班累. 9.1 爬虫及爬行方式 (1) 爬虫:Web爬虫是一种机器人,他们会递归性的对各种信息Web站点进行遍历. (2) 爬行方式:Web机器人会获取Web页面,然后获取这个页面指向的所有Web页面,再指向这个站点所指向的页面,依次类推. (3) 从哪儿开始:根集 爬虫在开始访问的URL初始集合被称为根集.通常一个好的根集会包括一些大的流行Web站点.一个新创建的列表和一个不经常被链接的的无页面列表. (4) 链接的提取:爬虫在在Web上移动…

5.1 Web服务器工作内容 建立连接--接受一个客户端的连接,或者将其拒绝 接受请求--从网络中读取一条HTTP报文 处理请求--对请求报文进行解释,并采取行动 访问资源--访问报文中指定的资源 构建响应--创建带有正确首部的HTTP响应报文 发送响应--将响应送回客户端 记录事务处理过程--将已完成事务的内容记录在日志中 5.2 服务器结构类型: 单线程Web服务器 一次处理一个请求,直到其完成为止,性能较差,属于低负荷服务器 多进程及多线程Web服务器 可以高效率处理请求,可根据需求进行创…

.8.1 网关 定义:网关类似与翻译器,它抽象出了一种能够到达资源的方法. 实用:网关可以自动将HTTP流量转换为其他协议,这样使用HTTP协议的一方就不需要了解其他协议,也可实现与其他程序或设备交互. 例:客户端与服务端网关 Web服务器一侧使用HTTP协议,在另一侧使用另一个协议. 可以用一个斜杠来分隔客户端与服务端协议的格式对其进行描述:<客户端协议>/<服务端协议> 8.2 协议网关 8.2.1 HTTP/* 请求流入原始服务器时,Web网关会将HTTP协议转换为其他协议,…

6.1 Web的中间实体 Http的代理服务器即是客户端的服务器又是服务器的客户端. 它介于服务器与客户端之间,当客户端发送请求报文经过它时,它会像服务器一样正确的处理请求和返回响应,同时,代理服务器会像正常的客户端一样向服务端发送请求报文. 6.1.1 私有代理和共享代理 共享代理:大多数代理都是公共的共享代理,集中式代理的费效比更好,更易于管理. 私有代理:不常见,某些计算机安装小型代理可扩展浏览器特性,提高特性等. 6.1.2 代理与网关的区别 代理:代理连接的是两个或多个使用相同协议的程…

1.HTTP发展中存在的问题 复杂性   其连接.报文.及功能逻辑之间的混合使用相当复杂,使用容易出错 可扩展性 传统流行下来的http应用很难实现扩展性,且无法兼容 性能      高延时.低吞吐 传输依赖性  Http是围绕TCP/IP网络协议栈设计的,其他替换协议较少 2.HTTP-NG活动 HTTP-NG是万维网联盟提供的HTTP下一代版本的定义,主要修正复杂性.可扩展性.性能及传输依赖性相关问题. HTTP-NG建议将协议模块化分为三层,而不是将连接管理.报文处理.逻辑功能处理等混合在…

.8.1 网关 定义:网关类似与翻译器,它抽象出了一种能够到达资源的方法. 实用:网关可以自动将HTTP流量转换为其他协议,这样使用HTTP协议的一方就不需要了解其他协议,也可实现与其他程序或设备交互. 例:客户端与服务端网关 Web服务器一侧使用HTTP协议,在另一侧使用另一个协议. 可以用一个斜杠来分隔客户端与服务端协议的格式对其进行描述:<客户端协议>/<服务端协议> 8.2 协议网关 8.2.1 HTTP/* 请求流入原始服务器时,Web网关会将HTTP协议转换为其他协议,…

7.1 冗余的数据传输 缓存的作用:当客户端每次访问服务器,服务器都会返回一份相同文件,一些相同的字节会不断的在网络内传输,这样冗余的数据传输会耗尽昂贵的带宽,降低传输速度,加重Web服务器的负载. 有了缓存就可以保留第一条服务器发送的文件副本,后继请求就可以用缓存的副本文件响应,减少流入/流出服务器的数据,降低被浪费的流量. 7.2 传输瓶颈 7.2.1 带宽:带宽越宽,传输越快 7.2.2 瞬间拥塞:突发事件,重要新闻会导致很多客户端访问同一个服务器,容易造成瞬间拥塞 7.2.3 距离时延:…

4.1 TCP连接 TCP为HTTP提供了一条可靠的比特传输管道,按顺序正确的传输,步骤如下: 浏览器解析主机名. 查询这个主机名的IP地址(DNS) 获得端口号. 浏览器对服务器该端口号发起连接. 向服务器发送请求报文. 从服务器获取响应报文. 连接关闭. 4.1.2 TCP流是分段的.由IP分组传送 TCP的数据是通过名为IP分组的小数据块来发送的.Http发送一份报文时,会以流的形式建立一条TCP连接按序传输. TCP在接收到流之后会将数据流砍成被称作段的小数据块,封装在IP分组中,通过因…

3.1 报文流 http使用流入和流出来描述事物处理方向,报文包含:起始行.首部和主体. 3.2 起始行 起始行包含:请求行和回应行. 3.2.1请求行 请求行包含:方法.请求URL(描述了对哪个资源执行这个方法,另外还包含http版本) 例:GET /test/layout.txt http/1.1 格式:所有字段都以空格符进行分隔(方法.路径.版本) 3.2.2响应行 响应行包括:http版本.数字状态码.原因短语. 例:http/1.0 200 ok 格式:所有字段都以空格符进行分隔 3.…

一.概述 Web机器人(Web Robots)是一种Web客户端的软件程序,它自动发起一系列的Web事务,从而在没有人工参与的状态下完成各种Web数据的搜集和处理. 典型的Web机器人有: 股票绘图机器人(Stock-graphing robots)——用于从股票交易服务器上获取股票价格变化的数据,并绘制出走势图. 商品比较机器人(Comparison-shopping robots)——用于从各个在线商店中获取包含各种商品及其价格的网页,进而构建商品数据库. Web爬虫(Crawlers)——…

Struts2权威指南笔记 1.mvc特点包括: ① 多个视图可以对应一个模型 ② 模型返回的数据与显示逻辑分离 ③ 应用层被分隔为三层,降低了各层之间的耦合,提供了应用的可扩展性 ④ 控制层的概念也很有效,由于它把不通的模型和不同的视图组合在一起,完成不同的请求 ⑤ Mvc更符合软件工程化管理的精神 2.Struts2框架的大致处理流程: ① 浏览器发送请求,如请求/mypage.action ② 核心控制器FilterDispatcher根据请求决定调用合适的Action ③ Webwork…

<HTTP权威指南>学习摘要 Web Robot的自活跃(self-animating)用户代理. Web机器人是在不需要人工干预的情况下,自动进行一系列Web事务处理的软件程序,别名“爬虫“(crawler),”蜘蛛“(spider),”蠕虫“. 爬虫及爬行方式,Web法宠是一种机器人,他们会递归地对各种信息性Web站点进行遍历,获取第一个Web页面,然后获取那个页面指向的所有Web页面,然后好似那些页面所指向的所有Web页面,以此类推.递归地追踪这些Web连接的节气人会沿着HTML超链接创…

网关 网关(gateway): 资源和应用程序之间的粘合剂.应用程序可以(通过HTTP或其它已定义的接口)请求网关来处理某条请求,网关可以提供一条响应.网关可以向数据库发送查询语句,或者生成动态的内容,像一扇门一样,进去一个请求,出来一个响应. 网关和代理的区别: 代理连接的是两个或多个使用相同协议的应用程序,而网关连接的则是两个或多个使用不同协议的端点.网关扮演的是“协议转换器”的角色. 客户端和服务器端网关: Web网关在一侧使用HTTP协议,在另一侧使用另一种协议. <客户端协议>/&l…

蓝牙HID协议笔记 转自:http://blog.sina.com.cn/s/blog_69b5d2a50101emll.html 1.概述     The Human Interface Device (HID)定义了蓝牙在人机接口设备中的协议.特征和使用规程.典型的应用包括蓝牙鼠标.蓝牙键盘.蓝牙游戏手柄等.该协议改编自USB HID Protocol.      2.一些概念 (1)HID Reports:Bluetooth HID devices支持三种Report:Input, Out…

go语言,golang学习笔记2 web框架选择 用什么go web框架比较好呢?能不能推荐个中文资料多的web框架呢? beego框架用的人最多,中文资料最多 首页 - beego: 简约 & 强大并存的 Go 应用框架https://beego.me/ GitHub - astaxie/beego: beego is an open-source, high-performance web framework for the Go programming language.https://g…

参考: 数据链路层学习之LLDP 生成树协议 LLDP协议.STP协议 笔记 LLDP 提出背景: 随着网络技术的发展,接入网络的设备的种类越来越多,配置越来越复杂,来自不同设备厂商的设备也往往会增加自己特有的功能,这就导致在一个网络中往往会有很多具有不同特性的.来自不同厂商的设备,为了方便对这样的网络进行管理,就需要使得不同厂商的设备能够在网络中相互发现并交互各自的系统及配置信息. LLDP: 是一种二层的信息发现与通告协议,提供了一种标准的链路层发现方式:它不是一个配置.控制协议,无法通过该…

前言 记忆不太好的时候,只能翻看以前的文章/笔记重新温习一遍,但找不到MQTT协议有关订阅部分的描述,好不容易从Evernote中找到贴出来,这样整个MQTT协议笔记,就比较齐全了. SUBSCRIBE 一般来讲,客户端在成功建立TCP连接之后,发送CONNECT消息,在得到服务器端授权允许建立彼此连接的CONNACK消息之后,客户端会发送SUBSCRIBE消息,订阅感兴趣的Topic主题列表(至少一个主题),一个完整示范如下:   Description 7 6 5 4 3 2 1 0 Fix…

MQTT协议笔记之发布流程 前言 这次要讲到客户端/服务器的发布消息行为,与PUBLISH相关的消息类型,会在这里看到. PUBLISH 客户端发布消息经由服务器分发到所有对应的订阅者那里.一个订阅者可以订阅若干个主题(Topic name),但一个PUBLISH消息只能拥有一个主题. 消息架构一览:   Description 7 6 5 4 3 2 1 0 Fixed header/固定头部 byte 1   Message Type(3) DUP flag QoS level RETAIN…

前言 记忆不太好的时候,只能翻看以前的文章/笔记重新温习一遍,但找不到MQTT协议有关订阅部分的描述,好不容易从Evernote中找到贴出来,这样整个MQTT协议笔记,就比较齐全了. SUBSCRIBE 一般来讲,客户端在成功建立TCP连接之后,发送CONNECT消息,在得到服务器端授权允许建立彼此连接的CONNACK消息之后,客户端会发送SUBSCRIBE消息,订阅感兴趣的Topic主题列表(至少一个主题),一个完整示范如下:   Description 7 6 5 4 3 2 1 0 Fix…

蓝牙的AVCTP协议笔记 (2013-07-31 08:52:41) 转载▼ 标签: bluetooth avctp command response 分类: Bluetooth 1.概述     AVCTP协议描述了蓝牙设备间Audio/Video的控制信号交换的格式和机制,它是一个总体的协议,具体的控制信息由其指定的协议(如AVRCP)实现,AVCTP本身只指定控制command和response的总体的格式.     几个重要的点: (1)AVCTP uses point-to-point…

我的电子杂烩饭 http://blog.sina.com.cn/wuchuchu2012 [订阅][手机订阅] 首页 博文目录 图片 关于我 个人资料 Tifnan Qing 微博 加好友 发纸条 写留言 加关注 博客等级: 博客积分:1267 正文 字体大小:大 中 小 蓝牙的AVDTP协议笔记 (2013-07-30 17:28:00) 转载▼ 标签: avdtp bluetooth command stream sep 分类: Bluetooth 1.概述    AVDTP(AUDIO/V…

A2DP协议笔记 (2013-07-30 10:07:54) 转载▼ 标签: a2dp bluetooth src sink 分类: Bluetooth 1.概述     A2DP(Advanced Audio Distribution Profile)是蓝牙的音频传输协议,典型应用为蓝牙耳机.A2DP协议的音频数据在ACL Link上传输,这与SCO上传输的语音数据要区别.A2DP不包括远程控制的功能,远程控制的功能参考协议AVRCP.AVDTP则定义了蓝牙设备之间数据流句柄的参数协商,建立和…

前言:2017年6月份计算机网络的课设任务,在同学的帮助和自学下基本搞懂了,基于UDP协议的基本聊天的实现方法.实现起来很简单,原理也很简单,主要是由于老师必须要求使用C语言来写,所以特别麻烦,而且C语言的socket编程我基本没有接触过,顶多对java网络编程有一点涉猎.下面我将自己所学的知识做了一个总结,希望可以对想要去接触socket(网络)编程的同学有一个帮助,当然想要学好网络编程肯定是离不开几本书的支撑的,这篇文章主要通过一个机器人聊天的案例帮大家入下门. 注意:想要成功运行的前提条件…

Spring实战第六章学习笔记----渲染Web视图 理解视图解析 在之前所编写的控制器方法都没有直接产生浏览器所需的HTML.这些方法只是将一些数据传入到模型中然后再将模型传递给一个用来渲染的视图.尽管我们编写了几个JSP视图但控制器不关心这些. 将控制器请求处理的逻辑和视图中的渲染实现解耦是SpringMVC的一个重要特性.而控制器只通过逻辑视图名来了解视图,这时就需要Spring视图解析器了. SpringMVC定义了一个名为ViewResolver的接口,大致如下所示: public i…

一.概述 从零开始构建一个真正意义的网站需要做很多事情,包括购买计算机硬件.建造机房.注册域名.购买网络带宽.开发Web服务器软件.管理网站内容等等.在互联网发展的早期,构建网站的这一系列动作通常都是由单个组织独自完成的. 在互联网已成主流的今天,很多人都想拥有一个自己的网站,但很少人具备构建网站的技能或时间.这一多一少的反差,直接催生了大量专业的机构和公司,它们根据用户(个人或企业)需求程度的不同,提供不同级别的网站构建服务:从仅仅提供硬件设施,到提供全站式服务(此时用户只需要提供网站内容即可…

1.1 通讯 Web内容是存储在服务器上的,Web服务所使用的是HTTP协议,所以经常称为HTTP服务器.通讯过程为客户端(正常我们所使用的)发出请求,服务端根据客户端的HTTP请求响应相应数据,这就是基本的HTTP通讯. 1.2 传输内容与附加类型MIME 客户端向服务端获取内容有N多种类型,如:Word.JPEG.AVI.HTML等等上千种. 在传输过程中为分辨传输内容类型,Web服务器会为所有HTTP对象数据附加一个MIME类型.当Web浏览器(客户端)向服务器获取一个对象时,会根据MIM…

一.web框架本质 1.基于socket,自己处理请求 #!/usr/bin/env python3 #coding:utf8 import socket def handle_request(client): #接收请求 buf = client.recv(1024) print(buf) #返回信息 client.send(bytes('<h1>welcome liuyao webserver</h1>','utf8')) def main(): #创建sock对象 sock…

最近公司需要做个qq机器人获取qq好友列表,并且能够自动向选定的qq好友定时发送消息.没有头绪,硬着头皮上 甘甜的心情瞬间变得苦涩了 哇 多捞吆 1.WEBQQ3.0登陆协议 进入WEBQQ, http://web.qq.com/通过工具分析,可以知道,用户在输入密码之前(也就是输入帐号后),会首先GET一个请求过去 https://ssl.ptlogin2.qq.com/check?uin=1432334894&appid=1003903&r=0.5534069868735969 我们只…

有人说过,精通HTTP协议能赢过95%的前端工程师,所以我毅然的踏上这条路,哈哈哈,接下来把自己的学习笔记整理出来. 我会从比较底层的模型开始: 1.网络的五层模型 2.TCP/IP协议 3.HTTP协议 4.端口的作用 5.响应码 6.HTTPS协议 7.资源跨域共享(CORS) 一:网络的五层模型 网络的五层模型如下图: 物理层主要功能:为数据端设备提供传送数据通路.传输数据.数据通路可以是一个物理媒体,也可以是多个物理媒体连接而成,物理层的媒体包括架空明线.平衡电缆.光纤.无线信道等,处于…

hacker101笔记 提前准备:运行java的环境 burp proxy(代理) firefox(浏览器) xss 可以控制参数,发送JavaScript到服务器,再从服务器反映到浏览器上面<script>alert(1);</script> cookie 服务器发送给浏览器的键值对,有效时间可以设置example.com的子域 为子域添加的cookie只能在该子域及其子域中读取,不能在兄弟姐妹的子域中读取. e.g. test.example.com 的cookie不能在 te…