package util; import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.util.List;import java.util.Map;import java.util.Set; public class ServerUtil{ public static StringBu…

1.用户输入网址,浏览器发起DNS查询请求 用户访问网页,DNS服务器(域名解析系统)会根据用户提供的域名查找对应的IP地址. 域名解析服务器是基于UDP协议实现的一个应用程序,通常通过监听53端口来获取客户端的域名解析请求.DNS查找过程如下: 浏览器缓存 – 浏览器会缓存DNS记录一段时间. 有趣的是,操作系统没有告诉浏览器储存DNS记录的时间,这样不同浏览器会储存个自固定的一个时间(2分钟到30分钟不等). 系统缓存 – 如果在浏览器缓存里没有找到需要的记录,浏览器会做一个系统调用(win…

一 知识简介 HTTP:(Hypertext transfer protocol)超文本传输协议,是用于从万维网(WWW:World Wide Web)服务器传输超文本到本地浏览器的传送协议. URL:(Uniform Resource Locator)统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址. URI:(Uniform Resource Identifier)统一资源标识符,用于定位web上的资源.该种标识允许用户对任何(包括本地和互…

原文:以双斜杠//开头的URL – 依赖协议的URL 不知道大家有没有见过下面这种 url 写法: <img src="//domain.com/img/logo.png"> img 中的url是以双斜杠“//”开头的,这种写法有特殊的用途,它会判断当前的页面协议是http 还是 https 来决定请求 url 的协议.防止IE下出现“This Page Contains Both Secure and Non-Secure Items”的报错. 但是当你浏览本地文件的时候…

解析HTTP协议六种请求方法,get,head,put,delete,post有什么区别 标准Http协议支持六种请求方法,即: 1.GET 2.POST 3.PUT 4.Delete 5.HEAD 6.Options 但其实我们大部分情况下只用到了GET和POST.如果想设计一个符合RESTful规范的web应用程序,则这六种方法都会用到.不过即使暂时不想涉及REST,了解这六种方法的本质仍然是很有作用的.大家将会发现,原来web也是很简洁明了的.下面依次说明这六种方法. 1,GET:GET可…

近期正在做Android网络应用的开发,使用了android网络请求方面的知识.如今向大家介绍网络请求方面的知识.我们知道android中向server端发送一个请求,(这就是我们通常所说的POST请求),我们要发送一个完整的URL.然后server端接收到这个URL,对这个URL进行特定的解析.就是对URL进行解析,转化为JSON数据,然后,我们仅仅要处理这个JSON数据就能够了. watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGl0aWFucGV…

MinerUrl.java 解析页面后存储URL类 package com.iteye.injavawetrust.miner; /** * 解析页面后存储URL类 * @author InJavaWeTrust * */ public class MinerUrl { /** * 当前爬取URL */ private String url; /** * 当前爬取URL深度 */ private int depth; public String getUrl() { return url; }…

常见客户端与服务端 客户端: 浏览器:IE 服务端: 服务器:web服务器(Tomcat),存储服务器,数据库服务器. (注:会用到Tomact服务器,在webapps下有一个自己创建的目录myweb,下面有一个文件1.html) 服务端原理 自定义一个服务端,使用自己已有的客户端IE浏览器,了解一下客户端都发送了什么请求. package cn.ie_server; import java.io.IOException; import java.io.InputStream; import j…

今天看京东HTTPS,发现链接都是这种 <a href="//chaoshi.jd.com">京东超市</a> URL是以双斜杠"//"开头的,这种写法有特殊的用途,它会判断当前的页面协议是http 还是 https 来决定请求 url 的协议.防止IE下出现"This Page Contains Both Secure and Non-Secure Items"的报错. 但是当你浏览本地文件的时候,它会解析为 file:…

1.什么是URL URL的全称是Uniform Resoure Locator,统一资源定位器.URL是浏览器寻找信息时所需的资源位置.当一个人将浏览器指向一个URL,浏览器就会在幕后发送适当的协议报文来获取人们所期望的资源.说到URL就不得不说下URI与URN这总是伴随出现的概念. URI的全称是Uniform Resource Identifier,统一资源标识符. URN的全称是uniform resource name,统一资源命名. 显然,URI是一个更加抽象的概念,定义了资源的唯一性…