httpclient httpclient使用连接池
httpclient使用连接池
http协议是无状态的,但毕竟是基于tcp的,底层还是需要和服务器连接的,
对于需要从同一个站点抓取大量网页的程序,应该使用连接池,否则每次抓取都和web站点建立连接,发送请求,获得响应,释放连接.
一方面效率不高
一方面不小心就会疏忽某些资源的释放,导致站点拒绝连接(很多站点会拒绝大量连接,防止Dos攻击)
httpclient连接池
httpclient从4.2版本开始抛弃了先前的
SingleClientClientConnManger和ThreadSafeConnManger取而代之的是BasicClientConnectionManger和PoolingClientConnectionManager
BasicClientConnectionManager
该类内部只维护了一个活动的connection,尽管这个类是线程安全的,但是最好在一个单独的线程中重复使用它。
如果在同一个BasicClientConnectionManager对象中,
* 多次请求与先前请求时同一个route,那么BasicClientConnectManager会使用同一个连接完成后续请求,
*否则,BasicClientConnectionManager会将先前的connection关闭,然后为后续请求创建一个新的连接。
也就是说BasicClientConnectionManager会尽量使用同一个BasicClientConnectionManager完成
PoolClientConnectionManager
该类可以在多个线程中使用,连接按照route被缓存(pooled),当后续请求route请求已经在pool中存在,就会使用pool中先前使用的connection获取请求。
PoolClientonnectionManager对每个route维护的connection数目有上限要求,
默认每个route最多维护两个并发线程的connection连接,
整个pool最多容纳20个并发connection。(可以通过设置来修改这些限制)
BasicClientConnectionManager
public static void basicClientTest() throws Exception{
HttpClient httpclient = new DefaultHttpClient();
HttpGet httpGet = new HttpGet("http://m.weather.com.cn/data/101010100.html");
HttpResponse response=httpClient.execute(httpGet);
String result = EntityUtils.toString(response.getEntity(),charset.forName("utf-8"));
System.out.println(result);
httpClient.getConnectionManager().shutdowm();
}
PoolingClientConnectionManager
SchemeRegistry schemeRegistry = new SChemeRegistry();
schemeRegistry.register(new Scheme("http",80,PlainSocketFactory.getSocketFactory()));
schemeRegistry.register(new Scheme("https",443,SSLSocketFactory.getSocketFactory()));
HttpHost baidu = new HttpHost("www.baidu.com",80);
HttpHost local = new HttpHost("127.0.0.1",8090);
PoolingClientConnectionManager cm = new PoolingClientConnectionManager(schemeRegistry);
cm.setMaxPerRoute(new HttpRoute(baidu),30);
cm.setMaxPerRoute(new HttpRoute(local),50);
连接池使用总结
1) 首先配置最大连接数和最大路由连接数,如果连接的url只有一个,两个必须配置成一样,否则只会去最小值
(默认最大连接数是20,每个路由最大连接是2)
2) 最好配置httpclient的等待时间和响应时间.否则就会一直等待
HttpParams httpparams = new BasicHttpParams();
httpparams.setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT,CONNECT_TIMEOUT);
httpparams.setParameter(CoreConnectionPNames.SO_TIMEOUT,READ_TIMEOUT);
3) httpClient必须releaseConnection,但不是abort。因为releaseconnection是归还连接到到连接池,而abort是直接抛弃这个连接,
而且占用连接池的数目。
HttpGet httpget = new HttpGet(url);
httpGet.releaseConnection();
4) httpclient设置的最大连接数绝对不能操作tomcat设置的最大连接数,否则tomcat的连接就会被httpclient连接池一直占用,直到系统挂掉。
5) 可以使用tomcat的长连接和httpclient连接池和合理使用来增加系统响应速度
cm.setMaxTotal(200);//创建socket的上线是200
cm.setDefaultMaxPerRoute(20);//默认对每个指定连接的服务器(指定的ip)可以创建并发20socket进行访问
httpclient httpclient使用连接池的更多相关文章
- HttpClient 4.3连接池参数配置及源码解读
目前所在公司使用HttpClient 4.3.3版本发送Rest请求,调用接口.最近出现了调用查询接口服务慢的生产问题,在排查整个调用链可能存在的问题时(从客户端发起Http请求->ESB-&g ...
- springboot使用RestTemplate+httpclient连接池发送http消息
简介 RestTemplate是spring支持的一个请求http rest服务的模板对象,性质上有点像jdbcTemplate RestTemplate底层还是使用的httpclient(org.a ...
- HttpClient4.5.2 连接池原理及注意事项
随着微服务的流行,服务之间的http调用越来越多,遇到的问题也比较多,写这边文章的目的也是将自己遇到的坑和解决方案跟大家分享 一.为什么要用Http连接池 1.降低延迟:如果不采用连接池,每次连接发起 ...
- spring-boot RestTemplate 连接池
以前我们项目都是基于Apache HttpClient 连接池进行web 接口调用,后来用spring-boot, 发现 RestTemplate 挺好用. 简单介绍下: 什么是RestTemplat ...
- RestTemplate连接池(转载)
出处:http://zhangzhi19861216.cnblogs.com/ spring-boot RestTemplate 连接池 以前我们项目都是基于Apache HttpClient 连接池 ...
- HttpClient连接池的连接保持、超时和失效机制
HTTP是一种无连接的事务协议,底层使用的还是TCP,连接池复用的就是TCP连接,目的就是在一个TCP连接上进行多次的HTTP请求从而提高性能.每次HTTP请求结束的时候,HttpClient会判断连 ...
- HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查
转自: http://blog.csdn.net/shootyou/article/details/6615051 今天解决了一个HttpClient的异常,汗啊,一个HttpClient使用稍有不慎 ...
- Http持久连接与HttpClient连接池
一.背景 HTTP协议是无状态的协议,即每一次请求都是互相独立的.因此它的最初实现是,每一个http请求都会打开一个tcp socket连接,当交互完毕后会关闭这个连接. HTTP协议是全双工的协议, ...
- Http 持久连接与 HttpClient 连接池
一.背景 HTTP协议是无状态的协议,即每一次请求都是互相独立的.因此它的最初实现是,每一个http请求都会打开一个tcp socket连接,当交互完毕后会关闭这个连接. HTTP协议是全双工的协议, ...
- HttpClient官方sample代码的深入分析(连接池)
前言 之前一直使用apache的httpclient(4.5.x), 进行http的交互处理. 而httpclient实例则使用了http连接池, 而一旦涉及到连接池, 那会不会在使用上有些隐藏很 ...
随机推荐
- stm32时钟树讲解
1.管理好时钟,功耗才能更低
- 小工具:word表格文字转化成insert语句
群里的一个朋友有个需要,要让把word里的表格数据插入到数据库里面. 我的思路是,把格式化的数据转成insert语句,然后去执行就可以了. 要求的insert语句格式是:'insert into xx ...
- MIME协议(详解范例)
转载一:http://blog.csdn.net/bripengandre/article/details/2192982 转载二:http://blog.csdn.net/flfna/article ...
- cmd命令分类
1.系统功能类 AT:计划在计算机上运行的命令和程序.ATTRIB:显示或更改文件属性.BREAK:设置或清除扩展式 CTRL+C 检查.CACLS:显示或修改文件的访问控制列表(ACLs).CALL ...
- [Pytorch]Pytorch的tensor变量类型转换
原文:https://blog.csdn.net/hustchenze/article/details/79154139 Pytorch的数据类型为各式各样的Tensor,Tensor可以理解为高维矩 ...
- mysql 对比两个表的一致性
-- A和B两个表 数据是否一致select 自定义 from A left join B on A.id = B.id where B.id is null 注释:这样查询的结果是A表中有而B表中没 ...
- TypeScript基础学习
什么是TypeScript? TypeScript是一种由微软开发的自由的和开源的编程语言,它是JavaScript的一个超集,扩展了JavaScript的语法. TypeScript支持任意浏览器, ...
- 《剑指offer》第二十五题(合并两个排序的链表)
// 面试题25:合并两个排序的链表 // 题目:输入两个递增排序的链表,合并这两个链表并使新链表中的结点仍然是按 // 照递增排序的.例如输入图3.11中的链表1和链表2,则合并之后的升序链表如链 ...
- 用docker部署gitlab
docker hub官网下载gitlab速度太慢,改用国内镜像+中文版 docker pull registry.cn-hangzhou.aliyuncs.com/lab99/gitlab-ce-zh ...
- npm 安装文件 运行报错 %1 is not a valid Win32 application
安装了那个模板出了错报这样的错误 “%1 is not a valid Win32 application” 你就除那个模板新安装. 如下例: 运行 npm install -g @angular/c ...