libevent之丢失header问题
本文为原创,转载请注明:http://www.cnblogs.com/gistao/
背景
分享一个hhvm使用http server方式来处理请求的问题及对应的patch。hhvm3+版本支持fastcgi模式,而之前的版本都只能用http serve模式来响应请求,由于hhvm的http server支持的功能比较弱,现在大部分使用场景都选择fastcgi了,而这次要说的问题仅存在于使用了http server模式的所有版本hhvm。
HHVM问题
我们发现线上的hhvm会有丢失http header的极小概率问题,在单台日请求量近千万情况下只有2个左右的发生概率,并且将出问题的url在线下复现,也没有复现,瞬间没有一点点线索了。没有办法,用笨办法:看代码+排除法,没有办法的办法。但事实证明往往笨办法也是最终的办法。
问题相关
简单的说,我们的服务架构是nginx作为反向代理服务器,来请求hhvm。Facebook的工程师基于libevent1.4.14b,增加了设置backlog功能和修复了一些内存泄漏问题,http的header的解析工作还是在libevent里独立完成的,截取http.c部分代码如下
enum message_read_status
evhttp_parse_headers(struct evhttp_request *req, struct evbuffer* buffer)
{
char *line;
enum message_read_status status = MORE_DATA_EXPECTED; struct evkeyvalq* headers = req->input_headers;
while ((line = evbuffer_readline(buffer))
!= NULL) {
char *skey, *svalue; if (*line == '\0') { /* Last header - Done */
status = ALL_DATA_READ;
free(line);
break;
} /* Check if this is a continuation line */
if (*line == ' ' || *line == '\t') {
if (evhttp_append_to_last_header(headers, line) == -)
goto error;
free(line);
continue;
} /* Processing of header lines */
svalue = line;
skey = strsep(&svalue, ":");
if (svalue == NULL)
goto error; svalue += strspn(svalue, " "); if (evhttp_add_header(headers, skey, svalue) == -)
goto error; free(line);
} return (status); error:
free(line);
return (DATA_CORRUPTED);
}
能看出问题吗,由于定位问题过程比较曲折,这里不罗嗦了。
Libevent问题
bug出现在buffer.c里的readline函数,如下
char *
evbuffer_readline(struct evbuffer *buffer)
{
u_char *data = EVBUFFER_DATA(buffer);
size_t len = EVBUFFER_LENGTH(buffer);
char *line;
unsigned int i; for (i = ; i < len; i++) {
if (data[i] == '\r' || data[i] == '\n')
break;
} if (i == len)
return (NULL); if ((line = malloc(i + )) == NULL) {
fprintf(stderr, "%s: out of memory\n", __func__);
return (NULL);
} memcpy(line, data, i);
line[i] = '\0'; /*
* Some protocols terminate a line with '\r\n', so check for
* that, too.
*/
if ( i < len - ) {
char fch = data[i], sch = data[i+]; /* Drain one more character if needed */
if ( (sch == '\r' || sch == '\n') && sch != fch )
i += ;
} evbuffer_drain(buffer, i + ); return (line);
}
此函数的功能就是截取一行出来,然后循环解析完所有header。rfc2616规定行分隔符是\r\n,而libevent认定的换行符(eof)却是非常的宽松,比如\r就行。如果收包时恰好将\r和\n分离在两个包里,那么后边这个包解析时第一个字节就是\n,libevent解析时会认为这是一行(其实还是之前的行),而这行并没有内容,即内容是\0,这会造成evhttp_parse_headers函数直接认为header已经全部解析完毕了,也就是说丢失了header。
多说一句libevent的2x版本,相比之前的版本代码变化很大,单就解析header来说,已经提供了三种级别的换行符认定标准,不过默认还是最松散级别。
Libevent patch
由于我们这里的环境都是可控的,不会存在那些乱七八糟换行符,所以就按照强约束\r\n(LRCF)来解析,针对libevent1.4.14b的patch如下
--- ./buffer.c -- ::04.000000000 +
+++ ./buffer.c -- ::25.783883798 +
@@ -, +, @@
char *
evbuffer_readline(struct evbuffer *buffer)
{
- u_char *data = EVBUFFER_DATA(buffer);
- size_t len = EVBUFFER_LENGTH(buffer);
- char *line;
- unsigned int i;
-
- for (i = ; i < len; i++) {
- if (data[i] == '\r' || data[i] == '\n')
- break;
- }
-
- if (i == len)
- return (NULL);
-
- if ((line = malloc(i + )) == NULL) {
- fprintf(stderr, "%s: out of memory\n", __func__);
- return (NULL);
- }
+ u_char *data = EVBUFFER_DATA(buffer);
+ size_t len = EVBUFFER_LENGTH(buffer);
+ char *line;
+ unsigned int i;
+
+ for (i = 0; i < len; i++) {
+ if (data[i] == '\r') {
+ if (i + 1 < len && data[i+1] == '\n') {
+ break;
+ }
+ }
+ }
+
+ if (i == len)
+ return (NULL);
+
+ if ((line = malloc(i + )) == NULL) {
+ fprintf(stderr, "%s: out of memory\n", __func__);
+ return (NULL);
+ } - memcpy(line, data, i);
- line[i] = '\0';
+ memcpy(line, data, i);
+ line[i] = '\0'; - /*
- * Some protocols terminate a line with '\r\n', so check for
- * that, too.
- */
- if ( i < len - 1 ) {
- char fch = data[i], sch = data[i+1];
+ evbuffer_drain(buffer, i + 2); - /* Drain one more character if needed */
- if ( (sch == '\r' || sch == '\n') && sch != fch )
- i += 1;
- }
-
- evbuffer_drain(buffer, i + 1);
-
- return (line);
+ return (line);
} -
char *
evbuffer_readln(struct evbuffer *buffer, size_t *n_read_out,
enum evbuffer_eol_style eol_style)
libevent之丢失header问题的更多相关文章
- Feign 调用丢失Header的解决方案
问题 在 Spring Cloud 中 微服务之间的调用会用到Feign,但是在默认情况下,Feign 调用远程服务存在Header请求头丢失问题. 解决方案 首先需要写一个 Feign请求拦截器,通 ...
- ASM丢失disk header导致ORA-15032、ORA-15040、ORA-15042 Diskgroup无法mount
SQL> select * from v$version; BANNER --------------------------– Oracle Database 11g Enterprise E ...
- (转)nginx做转发时,带'_'的header内容丢失
原本在测试环境测试通过的APP,今天准备切到线上环境做最后测试,结果发现了错误.查看日志发现是APP端发送的http请求中的header内容丢失了.那么代码没有改动,怎么平白无故会丢失头信息? 于是想 ...
- 解决SpringCloud使用Feign跨服调用时header请求头中的信息丢失
在使用SpringCloud进行Feign跨服调用时header请求头中的信息会丢失,是因为Feign是不会带上当前请求的Cookie信息和头信息的,这个时候就需要重写请求拦截. 1.需要重写Requ ...
- WKWebView 网络请求Header 丢失
WKWebView 是苹果手机上主要的H5加载控件,它相比UIWebView 有诸多优势.在次不做比较,但是它的坑缺比较多.网上也有很多的例子但是做的比较好的真不多,我在这里推荐俩博客供大家参考.ht ...
- spring boot 并发请求,其他系统接口,丢失request的header信息【多线程、线程池、@Async 】
场景:一次迭代在灰度环境发版时,测试反馈说我开发的那个功能,查询接口有部分字段数据是空的,后续排查日志,发现日志如下: feign.RetryableException: cannot retry d ...
- 关于mui header在手机上运行丢失问题
并不需要换header, 只需要把引用的例子自带的CSS文件 app.css.里的两个样式:.mui-plus.mui-android header.mui-bar {display: none;}. ...
- 微信公众号支付JSAPI网页,total_fee错误不正确,header重定向参数丢失,无法获取订单号和金额解决
微信公众号支付官方demo错误, 公众号支付只能用在微信里,也就是微信内部浏览器. 1.到WxPayHubHelper.php文件 JsApi_pub()类下createOauthUrlForCode ...
- nginx反向代理导致请求header头信息丢失
背景:前端与后端调试接口,后端拿不到前段发过去的请求头信息,导致接口不通.(但是在本地是可以拿到的) 原因:nginx做了反向代理,没有请求时候加头信息的配置 报错如下: 解决方法: 方法一:NGIN ...
随机推荐
- 第五次Java作业
作业一: 文件显示列表框. 增加了下拉式组合框,text区域设置颜色为红色. import javax.swing.*; import java.awt.*; import java.io.File; ...
- 简单研究Loader笔记
2015-11-11 18:25:34 1. Loader是什么? /** * Static library support version of the framework's {@link and ...
- 关于粒子发射(CAEmitterLayer)
技术是条长而远的路,只有不断学习丰富自己的技能才能让自己行走在路上! CAEmitterCell CAEmitterCell: CAEmitterCell是粒子发射系统里的粒子,用CAEmitterC ...
- nginx rewrite
# nginx rewrite rule #Main menu rules.rewrite ^(.*?)/index.html$ $1/index.php?r=site/index break;rew ...
- AngularJs的UI组件ui-Bootstrap分享(八)——Tooltip和Popover
tooltip和popover是轻量的.可扩展的.用于提示的指令.对于移动端来讲,这两个指令虽然可以正常工作,但是从用户体验的角度并不推荐使用. 先说tooltip,tooltip有三种使用方式: ( ...
- Http的Get/Post请求区别
1.HTTP请求格式: <request line> <headers> <blank line> [<request-body>] 在HTTP请求中, ...
- java之并发编程:Lock
这是转的:http://www.cnblogs.com/dolphin0520/p/3923167.html * 在多线程编程里面一个重要的概念是锁定,如果一个资源是多个线程共享的,为了保证数据的完整 ...
- HighChats图表控件显示精度小数点的方法
相信大家对highchats这个图表控件并不陌生,最近在项目中用到它,但是某些字段需要显示为小数点,顾查找资料文档发现下面两个方式可以实现: 初始化时候添加如下两个参数 tooltip:{ fo ...
- Android Studio 2.2.2 发布
Android Studio 2.2.2 发布了.包括 canary, dev, beta, and stable 这几个系列. 该版本修复了 Android Studio 2.2.1 中排名较前的b ...
- nginx+tomcat+dubbo单机部署多台dubbo应用
前面的博客已经介绍如何使用nginx+tomcat,今天做的是如何在单台服务器上如何部署多台dubbo 应用的集群. 由于在项目中遇到了这个问题,今天就把它记录下来. 1.