案例研究:Web应用出现间歇性的SqlException
案例研究:Web应用出现间歇性的SqlException
2013-07-29 14:36 by 微软互联网开发支持, 231 阅读, 3 评论, 收藏, 编辑
最近有客户找到我,说他们生产环境的事件日志中有下面的报错。要我帮忙找找原因。

Event Type: Warning
Event Source: ASP.NET 2.0.50727.0
Event Category: Web Event
Event ID: 1309
Description:
..
Event code: 3005 Event message: An unhandled exception has occurred.
Exception information: Exception type: SqlException Exception message: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: Named Pipes Provider, error: 40 - Could not open a connection to SQL Server)
…

这是一个典型的asp.net unhandled exception记录。如果asp.net web应用运行的过程中出现异常,并且这个异常没有被web应用的代码捕捉到,asp.net运行时就会捕捉这个未处理的异常,并在应用程序事件日志中记录类似的记录。记录的ID总是1309。
这次的异常消息非常明确:web应用无法连接到数据库。从经验来看,出现这个错误时,往往连最基本的TCP三次握手都没有成功完成。也就是说TCP连接都还没有建立起来就失败了。
客户说这个问题并不总是发生,而是间歇性的会有几个出现在事件日志里面。
好医生从来不掐指算。没有数据支持的结论都是臆想。用Network Monitor工具收个网络包吧。我们从网络包中可以看到web前端和后端数据库之间的网络交互,有了它,我们就可以分析当时它们之间到底为什么不能建立连接。
一般情况下Network Monitor只能连续运行几分钟,否则记录的网络日志会非常大,拖累系统性能,并且难于分析。为了限制生成的日志文件的大小,我需要用命令行的nmcap.exe 工具,并且用/File参数来限制文件的大小。具体请参考nmcap.exe 。
另外一个使用的工具是DebugDiag。形象的说,它作用是在SqlException发生时,给IIS进程拍个快照(memory dump)。这样当问题发生时,所用内存中的信息都会被保存下来。这样事后我再看当时正在执行的代码,局部变量的值,函数的参数,连接字符串等等都不是问题。有关DebugDiag 的使用详解,请参考How to Use the Debug Diagnostic Tool v1.1 (DebugDiag) to Debug User Mode Processes
就这样客户连续运行了nmcap.exe和DebugDiag几天,问题终于又发生了。
用network monitor看TCP 3次握手,可以通过设置filter为tcp.Flags.Syn来过滤网络包。同时我假设SQL连接用的是默认的1433端口,所以同时使用filter: tcp.Port==1433。结果如下:
Time Delta |
Source |
Destination |
Description |
0.0000000 |
Web |
SQL |
TCP:Flags=......S., |
2.8593750 |
Web |
SQL |
TCP:[SynReTransmit]Flags=......S., |
6.0162010 |
Web |
SQL |
TCP:[SynReTransmit]Flags=......S., |
果然握手就出了问题。所要连接的SQL服务器一直没有响应,最后导致连接超时。
通过使用psscor2,可以从dump中解出当时的连接字符串如下:
data source=test1;persist security info=True;initial catalog=…
数据库的名字是test1,一看就是台测试服务器。一定是部署到生产环境后,忘了改连接字符串。但是为什么这个问题只是在处理有些请求时才发生?大多数请求还是好的?为什么出问题后,什么也不用做,后续的请求可能就自动恢复了?
Psscor2有个sam(save all modules)命令可以从dump中,把当时加载的所有.net assembly DLL都保存到别的目录。然后我就可以用像ILSpy 这样的工具来反编译DLL中的代码。
反编译结果如下:

public static string getConnectionString(string name)
{
string str = "T";
if (!isTesting())
{
str = "P";
}
return ConfigurationManager.ConnectionStrings[str + name].ConnectionString;
}

连接字符串是由getConnectionString ()函数返回的。这个函数根据isTesting ()的结果来返回生产或者测试环境中对应的连接字符串。继续往下看:

public static bool isTesting()
{
string a = HttpContext.Current.Request.Url.Host.ToLower();
return !(a == “www.contoso-production.com”);
}

看起来,逻辑还比较简单:如果请求的主机名不是生产环境的主机名,那就返回true。看起来挺合理,那为什么对于当时这个请求就出错了呢?
可惜当时那个请求的URL如下:
http://www.contoso-production.com.:80/default.aspx
请注意:80前面的那个点。根据RFC http://www.ietf.org/rfc/rfc1034.txt ,这个点是合理的,但是当时的判断逻辑不能很好的处理这种情况。
The most common interpretation uses the root "." as either the single origin or as one of the members of the search list, so a multi-label relative name is often one where the trailing dot has been omitted to save typing.
修改代码后,问题就不再出现了。如果你的应用里面也用到了类似的代码,那么也请注意了。
Juntao
案例研究:Web应用出现间歇性的SqlException的更多相关文章
- Netty实战十四之案例研究(一)
1.Droplr——构建移动服务 Bruno de Carvalho,首席架构师 在Droplr,我们在我的基础设施的核心部分.从我们的API服务器到辅助服务的各个部分都使用了Netty. 这是一个关 ...
- Coursera 机器学习课程 机器学习基础:案例研究 证书
完成了课程1 机器学习基础:案例研究 贴个证书,继续努力完成后续的课程:
- RDIFramework.NET ━ 9.16 案例模块━ Web部分
RDIFramework.NET ━ .NET快速信息化系统开发框架 9.15 案例模块 -Web部分 9.16.1.产品管理模块 产品管理模块提供了基本的增.删.改.查.导出.分页等的实现,用户可 ...
- Top100Summit全球案例研究峰会第一天总结——云计算和大数据
很荣幸受邀参加Top100Summit全球软件案例研究峰会,这次的大会主题是<技术推动商业变革>,组委会从全国投稿的460多件案例中甄选出100件具有代表价值的案例,进行为期4天的分享,第 ...
- JavaEE Tutorials (30) - Duke综合案例研究示例
30.1Duke综合应用的设计和架构456 30.1.1events工程458 30.1.2entities工程459 30.1.3dukes—payment工程461 30.1.4dukes—res ...
- JavaEE Tutorials (29) - Duke辅导案例研究示例
29.1Duke辅导应用的设计和架构44529.2主界面447 29.2.1主界面中使用的Java持久化API实体447 29.2.2主界面中使用的企业bean448 29.2.3主界面中使用的Web ...
- JavaEE Tutorials (28) - Duke书店案例研究示例
28.1Duke书店的设计和架构43828.2Duke书店接口439 28.2.1Book Java持久化API实体439 28.2.2Duke书店中使用的企业bean440 28.2.3Duke书店 ...
- 《Java大学教程》—第11章 案例研究--第1部分
自测题:1. 图11-1的UML设计中各个类之间的关系.Hostel与TenantList是关联关系:TenantList和PaymentList与ObjectList是泛化关系.TenantL ...
- UML和模式应用3:迭代和进化式分析和设计案例研究
1.前言 如何进行迭代和进化式分析和设计?将采用案例研究的方式贯穿始终.案例研究所包含的内容: UI元素 核心应用逻辑层 数据库访问 与外部软硬构件的协作 本章关于OOA/D主要介绍核心应用逻辑层 2 ...
随机推荐
- BAT 特殊符号总结
原文:BAT 特殊符号总结 BAT特殊符号总结,用好特殊符号,利用提高开发效率.^ 转义符 用在特殊符号之前 比如: echo 非常^&批处理 如果不加^ 那么"批处理"将 ...
- VS2013调试的时候出现 “检测到在集成的托管管道模式下不适用的 ASP.NET 设置的解决方法”
在web.config里面添加了下面一句,完美解决 <system.webServer> <validation validateIntegratedModeConfiguratio ...
- tomcat加载类的顺序
/bin:存放启动和关闭tomcat的脚本文件: /conf:存放tomcat的各种配置文件,比如:server.xml /server/lib:存放tomcat服务器所需要的各种jar文件(jar文 ...
- Linux 查看和删除进程
1. 在 LINUX 命令平台输入 1-2 个字符后按 Tab 键会自动补全后面的部分(前提是要有这个东西,例如在装了 tomcat 的前提下, 输入 tomcat 的 to 按 tab).2. ps ...
- 移动小bug
1. 在三星note2,小米2,页面加载后,页面有黑块. 那么提高被盖住的部分z-index. 2. iphone5 ,ios7.0.4,上文字显示不出 那么就先hide,setTimeout几百毫秒 ...
- unity多边形uv地图
我曾经写过一篇文章,不规则图形uv地图.(http://blog.csdn.net/itolfn/article/details/17240131)我用三角算法.但是,这种方法已经不完全,有一个指明: ...
- openwrt补丁
http://wiki.openwrt.org/doc/devel/patches 中文文档:http://andelf.diandian.com/post/2013-05-22/4005067737 ...
- ASP.NET WebForm路由模拟
一.ASP.NET MVC 路由(一)--- ASP.NET WebForm路由模拟 2014-11-08 11:49 by 郝喜路, 232 阅读, 0 评论, 收藏, 编辑 ASP.NET Web ...
- 扩展ToolBarManager、ListView和Grid控件以实现气球式的ToolTip
原文:扩展ToolBarManager.ListView和Grid控件以实现气球式的ToolTip infragistics是全球领先的UI工具和用户体验的专家,Infragistics开发了一系列的 ...
- gulp package.json
{ "name": "gulpAngular1", "version": "0.0.0", "dependen ...