话说一个美滋滋的上午, 突然就出现大量报警, 接口大量请求都响应超时了. 排查过程 查看服务器的监控系统, CPU, 内存, 负载等指标正常 排查日志, 日志能够响应的结果也正常. request.log 中响应时长高达数秒 查看数据库, codis 监控, 各项指标正常 不得已, 只能打开线上 pprof 查看 Go 相关参数是否正常. 果真一下子就找到问题发生的原因 这是当时线上 pprof 的截图, 发现 40 多万 goroutine 都阻塞在 go-cache 的 Set 函数上. 更…

改进动态设置query cache导致额外锁开销的问题分析及解决方法 关键字:dynamic switch for query cache,  lock overhead for query cache 背景 Query Cache是MySQL Server层的一个非常好的特性,对于小数据集或访问量非常集中的应用场景,有非常好的性能提升,内部细节可以参考1,在此处不打算展开Query Cache的一些应用特性. Query Cache引入了一新的问题, 即如果你不想要Query Cache的功能…

使用了虚拟机之后,启动了dubbo服务提供者应用,又连了正式环境的注册中心: 一旦dubbo获取的ip错误后, 这种情况即使提供者服务停掉,目前dubbo没有能力清除这类错误的提供者: (需要修改源码测试,需要客户端重新更细包,因为清除动作client端,我司就是这么干的) 规避方案: 线上最好直接把(连接注册中心的)做ip限制,VPN拨上的IP过滤掉: 团队人员行为控制: 拨VPN又需要调试dubbo提供者的应用时,指定DUBBO服务IP的主机绑定: 发现这种情况的解决方法: 到dubbo管理…

CAS (15) - CAS 线上环境 Ehcache Replication 的非稳定重现错误 摘要 线上环境在 EhCache Replication 过程中出现 java.util.ConcurrentModificationException 2016-12-21 14:58:02,022 ERROR [net.sf.ehcache.distribution.RMISynchronousCacheReplicator] - <Exception on replication of put…

导读:​一段被try-catch包裹后的代码在产线稳定运行了200天后忽然发生了异常,而这个异常竟然导致了产线事务回滚.这期间究竟发生了什么?日常在项目过程中该如何避免事务异常?就在这个时候,老板拿着<XX公司关于三十岁员工优化通知>走了过来...... # 01 产线部分数据丢失了,因为一个蹊跷的事务回滚.而造成事务回滚的,竟然是一段被try-cath包裹后的代码,一段已经在产线稳定运行了200天的代码,稳定到我们已经把它遗忘了.谁也没想到的是,它竟然以这样一种方式重新回到了我们的视野,宣告…

详细错误:HTTP 错误 404.2 - Not Found. 由于 Web 服务器上的“ISAPI 和 CGI 限制”列表设置,无法提供您请求的页面. 出现环境:win7 + IIS7.0 解决办法:IIS的根节点->右侧“ISAPI和CGI限制”->把禁止的DotNet版本项设置为允许,即可~…

异常信息:由于内部错误,服务器无法处理该请求.有关该错误的详细信息,请打开服务器上的 IncludeExceptionDetailInFaults (从 ServiceBehaviorAttribut 分类: 程序员成长2011-07-21 11:09 13138人阅读 评论(3) 收藏 举报 服务器wcfbehavior 不太懂WCF配置文件,当出现了这种错误时,呵呵,就按照上面的提示,作如下操作: 在wcf项目下,找到web.config 文件修改如下(蓝色部分) <behaviors> …

事件回溯 1.7月26日上午11:34,告警邮件提示:tomcat内存使用率连续多次超过90%: 2.开发人员介入排查问题,11:40定位到存在oom问题,申请运维拉取线上tomcat 内存快照dump: 3.开发人员担心服务抗不过下午的业务高峰期,让运维在中午低估期间重启tomcat: 4.11:45,运维人员重启tomcat,内存使用回落. 事件分析 1.根据监控历史数据,发现7月10日后,内存逐步上升,且不能被full GC:怀疑和前一周版本有关,但检查前一周版本内容,不可能导致omm:…

详细错误:HTTP 错误 404.2 - Not Found. 由于 Web 服务器上的“ISAPI 和 CGI 限制”列表设置,无法提供您请求的页面. 出现环境:win7 + IIS7.0 解决办法:IIS的根节点->右侧“ISAPI和CGI限制”->把禁止的DotNet版本项设置为允许,即可~…

错误重现: 在发布网站的过程中,虽然不是第一次发布了,但是还是遇到了很多的问题.为了以后可以轻松解决此类问题还是积累下来比较好. 问题:HTTP 错误 404.2 - Not Found. 由于 Web 服务器上的“ISAPI 和 CGI 限制”列表设置,无法提供您请求的页面. 错误配置环境:WIN7+IIS6.0 解决问题: 1.打开你的网站配置主页,功能视图里面ISAPI和CGI限制 2.将DOTNET版本项设置为允许,双击修改详细描述 3.将不允许改为允许状态. 为什么会出现这样的问题:…