观察errorlog 日志 是否存在类似错误 [error] 12788#0: *322 connection is denied by policyframe[return code:8], 观察是否开启 nginx  policy_frame  , 配置项policy_frame on 关闭配置文件 policy_frame off http://blog.csdn.net/denieljean/article/details/10335259

环境描述: Python 2.7.5 CentOS-7.2   报错现象: (1).在虚拟环境下运行 pip install 命令安装 PyPI 第三方库,出现类似如下告警. Running setup.py egg_info for package Werkzeug     no previously-included directories found matching 'docs/_build'     no previously-included directories found ma

偶发异常BUG,如何高效精准分析排查定位? 作为测试,经常会收到领导.同事.用户反馈过来各种各样BUG,令人措手不及 首选需要判断确认是不是BUG,不要急于给予回复,需有充分的条件给予说明回复 很多测试人员收到问题的反应: 需求没说这样? 不是BUG? 怎么可能是BUG? 这个我们测过的怎么会有问题? 肯定是环境问题? 肯定是程序偷偷改了东西的? 昨天还是好的呢?今天怎么这样了? 作为专业测试,我们应保持大度.精心的状态,正因为每次能遇到问题,我才能涨了更多的见识 收集BUG发生信息,拆分条件:

1.严格按用例执行: 2.如果是作随机测试时,把测试步骤的点进行速记; 3.偶发BUG一般都是严重的,保留现场,让开发人员一起分析留下的现场(如数据的变化,界面窗口的变化等,找出问题的引子,那怕是千丝万缕,只要有一线希望,都要与开发人员一起分析,千万别关机(关机后再重启很多现场已破坏,不少数据是保存在闪存中的). 4.最好的做法:要求开发打开trace,测试版本在执行时能自动把测试的路径,或触发的消息等输出到文件,相当于软件的执行log,这个log对解决偶发问题将大有裨益. 5.即使一时没有重现

年初,罗德与施瓦茨公司(Rohde & Schwarz)推出了第一款的手持示波器,从指标上看,该示波器打破了传统手持器功能简单.指标水平低.结构粗糙的印象,取而代之达到了主流台式数字示波器的性能,在使用方式和功能上,将手持示波器的发展到了一个新的水平.华睿集成有幸较早的获得了RTH试用的资格,我们通过实际的测试和比较,看看这一款新定义的手持示波器到底能给客户带来多大的惊喜. 手持示波器由于其体积和使用场合的限制,在很长一段时间里,其数据处理的能力都比较有限,这也就决定了传统的手持示波器往往只能观

1.问题: 最近在做SpringBoot项目的时候,有多个分开的微服务,偶发forward error 问题 2.猜想: 个人理解为服务跳转错误,可能本身没找到目标服务,或者目标服务损坏 3.解决: 在查看大量帖子后,可以归结为两种: 1.加超时任务 zuul: host: connect-timeout-millis: 10000 socket-timeout-millis: 60000 hystrix: command: default: execution: isolation: thre

Windows下面startup.bat启动Tomcat时,因为日志都打印到了cmd里面,存在偶发卡死Tomcat的问题,该问题确认是Windows系统的问题,而且一直没有解决.解决的办法是把日志重定向到日志文件. dump了JVM的堆栈,如下所示: 2018-05-24 11:30:41Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.131-b11 mixed mode): "JMX server connection timeou

 排查流水账: 通过平台监控,发现很多偶发的查看推荐列表的接口时延大于0.5s 写单元测试,不能重现.在测试环境不能重现.只有在正式环境可以偶发重现. 通过日志埋点,等待重现 不断地加日志埋点后发现耗时在redis的hmget操作 这时猜想原因 hmget命令才会有,会不会是hmget命令的问题 查看redis的慢查询日志,发现没有慢查询.排除是Redis执行慢的原因 查看当时的负载情况,负载很低,并发也不多.所以排除是Redis的命令等待原因 多协程下,20条hmget,不会全部都卡,只会卡几

1. 发现问题     1. 查询慢access日志,发现偶尔有接口时延超过2s,发送概率1%左右 2. 排查     1. 写单元测试,多次测试后,不能重现问题     2. 接口代码里加日志,每隔一行代码加一次日志,等待重现     3. 不断往上游接口加日志后,发现耗时在获取榜单top10的接口     4. top10接口是从数据库获取top50的用户,然后通过多协程到redis里面获取用户信息     5. 发现从数据库获取数据时,没索引,加上索引后,问题依然存在     6. 再次加

请问对偶发的定义是多少频率? 针对偶发的定义,主要是看发生的时间非常短,次数极少(如 10次以内),并且发生的时候EventHub其他分区或其他连接都是正常接收和发送数据.所以对于频率是没有明确的定义的,这个需要根据每次发生的情况来分析.由于Event Hub SDK都考虑了这样短暂出现连接性的情况,所以默认都启动了重试机制.这样能解决绝大多数的连接异常问题. 连接问题重连成功的最短间隔是多少?请问有没有经验值? 在查看源码发现默认的Timeout时间设置为60秒,关于最短时间并没有文档明确说明

问题描述 在最近的后台服务中,新增将某个指令的请求数据落盘保存的功能.在具体实现时,采用成员变量来保存请求消息代理头,在接收响应以及消息管理类释放时进行销毁.测试反馈,该服务偶发崩溃. 问题分析 测试环境上运行的是rel版程序,由于在编译时去掉了调试信息(-g)以及开启O3级别优化,从崩溃dump的堆栈上,只看到程序崩溃的调用栈,函数入参等被优化掉,由于此处没有打日志,只能想其他办法来复现.猜测是重复释放指针导致的崩溃,接下来继续分析. 从rel版本的调用栈上看,只看见最后销毁的函数调用,而在实

[问题描述] 数据库连接异常是很难排查的一类问题.因为它牵涉到应用端,网络层和服务器端.任何一个组件异常,都会导致数据库连接失败.开发遇到数据库连接不上的问题,都会第一时间找DBA来协助查看,DBA除了需要懂得数据库以外,还需要对应用,对网络有所了解,知道在哪里看应用程序的日志,以及看网络交换机性能指标,才能清晰的定位问题.下面是一个数据库偶发连接不上的例子: 步骤 分析 S(主观) 某应用程序,有40台左右应用服务器,时不时的会报数据库连接异常.报错后迅速自愈.报错内容为: Communica

背景 进入6月后,随着一个主要功能版本api的上线,服务端的QPS翻了一倍,平时服务器的CPU使用稳定在30%上下,高峰期则在60%上下,但是偶尔会有单台机器出现持续数分钟突然飙到90%以上,导致大量api响应缓慢超过客户端等待时间,触发其主动断开连接产生大量nginx499. 问题分析与解决 问题期间器资源情况 仔细查看问题期间的zabbix监控数据,发现90%的CPU占用中有10%上下是sys time, 5%上下是softirq time,两者相加可占到接近20%, interrupt和c

最近莫名的会有错误日志,说有写操作因为走了读库而报了read only的异常,由于并没有造成应用使用的问题,开始我以为哪的配置错误就没当回事让程序员自己去查了,然而... 背景:之前的博客里提到过,读写分离功能是直接从老系统迁移过来的,老系统可能是因为主从库之间同步延迟而使用了基于请求层面的读写分离,迁过来的时候降成了基于Service,新系统用了dubbox,这些Service直接充当Provider.读写分离的实现是重写了了DataSource,请求到Service的时候会先经过拦截器判断方

1. 打开 core dump 查看是否打开 ulimit -c 如果输出0, 说明没有打开. 方法一:使用命令 ulimit -c unlimited 可以打开,但是只对当前终端有效, 方法二: 配置 /etc/profile 文件 sudo gedit /etc/profile 在最后添加一行 ulimit -S -c unlimited > /dev/null 2>&1 可以始终打开core dump , unlimited 可以改为具体的数字,比方说 1024 来限制 core

同事开发微信小程序,小程序通过API接口调用我们的人脸比对API,但是一直是提示403,通过查看查看nginx日志,发现请求并没有转发出去,转发出去的请求,应该是301,重定向, 然后就开始在nginx的配置上寻找原因,经过半小时的测试,最终锁定了一个配置项 proxy_set_header Referer

[作者] 张延俊:携程技术保障中心资深DBA,对数据库架构和疑难问题分析排查有浓厚的兴趣. 寿向晨:携程技术保障中心高级DBA,主要负责携程Redis及DB的运维工作,在自动化运维,流程化及监控排障等方面有较多的实践经验,喜欢深入分析问题,提高团队运维效率. [问题描述]  生产环境有一个Redis会偶尔发生连接失败的报错,报错的时间点.客户端IP并没有特别明显的规律,过一会儿,报错会自动恢复.  以下是客户端报错信息: CRedis.Client.RExceptions.ExcuteComma

近期项目遇到一个奇怪的问题,使用 Unity 2017 版本升级后,团队中某些人的机器光照图总是不正确,而有的人是正确的,一直不知道为什么. 为了查到这个奇怪问题的原因,首先查看了美术的在 Max 中的导出设置,虽然不是特别规范,但也没啥特别的问题,且声称以前也是这样导出,但是没有遇到过这样的问题:然后查看了美术使用的版本,美术果然没有升级,还是用旧版本的 Unity 生成光照图,然后把相关的场景资源全部到导出成 Package,然后再导入主干的工程并签入,那么这个过程就比较值得怀疑. 还有一点

一.xftp无法连接服务器 在xftp中配置正确的ip,用户名和密码后,居然无法连接 解决方案:将协议里面的FTP换成SFTP,注意换成SFTP后端口就默认换成22,要还是原来的21就还是连不上的哈 二.Nginx 出现 403 Forbidden 最终解决 在用nginx配置的时候,出现403禁止访问错误 解决方案:打开nginx.conf,例如:vim /etc/nginx/nginx.conf,把 user 用户名 改为 user root 或 其它有高权限的用户名称即可 原来一般默认是:

https://www.cnblogs.com/caijt/p/10978324.html 以上篇博客中说了怎么在linux部署asp.net core  跟 nginx,里面成功的前提是把SElinux关了,SELinux一开,确实出现很多莫名奇妙的问题,我网上查,大多数的解决方法也是教你把SElinux关了. 我研究了下怎么在不关SELinux的情况下,Nginx还能正常地使用. 先说下SElinux是什么,其实我也看不太懂,不过我了解了一点规则 先说下两个命令跟参数 ps -Z ls -Z