本文主要介绍3个工具:pdb,objgraph,以及pympler. 1.pdb pdb是专门用于python代码调试,模仿gdb. 使用pdb可以查看堆栈,打印变量等. 这里介绍的是命令行下的pdb. 命令行下使用pdb,代码侵入小,调试方便. 本例中,python安装在当前目录下.venv 使用pdb加载python程序 .venv/bin/python -m pdb orange.py > /Users/lanyang/workspace/orange/orange.py(3)<modu

转载:http://www.jianshu.com/p/2d06a1a01cc3 这两天由于公司需要, 自己编写了一个用于接收dicom文件(医学图像文件)的server. 经过各种coding-debuging-coding-debuging之后, 终于上线了, 上线后心里美滋滋的, 一切正常. 第二天一上班, 负责人和我说接收太慢了, 卡的要死. 我想难道是python本身的问题?(程序员本征思维)我好奇的打开了终端输入 ps -aux | grep python 找到进程id 即 2161

python 内存泄露的诊断 - 独立思考 - ITeye技术网站 python 内存泄露的诊断 博客分类: 编程语言: Python Python多线程Blog.net  对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了"内存泄露". 最近在我的项目中,就出现了内存持续增长的情况,goolge 了一下,发现 Tracing Python memory leaks 讲了一种诊断方式,并给出了实例.而我的案例与此文稍有不同,下面就结合我的案

这次的内存泄露问题是发生在多线程场景下的. 各种工具都试过了,gc,objgraph, pdb,pympler等,仍然没有找到问题所在. pdb感觉用起来很方便,可以调试代码,对原来的代码无侵入性. 排查问题的过程中,多线程场景下,相关的工具,显得无力的. 使用objgraph时,代码执行很长时间后,show_growth()显示没有新创建的对象.这个可能是因为objgraph只针对当前线程的上下文. pympler,也是同样的问题. 最后,是通过分析进程的资源占用数据,找到的问题位置. 总结一

问题描述 A服务,是一个检测MGR集群主节点是否发生变化的服务,使用python语言实现的. 针对每个集群,主线程会创建一个子线程,并由子线程去检测.子线程会频繁的创建和销毁. 上线以后,由于经常会有功能发布,从而重启服务,开始一段时间没有发现问题. 半个月前的周二服务发布后,大约一周时间,没有再发布.到周末的时候,突然告警系统负载高,经过排查,发现内存几乎耗尽,并查到是A服务占用巨大内存,没有释放. 排查过程 已经确定,A服务是存在内存泄露的,到底是什么地方内存使用完,却没有释放呢? 这是一个

初识Visual Leak Detector 灵活自由是C/C++语言的一大特色,而这也为C/C++程序员出了一个难题.当程序越来越复 杂时,内存的管理也会变得越加复杂,稍有不慎就会出现内存问题.内存泄漏是最常见的内存问题之一.内存泄漏如果不是很严重,在短时间内对程序不会有太大的 影响,这也使得内存泄漏问题有很强的隐蔽性,不容易被发现.然而不管内存泄漏多么轻微,当程序长时间运行时,其破坏力是惊人的,从性能下降到内存耗尽,甚 至会影响到其他程序的正常运行.另外内存问题的一个共同特点是,内存问题本身

背景 即使到今天,iOS 应用的内存泄露检测,仍然是一个很重要的主题.我在一年前,项目中随手写过一个简单的工具类,当时的确解决了大问题.视图和控制器相关的内存泄露,几乎都不存在了.后来想着一直就那个工具,写一篇文章,不过一直没有写. 时过境迁,今天在网上搜了下 "iOS 内存泄露检测",各种讨论技术文章,有点头大.我忍不住看了下自己当时的代码,突然感觉自己的思路好特别,好有创意.我真的就是在"创建"时把数据记录到一个字典里,在"释放"时,从字典里

内存泄漏是c++程序常见的问题了,特别是服务类程序,当系统模块过多或者逻辑复杂后,很难通过代码看出内存泄漏. valgrind是一个开源的,检测c++程序内存泄漏有效工具,编译时加上-g选项可以定位到代码行,同时还检查‘野指针’,检查malloc与free是否匹配等功能. 参考: 1. Linux下几款C++程序中的内存泄露检查工具 2. linux工具之检测内存泄漏-valgrind

概述 内存泄漏(memory leak)指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况,在大型的.复杂的应用程序中,内存泄漏是常见的问题.当以前分配的一片内存不再需要使用或无法访问时,但是却并没有释放它,这时就出现了内存泄漏.尽管优秀的编程实践可以确保最少的泄漏,但是根据经验,当使用大量的函数对相同的内存块进行处理时,很可能会出现内存泄漏. 内存泄露可以分为以下几类:1． 常发性内存泄漏.发生内存泄漏的代码会被多次执行到,每次被执行的时候都会导致一块内存泄漏.2． 偶发性内存泄漏.发生

MLeaksFinder:精准 iOS 内存泄露检测工具 发表于 2016-02-22   |   zepo   |   23 Comments 背景 平常我们都会用 Instrument 的 Leaks / Allocations 或其他一些开源库进行内存泄露的排查,但它们都存在各种问题和不便,我们逐个来看这些工具的使用和存在的问题. Leaks 先看看 Leaks,从苹果的开发者文档里可以看到,一个 app 的内存分三类: Leaked memory: Memory unreferenced

内存泄露简介 什么是内存泄漏 内存泄漏(Memory Leak)是指程序中已动态分配的堆内存由于某种原因,程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果. 内存泄漏缺陷具有隐蔽性.积累性的特征,比其他内存非法访问错误更难检测.因为内存泄漏的产生原因是内存块未被释放,属于遗漏型缺陷而不是过错型缺陷.此外,内存泄漏通常不会直接产生可观察的错误症状,而是逐渐积累,降低系统整体性能,极端的情况下可能使系统崩溃. 内存泄露产生的方式 以产生的方式来分类,内存泄漏可以分

python代码安全扫描工具:Coverity. Fortify.SecMissile(漏扫,对源代码提供基于语义的搜索和分析能力,实现已知安全漏洞的快速扫描)

转自:http://blog.csdn.net/lishenglong666/article/details/8287783 版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[-] 内核泄露检测kmemleak 介绍 用法 功能实现的基本方法原理 Kmemleak API 处理假阳性阴性 限制和缺点 测试的特定部分kmemleak   内核泄露检测(kmemleak) 介绍: Kmemleak 提供了一种可选的内核泄漏检测,其方法类似于跟踪内存收集器.(http://en.w

内存使用是程序开发无法回避的一个问题.如果我们毫不在意肆意使用,总有一天会为此还账,且痛不欲生...所以应当防患于未然,把内存使用细化到平时的每一行代码中. 内存使用概念较大,本篇先讲对已有app如何检测并发现内存泄露的点,从而进行下一步的修复处理. 之后会写关于内存的理论篇. 内存检测的思路依次是: 静态检测-->工具检测--->修复 内存并非只有OutOfMemory的Crash影响,当可用内存较小时,频繁的gc会导致应用变"卡" 下面我们来讲解下定位内存泄露我们利用的

Python使用引用计数和垃圾回收来做内存管理,前面也写过一遍文章<Python内存优化>,介绍了在python中,如何profile内存使用情况,并做出相应的优化.本文介绍两个更致命的问题:内存泄露与循环引用.内存泄露是让所有程序员都闻风丧胆的问题,轻则导致程序运行速度减慢,重则导致程序崩溃:而循环引用是使用了引用计数的数据结构.编程语言都需要解决的问题.本文揭晓这两个问题在python语言中是如何存在的,然后试图利用gc模块和objgraph来解决这两个问题. 注意:本文的目标是Cpyth

本篇文章非原创,转载自:http://rstevens.iteye.com/blog/828565 . 对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”. 最近在我的项目中,就出现了内存持续增长的情况,google 了一下,发现 Tracing Python memory leaks 讲了一种诊断方式,并给出了实例.而我的案例与此文稍有不同,下面就结合我的案例,谈谈如何诊断内存泄露: 一.内存泄露的原因 对于 python 这种支持垃圾

对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了"内存泄露" 一.内存泄露的原因 对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因: 1. 所用到的用 C 语言开发的底层模块中出现了内存泄露. 2. 代码中用到了全局的 list. dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收 3. 代码中有"引用循环", python 垃圾处理机制无法

目前在linux开发一个分析实时路况的应用程序,在联合测试中发现程序存在内存泄露的情况. 这下着急了,马上就要上线了,还好发现了一款Valgrind工具,完美的解决了内存泄露的问题. 推荐大家可以使用看看. Valgrind是运行在Linux上一套基于仿真技术的程序调试和分析工具,它的主要作者是获得过Google-O'Reilly开源大奖的Julian Seward,它包含一个内核──一个软件合成的CPU,和一系列的小工具,每个工具都可以完成一项任务──调试,分析,或测试等.Valgrind可以

工具介绍 官网 http://www.linkdata.se/sourcecode/memwatch/ 其功能如下官网介绍,挑选重点整理: 1. 号称功能: 内存泄露检测 (检测未释放内存, 即 动态内存开辟未释放的情况) 2. 检测 多次调用free, 和 free 错误地址 3. 检测内存访问的 上越界 和 下越界 4. 检测对野指针进行的写操作 其他内存检测工具有 mtrace valgrind 参考 http://www.cnblogs.com/honglihua8688/p/37279

Valgrind是一款用于内存调试.内存泄漏检测以及性能分析的软件开发工具. Valgrind的最初作者是Julian Seward,他于2006年由于在开发Valgrind上的工作获得了第二届Google-O'Reilly开源代码奖. Valgrind遵守GNU通用公共许可证条款,是一款自由软件. Valgrind的安装和使用 去官网www.valgrind.org下载最新版本的valgrind,我这里下载的是valgrind 3.11.0.tar.bz2. #tar xvf valgrind