垃圾回收

首先介绍两个画图的工具:objgraph 包和在线绘图网站 draw.io。具体的使用以后再写。

1.引用计数

Python 中,每个对象都有存有指向该对象的引用总数,即:引用计数(reference count);

可以使用 sys 包中的 getrefcount(),来查看某个对象的引用计数;

需要注意的是,当使用某个引用作为参数,传递给 getrefcount() 时,参数实际上创建了一个临时的引用。因此,getrefcount() 所得到的结果,会比期望的多 1 ;

from sys import getrefcount

a = [1, 2, 3]
print(getrefcount(a)) # 2 b = a
print(getrefcount(b)) # 3

Python的一个容器对象(container),比如表、词典等,可以包含多个对象。实际上,容器对象中包含的并不是元素对象本身,是指向各个元素对象的引用;

即使是 a = 1 这一赋值方式,实际上是让词典的一个键值 "a" 的元素引用整数对象 1。该词典对象用于记录所有的全局引用。该词典引用了整数对象 1。我们可以通过内置函数 globals() 来查看该词典。

容器对象的引用可能构成很复杂的拓扑结构。我们可以用 objgraph 包来绘制其引用关系,比如:

import objgraph

x = [1, 2, 3]
y = [x, dict(key1=x)]
z = [y, (x, y)] objgraph.show_refs([z])

两个对象可能相互引用,从而构成所谓的引用环(reference cycle):

a = []
b = [a]
a.append(b)
objgraph.show_refs([a])

即使是一个对象,只需要自己引用自己,也能构成引用环:

c = []
c.append(c)
print(getrefcount(c))
objgraph.show_refs([c])

某个对象的引用计数可能减少。比如,使用 del 关键字删除某个引用,del a

当 Python 中的对象越来越多,它们将占据越来越大的内存,并在适当的时候启动垃圾回收(garbage collection),将没用的对象清除;

2.引用计数为 0

当 Python 的某个对象的引用计数降为 0 时,说明没有任何引用指向该对象,该对象就成为要被回收的垃圾了;

然而,垃圾回收时,Python 不能进行其它的任务,频繁的垃圾回收将大大降低 Python 的工作效率;

如果内存中的对象不多,就没有必要总启动垃圾回收。所以,Python 只会在特定条件下,自动启动垃圾回收:

当 Python 运行时,会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时,垃圾回收才会启动。

可以通过 gc 模块的 get_threshold() 方法,查看该阈值:

import gc

gc.get_threshold()  # (700, 10, 10),两个10是与分代回收相关的阈值,700 是垃圾回收启动阈值;
gc.set_threshold(800, 10, 5) # 重新设置垃圾回收的相关阈值
gc.collect() # 手动启动垃圾回收, gc.collect()
3.分代回收

Python 同时采用了分代(generation)回收的策略。这一策略的基本假设是:

存活时间越久的对象,越不可能在后面的程序中变成垃圾。我们的程序往往会产生大量的对象,许多对象很快产生和消失,但也有一些对象长期被使用。出于信任和效率,对于这样一些“长寿”对象,我们相信它们的用处,所以减少在垃圾回收中扫描它们的频率。

Python 将所有的对象分为 0,1,2 三代。所有的新建对象都是 0 代对象。当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象。垃圾回收启动时,一定会扫描所有的 0 代对象。如果 0 代经过一定次数垃圾回收,那么就启动对 0 代和 1代 的扫描清理。当 1 代也经历了一定次数的垃圾回收后,那么会启动对 0,1,2,即对所有对象进行扫描。

(700, 10, 10)中的两个 10 代表:

每 10 次 0 代垃圾回收,会有 1 次 1 代的垃圾回收;每 10 次 1 代的垃圾回收,会有 1 次的 2 代垃圾回收;

4.孤立的引用环--标记清除法

引用环的存在会给垃圾回收机制带来很大的困难,可能构成无法使用,但引用计数不为 0 的一些对象:

"""
下面创建了两个列表对象,并引用对方,构成一个引用环;
删除了a,b引用之后,这两个对象不可能再从程序中调用,就没有什么用处了;
但是由于引用环的存在,这两个对象的引用计数都没有降到0,不会被垃圾回收;
"""
a = []
b = [a]
a.append(b) del a
del b

为了回收这样的引用环,Python 会复制每个对象的引用计数,可以记为 gc_ref。假设,每个对象 i 的引用计数为 gc_ref_i。Python会遍历所有的对象 i。对于每个对象 i 引用的对象 j,将相应的 gc_ref_j - 1;

在结束遍历后,gc_ref 不为 0 的对象,和这些对象引用的对象,以及继续更下游引用的对象,需要被保留,而其它的对象则被垃圾回收;称之为“标记清除法”.

5.dot 解析网站

objgraph.show_refs() 生成的 dot 文件解析网站 https://onlineconvertfree.com/zh/

import objgraph
a = [1,2,3]
b = [4,5,6] a.append(b)
b.append(a) objgraph.show_refs(a)
objgraph.show_refs([a])
objgraph.show_refs([b])



Python 的垃圾回收的更多相关文章

  1. 【Python】 垃圾回收机制和gc模块

    垃圾回收机制和gc模块 Py的一个大好处,就是灵活的变量声明和动态变量类型.虽然这使得学习py起来非常方便快捷,但是同时也带来了py在性能上的一些不足.其中相关内存比较主要的一点就是py不会对已经销毁 ...

  2. 详解python的垃圾回收机制

    python的垃圾回收机制 一.引子 我们定义变量会申请内存空间来存放变量的值,而内存的容量是有限的,当一个变量值没有用了(简称垃圾)就应该将其占用的内存空间给回收掉,而变量名是访问到变量值的唯一方式 ...

  3. 谈一谈python的垃圾回收机制

    [python的垃圾回收机制是怎么实现的] 在C语言时代程序员要负责内存的申请和释放,虽然这样的程序可以对资源进行精细的控制.但是它也有它的问题.这就要求程序员 要写许多与业务逻辑无关的内容在代码里面 ...

  4. python的垃圾回收机制和析构函数__del__

    析构函数__del__定义:在类里定义,如果不定义,Python 会在后台提供默认析构函数. 析构函数__del__调用: A.使用del 显式的调用析构函数删除对象时:del对象名: class F ...

  5. python之垃圾回收机制

    一.前言 Python 是一门高级语言,使用起来类似于自然语言,开发的时候自然十分方便快捷,原因是Python在背后为我们默默做了很多事情,其中一件就是垃圾回收,来解决内存管理,内存泄漏的问题. 内存 ...

  6. Python核心技术与实战——二十|Python的垃圾回收机制

    今天要讲的是Python的垃圾回收机制 众所周知,我们现在的计算机都是图灵架构.图灵架构的本质,就是一条无限长的纸带,对应着我们的存储器.随着寄存器.异失性存储器(内存)和永久性存储器(硬盘)的出现, ...

  7. Python的 垃圾回收机制

    垃圾回收 1. 小整数对象池 整数在程序中的使用非常广泛,Python为了优化速度,使用了小整数对象池, 避免为整数频繁申请和销毁内存空间. Python 对小整数的定义是 [-5, 257) 这些整 ...

  8. Python的垃圾回收机制

    Python的GC模块主要运用了“引用计数”(reference counting)来跟踪和回收垃圾.在引用计数的基础上,还可以通过“标记-清除”(mark and sweep)解决容器对象可能产生的 ...

  9. Python的垃圾回收机制(引用计数+标记清除+分代回收)

    一.写在前面: 我们都知道Python一种面向对象的脚本语言,对象是Python中非常重要的一个概念.在Python中数字是对象,字符串是对象,任何事物都是对象,而它们的核心就是一个结构体--PyOb ...

  10. python高级——垃圾回收机制

    GC作为现代编程语言的自动内存管理机制,专注于两件事:1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用.GC彻底把程序员从资源管理的重担中解放出来,让他们有更多的时间放在 ...

随机推荐

  1. dataTaDataTable 详细教程

    DataTable 选项说明 特性 jQueryUI:true/false:控制是否使用jqueryUI样式,需要引入jQueryUI的CSS autoWidth:true/false:控制Datat ...

  2. java-异常-编译时检测异常和运行时异常区别(throws和throw区别)

    1 package p1.exception; 2 /* 3 * 对于角标是整数不存在,可以用角标越界表示, 4 * 对于负数为角标的情况,准备用负数角标异常来表示. 5 * 6 * 负数角标这种异常 ...

  3. mac下复制文件路径

    快捷键: option+command+C

  4. 西安腾讯DevOps面试题python算法输出列表数值下界

    给定一个列表,然后给一个目标值,列表中两数求和等于目标值,要求输出列表两数的下界 如 list = [1,2,3,4,6,7,8] num=10 #!/usr/bin/python #coding=u ...

  5. linux正则转换csv文件

  6. 守护石谈学习Java之路

    ​这次在CSDN Blink发表了几篇关于Java编程学习的小作文,讲述了Java工程师的成长路线.Java学习的技能树和入门工作要关注的核心问题,我继续做一次文章的整合与延展,以文章的形式发表出来, ...

  7. Lesson1——Pandas是什么

    pandas目录 一.简介 Pandas 是一个开源的第三方 Python 库,从 Numpy 和 Matplotlib 的基础上构建而来,享有数据分析"三剑客之一"的盛名(Num ...

  8. freeswitch插件式模块接口实现方式

    概述 freeswitch的外围模块是插件式的,可以动态的加载和卸载,使用起来非常的灵活和方便. 如果我们自己来设计一个开源的代码框架,相信这种插件式的模块结构是非常适合多人合作的模式. 本文对fs的 ...

  9. AT2346 [ARC070B] No Need

    这里介绍几种做法. 解法一 首先可以转化一下题意,\(\forall i\) 如果 \(i\) 不是可有可无的当且仅当不用 \(i\) 能拼出 \([K - a_i, K)\) 中的数. 基于观察可以 ...

  10. 线程池与Callable接口

    定义: 一个容纳多个线程的容器,其中的线程可以反复使用,省去了频繁创建线程对象的操作,无需反复创建线程而消耗过多资源. 使用方法 public void lockDemo() throws Inter ...