之前遇到一个问题,需要将场景服务这个模块拆分出来,用独立的一个线程去执行.使用独立的线程好处就是,逻辑写的可以相对简单粗暴点,不必考虑到大量的场景服务逻辑卡主线程的情况. 由于我们服务器之前是使用python作为脚本开发,而大家都知道的python有个gil,这意味着并发的线程里只有一个可以获得解释器的全局锁,从而并执行python代码.当然了python这样子也是有原因的,由于其内部使用了大量的静态变量,因此多线程环境下必须有一个线程同步的机制.结果最后选择了在服务器又再嵌入了一个(多个)lu…

近期为了面试想要了解下python的运行原理方面的东西,奈何关于python没有找到一本类似于深入理解Java虚拟机方面的书籍,找到了一本<python源码剖析>电子书,但是觉得相对来说最近还是不打算用大布头时间研究这本书,只能先找来几篇相关的博客来阅读,记录如下: 一.过程概述 1.python先把代码(.py文件)编译成字节码,交给字节码虚拟机,然后虚拟机会从编译得到的PyCodeObject对象中一条一条执行字节码指令,并在当前的上下文环境中执行这条字节码指令,从而完成程序的执行.Pyt…

python 虚拟机是单线程:当线程执行I/O密集型操作是 单核CPU,不存在“并行”,与语言无关:每个线程运行中,其他线程等待该线程让步 粗粒度的并行 靠 软件,细---硬---…

异常:对程序运行中的非正常情况进行抽象.并且提供相应的语法结构和语义元素,使得程序员能够通过这些语法结构和语义元素来方便地描述异常发生时的行为. 1.Python中的异常机制: 1.1Python虚拟机自身抛出异常 python虚拟机内部本身有一套异常捕捉机制,即使python中没有出现try.except.finally等用于进行异常控制的语义元素,Python脚本执行中所抛出的异常还是会被python虚拟机捕捉到. 比如1/0肯定会抛出异常. 异常是在执行除法操作字节码的时候被触发的, 执行…

http://blog.csdn.net/balabalamerobert http://blog.csdn.net/efeics/article/category/1486515  图解python https://github.com/thieman/dagobah  可视化任务调度 Cobragoogle上的开源开源项目,现在已经放到github 中 其中包含两个部分: .cobraserver :这个是修改后的Python虚拟机 .cobraweb :这个是基于Django和Ajax的前…

本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1.Python虚拟机在运行函数调用时会动态地创建新的 PyFrameObject对象, 这些PyFrameObject对象之间会形成PyFrameObject对象链,模拟x86平台上执行时栈 2.PyFuctionObject对象 typedef struct { PyObject_HEAD PyObject *func_code: //相应函数编译后的PyCodeObject对象 Py…

instance对象中的__dict__ 在Python虚拟机类机制之从class对象到instance对象(五)这一章中最后的属性访问算法中,我们看到“a.__dict__”这样的形式. # 首先寻找'f'对应的descriptor(descriptor在之后会细致剖析) # 注意:hasattr会在<class A>的mro列表中寻找符号'f' if hasattr(A, 'f'): descriptor = A.f type = descriptor.__class__ if hasat…

从class对象到instance对象 现在,我们来看看如何通过class对象,创建instance对象 demo1.py class A(object): name = "Python" def __init__(self): print("A::__init__") def f(self): print("A::f") def g(self, aValue): self.value = aValue print(self.value) a =…

用户自定义class 在本章中,我们将研究对用户自定义class的剖析,在demo1.py中,我们将研究单个class的实现,所以在这里并没有关于继承及多态的讨论.然而在demo1.py中,我们看到了许多类的内容,其中包括类的定义.类的构造函数.对象的实例化.类成员函数的调用等 demo1.py class A(object): name = "Python" def __init__(self): print("A::__init__") def f(self):…

从slot到descriptor 在Python虚拟机类机制之填充tp_dict(二)这一章的末尾,我们介绍了slot,slot包含了很多关于一个操作的信息,但是很可惜,在tp_dict中,与__getitem__关联在一起的,一定不会是一个slot,原因很简单,slot不是一个PyObject,它不能存放在dict对象中.当然,我们再深入思考一下,会发现slot也不会被“调用”.既然slot不是一个PyObject,那么它就没有type,也就无从谈起什么tp_call了,所以slot是无论如何…

Python对象模型 在Python2.2之前,Python中存在着一个巨大的裂缝,就是Python的内置类type,比如:int和dict,这些内置类与程序员在Python中自定义的类并不是同一级别的类.比如说,程序员定义了class A,又定义了class B,B可以继承于A,这是理所当然的.但是,Python的内置类却不能被继承.程序员不能创建一个类继承于int或者dict.于是,Python的开发者在Python2.2中花费了巨大的精力填补了内置类和用户自定义class之间的鸿沟,使得两…

函数中局部变量的访问 在完成了对函数参数的剖析后,我们再来看看,在Python中,函数的局部变量时如何实现的.前面提到过,函数参数也是一种局部变量.所以,其实局部变量的实现机制与函数参数的实现机制是完全一样的.这个“一样”是什么意思呢? 之前我们剖析过Python虚拟机的一些指令,如果要访问一个变量,应该使用LOAD_NAME指令,应该依照local.global.builtin这三个名字空间里去检索变量名所对应的变量值.然后在调用函数时,Python虚拟机通过PyFrame_New创建新的Py…

位置参数的默认值 在Python中,允许函数的参数有默认值.假如函数f的参数value的默认值是1,在我们调用函数时,如果传递了value参数,那么f调用时value的值即为我们传递的值,如果调用时没有传递value的值,那么f将使用value的默认值,即为1.那么,带有默认值的位置参数,其实现机制与一般的位置参数有何不同呢? 我们先来看一下demo3.py # cat demo3.py def f(a=1, b=2): print(a + b) f() f(b=5) 然后我们用dis模块编译下…

位置参数的传递 前面我们已经分析了无参函数的调用过程,我们来看看Python是如何来实现带参函数的调用的.其实,基本的调用流程与无参函数一样,而不同的是,在调用带参函数时,Python虚拟机必须传递参数.我们先来看一段代码: # cat demo2.py def f(name, age): age += 5 print("[", name, age, "]") age = 5 f("Robert", age) 我们用dis模块来编译一下对应的字节…

参数类别 我们在Python虚拟机函数机制之无参调用(一)和Python虚拟机函数机制之名字空间(二)这两个章节中,分别PyFunctionObject对象和函数执行时的名字空间.本章,我们来剖析一下函数参数的实现. 在Python中,函数的参数根据形势的不同可以分为四种类别: 位置参数:如f(a, b),a和b称为位置参数 键参数:f(a, b, name="Python"),其中的name="Python"被称为键参数 扩展位置参数:f(a, b, *args)…

PyFunctionObject对象 在Python中,任何一个东西都是对象,函数也不例外.函数这种抽象机制,是通过一个Python对象——PyFunctionObject来实现的 typedef struct { PyObject_HEAD PyObject *func_code; //编译后的PyCodeObject对象 PyObject *func_globals; //函数运行时的global名字空间 PyObject *func_defaults; //默认参数(tupple或NULL…

Python中的异常控制语义结构 在Python虚拟机之异常控制流(四)这一章中,我们考察了Python的异常在虚拟机中的级别上是什么东西,抛出异常这个动作在虚拟机的级别上对应的行为,最后,我们还剖析了Python在处理异常时栈帧展开行为.但遗憾的是,在前面,我们只考察了Python虚拟机中内建的处理异常的动作,并没有使用Python语言提供的异常控制结构.本章我们将研究Python语言提供的异常控制结构如何影响Python虚拟机的异常处理流程 # cat demo6.py try: raise…

Python虚拟机中的异常控制流 先前,我们分别介绍了Python虚拟机之if控制流(一).Python虚拟机之for循环控制流(二)和Python虚拟机之while循环控制结构(三).这一章,我们来了解一下异常机制在Python虚拟机中的实现 首先,我们来看下面的代码: # python2.5 >>> 1 / 0 Traceback (most recent call last): File "<stdin>", line 1, in <modul…

Python虚拟机中的while循环控制结构 在Python虚拟机之if控制流(一)和Python虚拟机之for循环控制流(二)两个章节中,我们介绍了if和for两个控制结构在Python虚拟机中的实现,但是这里还差一个while循环控制结构.在这里,我们不单单要考虑循环本身的指令跳跃动作,还要考虑另外两个与循环相关的指令跳跃语义:continue和break 下面,让我们看一下demo4.py这个程序,并用dis模块解释其对应的字节码 # cat demo4.py i = 0 while i…

Python虚拟机中的for循环控制流 在Python虚拟机之if控制流(一)这一章中,我们了解if控制流的字节码实现,在if控制结构中,虽然Python虚拟机会在不同的分支摇摆,但大体还是向前执行,但是在for循环控制结构中,我们将会看到一种新的指令跳跃方式,即指令回退.在if控制流章节中,我们看到了指令跳跃时,通常跳跃的距离都是当前指令与目标指令之间的距离.如果按照这种逻辑,进行回退时,这个跳跃是否是负数呢?别急,我们下面一点一点来剖析for循环控制流的实现 # cat demo3.py l…

Python虚拟机中的if控制流 在所有的编程语言中,if控制流是最简单也是最常用的控制流语句.下面,我们来分析一下在Python虚拟机中对if控制流的实现 # cat demo.py a = 1 if a > 10: print("a>10") elif a <= -2: print("a<=-2") elif a != 1: print("a!=1") elif a == 1: print("a==1&quo…

复杂内建对象的创建 在上一章Python虚拟机中的一般表达式(一)中,我们看到了Python是如何创建一个空的字典对象和列表对象,那么如果创建一个非空的字典对象和列表对象,Python的行为又是如何呢?demo2.py里面包含一个字典对象和列表对象,这两个对象都是在初始化时就包含元素,首先,我们看一下对应PyCodeObject中的符号表和常量表 # cat demo2.py i = 1 s = "Python" d = {"1": 1, "2"…

在Python虚拟机框架这一章中,我们通过PyEval_EvalFrameEx看到了Python虚拟机的整体框架.而这章开始,我们将了解Python虚拟机是如何完成对Python的一般表达式的执行,这里的“一般表达式”包括最基本的对象创建语句,打印语句.至于if.while等表达式,我们将之归类于控制流语句,将再后面的章节介绍 简单内建对象的创建 我们先来看一段简单的对象创建语句: demo.py i = 1 s = "Python" d = {} l = [] 上面的语句很简单,创建…

Python字节码 我们知道,Python源代码在执行前,会先将源代码编译为字节码序列,Python虚拟机就根据这些字节码进行一系列的操作,从而完成对Python程序的执行.在Python2.5中,一共定义了104条字节码指令: opcode.h #define STOP_CODE 0 #define POP_TOP 1 #define ROT_TWO 2 #define ROT_THREE 3 #define DUP_TOP 4 #define ROT_FOUR 5 #define NOP 9…

本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1. Python虚拟机会从编译得到的PyCodeObject对象中依次读入每一条字节码指令. 并在当前的上下文环境中运行这条字节码指令. Python虚拟机实际上是在模拟操作中运行文件的过程 PyCodeObject对象中包括了字节码指令以及程序的全部静态信息,但没有包括 程序执行时的动态信息--执行环境(PyFrameObject) 2.Python源代码中的PyFrameObject…

13.0 序 这一章我们就来看看python中类是怎么实现的,我们知道C不是一个面向对象语言,而python却是一个面向对象的语言,那么在python的底层,是如何使用C来支持python实现面向对象的功能呢?带着这些疑问,我们下面开始剖析python中类的实现机制.另外,在python2中存在着经典类(classic class)和新式类(new style class),但是到Python3中,经典类已经消失了.并且python2官网都快不维护了,因此我们这一章只会介绍新式类. 13.1 p…

12.0 序 函数是任何一门编程语言都具备的基本元素,它可以将多个动作组合起来,一个函数代表了一系列的动作.当然在调用函数时,会干什么来着.对,要在运行时栈中创建栈帧,用于函数的执行. 在python中,PyFrameObject对象就是一个对栈帧的模拟,所以我们即将也会看到,python虚拟机在执行函数调用时会动态地创建新的PyFrameObject对象.随着函数调用链的增长,这些PyFrameObject对象之间也会形成一条PyFrameObject对象链,这条链就是对象x86平台上运行时栈…

11.0 序 在上一章中,我们剖析了python虚拟机中的一般表达式的实现.在剖析一遍表达式是我们的流程都是从上往下顺序执行的,在执行的过程中没有任何变化.但是显然这是不够的,因为怎么能没有流程控制呢.下面我们来看看python所提供的流程控制手段,其中也包括异常检测机制. 11.1 python虚拟机中的if控制流 11.1.1 if字节码 if算是最简单也是最常用的控制流语句,我们看看它的字节码是怎么样的呢? a = 1 if a > 10: print("a > 10"…

10.0 序 上一章中,我们通过PyEval_EvalFrameEx看到了python虚拟机的整体框架,那么这一章我们将深入到PyEval_EvalFrameEx的各个细节当中,深入剖析python的虚拟机,在本章中我们将剖析python虚拟机是如何完成对一般表达式的执行的.这里的一般表达式包括最基本的对象创建语句.打印语句等等.至于if.while等表达式,我们将其归类于控制流语句,对于python中控制流的剖析,我们将留到下一章. 10.1 简单内建对象的创建 # a.py i = 1 s…

9.0 序 下面我们就来剖析python运行字节码的原理,我们知道python虚拟机是python的核心,在源代码被编译成字节码序列之后,就将有python的虚拟机接手整个工作.python虚拟机会从编译得到的PyCodeObject对象中一次读取每一条字节码指令,并在当前的上下文中去执行,最终执行完所有的字节码. 9.1 python虚拟机的执行环境 python的虚拟机实际上是在模拟操作系统运行可执行文件的过程,我们先来看看在一台普通的x86的机器上,可执行文件是以什么方式运行的.在这里主要…