本文为senlie原创。转载请保留此地址:http://blog.csdn.net/zhengsenlie

1.python的运行过程

1)对python源码进行编译。产生字节码

2)将编译结果交给python虚拟机。由虚拟机依照顺序一条一条地运行字节码,产生运行结果







2.Python编译器的编译结果——PyCodeObject对象

Python编译器的编译结果中包括了字符串、常量值、字节码等在源码中出现的一切实用的静态信息。

在Python执行期间,这些静态信息被PyCodeObject对象中

在Python执行结束后。这些信息会被存储在pyc文件里

PyCodeObject对象和pyc文件是Python对源文件编译结果的两种不同存在形式





3.Python源代码中的PyCodeObject

/* Bytecode object */
typedef struct {
PyObject_HEAD
int co_argcount; /* 位置參数个数*/
int co_nlocals; /* 局部变量个数,包含位置參数个数*/
int co_stacksize; /* 须要的栈空间 */
int co_flags; /* CO_..., see below */
PyObject *co_code; /* 字节码指令序列,以PyStringObject形式存在 */
PyObject *co_consts; /* PyTupleObject对象,保存全部的常量 */
PyObject *co_names; /* PyTupleObject对象。保存全部符号 */
PyObject *co_varnames; /* 局部变量名集合 */
PyObject *co_freevars; /* 实现闭包须要用到的东西 */
PyObject *co_cellvars; /* 内部嵌套函数所引用的局部变量名集合 */
/* The rest doesn't count for hash/cmp */
PyObject *co_filename; /* Code Block所相应的.py文件的完整路径 */
PyObject *co_name; /* Code Block的名字,一般是函数名或类名 */
int co_firstlineno; /* Code Block所相应的.py文件的起始行 */
PyObject *co_lnotab; /* 字节码指令与.py文件里source code行号的相应关系。以PyStringObject的等式存在 */
void *co_zombieframe; /* for optimization only (see frameobject.c) */
PyObject *co_weakreflist; /* to support weakrefs to code objects */
} PyCodeObject;

Code Block:当进入一个新的名字空间,或者说作用域的时候,就算是进入了一个新的Code Block:当进入一个新的名字空间。或者说作用域的时候,就算是进入了一个新的

Code Block。一个 Code Block相应一个 PyCodeObject

名字空间是符号的上下文环境。名字空间链是多个名字空间嵌套在一起。

在Python中,module、类、函数都相应着一个独立的名字空间

#会产生三个 PyCodeObject。分别相应整个文件。class A和 def Fun
class A:
pass
def Fun():
pass
a = A()
Fun()

3.pyc文件

pyc文件里包括了三部分独立的信息:

Python的magic number --> 保证Python的兼容性

pyc文件的创建时间 --> 能够使Python自己主动将pyc文件与最新的py文件进行同步

PyCodeObject对象 





将内存中的PyCodeObject对象写入到pyc文件,须要下面几个函数

w_byte

w_long

w_string





PyMarshal_WriteObjectToFile会调用w_object,w_object会遍历 PyCodeObject中的全部域,

将这些域依次写入。

写入终于归结为两种形式:对数值的写入和对字符串的写入

static void w_object(PyObject *v, WFILE *p)
{
//……
else if (PyCode_Check(v))
{
PyCodeObject *co = (PyCodeObject *)v;
w_byte(TYPE_CODE, p);
w_long(co->co_argcount, p);
w_long(co->co_nlocals, p);
w_long(co->co_stacksize, p);
w_long(co->co_flags, p);
w_object(co->co_code, p);
w_object(co->co_consts, p);
w_object(co->co_names, p);
w_object(co->co_varnames, p);
w_object(co->co_freevars, p);
w_object(co->co_cellvars, p);
w_object(co->co_filename, p);
w_object(co->co_name, p);
w_long(co->co_firstlineno, p);
w_object(co->co_lnotab, p);
}
//……
}

w_object在写入对象之前会先写入TYPE_LIST、TYPE_CODE或者TYPE_INT标识,它们对

pyc文件的再次载入具有至关关键的数据。Python在pyc文件里发现这种标识,则预示着

一个对象的结束,新对象的開始。并且也知道了对象的类型。

4.向pyc文件里写入字符串

写入过程中的结构体WFILE

typedef struct {
FILE *fp;
PyObject *strings; //在写入时指向dict,在读出时指向list
} WFILE;

WFILE中的strings在marshal的时候指向一个PyDictObject对象(PyStringObject,PyIntObject)

//w_object对于字符串的处理
else if (PyString_CheckExact(v)) {
if (p->strings && PyString_CHECK_INTERNED(v)) {
//[1]:获得 PyStringObject对象在strings中的序号
PyObject *o = PyDict_GetItem(p->strings, v);
//[2]:intern字符串的非首次写入
if (o) {
long w = PyInt_AsLong(o);
w_byte(TYPE_STRINGREF, p);
w_long(w, p);
goto exit;
}
//[3]:intern字符串的首次写入
else {
int ok;
o = PyInt_FromSsize_t(PyDict_Size(p->strings));
ok = o &&
PyDict_SetItem(p->strings, v, o) >= 0;
Py_XDECREF(o);
if (!ok) {
p->depth--;
p->error = WFERR_UNMARSHALLABLE;
return;
}
w_byte(TYPE_INTERNED, p);
}
}
//[4]:写入普通字符串
else {
w_byte(TYPE_STRING, p);
}
//写入字符串
w_pstring(PyBytes_AS_STRING(v), PyString_GET_SIZE(v), p);
}
//...

怎么确定一个字符串要不要intern?

写入pyc文件时,strings是dict类型



从pyc文件里读取的时候,strings是list类型







5.一个PyCodeObject,多个PyCodeObject

PyCodeObject中的co_consts是嵌套的PyCodeObject的藏身之处





6.Python的字节码

104条字节码

STOP_CODE()
Indicates end-of-code to the compiler, not used by the interpreter.
NOP()
Do nothing code. Used as a placeholder by the bytecode optimizer.
POP_TOP()
Removes the top-of-stack (TOS) item.
ROT_TWO()
Swaps the two top-most stack items.
ROT_THREE()
Lifts second and third stack item one position up, moves top down to position three.
ROT_FOUR()
Lifts second, third and forth stack item one position up, moves top down to position four.
//...

《python源代码剖析》笔记 Python的编译结果的更多相关文章

  1. Python源代码剖析笔记3-Python运行原理初探

    Python源代码剖析笔记3-Python执行原理初探 本文简书地址:http://www.jianshu.com/p/03af86845c95 之前写了几篇源代码剖析笔记,然而慢慢觉得没有从一个宏观 ...

  2. 《python源代码剖析》笔记 Python虚拟机框架

    本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1. Python虚拟机会从编译得到的PyCodeObject对象中依次读入每一条字节码指令 ...

  3. 《python源代码剖析》笔记 python虚拟机中的函数机制

    本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1.Python虚拟机在运行函数调用时会动态地创建新的 PyFrameObject对象, 这 ...

  4. 《python源代码剖析》笔记 python环境初始化

    版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/zhsenl/article/details/33747209 本文为senlie原创.转载请保留此地 ...

  5. 《python源代码剖析》笔记 python中的List对象

    本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1.PyListObject对象 --> 变长可变对象,可看作vector<Py ...

  6. 《python源代码剖析》笔记 python中的Dict对象

    本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1.PyDictObject对象 -->  C++ STL中的map是基于RB-tre ...

  7. Python知识点入门笔记——Python文件操作、异常处理及random模块使用

    文件是存储在外部介质的数据集合,通常可以长久保存,前提是介质不易损坏 Python的绝对路径写法: E:\\编程学习资料\\爬取某社区高清无码大图.py E:/编程学习资料/爬取某社区高清无码大图.p ...

  8. Python知识点入门笔记——Python的基本数据类型

    Python的数字分为4种类型:整数(int).浮点数(float).布尔值(bool).复数(complex). type()函数可以知道数据的类型,如type(233)是int型,type(233 ...

  9. 流畅的python第九章笔记 python风格的python

    9.1对象表示形式 __repr__和__str__这两个方法都是用于显示的,__str__是面向用户的,而__repr__面向程序员. 我们打印下面的A是默认输出这个对象的类型,我们对B进行了修改_ ...

随机推荐

  1. ubuntu14.04安装搜狗拼音以及Google-chrome

    安装搜狗拼音 1.进入https://pinyin.sogou.com/linux/选择合适版本下载: 2.直接打开deb包进行安装: 3.安装完成后,打开系统设置中语言支持选项,在键盘输入方式系统中 ...

  2. HDU 4089 && UVa 1498 Activation 带环的概率DP

    要在HDU上交的话,要用滚动数组优化一下空间. 这道题想了很久,也算是想明白了,就好好写一下吧. P1:激活游戏失败,再次尝试. P2:连接失服务器败,从队首排到队尾. P3:激活游戏成功,队首的人出 ...

  3. shell 几中专用修饰符 :- :+ := ${variable:offset:length}

    1.${variable:-word} ${variable:-word} 如果variable已经被设置了,且不为空,则代入它的值,否则代入word; $ fruit=peach $ echo ${ ...

  4. 【Spring和SpringMVC】自动扫描注解类的问题

    尊重原创原文链接:http://blog.csdn.net/u014277445/article/details/52282697 Spring MVC项目中通常会有二个配置文件,spring-ser ...

  5. luogu2051 [AHOI2009]中国象棋

    巨水,调了好久,心态爆炸 #include <iostream> #include <cstring> #include <cstdio> using namesp ...

  6. python 多线程、多进程、协程性能对比(以爬虫为例)

    基本配置:阿里云服务器低配,单核2G内存 首先是看协程的效果: import requests import lxml.html as HTML import sys import time impo ...

  7. pytorch遇到的问题:RuntimeError: randperm is only implemented for CPU

    由此,我们找到sample.py,第51行如下图修改

  8. 常州模拟赛d4t3 字符串划分

    题目描述 给你一串由小写字母组成的字符串,希望你把它划分成一些小段,使得每一小段字符串中的字母 都不相同,并且希望分的段数尽量少. 然后,把这些小段按字典序排序后输出,中间由一个空格分隔. 例如:字符 ...

  9. 【霍夫曼树】poj 1339 poker card game (数组排序+辅助队列的方法,预处理O(nlogn),构造霍夫曼树O(n))

    poj.org/problem?id=1339 #include<iostream> #include<cstdio> #include<string> #incl ...

  10. uva 12304点与直线与圆之间的关系

    Problem E 2D Geometry 110 in 1! This is a collection of 110 (in binary) 2D geometry problems. Circum ...