[oeasy]python0135_python_语义分析_ast_抽象语法树_abstract_syntax_tree
- 上次回顾了一下历史
- python 是如何从无到有的
- 看到 Guido 长期的坚持和努力
- python究竟是如何理解
- print("hello")的？
- 这些ascii字母如何被组织起来执行？
- 首先编写Guido的简历
- 并保存为Guido.py
- 回到shell之后
- 从字符流生成token流
- 这个过程叫做分词
- 首先把一个个字符组成词
- 分析一下哪些字可以组成词
- 术语叫词法分析(lexical analysis)
- 词分析出来之后呢？
- 词分析出来就是怎么组词的问题
- 哪些词和哪些词先组合
- 哪些词和哪些词后组合
- 生成一棵抽象语法树
- AST(Abstract Syntax Tree)
- 我能看看这棵ast树么？
- 具体怎么做呢？
- 先把这个ast模块导入(import)进来
- 第一句就是import ast
- 回车之后没有任何报错
- 那就是执行成功了
- 后面也一样
- 没有报错就是执行成功了
- 然后读取guido.py并送到s
- 然后对于s进行语法分析(parse)
- 再把分析(parse)的结果进行转储(dump)
- 看起来有点乱
- 可以清晰一些么？
- 目前lanqiao.cn上面的python是3.8
- 这个清晰缩进的格式需要在3.9以上完成
- 需要升级
- 升级之后就可以使用Python3.9了
- 只能在本地演示一下
- 这个就是把词组成语法树的样子
- 如何理解这棵树呢？
- 我们看一个例子
- 如果给的表达式为 1 2 3
- 结合序为下图
- 前两个先结合
- 得到的结果作为下一个运算的左操作数
- 然后和第3个结合
- 如果把 第一个* 改成 + 号
- 其他什么也没加
- 表达式是1 + 2 * 3
- 后两个会先结合
- 得到的结果 作为下一个运算的 右操作数
- 然后再和1 进行 加法运算
- 有了 语法树
- 下一步 要做什么呢？
- 这棵语法树 我们能看懂
- 但是cpu 需要的是
- 能执行的 一条条字节码指令
- 要把源程序 翻译成字节码 才能执行
- 字节码 对应着cpu的指令
- 怎么把ast 转化为字节码(指令) 呢？
- 需要 编译(compile)
- 从一种语言 到 另一种语言
- 从py文件
- 到字节码(指令)
- 就是编译
- compile
- 我可以看看这个编译过程么？
- instruction
- python3 -m dis Guido.py
- -m 代表使用模块
- dis 代表反编译(disassemble)
- 我们可以看见
- 前面是行号
- 每行对应4条指令
- LOAD_NAME 装载(函数)名字
- LOAD_CONST 装载常量
- CALL_FUNCTION 调用函数
- POP_TOP 弹栈
- 先看看这个pyc文件
- 注意他在__pycache__文件夹下
- :%!xxd
- 把文件转化为字节形态
- 这纯纯的机器语言字节形态
- 实在是看不懂啊
- 这真的是指令么？
- 究竟什么是指令呢？
- py文件每行print 对应4条指令
- LOAD_NAME 装载(函数)名字
- LOAD_CONST 装载常量
- CALL_FUNCTION 调用函数
- POP_TOP 弹栈
- 这样 我们 能否找到
- 4条指令 分别对应的 字节状态值
|
指令助记符
|
指令含义
|
十进制状态
|
十六进制状态
|
|---|---|---|---|
|
LOAD_NAME
|
装载函数名称
|
101
|
0x65
|
|
LOAD_CONST
|
装载参数
|
100
|
0x64
|
|
CALL_FUNCTION
|
调用函数
|
142
|
0x8e
|
|
POP_TOP
|
弹栈返回
|
1
|
0x01
|
- 可以找对应关系
- 我们从头捋一下
- 不管是python3这个游乐场
- 还是Guido.py这个python程序
- 都在我们的硬盘上
- 先得把文件从硬盘读到内存
- 先把python3.8这个主解释器
- 加载到内存中
- 然后 在x86-64的cpu上 执行
- 模拟出 一台python虚拟机
- 准备开始 对py文件 解释执行
- 然后把参数 Guido.py 这个需要执行的程序 加载到内存
- 词法分析 得到 词流(token stream)
- 语法分析 得到 抽象语法树(Abstract Syntax Tree)
- 编译 得到 字节码 (byte_code)
- 也就是编译后 的pyc文件
- 不过 这个pyc指令文件
- 是基于python虚拟机的 虚拟cpu的 指令集的
- 需要放到 模拟好的 python虚拟机中
- 一条条指令 进行执行
- 简化版的 hello.py 的执行过程是：
- 给了 python3 一个参数 Guido.py
- 使用 python3 这个解释器来解释执行 Guido.py
- Guido.py中的语句一句句地依次解释执行
- 全解释完成 后
- 退出python这个程序
- 把控制权交回到shell
- 这些 都是基于 解释器python3的
- 所谓的 解释器python3
- 先编译成 python虚拟机的 虚拟指令字节码
- 然后用 python虚拟机 直接执行虚拟指令
- 而解释器(python3) 是
- 在不同系统 不同架构的cpu语言上 运行的
- 那不同的系统、cpu架构
- python3 为什么 都能正确地解释？
- 这次把py源文件
- 词法分析 得到 词流(token stream)
- 语法分析 得到 抽象语法树(Abstract Syntax Tree)
- 这里确立了优先级
- 编译 得到 字节码 (bytecode)
- 字节码我们看不懂
- 所以反编译 得到 指令文件(opcode)
- 指令文件是基于python虚拟机的虚拟cpu的指令集
- 先从 python3最基础的
- 变量声明和赋值来看看
- python虚拟机是如何做的？
- 我们下次再说
[oeasy]python0135_python_语义分析_ast_抽象语法树_abstract_syntax_tree的更多相关文章
- 从零写一个编译器（九）：语义分析之构造抽象语法树(AST)
项目的完整代码在 C2j-Compiler 前言 在上一篇完成了符号表的构建,下一步就是输出抽象语法树(Abstract Syntax Tree,AST) 抽象语法树(abstract syntax ...
- 编译器开发系列--Ocelot语言1.抽象语法树
从今天开始研究开发自己的编程语言Ocelot,从<自制编译器>出发,然后再自己不断完善功能并优化. 编译器前端简单,就不深入研究了,直接用现成的一款工具叫JavaCC,它可以生成抽象语法树 ...
- AST抽象语法树
抽象语法树简介 (一)简介 抽象语法树(abstract syntax code,AST)是源代码的抽象语法结构的树状表示,树上的每个节点都表示源代码中的一种结构,这所以说是抽象的,是因为抽象语法树并 ...
- 理解Babel是如何编译JS代码的及理解抽象语法树(AST）
Babel是如何编译JS代码的及理解抽象语法树(AST) 1. Babel的作用是? 很多浏览器目前还不支持ES6的代码,但是我们可以通过Babel将ES6的代码转译成ES5代码,让所有的浏览器都 ...
- JavaScript的工作原理：解析、抽象语法树（AST）+ 提升编译速度5个技巧
这是专门探索 JavaScript 及其所构建的组件的系列文章的第 14 篇. 如果你错过了前面的章节,可以在这里找到它们: JavaScript 是如何工作的:引擎,运行时和调用堆栈的概述! Jav ...
- javascript编写一个简单的编译器(理解抽象语法树AST)
javascript编写一个简单的编译器(理解抽象语法树AST) 编译器 是一种接收一段代码,然后把它转成一些其他一种机制.我们现在来做一个在一张纸上画出一条线,那么我们画出一条线需要定义的条件如下: ...
- 【Static Program Analysis - Chapter 2】 代码的表征之抽象语法树
抽象语法树:AbstractSyntaxTrees 定义(wiki): 在计算机科学中,抽象语法树(abstract syntax tree或者缩写为AST),或者语法树(syntax tree),是 ...
- 抽象语法树(AST)
AST描述 在计算机科学中,抽象语法树(AST)或语法树是用编程语言编写的源代码的抽象语法结构的树表示.树的每个节点表示在源代码中出现的构造.语法是“抽象的”,因为它不代表真实语法中出现的每个细节,而 ...
- Babel（抽象语法树，又称AST）
文章:https://juejin.im/post/5a9315e46fb9a0633a711f25 https://github.com/jamiebuilds/babel-handbook/blo ...
- OpenJDK源码研究笔记(十一):浅析Javac编译过程中的抽象语法树(IfElse,While,Switch等语句的抽象和封装)
浅析OpenJDK源码编译器Javac的语法树包com.sun.source.tree. 抽象语法树,是编译原理中的经典问题,有点难,本文只是随便写写. 0.赋值语句 public interface ...
随机推荐
- js与jquery实例-拖动改变列宽和行高
js与jquery实例-拖动改变列宽和行高 如何通过javascript或者jquery实现改变表格宽度或者行高的功能?今天就把这个功能代码分享给大家,绝对原创哦,代码少而且易懂.先看效果图: htm ...
- mogodb replication set复制集
replication set复制集 简要命令 replication set复制集 replicattion set 多台服务器维护相同的数据副本,提高服务器的可用性. Replication se ...
- TypeScript入门介绍
目录 TypeScript入门介绍 什么是 TypeScript? 发展历史 优缺点 应用场景 开发工具 环境依赖 编程IDE vs调试 构建工具/工程化 步骤汇总 第一个项目 TypeScript入 ...
- Linux系统编程（十）线程池
#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <pthread.h& ...
- 7.19考试总结(NOIP模拟20)[玩具·y·z]
与其被自己的本性牵着走而痛苦,倒不如试着改变自己. 前言 首先自我检讨一下,T1的部分分是原题,但是我这个 FW 居然没有看出来..(主要是我看错题了) 论语文素养如何限制 OI 水平 别人眼里是一棵 ...
- 网页CSS源码
EntryTag { margin-top:20px; font-size:9pt; color:gray } .topicListFooter { text-align:right; margin- ...
- （八十八）c#Winform自定义控件-转子
官网 http://www.hzhcontrols.com/ 前提 入行已经7,8年了,一直想做一套漂亮点的自定义控件,于是就有了本系列文章. GitHub:https://github.com/kw ...
- react生命周期比较常用的几个
import React, { Component } from 'react' // 只有在类组件中才有生命周期 export default class App extends Component ...
- C#.NET6 ASP.NET CORE MVC 获取客户端IP
重点是拿到HttpContext 对象. 先从Headers["Cdn-Src-Ip"] 中取IP,其次从Headers["X-Forwarded-For"] ...
- EF 从设计器改为 DB First时遇到 Keyword not supported: 'data source'.
EF 从设计器改为 DB First时遇到 Keyword not supported: 'data source'. 解决方法: 把providerName="System.Data.En ...