Python311新特性-特化指令specializing adaptive interpreter-typing-asyncio
Python3新特性
python3.11增加了许多特性,让python更快更加安全,本文从应用层面来讲一下python3.11的这些新特性
特化自适应解析器是什么,如何利用特化写出更高性能的代码
如何在项目中落地type hint写出健壮的代码,有那些注意事项
asyncio的概念及应用场景
Faster Python 3.11
Faster
- Zero cost exception(if not thrown)
- 10% faster re & atomic grouping, possessive qualifiers
- 10-15% faster startup
- Faster function calls
- C-style formatting sometimes as fast as f-string
- Less memory for string keys in dicts
- Specialized adaptive interpreter
- And more!
Future
- Major focus for the next several releases
- Simple JIT planned eventually
- The main driver behind C API changes
Specializing(特化)
当一个函数被执行的次数足够多(>53)就会被特化,被特化的指令叫hot code。(次数需要看对应不同版本cpython源码)
源码:Python/specialize.c -> _PyCode_Warmup
特化流程:
原始指令 —— 中间状态(名称中含ADAPTIVE) —— 特化后的指令(非常快)
碰到问题
同样的代码在命令行中可以被特化,而放一个.py文件中,再通过dis.dis(module.func,adaptive=True)就无法被特化
示例函数代码如下:
>>> def f(x):
... return x*x
... for i in range(100):
... f(i)
解释:乘法的opcode为BINARY_OP,在这个例子中我们传的是int当被特化后会变成BINARY_OP_MULTIPLY_INT,因为python弱类型,确定的类型可以极大提高速度,建议去看cpython的实现源码加深理解。
把上面代码放在.py文件中,发现无法进行特化
>>> dis.dis(adaptiveTest.f,adaptive=True)
10 RESUME 0
11 LOAD_FAST 0 (x)
LOAD_CONST 1 (2)
BINARY_OP 5 (*)
RETURN_VALUE
最终找到原因:我在vscode自带的终端import之后,在运行时修改了py代码,没有重新reload,导致没有加载最新的代码(py3的reload和py2有区别)。
另一个方法就是:重新打开windows的cmd中并执行一遍
还有一种方法就是:稍稍调整一下代码,把dis加到.py中,然后运行python文件也可以看到函数被特化
import dis
def foo(x):
return x*x
for i in range(100):
foo(i)
dis.dis(foo,adaptive=True)
#在python中调用dis打印出字节码
LOAD_ATTR(getattr)特化
self.xx 本质就是getattr,对应的opcode为 LOAD_ATTR,在python3中默认可以被特化,例如:
继承object的原生Python类可以特化
继承后object重写
__getattr__
的Python 类无法特化C 扩展 Python 类无法特化
为什么后面2种不能完成特化?
class B(object):
def __getattr__(self, name):#重写__getattr__
return super(B, self).__getattr__(name)
b = B()
b.x = 1
def mytest(n):
for i in range(n):
b.x #无法被特化
因为:cpython中特化前判断是否为原始的getattr函数,见:Python\specialize.c
如何让C扩展python类可以特化?
重点讲解:2种实现方法
- 在c扩展类中增加cache保存下标
- 修改虚拟机的实现,传入下标
如何检查代码是否被特化?
可视化特化工具,github:https://github.com/brandtbucher/specialist
运行代码并生成(网页)报表,那么如何纳入到项目中进行可视化呢?因为游戏项目依赖于引擎API,需要跑在游戏引擎之上,不同于纯python环境
Typing check(type hint)
base vscode Pylance
Type Ignore
pyrightconfig.json 兼容py2的文件,忽略整个文件
overload
配合vscode的pylance特性来做代码检查
当函数传参个数不符合要求时,在IDE中进行报错提示
Stub Files
和py同名的文件格式为.pyi,语法也一样,在这里写type hint,提供给IDE使用,运行时无关
AsyncIO
What is it?
Keywords pair(async / await)
So what?
What is it?
Asyncio is used as a foundation for multiple Python asynchronous frameworks that
provide high-performance network and web-servers, database connection libraries,
distributed task queues, etc.
Asyncio is often a perfect fit for IO-bound and high-level structured network code.
简单的例子发挥不出作用
import asyncio
async def foo():
await asyncio.sleep(1)
print ('foo')
event_loop = asyncio.get_event_loop()
event_loop.run_until_complete(foo())
上面这个简单的asyncio的例子和下面这段代码作用一样,无法体现出asyncio的作用
def foo():
time.sleep(1)
print('foo')
foo()
适合用在那些地方?
Patch
- Simultaneously download multiple block of patch
Distributed Task Framework
- Multi-Process Management through ProcessPoolExecutor
- Export-table-tools
- Texture Compressor
- build packer
感兴趣的可以搜索ProcessPoolExecutor去了解
UVLoop
uvloop用来替换asyncio的event loop更高效,底层使用libuv通过cython实现,比原生的asyncio快2~4倍,有线上项目已验证过其稳定性
开源地址:https://github.com/MagicStack/uvloop
简单几行就可以替换asyncio的event loop
import asyncio
import sys
import uvloop
async def main():
# Main entry-point.
...
if sys.version_info >= (3, 11):
with asyncio.Runner(loop_factory=uvloop.new_event_loop) as runner:
runner.run(main())
else:
uvloop.install()
asyncio.run(main())
Python311新特性-特化指令specializing adaptive interpreter-typing-asyncio的更多相关文章
- Oracle 11g 新特性 -- 自适应游标共享(Adaptive Cursor Sharing: ACS) 说明(转载)
一.自适应游标共享(Adaptive Cursor Sharing) 说明 1.1 ACS概述绑定变量使Oracle DB 可以为多条SQL 语句共享单个游标,以减少分析SQL 语句所使用的共享内存量 ...
- [转载] C++11新特性
C++11标准发布已有一段时间了, 维基百科上有对C++11新标准的变化和C++11新特性介绍的文章. 我是一名C++程序员,非常想了解一下C++11. 英文版的维基百科看起来非常费劲,而中文版维基百 ...
- 《转》MySQL 5.7版本新特性连载
MySQL 5.7版本新特性连载(一) 本文将和大家一起分享下5.7的新特性,不过我们要先从即将被删除的特性以及建议不再使用的特性说起.根据这些情况,我们在新版本及以后的版本中,应该不再使用,避免未来 ...
- MySQL 5.7新特性介绍
本文是基于MySQL-5.7.7-rc版本,未来可能 还会发生更多变化. 1.即将删除的特性1.1.InnoDB monitoring features,详见:WL#7377(访问地址:http:// ...
- JDK19新特性使用详解
前提 JDK19于2022-09-20发布GA版本,本文将会详细介绍JDK19新特性的使用. 新特性列表 新特性列表如下: JPE-405:Record模式(预览功能) JPE-422:JDK移植到L ...
- PHP的学习--新特性
最近做的项目使用了 php7,但感觉有很多新特性没有用起来.就想总结一下,一些可能会用到的新特性.之前使用的环境是 php5.4,所有也会有 php5.5 和 php5.6 的特性总结进来,这里只列出 ...
- MySQL5.6 GTID新特性实践
MySQL5.6 GTID新特性实践 GTID简介 搭建 实验一:如果slave所需要事务对应的GTID在master上已经被purge了 实验二:忽略purged的部分,强行同步 本文将简单介绍基于 ...
- JS魔法堂:ES6新特性——GeneratorFunction介绍
一.前言 第一次看koajs的示例时,发现该语句 function *(next){...............} ,这是啥啊?于是搜索一下,原来这是就是ES6的新特性Generator ...
- Java8的新特性以及与C#的比较
函数式接口 VS 委托 在C中,可以使用函数指针来存储函数的入口,从而使得函数可以像变量一样赋值.传递和存储,使得函数的调用变得十分灵活,是实现函数回调的基础.然而函数指针不存在函数的签名信息,甚至可 ...
- C# 7.0 新特性4: 返回引用
本文参考Roslyn项目中的Issue:#118. 1. C# 7.0 新特性1: 基于Tuple的“多”返回值方法 2. C# 7.0 新特性2: 本地方法 3. C# 7.0 新特性3: 模式匹配 ...
随机推荐
- 树莓派CM4(二): UART/IIC/SPI调试
1. 参考资料 资料汇总页面 https://shumeipai.nxez.com/raspberry-pi-datasheets <bcm2711-peripherals.pdf>,下载 ...
- Linux内存占用分析的几个方法,你知道几个?
0. 引言: 系统内存是硬件系统中必不可少的部分,定时查看系统内存资源运行情况,可以帮助我们及时发现内存资源是否存在异常占用,确保业务的稳定运行. 例如:定期查看公司的网站服务器内存使用情况,可以确保 ...
- manim 中的三维视角
今天研究了一下 manim 中的 ThreeDAxes 和 set_camera_orientation 这里记录一下视角. manim 中的 3D 坐标系是笛卡尔的三维坐标系,属于右手坐标系,即右手 ...
- Win32 滚动条控件
1.创建控件 HWND hScrollBar = ::CreateWindow( WC_SCROLLBAR, //控件类名 NULL, ...
- vue3+ts Axios封装与使用
创建完vue3 项目后 新版本:动态控制是否显示加载动画.是否需要判断重复请求.https://www.cnblogs.com/lovejielive/p/17676856.html 一,安装Axio ...
- Kubernetes-6:Pod生命周期介绍(init Container)
Pod生命周期 生命周期 1.API server调用kubelet下达Pod创建指令 2.容器环境初始化 3.进入Pod生命周期内(Pod开始创建) 4.Pod只要创建,就会自动生成一个pause容 ...
- electron修改vue项目打包后的exe图标
vue用electron打包点击这里 安装electron-icon-builder 添加图标生成器:npm i electron-icon-builder 生成图标 1.在package.json的 ...
- Angular Material 18+ 高级教程 – Datepicker の Calendar & Custom DateAdapter (Temporal)
前言 本篇只会教 Angular Material Datepicker 里最关键的组件 -- Calendar 组件. 还有如何自定义 DateAdapter,让 Calendar 支持 TC39 ...
- 2024.7.5-2024.7.20 HA省学会集训游记(焦作一中)
这是一篇长篇小说 DAY1 除了DAY4-DAY5个别内容以外,这些都是补的,但是全写完有太多了qwq,挑题写了 树状数组和线段树基础 很多都是一些模板题,太模板的题不再做太多解释 题目: P4062 ...
- 仿函数(Functor)是什么?
仿函数(Functor) 仿函数是通过重载()运算符的类或结构体的对象.这样一个对象可以像普通函数一样被调用. 仿函数通常用于需要在对象内部保留状态或多次调用时有特定行为的情况. 特点: 仿函数是一个 ...