python中的缓存技术

python缓存技术

def console(a,b):
    print('进入函数')
    return (a,b)

print(console(3,'a'))
print(console(2,'b'))
print(console(3.0,'a'))

#输出结果
进入函数
(3, 'a')
进入函数
(2, 'b')
进入函数
(3.0, 'a')

接下来我们引入functools模块的lru_cache，python3自带模块。

from functools import lru_cache
@lru_cache()
def console2(a, b):
    print("进入函数")
    return (a, b)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))

#输出结果
进入函数
(3, 'a')
进入函数
(2, 'b')
(3, 'a')

很明显，输出结果少了一行，这是为什么呢？

什么是LRU

LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时，新的元素加入队列时，需要从现有队列中移除一个元素，LRU 策略就是将最近最少被访问的元素移除，从而腾出空间给新的元素。

python中的实现

python3中的functools模块的lru_cache实现了这个功能，

lru_cache装饰器会记录以往函数运行的结果，实现了备忘

（memoization）功能，避免参数重复时反复调用，达到提高性能的作用，在递归函数中作用特别明显。这是一项优化技术，它把耗时的函数的结果保存起来，避免传入相同的参数时重复计算。

带参数的lru_cache

使用方法lru_cache(maxsize=128, typed=False)

maxsize可以缓存最多个此函数的调用结果，从而提高程序执行的效率，特别适合于耗时的函数。

参数maxsize为最多缓存的次数，如果为None，则无限制，设置为2的n次幂时，性能最佳；

如果 typed=True，则不同参数类型的调用将分别缓存，例如 f(3) 和 f(3.0)，默认False

来一段综合代码：

from functools import lru_cache

def console1(a, b):
    print("进入函数")
    return (a, b)

@lru_cache()
def console2(a, b):
    print("进入函数")
    return (a, b)

@lru_cache(maxsize=256, typed=True)
def console3(a, b):
    '''

    :param a:
    :param b:
    :return:
    '''
    print("进入函数")
    return (a, b)

print(console1(3, 'a'))
print(console1(2, 'b'))
print(console1(3.0, 'a'))
print("*" * 40)
print(console2(3, 'a'))
print(console2(2, 'b'))
print(console2(3.0, 'a'))
print("*" * 40)
print(console3(3, 'a'))
print(console3(2, 'b'))
print(console3(3.0, 'a'))

#输出结果为
进入函数
(3, 'a')
进入函数
(2, 'b')
进入函数
(3.0, 'a')
****************************************
进入函数
(3, 'a')
进入函数
(2, 'b')
(3, 'a')
****************************************
进入函数
(3, 'a')
进入函数
(2, 'b')
进入函数
(3.0, 'a')

同样的可以用到爬虫的去重操作上，避免网页的重复请求。

在后期存储的时候做判断即可。

from functools import lru_cache
from  requests_html import HTMLSession
session=HTMLSession()
@lru_cache()
def get_html(url):
    req=session.get(url)
    print(url)
    return req

urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]

if __name__ == '__main__':
    for i in urllist:
        print(get_html(i))

输出结果：

https://www.baidu.com
<Response [200]>
https://pypi.org/project/pylru/1.0.9/
<Response [200]>
<Response [200]>