Python标准库tempfile的使用总结
Python标准库tempfile的使用总结
临时文件是计算机程序存储临时数据的文件,它的扩展名通常是“.temp”。本文用于记录使用Python提供的临时文件API解决实际问题的过程,主要内容包括问题描述、tempfile库简要介绍、解决方案等。
问题描述
一些开源工具提供的接口有时不能满足特定场景下的需求,需要根据实际情况进行调整。比如基于Java的自动文摘工具PKUSUMSUM,它接收一篇文章作为输入,输出文章的摘要,要求输入输出都是磁盘上的文件:
java -jar PKUSUMSUM.jar -T 1 -input [输入文件] -output [输出文件] -L 2 -n 15 -m 5 -stop n
由于我的代码是用Python写的,需要进行摘要抽取的文章已经加载到内存了,并且通过工具生成摘要以后需要马上进行评测,自动文摘工具PKUSUMSUM提供的接口没办法直接满足我的需求。Python脚本怎样调用Jar包?内存中的文章怎样作为PKUSUMSUM的输入?PKUSUMSUM输出的摘要怎样读入到内存中?
tempfile库
通过查阅资料,我了解到Python标准库中有名字叫tempfile的模块,这个模块实现了创建临时文件和文件夹的功能,相关接口包括:
- TemporaryFile:创建临时文件,一旦文件关闭,就立即被销毁;
- NamedTemporaryFile:创建有名字的、在文件系统中可见的临时文件,可以通过指定
delete参数设置文件关闭时的行为; - TemporaryDirectory:创建临时文件夹;
- mkstemp():创建临时文件,需要手动关闭和销毁;
- mkdtemp():创建临时文件夹,需要手动关闭和销毁。
其中14实现了上下文管理器协议(实现了`__enter__`和`__exit__`两个特殊方法),配合`with`关键字使用,可以方便地自动关闭文件;56是低阶API,使用完临时文件或文件夹以后,需要手动关闭。
import tempfile # # 导入模块
from pathlib import Path
fin = tempfile.TemporaryFile(mode='w', encoding='utf8') # 创建临时文件
fin.name # C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\tmpi1ozv3mj
Path(fin.name).exists() # True,临时文件是存在的
fin.delete # True,delete参数的默认值是True,表示文件关闭以后,立即销毁
with fin.file as fp: # 上下文管理器自动关闭文件
content = bytes('The quick brown fox jumps over the lazy dog', 'utf8')
fp.write(content)
Path(fin.name).exists() # False,临时文件已经被销毁
解决方案
回到我们的问题:
Python脚本怎样调用Jar包?
我们可以使用os模块的
system方法执行Shell命令,调用Jar包:os.system(f'java -jar PKUSUMSUM.jar -T 1 -input {fin.name} -output {fout.name} -L 2 -n 15 -m {algo_id} -stop n')
内存中的文章怎样作为PKUSUMSUM的输入?
我们可以首先把文章写入到临时文件中,然后通过引用临时文件的name属性,就可以把文章当成本地文件那样使用了:
# 把文章写入到临时文件中
fin = tempfile.NamedTemporaryFile(delete=False)
fin.close()
with open(Path(fin.name), mode='w', encoding='utf8') as fp:
fp.write(text)
注意临时文件必须要先关闭,然后才能往文件里面中写内容,否则会触发Permission denied异常。
PKUSUMSUM输出的摘要怎样读入到内存中?
思路与第二个问题一样,创建临时文件并通过name属性进行引用,临时文件销毁前读出里面的内容(就是PKUSUMSUM抽取出的摘要)。
完整的代码如下:
def do_extractive_summarization(text: str, algo: str = 'TextRank') -> str:
"""基于PKUSUMSUM实现抽取式摘要算法"""
algo_warehouse = {'Centroid': 2, 'ILP': 3, 'LexPageRank': 4, 'TextRank': 5, 'Submodular': 6}
if algo not in algo_warehouse:
raise ValueError(f'Invalid extractive summarization algorithm: {algo}')
algo_id = algo_warehouse[algo]
# 把文章写入到临时文件中
fin = tempfile.NamedTemporaryFile(delete=False)
fin.close()
with open(Path(fin.name), mode='w', encoding='utf8') as fp:
fp.write(text)
# 运行PKUSUMSUM.jar,把生成的摘要写入到临时文件中
fout = tempfile.NamedTemporaryFile(delete=False)
fout.close()
os.system(f'java -jar PKUSUMSUM.jar -T 1 -input {fin.name} -output {fout.name} -L 2 -n 15 -m {algo_id} -stop n')
with open(Path(fout.name), mode='r', encoding='utf8') as fp:
content = fp.read()
summary = ' '.join(word_tokenize(content))
Path(fin.name).unlink()
Path(fout.name).unlink()
return summary
总结
Python的tempfile模块提供了方便的创建临时文件和文件夹的接口,这些接口配合在Python脚本中执行Shell命令的方法一起使用,可以在开源工具和自己的代码之间创建一个“适配层”(我在写些什么?我怎么自己都看不懂?);PKUSUMSUM实现了多种抽取式摘要算法,是自动文摘研究的利器。
参考材料
- tempfile — Generate temporary files and directories
- PKUSUMSUM
- tempfile模块报错:PermissionError: Errno 13 Permission denied的解决方法
- Python之将字符串转换为字节的两种方法
- Python调用shell命令常用方法
Python标准库tempfile的使用总结的更多相关文章
- Python标准库概览
Python标准库通常被称为"自带的电池",自然地提供了广泛的功能,涵盖了大概200个左右的包与模块.不断有高质量的包或模块被开发出来,极大的丰富了标准库.但有些模块放在标准库中很 ...
- python第六天 函数 python标准库实例大全
今天学习第一模块的最后一课课程--函数: python的第一个函数: 1 def func1(): 2 print('第一个函数') 3 return 0 4 func1() 1 同时返回多种类型时, ...
- 转--Python标准库之一句话概括
作者原文链接 想掌握Python标准库,读它的官方文档很重要.本文并非此文档的复制版,而是对每一个库的一句话概括以及它的主要函数,由此用什么库心里就会有数了. 文本处理 string: 提供了字符集: ...
- Python 标准库一览(Python进阶学习)
转自:http://blog.csdn.net/jurbo/article/details/52334345 写这个的起因是,还是因为在做Python challenge的时候,有的时候想解决问题,连 ...
- python 标准库大全
python 标准库 文本 string:通用字符串操作 re:正则表达式操作 difflib:差异计算工具 textwrap:文本填充 unicodedata:Unicode字符数据库 string ...
- Python标准库14 数据库 (sqlite3)
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! Python自带一个轻量级的关系型数据库SQLite.这一数据库使用SQL语言.S ...
- python标准库00 学习准备
Python标准库----走马观花 python有一套很有用的标准库.标准库会随着python解释器一起安装在你的电脑上的.它是python的一个组成部分.这些标准库是python为你准备的利器,可以 ...
- Python标准库:内置函数hasattr(object, name)
Python标准库:内置函数hasattr(object, name) 本函数是用来判断对象object的属性(name表示)是否存在.如果属性(name表示)存在,则返回True,否则返回False ...
- python标准库xml.etree.ElementTree的bug
使用python生成或者解析xml的方法用的最多的可能就数python标准库xml.etree.ElementTree和lxml了,在某些环境下使用xml.etree.ElementTree更方便一些 ...
随机推荐
- SQL注入之PHP+Mysql
PHP+Mysql(GET方法+数值型+有错误回显)的注入方法 目标系统:PHP+MYSQL(GET方法+数值型+有错误信息) 环境说明: 后台地址:http://ip/cms/admin/login ...
- burp token爆破(DVWA high暴力破解)
一.选择Pitchfork模式.选择要爆破的参数 二.options设置 找到optiops(设置)把线程设为1 配置Grep=Extract,点添加 点击Refetch response 获取返回 ...
- I 安装饮水机 中国石油大学新生训练赛#10
问题 I: 安装饮水机 时间限制: 1 Sec 内存限制: 128 MB提交 状态 题目描述 为倡导城市低碳生活,市文明办计划举办马拉松比赛,为确保比赛安全,沿途设置了一些观察点.每个观察点派一个观 ...
- 常见的反爬措施:UA反爬和Cookie反爬
摘要:为了屏蔽这些垃圾流量,或者为了降低自己服务器压力,避免被爬虫程序影响到正常人类的使用,开发者会研究各种各样的手段,去反爬虫. 本文分享自华为云社区<Python爬虫反爬,你应该从这篇博客开 ...
- java 打包部署(一) windows
- 为什么使用 Executor 框架比使用应用创建和管理线程好?
为什么要使用 Executor 线程池框架 1.每次执行任务创建线程 new Thread()比较消耗性能,创建一个线程是比较耗 时.耗资源的. 2.调用 new Thread()创建的线程缺乏管理, ...
- 在多线程环境下,SimpleDateFormat 是线程安全的吗?
不是,非常不幸,DateFormat 的所有实现,包括 SimpleDateFormat 都不是 线程安全的,因此你不应该在多线程序中使用,除非是在对外线程安全的环境中 使用,如 将 SimpleDa ...
- 外部晶振的使用原因与内部RC振荡器的使用方法
原因一 早些年,芯片的生产制作工艺也许还不能够将晶振做进芯片内部,但是现在可以了.这个问题主要还是实用性和成本决定的. 原因二 芯片和晶振的材料是不同的,芯片 (集成电路) 的材料是硅,而晶体则是 ...
- 如何利用WebSocket实现网页版聊天室
花了将近一周的时间终于完成了利用WebSocket完成网页版聊天室这个小demo,期间还走过了一段"看似弯曲"的道路,但是我想其实也不算是弯路吧,因为你走过的路必将留下你的足迹.这 ...
- 微信小程序和公众号和H5之间相互跳转
参考链接:https://www.imooc.com/article/22900 一.小程序和公众号 答案是:可以相互关联. 在微信公众号里可以添加小程序. 可关联已有的小程序或快速创建小程序.已关联 ...