"""
要求:
1.读取cdm文件的所有子文件夹,然后每个文件夹里面是抽出一个一个mp3后缀的文件。
遍历所有的子文件,然后将这些mp3文件,保存到一个新的文件夹。文件夹后缀是当前文件的年代的
基础加后缀_single,例如:来自2000年文件夹就命名2000_single。
"""
import shutil
import pathlib
import pprint
from typing import List, Generator, Iterable, Tuple
from itertools import chain, islice
import os
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
from functools import partial
import traceback
import time
from multiprocessing import cpu_count DIR_PATH = pathlib.Path("/Users/chennan/CDM")
MAX_CONCCURENT = cpu_count() * 4 - 2 def multiple_file_types(file_path: Generator, *patterns: Tuple[str]) \
-> Iterable:
"""
因为glob不支持多个匹配规则,所以这里做一个适配。
:param file_path: 文件的路径
:param patterns: 匹配规则
:return:
"""
return (file_path.glob(pattern) for pattern in patterns) def get_all_list_by_year(y: str) -> Generator:
"""
:param y: 年代
:return: 返回结果迭代器类型
"""
file_path = DIR_PATH / y
result = file_path.glob("*")
return result def get_mp3_list(cdm_path: str) -> Generator:
"""
获取当前文件下面的所有音频文件,mp3,wav,ape,flac等
:param cdm_path:专辑的路径
:return:
"""
mp3_gen = multiple_file_types(cdm_path, *("*.mp3", "*.ape", "*.wav", "*.flac"))
return mp3_gen def select_mp3(y: str) -> List[pathlib.Path]:
"""
:param y:
:return:
"""
selected_mp3_list = []
sa = selected_mp3_list.append
cdm_list = get_all_list_by_year(y)
for dir_path in cdm_list:
mp3_gen = get_mp3_list(dir_path)
try:
single = mp3_gen.send(None)
sa(list(single)[0])
except StopIteration as e:
pass
except IndexError as e:
pass
return selected_mp3_list def create_target_file(y):
target = DIR_PATH / f"{y}_new"
if not os.path.exists(target):
os.makedirs(target)
return target def copy_file_to_new_path(source, y, target):
"""
shutil复制文件
:return:
"""
try:
shutil.copy(source, target / source.name)
except Exception as e:
print(traceback.format_exc()) if __name__ == '__main__':
start = time.time()
year = "2000"
mp3_list = select_mp3(year)
target = create_target_file(year)
if target:
with ThreadPoolExecutor(max_workers=MAX_CONCCURENT) as pool:
pool.map(partial(copy_file_to_new_path, y=year, target=target), mp3_list)
print(f"并发{MAX_CONCCURENT}次,用时", time.time() - start) #关于并发的问题有待观察。。。
# 线程池并发结果
# 并发2次,用时 6.518146991729736
# 并发10次,用时 7.732945919036865
# 并发30次,用时 7.956831932067871
# 并发100次,用时 7.956831932067871 # 进程池并发结果
# 并发2次,用时 6.013077974319458
# 并发8次,用时 6.863225221633911
# 并发14次,用时 4.6188788414001465
# 并发30次,用时 4.858534812927246

Python选择指定文件夹的文件然后复制出其中几个文件到新的文件夹的更多相关文章

  1. XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件

    XCOPY是COPY的扩展,可以把指定的目录连文件和目录结构一并拷贝,但不能拷贝系统文件:使用时源盘符.源目标路径名.源文件名至少指定一个:选用/S时对源目录下及其子目录下的所有文件进行COPY.除非 ...

  2. [转帖]XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件

    XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件 https://www.cnblogs.com/smartsmile/p/7665979.html xcopy dirA dir ...

  3. Eclipse设置所有新创建文件默认格式为UTF-8

    一.为什么需要设置所有新创建文件默认格式为UTF-8 Eclipse编码默认是ISO-8859-1,不支持中文.而很多时候,我们的文件中含有中文,或者需要在创建文件时就需要是UTF-8编码格式的.在创 ...

  4. zzw原创_根据某一文件复制出大量固定位数后缀名的递增的文件

    1.trre.sh   :根据某一文件复制出大量固定位数后后缀递增的文件.   如将 SPINFO_190516_20170109.001 复制成SPINFO_190516_20170109.002  ...

  5. Python压缩指定文件及文件夹为zip

    Python压缩指定的文件及文件夹为.zip 代码: def zipDir(dirpath,outFullName): """ 压缩指定文件夹 :param dirpat ...

  6. Python——合并指定文件夹下的所有excel文件

    前提:该文件夹下所有文件有表头且具有相同的表头. import glob # 同下 from numpy import * #请提前在CMD下安装完毕,pip install numppy impor ...

  7. python实现指定目录下批量文件的单词计数:并发版本

    在 文章 <python实现指定目录下批量文件的单词计数:串行版本>中, 总体思路是: A. 一次性获取指定目录下的所有符合条件的文件 -> B. 一次性获取所有文件的所有文件行 - ...

  8. Python学习笔记(20)-文件和文件夹的移动、复制、删除、重命名

    一,概述 python中对文件和文件夹进行移动.复制.删除.重命名,主要依赖os模块和shutil模块,要死记硬背这两个模块的方法还是比较困难的,可以用一个例子集中演示文件的移动.复制.删除.重命名, ...

  9. python 读取指定文件信息并拼接

    python 读取指定文本并拼接成指定的格式 # -*- coding: utf-8 -*- import os def getHelloWorld(path, fileName): "&q ...

随机推荐

  1. win10下面opencv安装

    记得以前是安装好的,但是用了conda更新所有包以后,cv2不好用了,试验了很多方法都不管用,最后只能卸载opencv然后重新安装了. 如果电脑上安装了很多版本的python,比如我就安装了pytho ...

  2. 公共的强制保留两位小数的js方法

    强制保留两位小数的js方法 //写一个公共的强制保留两位小数的js方法 function toDecimal2 (x) { var f = parseFloat(x) if (isNaN(f)) { ...

  3. linux 打包与解压命令--常用

    一般情况用这俩个就足以了 压缩 tar -czf jpg.tar.gz *.jpg   //将目录里所有jpg文件打包成jpg.tar后,并且将其用gzip压缩,生成一个gzip压缩过的包,命名为jp ...

  4. 调用打码平台api获取验证码 (C#版)

    一.打码平台很多,这里选择两个:联众和斐斐 联众开发文档: https://www.jsdati.com/docs/guide 斐斐开发文档: http://docs.fateadm.com/web/ ...

  5. php 如何将image图片转化为字符串(GD库操作及imagick两种实现方式)

    前两天研究php中的 imagick 扩展的时候,突发奇想实现的一个小功能感觉挺有意思,在这里记录一下: 将一张image图片转化为字符串的形式,先上一张效果图.(运行笔记中的代码需要先安装 php_ ...

  6. Zookeeper 入门详解

    zookeeper zookeeper是什么 Apache ZooKeeper是Apache软件基金会的一个软件项目,他为大型分布式计算提供开源的分布式配置服务.同步服务和命名注册.ZooKeeper ...

  7. multer使用

    使用multer 1.      在项目中下载multer操作模块 Npm install multer  --save 前端代码: <form class="layui-form&q ...

  8. 一个下午整理的Web前端常见的英文缩写

    PV (Page View)页面浏览量 FED(Front-End Development)前端开发 F2E(Front-End Engineer)前端工程师 WWW(World Wide Web)万 ...

  9. Oracle使用基础

    1.Oracle的基本概念: 数据库:存储数据的数据库,Oracle一般只有一个全局数据库 XE,ORCL. EX:Express Edition 速成版 ORCL:企业版 SID:SID是Syste ...

  10. WPF实战案例-MVVM模式下用附加属性在Xaml中弹出窗体

    嗯..最近回家去了,2个月没写过代码了,面试只能吹牛,基础都忘了,今天回顾一下,分享一篇通过附加属性去处理窗体弹出的情况. 或许老司机已经想到了,通过设置附加属性值,值变更的回调函数去处理窗体弹出,是 ...