最近在客户现场接到一个任务,需要将全国所有省份的数据进行合并。目录是分层级的,首先是省份目录、然后地级市目录、最里面是区县目录。
需要将每个目录中的数据进行合并,然后添加4列数据,并将某一个列的数据进行拆分和处理。总共将近3000张个Excel文件需要处理,
如果手工处理的话,估计要搞一个星期才能搞完。为了在规定时间内完成任务,我通过编写python程序实现了这样的功能。
这里我简单分享下单个目录中Excel文件合并的模块。

Python代码:

#!/usr/bin/env python
# coding:utf-8
"""
@File Name: zwc002.py
@Version: 1.0
@Python Version: 3.7
@Author: liguanbin
@Created Time: 2021/5/21 9:04
@Software: PyCharm
@Desc:
"""

import os
import xlrd
import xlsxwriter
import glob

# 获取要合并的所有excel表格
def get_excel():
global file_path
global current_folder
global new_excel_path

file_path = input("请输入Excel文件所在的目录:")

if not file_path.endswith('\\'):
current_folder = os.path.basename(file_path)
file_path = file_path + "\\"
else:
current_folder = os.path.basename(os.path.dirname(file_path))

new_excel=current_folder + "_合并结果.xlsx"
new_excel_path = os.path.join(file_path,new_excel)
# 新建的exce文件绝对路径

if os.path.isfile(new_excel_path):
os.remove(new_excel_path)
# 如果文件已经存在就删除,避免重复执行插入重复

all_excel = glob.glob(file_path + "*.xlsx")
print("该目录下有" + str(len(all_excel)) + "个Excel文件:")
if (len(all_excel) == 0):
return 0
else:
for i in range(len(all_excel)):
print(all_excel[i])
return all_excel

# 获取sheet下的数据
def get_sheet_data(sheet):
row = sheet.nrows
for i in range(row):
if (i == 0):
global biao_tou
biao_tou = sheet.row_values(i)
continue
values = sheet.row_values(i)
all_data1.append(values)

return all_data1

if __name__ == '__main__':

all_excel = get_excel()
# 得到要合并的所有exce表格数据

if (all_excel == 0):
print("该目录下无.xlsx文件!请检查您输入的目录是否有误!")
exit()

all_data1 = []
# 用于保存合并的所有行的数据

# 下面开始文件数据的获取
for excel in all_excel:

fh = xlrd.open_workbook(excel)
# 打开文件
sheets = fh.sheets()
# 获取文件下的所有sheet

for sheet_index in range(len(sheets)):

all_data1 = get_sheet_data(sheets[sheet_index])
# 获取一个sheet下的所有行的数据,追加到数组中

all_data1.insert(0, biao_tou)
# 表头写入(只需要写入一个)

fh1 = xlsxwriter.Workbook(new_excel_path)
# 新建一个excel表

title_formater=fh1.add_format({'border': 1,'bold':True,'align':'center','bg_color':'3399FF','font_size':12})
# 标题格式:边框:1、加粗、居中、填充:蓝色、字体:12
common_formater = fh1.add_format({'border': 1})
# 数据格式:边框:1

new_sheet_name="执常委列表"
# 指定sheet的名称
new_sheet = fh1.add_worksheet(new_sheet_name)
# 新建一个sheet

for i in range(len(all_data1)):
for j in range(len(all_data1[i])):
c = all_data1[i][j]
if i==0:
new_sheet.write(i, j, c, title_formater)
else:
new_sheet.write(i, j, c,common_formater)

fh1.close()
# 关闭该exce表

print("\033[1;34m文件合并成功,请查看" + new_excel_path + "\033[0m")

效果演示:

 合并后的文件:

Python-目录下相同格式的Excel文件合并的更多相关文章

  1. [bash]查找指定目录下符合格式的txt文件

    需求: 查找指定目录下符合yyyy-MM-dd(-b)NNN.txt格式的文件,如“2020-03-22-b888.txt” 目标目录内容: [root@localhost bashs]# ll /r ...

  2. 把一个文件夹下的多个excel文件合并到同一个excel的一个sheet里

    #!/usr/bin/python # -*- coding: UTF-8 -*- import pandas as pd import os if __name__ == '__main__': F ...

  3. 一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本

    摘自:http://blog.csdn.net/forandever/article/details/5711319 一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本 ...

  4. Python遍历一个文件夹下有几个Excel文件及每个Excel文件有几个Sheet

    一. 解决问题: 工作中常会遇到合并Excel文件的需求,Excel文件数量不确定,里面的Sheet 数量是可变的,Sheet Name是可变的,所以,需要用到遍历一个文件夹下有几个Excel文件,判 ...

  5. C#获取文件夹下指定格式的所有文件

    C#获取文件夹下指定格式的所有文件的方法,虽然很简单,但还是分享一下吧,用到时可以稍加修改和优化就可以使用. 获取指定目录下所有文件 //最要使用 System.IO.Directory.GetFil ...

  6. [C#] .NET Core项目修改project.json来引用其他目录下的源码等文件的办法 & 解决多框架时 project.json 与 app.config冲突的问题

    作者: zyl910 一.缘由 项目规模大了后,经常会出现源码文件分布在不同目录的情况,但.NET Core项目默认只有项目目录下的源码文件,且不支持"Add As Link"方式 ...

  7. .NET Core项目修改project.json来引用其他目录下的源码等文件的办法 & 解决多框架时 project.json 与 app.config冲突的问题

    作者: zyl910 一.缘由 项目规模大了后,经常会出现源码文件分布在不同目录的情况,但.NET Core项目默认只有项目目录下的源码文件,且不支持“Add As Link”方式引入文件.这时需要手 ...

  8. Java基础知识强化之IO流笔记49:IO流练习之 复制指定目录下指定后缀名的文件并修改名称的案例

    1. 复制指定目录下指定后缀名的文件并修改名称的案例     需求:复制指定目录下的指定文件,并修改后缀名.  • 指定的文件是:.java文件.     • 指定的后缀名是:.jad     • 指 ...

  9. Tomcat下使用C3P0配置JNDI数据源(在项目的META-INF目录下创建context.xml的文件)

    一.C3P0下载 C3P0下载地址:http://sourceforge.net/projects/c3p0/files/?source=navbar 下载完成之后得到一个压缩包

  10. [ Windows BAT Script ] 删除某个目录下的所有某类文件

    删除某个目录下的所有某类文件 @echo off for /R %%s in (*.txt) do ( echo %%s del %%s ) pause @echo on

随机推荐

  1. freeswitch 新通话启动过程梳理

    概述 freeswitch是一款开源的VOIP软交换平台,功能强大. 在使用fs进行呼叫业务的过程中,我们最常见到的日志就是呼叫通道的启动信息,日志如下 2022-03-03 14:14:30.028 ...

  2. 一文看完String的前世今生,内容有点多,请耐心看完!

    写在开头 String字符串作为一种引用类型,在Java中的地位举足轻重,也是代码中出现频率最高的一种数据结构,因此,我们需要像分析Object一样,将String作为一个topic,单独拿出来总结, ...

  3. spring--Bean的作用域及应用场景

    这六种Spring Bean的作用域适用于不同的应用场景: Singleton: 在Spring IoC容器中仅存在一个Bean实例,Bean以单例方式存在.无论我们是否在配置文件中显式定义,所有的S ...

  4. pycharm等编辑器快捷键大赏

    1.序论 平时打代码的时候用鼠标在写代码的时候还行,代码一长就GG,快捷键便是我们的好选择 2.应用场景 1.问题一--选中一段指定区域 我想选中一段区域(我们一般用鼠标拖动),或者某一个标识符(光标 ...

  5. 4. Oracle数据库提示ERROR: ORA-12560: TNS: 协议适配器错误

    问题如下 造成ORA-12560: TNS: 协议适配器错误的问题的原因有两个: 有关服务没有启动 windows平台个一如下操作:开始-程序-管理工具-服务,打开服务面板,启动TNSlistener ...

  6. 在Windows 版的Chrome中切换标签页

    按住Ctrl+tab键之后使用page up/ page down键左右移动!

  7. MoeCTF 2023(西电CTF新生赛)WP

    个人排名 签到 hello CTFer 1.题目描述: [非西电] 同学注意: 欢迎你来到MoeCTF 2023,祝你玩的开心! 请收下我们送给你的第一份礼物: https://cyberchef.o ...

  8. Go-发送邮件

    1. 邮件 - mail From -- 发送者(这封邮件由谁进行发送的,一般都是该邮件的作者) To -- 邮件的接收者(发送邮件的人希望谁能收到邮件) Subject -- 邮件的主题(类似文章的 ...

  9. 百度网盘(百度云)SVIP超级会员共享账号每日更新(2023.11.17)

    一.百度网盘SVIP超级会员共享账号 可能很多人不懂这个共享账号是什么意思,小编在这里给大家做一下解答. 我们多知道百度网盘很大的用处就是类似U盘,不同的人把文件上传到百度网盘,别人可以直接下载,避免 ...

  10. [转帖]linux中的set -e 与set -o pipefail

    https://www.cnblogs.com/xingmuxin/p/8431970.html 1.set -e "Exit immediately if a simple command ...