#!/user/bin/env python
# @Time :2018/6/6 10:10
# @Author :PGIDYSQ
#@File :FileBackup2.py
import os
import filecmp
import shutil
import sys
import time,sched
'''定时任务备份,增量备份'''
schedule = sched.scheduler(time.time, time.sleep) def autoBackup(scrDir,dstDir):
if((not os.path.isdir(scrDir))or(not os.path.isdir(dstDir))or
(os.path.abspath(scrDir) != scrDir)or(os.path.abspath(dstDir) != dstDir)):
usage()
for item in os.listdir(scrDir):
scrItem = os.path.join(scrDir,item)
dstItem= scrItem.replace(scrDir,dstDir)
if os.path.isdir(scrItem):
#创建新增加的文件夹,保证目标文件夹结构与原始文件一致
if not os.path.exists(dstItem):
os.makedirs(dstItem)
print('make directory'+dstItem)
#递归调用自身函数
autoBackup(scrItem,dstItem)
elif os.path.isfile(scrItem):
#只复制新增或修改的文件
if((not os.path.exists(dstItem))or(not filecmp.cmp(scrItem,dstItem,shallow=False))):
shutil.copyfile(scrItem,dstItem)
print('file:'+scrItem+'==>'+dstItem,os.system('echo %time%'))
schedule.enter(10, 0, autoBackup, (scrDir, dstDir))
def usage():
print('Error')
print('For example:{0}'.format(sys.argv[0]))
sys.exit(0)
if __name__ == "__main__":
# if len(sys.argv) != 3:
# usage()
# scrDir,dstDir = sys.argv[1],sys.argv[2]
scrDir, dstDir = r'E:\PyCharm\WorkSpace\TestPkg\base\src',r'E:\PyCharm\WorkSpace\TestPkg\base\dest'
#定时周期执行备份任务
schedule.enter(10, 0, autoBackup, (scrDir,dstDir))
schedule.run() # 持续运行,直到计划时间队列变成空为止
#autoBackup(scrDir,dstDir)

#!/user/bin/env python
# @Time :2018/6/6 10:10
# @Author :PGIDYSQ
#@File :FileBackup.py
import time
import os
import tarfile
import shutil
import pickle as p
import hashlib
'''实现每周一全量备份,其余时间增量备份'''
def md5check(fname):
m = hashlib.md5()
with open(fname) as fobj:
while True:
data = fobj.read(4096)
if not data:
break
m.update(data.encode())#pay
return m.hexdigest() def full_backup(src_dir: object, dst_dir, md5file):
par_dir, base_dir = os.path.split(src_dir.rstrip('/'))
back_name = '%s_full_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))
full_name = os.path.join(dst_dir, back_name)
md5dict = {} # tar = tarfile.open(full_name, 'w:gz')
# tar.add(src_dir)
# tar.close() if os.path.exists(dst_dir):
shutil.rmtree(dst_dir)
shutil.copytree(src_dir,dst_dir)#拷贝文件
#shutil.make_archive(dst_dir,'zip',src_dir)#将文件压缩,注:如果压缩tar,中文文件名有可能乱码
for path, folders, files in os.walk(src_dir):
for fname in files:
full_path = os.path.join(path, fname)
md5dict[full_path] = md5check(full_path) if os.path.exists(md5file):
with open(md5file, 'wb') as f0:
p.dump(md5dict, f0)
else:
with open(md5file,'xb') as f1:
p.dump(md5dict,f1) def incr_backup(src_dir, dst_dir, md5file):
par_dir, base_dir = os.path.split(src_dir.rstrip('/'))
back_name = '%s_incr_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))
full_name = os.path.join(dst_dir, back_name)
md5new = {} for path, folders, files in os.walk(src_dir):
for fname in files:
full_path = os.path.join(path, fname)
md5new[full_path] = md5check(full_path) with open(md5file,'rb') as fobj:
md5old = p.load(fobj) with open(md5file, 'wb') as fobj:
p.dump(md5new, fobj) #tar = tarfile.open(full_name, 'w:gz')
for key in md5new:
if md5old[key] != md5new[key]:
#tar.add(key)
shutil.copyfile(key,dst_dir)
#tar.close() if __name__ == '__main__':
src_dir = 'base/src'
dst_dir = 'base/dest/backupfile'
md5file = 'base/md5.data'
full_backup(src_dir, dst_dir, md5file)
# if time.strftime('%a') == 'Mon':
# full_backup(src_dir, dst_dir, md5file)
# else:
# incr_backup(src_dir, dst_dir, md5file)

python实现对文件的全量、增量备份的更多相关文章

  1. Python实现目录文件的全量和增量备份

    目标: 1.传入3个参数:源文件路径,目标文件路径,md5文件 2.每周一实现全量备份,其余时间增量备份 1.通过传入的路径,获取该路径下面的所有目录和文件(递归) 方法一:使用os.listdir ...

  2. Xtrabackup全量 增量备份详解

    xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份 ...

  3. mysql全量+增量备份脚本

    cat xtrabackup_mysql.sh #!/bin/bash #title :xtrabackup_mysql.sh #description :backup mysql by using ...

  4. Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录

    在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 线上数据库备份场景:每周日执行一次全量备份,然后每天下午1点执行MySQLdump增量备份 ...

  5. Mysql备份系列(4)--lvm-snapshot备份mysql数据(全量+增量)操作记录

    Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳 ...

  6. Elasticsearch 索引的全量/增量更新

    Elasticsearch 索引的全量/增量更新 当你的es 索引数据从mysql 全量导入之后,如何根据其他客户端改变索引数据源带来的变动来更新 es 索引数据呢. 首先用 Python 全量生成 ...

  7. 【MySQL】全量+增量的备份/恢复

    生产环境中,有时需要做MySQL的备份和恢复工作.因MySQL是在运行过程中的,做全量备份需要时间,全量备份完成后又有数据变动,此时需要增量备份辅助.如果想恢复数据到一个空库(例如数据迁移或者上云等更 ...

  8. MySQL自动化(全量+增量)备份脚本

    文章转自:http://www.it-hack.cn/forum.php?mod=viewthread&tid=220&extra=page%3D1 一.MySQL的日常备份方案: 全 ...

  9. Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录

    在日常的linux运维工作中,大数据量备份与还原,始终是个难点.关于mysql的备份和恢复,比较传统的是用mysqldump工具,今天这里推荐另一个备份工具innobackupex.innobacku ...

随机推荐

  1. 每日分享!~ JavaScript(js数组如何在指定的位置插入一个元素)

      这个想法是在一个面试题中看到的: 题目是这样的: // 一个数组,在指定的index 位置插入一个元素,返回一个新的数组,不改变原来的数组 <script> function inse ...

  2. 【深度学习篇】--神经网络中的调优一,超参数调优和Early_Stopping

    一.前述 调优对于模型训练速度,准确率方面至关重要,所以本文对神经网络中的调优做一个总结. 二.神经网络超参数调优 1.适当调整隐藏层数对于许多问题,你可以开始只用一个隐藏层,就可以获得不错的结果,比 ...

  3. 记一次工作失误,openresty报502错误

    调试落地项目,代理跳转接口报502错误. 一开始认为阿里云tomcat有误,后面发现别的地址代理跳转有效. 开始配置跳转地址,一直折腾半天不好使.后面才知道,应用服务器和数据库服务器是分开部署的.一直 ...

  4. windows安装IDEA

    1.安装下载 https://www.jetbrains.com/idea/download/#section=windows 2.服务器激活地址: 39.129.9.34:8888 https:// ...

  5. Android 8.0系统的应用图标适配

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 参考资料<一起来学习Android 8.0系统的应用图标适配吧>中已经讲得很清楚了,这里我只是简单总结下.详情的内容请阅 ...

  6. 强化学习(十)Double DQN (DDQN)

    在强化学习(九)Deep Q-Learning进阶之Nature DQN中,我们讨论了Nature DQN的算法流程,它通过使用两个相同的神经网络,以解决数据样本和网络训练之前的相关性.但是还是有其他 ...

  7. SmartSql 常见问题

    常见问题 为什么不支持 Linq? SmartSql 希望 开发人员更多的接触 Sql ,获得绝对的控制权与安全感.所以目前没有计划支持 Code First 编程模式. 我想好了Sql怎么写,然后再 ...

  8. golang命令行库cobra的使用

    简介 Cobra既是一个用来创建强大的现代CLI命令行的golang库,也是一个生成程序应用和命令行文件的程序.下面是Cobra使用的一个演示: Cobra提供的功能 简易的子命令行模式,如 app ...

  9. Spring Boot配置拦截器及实现跨域访问

    拦截器功能强大,能够深入方法前后,常应用于日志记录.权限检查和性能检测等,几乎是项目中不可或缺的一部分,本文就来实现Spring Boot自定义拦截器的配置. 理论指导 问:Spring Boot怎么 ...

  10. k8s应用机密信息与配置管理(九)--技术流ken

    secret 应用启动过程中可能需要一些敏感信息,比如访问数据库的用户名密码或者秘钥.将这些信息直接保存在容器镜像中显然不妥,Kubernetes 提供的解决方案是 Secret. Secret 会以 ...