mongodb备份策略
概述
数据库的备份非常非常非常重要!!!否则出问题连哭的机会有没有(欲哭无泪)今天主要是做一个mongodb的数据库备份。
1、关于备份
备份其实很简单,这里选择的是对mongodb中的某个库进行全备,例如saturn。关于备份策略,要根据实际情况来定,我们是一个小时备份一次。不废话直接上代码:
#!/usr/bin/env python
#-*- encoding: utf-8 -*-
import time
from subprocess import call
go_time = time.strftime("%Y-%m-%d_%H")
dir_path = "/data/backup"
def db_backup(user,pwd,host,db):
call("mongodump -u {} -p {} -h {} -d {} --gzip --archive={}/saturn-{}.gz".format(user,pwd,host,db,dir_path,go_time))
if __name__ == '__main__':
db_backup("hqms","hqms123","127.0.0.1:27017","saturn")
备份的文件saturn_2018-01-17_23.gz
我把备份和删除旧文件分开了,why?写在一个里面不是很好吗,主要是两个任务的执行频率不一样,删除的任务执行频率比较低,每天执行一次既可以,否则会浪费系统资源。
并且过多的耦合总会出问题。下面贴出删除代码:
#!/usr/bin/env python
# -*-encoding: utf-8 -*-
import os
import time
cur_time = time.time()
#当天零点的时间戳
st = cur_time - cur_time%86400 + time.timezone
dir_path = "/data/backup"
#删除
def drop_file(file_dir):
for filename in os.listdir(file_dir):
if os.path.isfile(file_dir + "/" +filename):
ft = os.stat(file_dir + "/" +filename)
lt = int(ft.st_mtime)
nt = cur_time - 3600*2 #距离现在2个小时之前的时间戳
dt = st - 86400*5 #距离现在5天之前的时间戳
#delete file by hour in today
if st < lt < nt:
try:
os.remove(file_dir + "/" + filename)
time.sleep(3)
print "Deleted success" + file_dir + "/" + filename
except (SyntaxError,IOError) as error:
print error
#delete file by day
elif lt < dt:
try:
os.remove(file_dir + "/" + filename)
time.sleep(3)
print "Deleted success" + file_dir + "/" + filename
except (SyntaxError,IOError) as error:
print error
if __name__ == '__main__':
drop_file(dir_path)
说明删除的代码是python2.7版本的。
附:
python3.6版本:
#!/usr/bin/env python
import os
import time
cur_time = time.time()
#获取当天零点的时间戳
st = cur_time - cur_time%86400 + time.timezone
dir_path = "/data/backup"
#删除
def drop_file(file_dir):
for filename in os.listdir(file_dir):
if os.path.isfile(file_dir + "/" +filename):
ft = os.stat(file_dir + "/" +filename)
lt = int(ft.st_mtime)
nt = cur_time - 3600*2 #获取当天保留截止的时间戳
dt = st - 86400*5 #获取保留天数的时间戳
#delete file by hour in today
if st < lt < nt:
try:
os.remove(file_dir + "/" + filename)
time.sleep(3)
print ("Deleted success" + file_dir + "/" + filename)
except (SyntaxError,IOError) as e:
print (e)
#delete file by day
elif lt < dt:
try:
os.remove(file_dir + "/" + filename)
time.sleep(3)
print ("Deleted success" + file_dir + "/" + filename)
except (SyntaxError,IOError) as e:
print (e)
if __name__ == '__main__':
drop_file(dir_path)
2、关于策略
备份脚本是一个小时执行一次,删除脚本是每天执行一次。使用jenkins的pipeline执行,给出删除策略的pipeline:
1)create a pipeline task in jenkins
pipeline{
agent{ label 'db1'}
stages{
stage('drop old file'){
steps{
dir('/data/scripts'){
sh 'python rm_backup.py'
}
}
}
}
}
2)you must create a schedule
Build periodically
50 23 * * *
mongodb备份策略的更多相关文章
- MongoDB 备份与还原 mongodump、mongorestore
目录 MongoDB 备份与还原 一. MongoDB 备份 1.mongodump 2 .cp 或者rsync 3.单节点意外关闭后,如何恢复数据 4.查看备份数据 二.MongoDB 还原 1.m ...
- mongodb 备份
本篇文章来自于阿里云技术专家郑涔(明俨)在2018年<Redis.MongoDB.HBase大咖直播大讲堂>技术直播峰会中的分享,该分享整体由四个部分构成: 1.MongoDB备份恢复 2 ...
- DG环境数据库RMAN备份策略制定
DG环境数据库RMAN备份策略制定: 主库(Primary) 全库备份 归档备份 删除历史文件夹 备库(Standby) 删除归档 引用说明 主库(Primary) $ crontab -l 0 1 ...
- 记录一则RMAN备份策略修正案例
背景:在给某客户处理问题时,发现客户数据库的备份空间即将用尽,进一步查看发现是用户数据库的当前RMAN备份策略存在潜在问题,需要修改备份策略. 环境:SunOS 5.10 + Oracle 11.2. ...
- mongodb 备份 还原 导出 导入
张映 发表于 2013-12-03 分类目录: nosql 标签:mongodb, 备份, 导入, 导出, 还原 mongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mong ...
- Oracle备份及备份策略
第二章. 了解备份的重要性 可以说,从计算机系统出世的那天起,就有了备份这个概念,计算机以其强大的速度处理能力,取代了很多人为的工作,但是,往往很多时候,它又是那么弱不禁风,主板上的芯片.主板电路.内 ...
- Oracle RMAN备份策略
建立增量备份:如果数据库运行于不归档模式下,只能在数据库干净关闭的情况下 ( 以 normal .immediate . transactional 方式关闭 ) 才能进行一致性的增量备份,如果数据库 ...
- MongoDB 备份(mongodump)恢复(mongorerstore) 导出 (Mongoexport) 导入( Mongoimport)
MongoDB 备份(mongodump) 在Mongodb中我们使用mongodump命令来备份MongoDB数据.该命令可以导出所有数据到指定目录中. mongodump命令可以通过参数指定导出的 ...
- SVN服务器几种备份策略---重点svnsync备份---OK
配置管理的一个重要使命是保证数据的安全性,防止服务器应硬盘损坏.误操作造成数据无法恢复的灾难性后果.因此制定一个完整的备份策略非常重要. 一般来说,备份策略应规定如下几部分内容:备份频度.备份方式.备 ...
随机推荐
- 第82讲:Scala中List的ListBuffer是如何实现高效的遍历计算的?
今天学习下list中的ListBuffer实现的高效计算.让我们先来看下代码 def main(args:Array[String]){ val list = List(1,2,3,4, ...
- hihocoder 二分
题目 一个简单的二分,只是想说明一下,如若要查找一个数组中某个数的下标可以直接用lower_bound()这个函数.只是要考虑到要查找的数不在数组中的这种情况. #include <cstdio ...
- linux命令 find的应用
1.列出当前目录及子目录下所有文件和文件夹 2.在 /home目录下查找以 “.txt”结尾的文件名 3.在当前目录下查找所有以“.txt”结尾的文件 4基于目录深度搜索(向下最大深度限制为3) 5. ...
- PowerDesigner执行脚本 name/comment/stereotype互转
执行方法:工具栏->Tools -> Execute Commands -> Edit/Run Script (Ctrl+Shift+X) 如下图所示: 1.Name转到Commen ...
- 知物由学 | AI在Facebook清理有害内容上扮演了什么角色?
"知物由学"是网易云易盾打造的一个品牌栏目,词语出自汉·王充<论衡·实知>.人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道."知物 ...
- Lily-一个埋点管理工具
本文来自网易云社区 前言 在很多项目中,埋点数据使用表格来统计的,随着项目的进行,数据量越来越复杂,越来越难以维护.所以很多公司都已经开发了一整套系统,从埋点的录入到代码的输出. 我们项目中iOS和A ...
- [leetcode.com]算法题目 - Decode Ways
A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' - ...
- 【BZOJ1049】 [HAOI2006]数字序列
BZOJ1049 [HAOI2006]数字序列 dp好题? 第一问 第一问我会做!令\(b_i=a_i-i\),求一个最长不下降子序列. \(n-ans\)就是最终的答案. 第二问 好难啊.不会.挖坑 ...
- 556. Next Greater Element III
Given a positive 32-bit integer n, you need to find the smallest 32-bit integer which has exactly th ...
- 04_python_列表
一.列表 列表是用[ ]括起来并每个元素用逗号分割的,并且可以存放各种数据类型,存放的数据量非常大,列表是有序的(按照你保存的顺序),有索引, 可以切片方便取值. lst = [1, '哈哈', &q ...