首先总共有两个脚本:

#!/bin/bash:主要用于进行数据库备份、压缩、删除,单独运行命令是:bash  XXX.sh

#!/usr/bin/expect:主要用于进行数据备份文件的上传,单独运行命令是:expect XXX.sh

分成两个脚本写的原因是:expect 主要是用于ssh 远程上传是需要输入密码,有了这个脚本则可以自动输入密码。同时由于无法在#!/bin/bash脚本上直接写自动输入密码的语句,所以写了两个脚本。

同时有一个前提:如果两台服务器是免密操作的,则不用写两个脚本,直接在#!/bin/bash 脚本中写 scp 就可以

expect 是需要自动安装的一个插件:

yum -y install expect

安装成功后:

输入:expect

返回:expect1.1>

则安装成功

现在上代码:

#!/bin/bash

#!/bin/bash
echo "============备份开始=========================="
#当前时间,用来命名sql文件
DATETIME=$(date +%Y%m%d)
backup_dir=/usr/mysqldump/back_22/dbname_$DATETIME
#自动创建文件夹,如果文件夹不存在则自动创建
echo "============自动创建今日文件夹=============="$backup_dir
if [ ! -d $backup_dir ]; then
mkdir -p $backup_dir;
fi
echo "========创建完成==========="
#备份多个数据库
#之所以这么写的原因是:mysqldump -u 账户 -p密码 --databases db1 db2 > $backup_dir/dbname_$DATETIME.sql
#可以将多个数据库备份到一个文件中,但是我是需要分开备份,以后数据出了问题可以针对性的回复,所以每个备份文件名字都要是不一样的,所以这也是为啥后续有个压缩文件的原因
mysqldump -u 账户 -p密码 dbname1> $backup_dir/dbname1_$DATETIME.sql
mysqldump -u 账户 -p密码 dbname2 > $backup_dir/dbname2_$DATETIME.sql
echo "========备份完成==========="
#压缩下载的数据
echo "========开始压缩==========="
tar -czvf /usr/mysqldump/back_22/dbname_$DATETIME.tar.gz $backup_dir
echo "========压缩成功==========="
#开始将压缩文件上传到IP
echo "========开始数据上传==========="
#要注意,前面那个部分是调用第二个脚本的语句,是传入第二个脚本的变量名
/data/script/send.sh smartcity_$DATETIME.tar.gz
#判断是否上传成功
echo "========上传成功==========="
cd /usr/mysqldump/back_22
#因为这里有两个文件,一个是文件夹、一个是压缩包,所以都要删除掉
rm -f dbname_$DATETIME.tar.gz
rm -fr dbnam_$DATETIME
echo "========文件删除成功==========="

#!/usr/bin/expect

#!/usr/bin/expect
#获取文件名
set file_name [lindex $argv 0]
spawn scp -P22 /usr/mysqldump/back_22/$file_name 账户@IP:/data/backup/back_22
#expect 是为了抓取scp 后界面返回的Password:关键字,当获取到这个关键字之后,然后填入到send的密码,实现人机交互
expect "Password"
send "密码\r"
#设置超时时间
set timeout 60
expect eof

注意点:第二个脚本设置超时时间的,这个很坑,在网上找的资料要么就是没有设置,要么就是放在第一行,那么我遇到一个很坑的问题,就是第二个脚本数据上传每次都是上传没有结束就退出了,

我在第二个脚本退出前面写了一个超时时间,我猜测:文件从A服务器上传到B服务器上如果是出现了网络波动,没有设置超时时间,那么程序就要继续往下跑expect eof (退出),那么如果这个超时时间

放在了第一行,那么由于程序是顺序执行,所以在上传过程中会有网络波动,那么上传也会失败

那么在解决这个问题的过程中,我发现了关于判断SCP是否成功的两点经验,代码没有经过验证,但是可以两种运用在其他方面的思路

#第一种方式:
#用以下方式可以检查scp进程是否在跑,如果没有跑,那么cnt的值是0 ,主要的原理是通过while循环判断scp是否在跑
cnt=`ps -ef|grep "scp"|grep "all"|grep -v grep|grep -v vi|wc -l`
echo "正在上传中:"$cnt
while [ $cnt == 0 ]
do
cnt=`ps -ef|grep "scp"|grep "all"|grep -v grep|grep -v vi|wc -l`
echo "正在上传中:"$cnt
sleep 30
done
echo "========上传成功==========="

#第二种方式:
#$? 用于直接判断上一个脚本是否已经跑完
if [ $?==0 ]; then
echo "========数据上传成功===========";
cd /usr/mysqldump/back_22
rm -f smartcity_$DATETIME.tar.gz
rm -fr smartcity_$DATETIME
echo "========文件删除成功==========="
fi

后面还会在备份存放服务器上加一个脚本,用于定时删除太长时间的备份文件,只保留一段时间的备份

mysql 定时 数据库备份并上传到另一台服务器上,上传结束并删除源文件的更多相关文章

  1. MySQL的数据库备份

    MySQL的数据库备份 备份的原因: 1.保证重要数据不丢失 2.数据转移 MySQL数据库备份方式: 1.方法1:在Sqlyog这种可视化工具中手动导出 2.方法2:直接拷贝物理文件(就是data文 ...

  2. PHP文件上传至另一台服务器

    PHP程序上传文件时,想指定上传到另一台服务器. move_uploaded_file这个方法第二个参数指定的存放路径需要和php程序文件一个服务器,没办法指定其他服务器的地址,本人才疏学浅,哪位大哥 ...

  3. 定时备份SQL SERVER的数据库并且把备份文件复制到另外一台服务器

    需求介绍:每天备份线上正式库并且把备份文件复制到测试服务器,测试服务器自动把数据库备份文件还原. 方案介绍: 第1步:在正式库上创建存储过程用来备份数据库和复制到测试服务器,然后新建作业每天定时执行创 ...

  4. Mysql主数据库+备份数据库部署教程

    转:http://www.111cn.net/database/mysql/76450.htm 本文我们来讲讲Mysql主备如何部署,这里说的主是指Mysql主数据库,备是从数据库,备可以是多个,也可 ...

  5. Mysql 5.* 数据库备份及导入

    作者:邓聪聪 倒出数据文件 1) 导出数据和表结构: 进入数据库查看表结构 msql -u用户名 -p密码 msql -u用户名 -p密码 -S /var/lib/mysql/mysql.sock  ...

  6. MySQL基础 - 数据库备份

    出于安全考虑,数据库备份是必不可少的,毕竟对于互联网公司数据才是价值的源泉~ 距离mysql账号为icebug,密码为icebug_passwd, 数据库为icebug_db mysqldump -u ...

  7. mysql之数据库备份

    1.可视化工具Navicat for mysql进行操作数据库备份 (1)备份数据库 (2)将备份的数据库进行加载

  8. mysql:数据库备份方案

    1. 数据库备份方案     1)没备份,跑路~     2)全量备份+增量备份 如果不小心“删库”,可以这么恢复: a. 将最近一次全量备份的全库找到,拷贝回来(文件一般比较大),解压,应用: b. ...

  9. docker镜像打包成tar包,上传到另一台服务器

    需要打包的服务器操作: 一.需要打包的服务器执行以下操作 docker save -o node.tar.gz calico/node #  docker save -o  要打镜像包的名称  镜像 ...

  10. 实战-MySQL定时增量备份(2)

    概要 引言 增量备份 恢复增量备份 定时备份 引言 在产品上线之后,我们的数据是相当重要的,容不得半点闪失,应该做好万全的准备,搞不好哪一天被黑客入侵或者恶意删除,那就 gg 了.所以要对我们的线上数 ...

随机推荐

  1. RK3568开发笔记(六):开发板烧写ubuntu固件(支持mipi屏镜像+支持hdmi屏镜像)

    前言   编译了uboot,kernel,buildroot后,可以单独输入固件,也可以整体打包成rootfs进行一次性输入,rootfs直接更新升级这个方式目前也是常用的.   烧写器软件:RKDe ...

  2. P251——用RadialGradientBrush填充椭圆,并进行RotateTransform变换

    一.认识RadialGradientBrush(径向渐变) 1.坐标 RadialGradientBrush可以用来填充矩形(正方形)和椭圆(正圆), 填充区域使用比例坐标, 椭圆的坐标(0,0)和( ...

  3. 主动写入流对@ResponseBody注解的影响

    问题回溯 2023年Q2某日运营反馈一个问题,商品系统商家中心某批量工具模板无法下载,导致功能无法使用(因为模板是动态变化的) 商家中心报错(JSON串): {"code":-1, ...

  4. Python 网页爬虫原理及代理 IP 使用

    一.Python 网页爬虫原理 Python 是一种高效的编程语言,在 Web 开发和数据分析领域广受欢迎.Python 的优秀模块使其更加适合大规模数据处理和 Web 服务的编程.网络爬虫是 Pyt ...

  5. 解密TCP连接断开:四次挥手的奥秘和数据传输的安全

    TCP 连接断开 在当今数字化时代,互联网已经成为了人们生活中不可或缺的一部分.而在互联网的基础之上,TCP协议扮演着关键的角色,它负责着数据在网络中的可靠传输.在TCP连接的建立过程中,我们已经了解 ...

  6. Go语言系列——31-自定义错误、32-panic和recover、33-函数是一等公民(头等函数)、34-反射、35-读取文件、36-写入文件

    文章目录 31-自定义错误 使用 New 函数创建自定义错误 使用 Errorf 给错误添加更多信息 使用结构体类型和字段提供错误的更多信息 使用结构体类型的方法来提供错误的更多信息 32-panic ...

  7. 深挖 Python 元组 pt.1

    哈喽大家好,我是咸鱼 好久不见甚是想念,2023 年最后一次法定节假日已经结束了,不知道各位小伙伴是不是跟咸鱼一样今天就开始"搬砖"了呢? 我们知道元组(tuple)是 Pytho ...

  8. MySQL PXC集群新增一个高版本节点

    已有的一个 MySQL PXC 集群环境,因为种种原因仅剩一个节点 node1,需要新增一个集群节点 node2. node1 版本:donor version (8.0.21) node2 版本:l ...

  9. JuiceFS 目录配额功能设计详解

    JuiceFS 在最近 v1.1 版本中加入了社区中呼声已久的目录配额功能.已发布的命令支持为目录设置配额.获取目录配额信息.列出所有目录配额等.完整的详细信息,请查阅文档. 在设计此功能时,对于它的 ...

  10. 如何使用webgl(three.js)实现煤矿隧道、井下人员定位、掘进面、纵采面可视化解决方案——第十九课(一)

    序: 又是很久没有更新文章了,这次索性将之前做的三维煤矿项目拿出来讲讲,一是回顾技术,二是锻炼一下文笔. 随着科技的不断发展,越来越多的人开始关注煤矿采集的安全和效率问题.为了更好地展示煤矿采集的过程 ...