定时任务 bash 对远程数据库 备份 读写

1g表

每行都有可能被更新，故全表备份

检测备份是否在进行

[root@hadoop1 ~]# netstat --numeric-ports | grep 3306
tcp        0      0 hadoop1:37692           121.110.203.226:3306     ESTABLISHED
您在 /var/spool/mail/root 中有新邮件
[root@hadoop1 ~]#

nload

查当前网速，分析备份时间

2m/s

全表备份不可取

取更新时间戳备份，之后结合主键和更新时间戳还原数据

比较适合上传数据/写的操作，比如删除

[root@hadoop1 bash_app]# ll -as
总用量 68
 4 drwxr-xr-x 2 root root  4096 12月 22 16:50 .
 4 drwxr-xr-x 5 root root  4096 12月 19 10:23 ..
48 -rw-r--r-- 1 root root 46292 12月 22 16:49 ordertest_error_temp.20171222_164940.bak
 0 -rw-r--r-- 1 root root     0 12月 22 16:28 ordertest_error_temp.bak
 4 -rwxr-xr-x 1 root root   257 12月 22 16:49 ordertest_error_temp.bak.sh
 4 -rw-r--r-- 1 root root   332 12月 19 10:44 db_sh_output
 4 -rwxr-xr-x 1 root root   298 12月 19 10:44 mysql.domo.sh
[root@hadoop1 bash_app]# cat ordertest_error_temp.bak.sh
HOST=rm-w2o.mysql.rds.alcs.com
PORT=3306
USER=to17
PASS=t653o
DB=tres_ad
QUERY=`mysql -h$HOST -P$PORT -u$USER -p$PASS $DB << EOF
SELECT * FROM ordertest_error_temp ORDER BY update_time DESC LIMIT 12 ;
exit
EOF`
echo $QUERY
[root@hadoop1 bash_app]# ./ordertest_error_temp.bak.sh > ordertest_error_temp.$(date +"%Y%m%d_%H%M%S").bak
[root@hadoop1 bash_app]# ll -as
总用量 116
 4 drwxr-xr-x 2 root root  4096 12月 22 16:50 .
 4 drwxr-xr-x 5 root root  4096 12月 19 10:23 ..
48 -rw-r--r-- 1 root root 46292 12月 22 16:49 ordertest_error_temp.20171222_164940.bak
48 -rw-r--r-- 1 root root 46264 12月 22 16:51 ordertest_error_temp.20171222_165053.bak
 0 -rw-r--r-- 1 root root     0 12月 22 16:28 ordertest_error_temp.bak
 4 -rwxr-xr-x 1 root root   257 12月 22 16:49 ordertest_error_temp.bak.sh
 4 -rw-r--r-- 1 root root   332 12月 19 10:44 db_sh_output
 4 -rwxr-xr-x 1 root root   298 12月 19 10:44 mysql.domo.sh
[root@hadoop1 bash_app]# head ordertest_error_temp.20171222_164940.bak

错误信息

[root@hadoop1 bash_app]# ./ordertest_error_temp.del.sh
ERROR 1064 (42000) at line 1: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'WHEREdd ok_times>=1' at line 1

[root@hadoop1 bash_app]#

[root@hadoop1 bash_app]# echo ' start '$(date +"%Y%m%d_%H%M%S") >> ad_direct_error_temp.del.sh.log;./ad_direct_error_temp.del.sh; cat ad_direct_error_temp.del.sh >> ad_direct_error_temp.del.sh.log;echo ' end '$(date +"%Y%m%d_%H%M%S") >> ad_direct_error_temp.del.sh.log;

[root@hadoop1 bash_app]# echo ' start '$(date +"%Y%m%d_%H%M%S") >> ordertest_error_temp.del.sh.log;./ordertest_error_temp.del.sh; cat ordertest_error_temp.del.sh >> ordertest_error_temp.del.sh.log;echo ' end '$(date +"%Y%m%d_%H%M%S") >> ordertest_error_temp.del.sh.log;

再写入定时任务

 #危险动作
*/ *  * * * cd /home/data/xl_project/bash_app;echo ' start '$(date +"%Y%m%d_%H%M%S") >> ordertest_error_temp.del.sh.log;./ordertest_error_temp.del.sh; cat ordertest_error_temp.del.sh >> ordertest_error_temp.del.sh.log;echo ' end '$(date +"%Y%m%d_%H%M%S") >> ordertest_error_temp.del.sh.log;

上述任务没有执行，路径：待执行文件路径和执行待执行文件的路径；

2个路径，解决问题。

实现了目的，进一步优化：将日志逻辑放入.sh中；