Shell + crontab 实现日志压缩归档 crontab # archive the ats log days. */ * * * * root /bin/>& shell #!/bin/bash # Author : standby # Date : -- # Description : Archive the live log, keep the lastest days. logdir="/data/ats/logs" TODAY=`date -d &quo…

shell脚本实现自动压缩一天前的日志文件 ,并传到ftp服务器上 naonao_127关注2人评论19401人阅读2012-06-08 11:26:16         生产环境下脚本自动备份脚本是企业中重要工具.备份数据和日志等文件是公司的重要资产,所以有句话叫“备份是救命的稻草”(——出自抚琴煮酒<构建高可用Linux服务器>一书).         此脚本的作用是将制定目录下的日志文件备份,只备份当天和一天前的日志(日志命名格式精确到小时),并以当天的年月日为格式进行压缩,然后传送到指…

本节内容 1. at一次性计划任务(atd) at 时间点 command ctrl+d:保存 -l:查看计划任务 atrm:删除计划任务 atq:查看计划任务 2. crontab周期性计划任务(crond) -l: 查看计划任务 -u:指定用户 -r:删除计划任务 -e:编辑计划任务 格式: *    *     *   *     * command && command 分   时    日 月    周 0-59 0-23 1-31  1-12  0-6.1-7 *:表示范围内的…

在Unix和类Unix的操作系统之中,crontab命令常用于设置周期性被执行的指令,也可以理解为设置定时任务. crontab中的定时任务有时候没有成功执行,什么原因呢?这时就需要去日志里去分析一下了,那该如何查看crontab的日志记录呢? 1. linux 看 /var/log/cron.log这个文件就可以,可以用tail -f /var/log/cron.log观察 2. unix 在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail…

背景 刚毕业那几年有幸进入了当时非常热门的某社交网站,在数据平台部从事大数据开发相关的工作.从日志收集.存储.数据仓库建设.数据统计.数据展示都接触了一遍,比较早的赶上了大数据热这波浪潮.虽然今天的人工智能的热度要远高于大数据,但是大家还是不能否定大数据在人工智能中不可取代的地位. 话回正题,当时遇到了一个需要解决的问题就是如何快速对日志进行压缩.那时一天的日志量大概是3TB左右,共100+种日志,最大的一个日志一天要1TB,最小的日志只有几十M.统计需求大部分是用HIVE完成,HIVE中的表每…

计划任务介绍 我们可以通过一些设置.来让电脑定时提醒我们该做什么事了.或者我们提前设置好,告诉电脑你几点做什么几点做什么,这种我们就叫它定时任务.而遇到一些需要执行的事情或任务.我们也可以通过命令来告诉电脑一会临时把这个工作给做一下 总结:在我们LINUX中,我们可以通过crontab和at这两个东西来实现这些功能的 计划任务的作用:是做一些周期性的任务,在生产中的主要用来定期备份数据 计划任务的安排方式分两种: 一种是定时性的,也就是例行.就是每隔一定的周期就要重复来做这个事情 一种是突发性的…

计划任务介绍 自动执行,备份数据. crontab    和   at : at:它是一个可以处理仅执行一次就结束的指令 crontab:它是会把你指定的工作或任务,比如:脚本等,按照你设定的周期一直循环执行下去 计划任务的作用:是做一些周期性的任务,在生产中的主要用来定期备份数据 计划任务的安排方式分两种: at : 一种是定时性的,也就是例行.就是每隔一定的周期就要重复来做这个事情 crontab : 一种是突发性的,就是这次做完了这个事,就没有下一次了,临时决定,只执行一次的任务 at一次…

一.计划任务 1.介绍: (1)定义:简单说就是通过一些设置,来使linux系统定时执行一些操作与任务. (2)作用:一般可执行一些周期性操作,也可定期备份数据. (3)可使用的命令:常用为at和crontab这两个命令: at:它是一个可以处理仅执行一次就结束的指令 crontab:它是会把你指定的工作或任务,比如:脚本等,按照你设定的周期一直循环执行下去. 二.“at”一次性任务 (1)下载“at”程序(一般Linux没有此程序) 指令:——#yum install at -y (2)启动服…

计划任务介绍 我们可以通过一些设置.来让电脑定时提醒我们该做什么事了.或者我们提前设置好,告诉电脑你几点做什么几点做什么,这种我们就叫它定时任务.而遇到一些需要执行的事情或任务.我们也可以通过命令来告诉电脑一会临时把这个工作给做一下 总结:在我们LINUX中,我们可以通过crontab和at这两个东西来实现 计划任务的作用:是做一些周期性的任务,在生产中的主要用来定期备份数据 计划任务的安排方式分两种: 一种是定时性的,也就是例行.就是每隔一定的周期就要重复来做这个事情 一种是突发性的,就是这次…

工作中常见函数后台周期执行的情况,Oracle有job实现,gp数据库可以通过shell+crontab实现.流程如下: gpadmin用户下创建函数sh脚本. 将sh挂在crontab任务上 ################################详细描述################################### 一.在路径 /home/summer 下创建文件 task_month.sh ,内容如下: #!/bin/bash ##导入gp数据库脚本 source /usr…