Linux文件拷贝脚本

在工作中，我们经常遇到要从Linux服务器拷贝日志至本地或者定期清理日志的需求，在服务器上，大型系统的日志是按模块存储的，这就导致日志的文件目录较多且层级不统一。我们从众多的目录手工筛选要下载或者删除的文件就非常耗时且low。对于这种需求，我研究了一下shell脚本的实现，现将可用的shell脚本分享如下：

1、模拟多层级logs环境

[root@localhost ~]# cd /home/
[root@localhost ~]# mkdir -p logs/fo
[root@localhost ~]# mkdir -p logs/fc/2022-02-31
[root@localhost ~]# mkdir -p logs/gl
[root@localhost ~]# mkdir -p logs/gt
[root@localhost ~]# touch logs/all.log
[root@localhost ~]# touch logs/error.log
[root@localhost ~]# touch logs/info.log
[root@localhost ~]# touch logs/gt/all.log
[root@localhost ~]# touch logs/gt/error.log
[root@localhost ~]# touch logs/gt/info.log
[root@localhost ~]# touch logs/gl/all.log
[root@localhost ~]# touch logs/gl/error.log
[root@localhost ~]# touch logs/gl/info.log
[root@localhost ~]# touch logs/fo/all.log
[root@localhost ~]# touch logs/fo/error.log
[root@localhost ~]# touch logs/fo/info.log
[root@localhost ~]# touch logs/fc/all.log
[root@localhost ~]# touch logs/fc/error.log
[root@localhost ~]# touch logs/fc/info.log
[root@localhost ~]# touch logs/fc/2022-02-31/all.log
[root@localhost ~]# touch logs/fc/2022-02-31/error.log
[root@localhost ~]# touch logs/fc/2022-02-31/info.log

• 方便期间， 编写一个脚本来创建

cd /home/
mkdir -p logs/fo
mkdir -p logs/fc/2022-02-31
mkdir -p logs/gl
mkdir -p logs/gt
touch logs/all.log
touch logs/error.log
touch logs/info.log
touch logs/gt/all.log
touch logs/gt/error.log
touch logs/gt/info.log
touch logs/gl/all.log
touch logs/gl/error.log
touch logs/gl/info.log
touch logs/fo/all.log
touch logs/fo/error.log
touch logs/fo/info.log
touch logs/fc/all.log
touch logs/fc/error.log
touch logs/fc/info.log
touch logs/fc/2022-02-31/all.log
touch logs/fc/2022-02-31/error.log
touch logs/fc/2022-02-31/info.log

• 环境结构如下图
  
  

2、以拷贝文件为例，脚本解析

• -maxdepth 1 文件目录级次，1代表当前目录
• -mtime -5 修改日期
  • -mtime n 按照文件的更改时间来找文件，n为整数。
  • n 表示文件更改时间距离为n天
  • -n 表示文件更改时间距离在n天以内
  • +n 表示文件更改时间距离在n天以前
• -type f 查找文件而非文件夹

#/bin/bash
# 日志存储路径
logsname=/home
# 日志筛选后存放的路径
newdir=/data
# 基于日志存储路径（logsname）的日志存放路径
logname=logs
# 进入到日志存储路径下
cd $logsname
# 目录重建函数，与原日志存储路径一致，只不过上层路径发生了变化
function mkdir_fun(){
	## 判断文件夹是否不存在（！ 代表取反）
	if [ ! -d $newdir"/"$1"/"$dirname ]
	then
		mkdir -p $newdir"/"$dirname  #在新的路径下创建日志目录
	else
		echo $newdir"/"$dirname"已存在！"
	fi
	cpfile_fun $dirname $newdir # 调用文件拷贝函数
}
# 文件拷贝函数
function cpfile_fun(){
# 查找 $dirname 当前目录下，5天内修改的文件，查到后拷贝到新建的目录中
	find $dirname -maxdepth 1 -mtime -5 -type f  | xargs -i cp {} $newdir"/"$dirname
}
# 循环遍历日志
function read_dir(){
	for dirname in `find $logname -type d -mtime -5`
	do
	if [ -d $1"/"$dirname ]
	then
		read_dir $1"/"$dirname
	else
		echo "1_"$dirname
		mkdir_fun $dirname
		#cpfile_fun $dirname
	fi
	done
}
# 调用循环遍历日志函数
read_dir

• 执行前
  
  

• 执行后