rsync续传大目录一例
场景
要将大约60T的文件从一台服务器上搬到另外一台上。两边分区还不一样大,一边是一个整的60T大分区,另一边是15T一个的小分区。
解决思路
类比茶壶倒水,一个分区一个分区的填,填满一个再填第二个。
步骤
先将要同步的目录名全路径按时间排序写到一个文件里。每次从文件里取一行来做同步,成功则写入日志1中,失败则写入日志2中并记下时间戳。
每次同步前先检查日志1,如果存在则跳过。
代码实现
#!/bin/bash prefix=/root/rsync/xvdf1/sync_1_300
mkdir -p $prefix input_file=$prefix/fdlist.txt success_log=$prefix/sync_status1.log
failure_log=$prefix/sync_status2.log
process_log=$prefix/sync_status3.log
details_log=$prefix/sync_status4.log du_log=$prefix/tmp_du.log touch $success_log $failure_log $process_log $du_log $details_log DEST=/xyz/xvdf1/192.168.10.112/ifs/home/xyftp/xyftpdir06/ count=
toltal=`wc -l $input_file|awk '{print $1}'`
while read src_fd
do while read line_st
do
if [[ $line_st == $src_fd ]]
then
rate=`echo "scale=4;($count/$toltal)*100"|bc`
echo -e "[$count/$toltal]\t$rate\t$src_fd\tSkip"
count=`echo $count+|bc`
continue
fi
done <$success_log rate=`echo "scale=4;($count/$toltal)*100"|bc`
echo -e "[$count/$toltal]\t$rate%\t$src_fd" >$process_log
du_str=`du -sh $src_fd` echo -e "$count\t$du_str ... ..."
rsync -avz --delete $src_fd root@192.168.240.69:$DEST > $details_log ret=$? if [[ $ret -eq ]]
then
echo -e "[$count/$toltal]\t$rate\t$src_fd\tSuccess"
echo -e "$count\t$du_str">>$du_log
echo "$src_fd">>$success_log
count=`echo $count+|bc`
else
time_stap=`date "+%Y-%M-%d %H:%m:%S"`
echo -e "[$count/$toltal]\t$rate\t$src_fd\tFailure"
echo -e "[$count/$toltal]\t$rate\t$src_fd\tFailure\t$time_stap" >>$failure_log
du_str=""
count=`echo $count+|bc`
break
fi
done <$input_file echo "Summary:"
echo "====================================="
echo "Success list:"
echo "-------------------------------------"
cat $success_log
echo "Failure list:"
echo "-------------------------------------"
cat $failure_log
echo "Last one:"
echo "-------------------------------------"
cat $process_log
备注
- 因为目录太大,可以拆片执行。比如 cat ../folder_list.txt | sed -n '1,300p' > fdlist.txt 每300行作为一个输入文件,这样可以并行执行。
- rsync走ssh-ftp传输时要输入密码的,可以提前做ssh-public-key配好就不会被阻断了。
- 因bash兼容性问题,调试前将rsync改为 -dry-run 模式,可能不同的linux发行版执行时会出错。
rsync续传大目录一例的更多相关文章
- 30分钟玩转Net MVC 基于WebUploader的大文件分片上传、断网续传、秒传(文末附带demo下载)
现在的项目开发基本上都用到了上传文件功能,或图片,或文档,或视频.我们常用的常规上传已经能够满足当前要求了, 然而有时会出现如下问题: 文件过大(比如1G以上),超出服务端的请求大小限制: 请求时间过 ...
- Android应用开发之使用Socket进行大文件断点上传续传
http://www.linuxidc.com/Linux/2012-03/55567.htm http://blog.csdn.net/shimiso/article/details/8529633 ...
- NuGet包断线续传下载
NuGet包断线续传下载(金庆的专栏)NuGet是VC的扩展,用来下载依赖包.NuGet下载没有断线续传,下载源又很容易断开. https://nuget.org/api/v2/ https:// ...
- vue上传大文件控件
文件上传是 Web 开发肯定会碰到的问题,而文件夹上传则更加难缠.网上关于文件夹上传的资料多集中在前端,缺少对于后端的关注,然后讲某个后端框架文件上传的文章又不会涉及文件夹.今天研究了一下这个问题,在 ...
- Web上传大文件的解决方案
需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制. 第一步: 前端修改 由于项目使用的是 ...
- js+分布上传大文件
文件夹上传:从前端到后端 文件上传是 Web 开发肯定会碰到的问题,而文件夹上传则更加难缠.网上关于文件夹上传的资料多集中在前端,缺少对于后端的关注,然后讲某个后端框架文件上传的文章又不会涉及文件夹. ...
- web页面上传大文件有没有好的解决方案
本人在2010年时使用swfupload为核心进行文件的批量上传的解决方案.见文章:WEB版一次选择多个文件进行批量上传(swfupload)的解决方案. 本人在2013年时使用plupload为核心 ...
- QQ上传大文件为什么这么快
今天和同事在群里讨论“QQ上传大文件/QQ群发送大文件时,可以在极短的时间内完成”是如何做到的. 有时候我们通过QQ上传一个几百M的文件,竟然只用了几秒钟,从带宽上限制可以得出,实际上传文件是不可能的 ...
- php无法上传大文件完美解决方案
php.ini无法上传大文件完美解决办法 1.打开php.ini(打开方式就不用说了,百度一大堆) 2.查找post_max_size 表单提交最大数值,此项不是限制上传单个文件的大小,而是针对整个表 ...
随机推荐
- keras中的mini-batch gradient descent (转)
深度学习的优化算法,说白了就是梯度下降.每次的参数更新有两种方式. 一. 第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度.这种方法每更新一次参数都要把数据集里的所有样本都看 ...
- 持续集成工具-Jenkins 使用介绍
Jenkins 是一个可扩展的持续集成引擎,可以为我们提供代码自动编译.打包和发布工作,减少部署成本. 一.安装与启动 Jenkins 提供了多种便捷的安装方式,比较推荐使用执行 war 包的方式. ...
- 《Kubernetes权威指南》——运维技巧
1 Node的隔离和恢复 方法1: 创建新的Node配置文件指定spec.unschedulable: true 通过kubectl replace完成对Node的状态修改 kubectl repla ...
- MySQL数据库设计规范
1. 规范背景与目的 MySQL数据库与 Oracle. SQL Server 等数据库相比,有其内核上的优势与劣势.我们在使用MySQL数据库的时候需要遵循一定规范,扬长避短.本规范旨在帮助或指导R ...
- Docker两种方式进入后台运行的容器
1.在启动容器的时候,有时候我们加了参数-d,这时容器自动进入后台运行.如果我们要进入容器,该怎么办?通常使用docker attach命令和nsenter工具. 2.docker attach是Do ...
- 分布式锁之redisson
redisson是redis官网推荐的java语言实现分布式锁的项目.当然,redisson远不止分布式锁,还包括其他一些分布式结构.详情请移步:https://github.com/mrniko/r ...
- 自动化发布-GitLab WEB Hooks 配置
钩子(hooks) hooks是在特定事件发生之前或之后执行特定脚本代码功能(从概念上类比,就与监听事件.触发器之类的东西类似). Git hooks就是那些在Git执行特定事件(如commit.pu ...
- Deep learning with Python 学习笔记(10)
生成式深度学习 机器学习模型能够对图像.音乐和故事的统计潜在空间(latent space)进行学习,然后从这个空间中采样(sample),创造出与模型在训练数据中所见到的艺术作品具有相似特征的新作品 ...
- Java提高篇之抽象类与接口
接口和内部类为我们提供了一种将接口与实现分离的更加结构化的方法. 抽象类与接口是java语言中对抽象概念进行定义的两种机制,正是由于他们的存在才赋予java强大的面向对象的能力.他们两者之间对抽象概念 ...
- IdentityServer4 中文文档 -6- (简介)示例服务器和测试
IdentityServer4 中文文档 -6- (简介)示例服务器和测试 原文:http://docs.identityserver.io/en/release/intro/test.html 目 ...