使用rsync向服务器迁移大文件

场景

本人将12G本地单文件（12G大小h5文件数据集）向Linux服务器进行大文件上传时传输失败。最初使用 scp 命令或 rsync 直接对大文件进行传输，会出现网络断开或服务器端管道破裂情况，而且一次性无法传输的话也会耗费很多时间。

步骤

为了解决此问题，可分为以下步骤进行操作：

# 打包压缩大文件
zip -r archive.zip ./bigfile
# 可选：将压缩包拆分成1G文件
# -b后输入子节 若要拆分为1G文件块 1G=1073741820 byte
split -b 1073741820 archive.zip archive_split
# 此时文件会分为很多带有字母后缀的archive_split{a, b..}之类的文件 对其进行rsync传输
# 在服务器端对传输来的文件块进行合并
cat archive_split* > new_archive.zip

rsync传输

# 传输文件
# -P,----partial     断点续传(保留那些因故没有完全传输的文件，以便加快随后的再次传输)
# -e                 以ssh方式进行数据传输, ssh -p2222 指定连接2222端口
# --progress         显示传输进度
# --bwlimit            限速, 字节/秒
# -r,--recursive     对子目录以递归模式处理
# -c, --checksum     打开校验开关，强制对文件传输进行校验。
# --delete             删除那些DST中SRC没有的文件。
# -z, --compress     对备份的文件在传输时进行压缩处理。
# --exclude=PATTERN 指定排除不需要传输的文件模式。
# --include=PATTERN 指定不排除而需要传输的文件模式。
# -v, --verbose 详细模式输出。
# -q, --quiet 精简输出模式。
# -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
rsync -P -e "ssh -p2222" --progress --compress ./archive_split* root@ip:/xxx/xxx/

解释一下上面执行命令的参数：

• -P支持断点续传，网络传输中网络断开是肯可能发生的
• --progress显示进度，方便肉眼观察
• --compress对备份文件在传输时进行压缩处理