情景介绍

平时工作中,我习惯使用rz从本地上传文件到服务器,sz从服务器下载文件到本地,但对传输文件大小有限制,例如排查线上jvm的问题,需要生成了dump文件,可能有10G大,超过了限制,怎么下载呢?

拆分文件命令之split

语法

split [-<行数>][-l<行数>][-b<字节>][-C<字节>][要切割的文件][输出文件名的前缀][-a<后缀长度>]

-或-l:指定每多少行切成一个小文件

-b:指定每多少字节切成一个小文件,这里也可以指定K、M、G等单位

-C:与-b类似,但在切割时会尽量维持每行的完整性

输出文件名的前缀:设置拆分后文件的名称前缀,split会自动在前缀后面加上编号,默认从aa开始

-a:默认后缀长度是2,即按 aa,ab,ac的顺序排序

split命令和cat命令可以完成上面的难题,排查线上问题的现场已经没有了,所以为了演示,用dd命令(对dd命令不了解的也可以学下,因为这次重点介绍split,所以dd暂且不介绍)创建一个400MB的文件,文件名是adsearch.hprof,这里假设400MB的大小就超过了服务器的下载限制

dd if=/dev/zero bs=1024 count=409600 of=adsearch.hprof

如图所示,创建了一个400MB的文件

那我把adsearch.hprof文件按100MB大小拆分,可以拆分成4个文件

split -b 100M adsearch.hprof

可以看到在执行完split命令后,目录下生成了四个相同大小 xaa、xab、xac、xad四个100MB的小文件。因为我们没有指定前缀,就采用了默认的前缀x,后面跟着aa、ab、ac、ad。我们也可以指定前缀,比如我把刚刚生成的四个小文件删掉,用下面的命令重新切分下

split -b 100M adsearch.hprof adsearch-

合并文件之cat

把大文件切分后,我们就可以把小文件下载到本地,然后把他们再拼接起来

// 用通配符的形式,要保证该目录下没有其他以adsearch-a为前缀的文件
cat adsearch-a* > adsearch.hprof
// 或者指定文件进行拼接
cat adsearch-aa adsearch-ab adsearch-ac adsearch-ad > adsearch.hprof

备注

上面的操作我是在win本上的gitbash操作的,有cat命令

那如果没有安装gitbash只有cmd呢?

可以使用copy /b 命令来拼接,其中 /b 代表指定以二进制格式进行复制

copy /b adsearch-aa + adsearch-ab + adsearch-ac + adsearch-ad adsearch.hprof

校验

经过拆分-合并后,两个文件一样吗?这是我们主要关心的问题,我们对文件做一个md5,看结果是否相等,就可以判断文件是否一样了

原始文件的md5

合并后文件的md5(gitbash)

合并后文件的md5(cmd)

经过对前后文件的md5值比价,结果一致,说明我们的操作没有问题

小结

当我们下载或上传相对较大的文件时,可以使用split把大文件拆分成小文件,然后用cat命令把这些小文件重新拼接成大文件

5分钟学linux命令之split的更多相关文章

  1. 小白学linux命令

    小白是景女神全栈开发股份有限公司的一名财务实习员工,经过3个月的实习期,小白是过五关斩六将啊!终于成为了公司的一名正式员工,而且收到了景总亲自发来贺喜的邮件:“欢迎你加入大家庭,公司也本着员工全面发展 ...

  2. 菜鸟学Linux命令:find命令 查找文件

    find命令是Linux下最常用的命令之一,灵活的使用find命令,你会发现查找文件变得十分简单. 命令格式 find [指定查找目录]  [查找规则(选项)]  [查找完后执行的动作] 参数规则 - ...

  3. Linux 命令之split(将一个大文件根据行数平均分成若干个小文件)

    把一个 txt 文件导入到 excel 中,但是 excel 单列支持的行数为 1048576,而我需要导入的 txt 文件总共有 7945674 ,我们无法一次性将整个 txt 文件里面的内容导入到 ...

  4. 菜鸟学Linux命令:nohup命令启动程序

    在UNIX/LINUX中,普通进程用&符号放到后台运行,如果启动该程序的控制台logout,则该进程随即终止. 要实现守护进程,一种方法是按守护进程的规则去编程,比较麻烦:另一种方法是仍然用普 ...

  5. 菜鸟学Linux命令:lsof命令 查找指定用户、进程、端口打开的文件

    lsof,list open files, 是一个列出当前系统打开文件的工具.在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件. 命令格式:ls ...

  6. 菜鸟学Linux命令:tar命令 压缩与解压缩

    tar命令可以为linux的文件和目录创建档案.利用tar,可以为某一特定文件创建档案(备份文件),也可以在档案中改变文件,或者向档案中加入新的文件. tar最初被用来在磁带上创建档案,现在,用户可以 ...

  7. 菜鸟学Linux命令:ssh命令 远程登录

    1.查看SSH客户端版本 有的时候需要确认一下SSH客户端及其相应的版本号.使用ssh -V命令可以得到版本号.需要注意的是,Linux一般自带的是OpenSSH: 下面的例子即表明该系统正在使用Op ...

  8. 菜鸟学Linux命令:chmod命令和数字文件权限

    chmod是一条在Unix系统中用于控制用户对文件的权限的命令(change mode单词前缀的组合)和函数.只有文件所有者和超级用户可以修改文件或目录的权限.可以使用绝对模式,符号模式指定文件的权限 ...

  9. 菜鸟学Linux命令:grep配合ls等使用

    linux grep命令 (global search regular expression(RE) and print out the line )是一种强大的文本搜索工具,它能使用正则表达式搜索文 ...

随机推荐

  1. (四十二)c#Winform自定义控件-进度条扩展

    前提 入行已经7,8年了,一直想做一套漂亮点的自定义控件,于是就有了本系列文章. GitHub:https://github.com/kwwwvagaa/NetWinformControl 码云:ht ...

  2. Mac忘记MySQL root密码解决方法(亲测有效)

    重置MySQL root密码 重置MySQL root用户的密码: 1)新建一个文本文件sql.txt,写入修改用户密码的SQL语句. MySQL 5.7.6及更高版本写这句: ALTER USER ...

  3. HTML+JavaScript自己动手做日历

    当我们需要在页面中显示某月的事项,或是选择某一段日期时,常常要使用到日历组件.这一组件同样有着许多现成的类库,然而亲自动手开发一个日历,从中了解其实现原理也是非常必要的.在本例中我们就将制作一款非常经 ...

  4. unity_小功能实现(碰撞检测)

    1.触发器Trigger:勾选IsTrigger属性 //当player刚进入触发区域的时刻发生触发检测,比如在靠近门的某个区域门一直处于开着状态 void OnTriggerEnter(Collid ...

  5. Codeforces 1006F

    题意略. 思路: 双向bfs. 如图,对于曼哈顿距离为5的地方来说,除去两端的位置,其他位置的状态不会超过曼哈顿距离为4的地方的状态的两倍. 所以,最大曼哈顿距离为n + m.最多的状态不过2 ^ ( ...

  6. Codeforces 814D

    题意略. 思路: 由于不重合这个性质,我们可以将每一个堆叠的圆圈单独拿出来考虑,而不用去考虑其他并列在同一层的存在, 在贪心解法下,发现,被嵌套了偶数层的圆圈永远是要被减去的,而奇数层的圆圈是要加上的 ...

  7. 一 下载Java的JDK及配置环境变量

    1.下载JDK地址 https://www.oracle.com/technetwork/java/javase/downloads/index.html 2.点击download 3.安装JDK 我 ...

  8. SCRUM的三个工件

    转自:http://www.scrumcn.com/agile/scrum-knowledge-library/scrum.html#tab-id-6 Scrum 的工件以不同的方式展现工作和价值,可 ...

  9. 上海学生事务中心&新华路派出所的位置

    上海学生事务中心: 地址:冠生园路401号    工作时间:9:00-17:00    电话:021-64829191 新华路派出所: 地址:新华路590弄21号    工作时间:周一至周六 9:00 ...

  10. Educational Codeforces Round 42 D. Merge Equals (set + pll)

    CF962D 题意: 给定一个数列,对于靠近左端的两个相同大小的值x可以合并成一个点.把x 乘以2 放在第二个点的位置,问最后的数列大小和每个位子的值. 思路: 利用set 配上 pair 就行了,感 ...