Linux命令之md5sum

 原文:https://www.cnblogs.com/zhuxiaohou110908/p/5786893.html

1. 背景

在网络传输、设备之间转存、复制大文件等时,可能会出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中,容易出现。那么校验文件的完整性,也是势在必行的。

md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容,与文件名无关,也就是文件内容相同,其md5值相同。md5值是一个128位的二进制数据,转换成16进制则是32(128/4)位的进制值。

md5校验,有很小的概率不同的文件生成的md5可能相同。比md5更安全的校验算法还有SHA*系列的。

在网络传输时,我们校验源文件获得其md5sum,传输完毕后,校验其目标文件,并对比如果源文件和目标文件md5 一致的话,则表示文件传输无异常。否则说明文件在传输过程中未正确传输。

2. 重要的选项

  • -b 以二进制模式读入文件内容
  • -t 以文本模式读入文件内容
  • -c 根据已生成的md5值,对现存文件进行校验
  • --status 校验完成后,不生成错误或正确的提示信息,可以通过命令的返回值来判断。

3. 使用举例

  • 生成文件md5值
md5sum file
1: [root@master lianxi]# md5sum data
2: 0a6de444981b68d6a049053296491e49 data
   1: [root@master lianxi]# md5sum *
2: 0a6de444981b68d6a049053296491e49 data
3: 13df384c47dd2638fd923f60c40224c6 data2

     md5sum校验的是文件内容,与文件名无关

  • 以文本模式或二进制模式读入文件并对其进行校验

-b 以二进制模式读入内容
        -t 以文本模式读入文件内容进行校验
        虽然是不同的读入模式,但是在进行求md5的时候,是一样的,因为是逐位校验的。
        如下文本文件,无论通过哪种模式读取md5都一致。

1: [root@master lianxi]# file data
2: data: ASCII text
3: [root@master lianxi]# md5sum data
4: 0a6de444981b68d6a049053296491e49 data
5: [root@master lianxi]# md5sum -b data
6: 0a6de444981b68d6a049053296491e49 *data
7: [root@master lianxi]# md5sum -t data
8: 0a6de444981b68d6a049053296491e49 data
  • md5值重定向

将生成md5值重定向到指定的文件,通常文件的扩展名我们会命为.md5

   1: [root@master lianxi]# md5sum data > data.md5
2: [root@master lianxi]# md5sum data
3: 0a6de444981b68d6a049053296491e49 data
4: [root@master lianxi]# cat data.md5
5: 0a6de444981b68d6a049053296491e49 data
  • 将多个文件的md5重定向到指定的文件

每个文件的md5生成为一行

   1: [root@master lianxi]# ls
2: data data.bak data.md5 d.md5
3: [root@master lianxi]# md5sum data* > d.md5
4: [root@master lianxi]# cat d.md5
5: 0a6de444981b68d6a049053296491e49 data
6: 0a6de444981b68d6a049053296491e49 data.bak
7: 0bd94658869c53cdcdf35a0f7de93e01 data.md5
  • 重定向追加

这里新增文件ls,单独求其md5,将其md5追加到文件中

   1: [root@master lianxi]# cp /bin/ls .
2: [root@master lianxi]# ls
3: data data.bak data.md5 d.md5 ls
4: [root@master lianxi]# md5sum ls >> d.md5
5: [root@master lianxi]# cat d.md5
6: 0a6de444981b68d6a049053296491e49 data
7: 0a6de444981b68d6a049053296491e49 data.bak
8: 0bd94658869c53cdcdf35a0f7de93e01 data.md5
9: c6337b20f3c159544bff5cf622391f9e ls
  • md5校验

-c选项来对文件md5进行校验。校验时,根据已生成的md5来进行校验。生成当前文件的md5,并和之前已经生成的md5进行对比,如果一致,则返回OK,否则返回错误信息
         md5sum –c d.md5

   1: [root@master lianxi]# md5sum -c d.md5
2: data: OK
3: data.bak: OK
4: data.md5: OK
5: ls: OK

修改文件后,文件md5变化

   1: [root@master lianxi]# ls
2: data
3: [root@master lianxi]# md5sum data
4: 2360752c3368ca4f89169f5ecc06e383 data
5: [root@master lianxi]# md5sum data > data.md5
6: [root@master lianxi]# echo "lwg" >> data
7: [root@master lianxi]# md5sum data
8: 287d237083a42f09785daa46a5fa3afe data
9: [root@master lianxi]# md5sum -c data.md5
10: data: FAILED
11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

--status,不显示校验信息,以命令返回值来判断
         校验一致返回0,不一致返回1

   1: [root@master lianxi]# md5sum -c data.md5
2: data: FAILED
3: md5sum: WARNING: 1 of 1 computed checksum did NOT match
4: [root@master lianxi]# md5sum -c --status data.md5
5: [root@master lianxi]# echo $?
6: 1
  • 多个文件文件校验和grep连用

通过grep将正确的信息过滤掉

   1: [root@master lianxi]# md5sum -c ../value.md5
2: acpid: OK
3: acpid.1: OK
4: anaconda.log: OK
5: anaconda.syslog: OK
6: anaconda.xlog: OK
7: boot.log: OK
8: boot.log.1: OK
9: ...
10: ...
11: 省略中间部分
12: ...
13: ...
14: yum.log.2: OK 15: md5sum: WARNING: 1 of 56 computed checksums did NOT match
1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK
2: md5sum: WARNING: 1 of 56 computed checksums did NOT match
3: cron.1: FAILED

特殊说明
1)md5sum 是校验文件内容,与文件名是否相同无关

2)md5sum值逐位校验,所以文件越大,校验时间越长。

总结
通过md5sum来校验生成文件校验码,来发现文件传输(网络传输、复制、本地不同设备间的传输)异常造成的文件内容不一致的情况。

工作 实践应用场景:

需要比较2个rc1.tar.gz 包和rc2.tar.gz两个包,变更是不是和开发说的一致

1.获取包,确保包正确无误

获取包后,验证包的MD5值:md5sum rc*.tar.gz

2. 解压缩到指定目录

确保对应的目录存在

tar -zxvf  rc1.tar.gz -C ./test_rc1

tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 递归生成各文件的的MD5值

find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比较两文件的MD5值

diff -c rc1_md5.txt  rc2_md5.txt

或者用UltraCompare Professional比对结果

(转)Linux命令之md5sum的更多相关文章

  1. linux命令学习——md5sum

    1.简介 MD5算法常常被用来验证网络文件传输的完整性,防止文件被人篡改.MD5 全称是报文摘要算法(Message-Digest Algorithm 5),此算法对任意长度的信息逐位进行计算,产生一 ...

  2. Linux命令之md5sum

    1. 背景 在网络传输.设备之间转存.复制大文件等时,可能会出现传输前后数据不一致的情况.这种情况在网络这种相对更不稳定的环境中,容易出现.那么校验文件的完整性,也是势在必行的. md5sum命令用于 ...

  3. Linux命令之乐--md5sum

    md5sum命令用于生成和校验文件的md5值.它会逐位对文件的内容进行校验,它常用于检查文件的完整性. 读取文件的MD5值 [root@new ~]# md5sum /usr/local/sbin/* ...

  4. 【转】linux命令详解:md5sum命令

    [转]linux命令详解:md5sum命令 转自:http://blog.itpub.net/29320885/viewspace-1710218/ 前言 在网络传输.设备之间转存.复制大文件等时,可 ...

  5. linux比较两个文件是否一样(linux命令md5sum使用方法)

    1.简介 MD5算法常常被用来验证网络文件传输的完整性,防止文件被人篡改.MD5 全称是报文摘要算法(Message-Digest Algorithm 5),此算法对任意长度的信息逐位进行计算,产生一 ...

  6. Linux命令整理中...

    Linux命令整理中... 最常用命令(我最近最常用的一般放在前面tipsbychsry) clear 清屏 date 显示日期 cal 显示日历 cal 2014 显示2014年的日历 shutdo ...

  7. LINUX命令总结 -------来自 水滴娃娃 的CSDN

    LINUX命令总结 标签: LINUX命令总结 2014-01-27 15:54 41039人阅读 评论(1) 收藏 举报  分类: linux(1)  版权声明:本文为博主原创文章,未经博主允许不得 ...

  8. 在 Linux 命令行中使用和执行 PHP 代码

    PHP是一个开源服务器端脚本语言,最初这三个字母代表的是“Personal Home Page”,而现在则代表的是“PHP:Hypertext Preprocessor”,它是个递归首字母缩写.它是一 ...

  9. linux 命令总结(转载)

    linux 命令总结(转载) 1. 永久更改ip ifconfig eth0 新ip 然后编辑/etc/sysconfig/network-scripts/ifcfg-eth0,修改ip 2.从Lin ...

随机推荐

  1. 读取txt文件将文本行组合成特定格式

    有一网友要求从txt文本文件读取一些数据,然后组合为特定格式的数据行.原论题如下,刚才开始的要求描述得不太清楚,后来补充完整了. Insus.NET觉得本论题可有练习文本件读取功力,因此尝试实现一下. ...

  2. const char *p; char const *p; char * const p的区别

    请看下面三种定义: const char *p; char const *p; char * const p; 首先看第一种,我们先看p,本着”从里往外”的原则,p是一个char *类型的变量,但ch ...

  3. 【转】链接任意目录下库文件(解决错误“/usr/bin/ld: cannot find -lxxx”

    netbeans构建项目也出现了同样的问题.猜测是netbeans内部就用的是-l 这种编译方式,所以需要把***.a手动改为lib***.a 原文地址:链接任意目录下库文件(解决错误“/usr/bi ...

  4. Sass和Compass设计师指南 Ben Frain 中文高清PDF扫描版​

    Sass和Compass设计师指南是<响应式Web设计:HTML5和CSS3实战>作者Ben Frain的又一力作.作者通过丰富.完整的案例,循序渐进地展示了Sass和Compass的使用 ...

  5. 在GridView控件FooterTemplate内添加记录

    在GridView控件FooterTemplate内添加记录,想实现这个功能,有几点要清楚的,这个添加铵钮是在FooterTemplate内,还是在GridView控件外部,位置不同,某些处理逻辑会有 ...

  6. 关于Unity中的UGUI优化,你可能遇到这些问题

    https://blog.uwa4d.com/archives/QA_UGUI-1.html 关于Unity中的UGUI优化,你可能遇到这些问题 作者:admin / 时间:2016年11月08日 / ...

  7. Linux 下的 etc

    /etc etc不是什么缩写,是and so on的意思 来源于 法语的 et cetera 翻译成中文就是 等等 的意思. 至于为什么在/etc下面存放配置文件, 按照原始的UNIX的说法(linu ...

  8. 洛谷P4457/loj#2513 [BJOI2018]治疗之雨(高斯消元+概率期望)

    题面 传送门(loj) 传送门(洛谷) 题解 模拟赛的时候只想出了高斯消元然后死活不知道怎么继续--结果正解居然就是高斯消元卡常? 首先有个比较难受的地方是它一个回合可能不止扣一滴血--我们得算出\( ...

  9. js初识

    01-Javascript简介   Web前端有三层: HTML:从语义的角度,描述页面结构 CSS:从审美的角度,描述样式(美化页面) JavaScript:从交互的角度,描述行为(提升用户体验) ...

  10. Python数组(一)

    一.索引 数组中的索引(下标)是从0开始递增的,你可以像下面这样使用编号来访问各个元素: test=['java','C#','C++','html','Spring'] print(test[0]) ...