Linux命令之md5sum

1. 背景

在网络传输、设备之间转存、复制大文件等时,可能会出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中,容易出现。那么校验文件的完整性,也是势在必行的。

md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容,与文件名无关,也就是文件内容相同,其md5值相同。md5值是一个128位的二进制数据,转换成16进制则是32(128/4)位的进制值。

md5校验,有很小的概率不同的文件生成的md5可能相同。比md5更安全的校验算法还有SHA*系列的。

在网络传输时,我们校验源文件获得其md5sum,传输完毕后,校验其目标文件,并对比如果源文件和目标文件md5 一致的话,则表示文件传输无异常。否则说明文件在传输过程中未正确传输。

2. 重要的选项

  • -b 以二进制模式读入文件内容
  • -t 以文本模式读入文件内容
  • -c 根据已生成的md5值,对现存文件进行校验
  • --status 校验完成后,不生成错误或正确的提示信息,可以通过命令的返回值来判断。

3. 使用举例

  • 生成文件md5值
md5sum file
   1: [root@master lianxi]# md5sum data
   2: 0a6de444981b68d6a049053296491e49  data
1: [root@master lianxi]# md5sum *   2: 0a6de444981b68d6a049053296491e49  data   3: 13df384c47dd2638fd923f60c40224c6  data2

     md5sum校验的是文件内容,与文件名无关

  • 以文本模式或二进制模式读入文件并对其进行校验

-b 以二进制模式读入内容
        -t 以文本模式读入文件内容进行校验
        虽然是不同的读入模式,但是在进行求md5的时候,是一样的,因为是逐位校验的。
        如下文本文件,无论通过哪种模式读取md5都一致。

1: [root@master lianxi]# file data
2: data: ASCII text
3: [root@master lianxi]# md5sum data
4: 0a6de444981b68d6a049053296491e49  data
5: [root@master lianxi]# md5sum -b data
6: 0a6de444981b68d6a049053296491e49 *data
7: [root@master lianxi]# md5sum -t data
8: 0a6de444981b68d6a049053296491e49  data
  • md5值重定向

将生成md5值重定向到指定的文件,通常文件的扩展名我们会命为.md5

1: [root@master lianxi]# md5sum data > data.md5
   2: [root@master lianxi]# md5sum data
   3: 0a6de444981b68d6a049053296491e49  data
   4: [root@master lianxi]# cat data.md5
   5: 0a6de444981b68d6a049053296491e49  data
  • 将多个文件的md5重定向到指定的文件

每个文件的md5生成为一行

1: [root@master lianxi]# ls
   2: data  data.bak  data.md5  d.md5
   3: [root@master lianxi]# md5sum data* > d.md5
   4: [root@master lianxi]# cat d.md5
   5: 0a6de444981b68d6a049053296491e49  data
   6: 0a6de444981b68d6a049053296491e49  data.bak
   7: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
  • 重定向追加

这里新增文件ls,单独求其md5,将其md5追加到文件中

1: [root@master lianxi]# cp /bin/ls .
   2: [root@master lianxi]# ls
   3: data  data.bak  data.md5  d.md5  ls
   4: [root@master lianxi]# md5sum ls >> d.md5
   5: [root@master lianxi]# cat d.md5
   6: 0a6de444981b68d6a049053296491e49  data
   7: 0a6de444981b68d6a049053296491e49  data.bak
   8: 0bd94658869c53cdcdf35a0f7de93e01  data.md5
   9: c6337b20f3c159544bff5cf622391f9e  ls
  • md5校验

-c选项来对文件md5进行校验。校验时,根据已生成的md5来进行校验。生成当前文件的md5,并和之前已经生成的md5进行对比,如果一致,则返回OK,否则返回错误信息
         md5sum –c d.md5

1: [root@master lianxi]# md5sum -c d.md5
   2: data: OK
   3: data.bak: OK
   4: data.md5: OK
   5: ls: OK

修改文件后,文件md5变化

1: [root@master lianxi]# ls
   2: data
   3: [root@master lianxi]# md5sum data
   4: 2360752c3368ca4f89169f5ecc06e383  data
   5: [root@master lianxi]# md5sum data  > data.md5
   6: [root@master lianxi]# echo "lwg" >> data
   7: [root@master lianxi]# md5sum data
   8: 287d237083a42f09785daa46a5fa3afe  data
   9: [root@master lianxi]# md5sum -c data.md5
   10: data: FAILED
   11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

--status,不显示校验信息,以命令返回值来判断
         校验一致返回0,不一致返回1

1: [root@master lianxi]# md5sum -c data.md5
   2: data: FAILED
   3: md5sum: WARNING: 1 of 1 computed checksum did NOT match
   4: [root@master lianxi]# md5sum -c --status data.md5
   5: [root@master lianxi]# echo $?
   6: 1
  • 多个文件文件校验和grep连用

通过grep将正确的信息过滤掉

1: [root@master lianxi]# md5sum -c ../value.md5
   2: acpid: OK
   3: acpid.1: OK
   4: anaconda.log: OK
   5: anaconda.syslog: OK
   6: anaconda.xlog: OK
   7: boot.log: OK
   8: boot.log.1: OK
   9: ...
   10: ...
   11: 省略中间部分
  12: ...
   13: ...
   14: yum.log.2: OK  15: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     1: [root@master lianxi]# md5sum -c ../value.md5 | grep -v OK
     2: md5sum: WARNING: 1 of 56 computed checksums did NOT match
     3: cron.1: FAILED

特殊说明
1)md5sum 是校验文件内容,与文件名是否相同无关

2)md5sum值逐位校验,所以文件越大,校验时间越长。

总结
通过md5sum来校验生成文件校验码,来发现文件传输(网络传输、复制、本地不同设备间的传输)异常造成的文件内容不一致的情况。

工作 实践应用场景:

需要比较2个rc1.tar.gz 包和rc2.tar.gz两个包,变更是不是和开发说的一致

1.获取包,确保包正确无误

获取包后,验证包的MD5值:md5sum rc*.tar.gz

2. 解压缩到指定目录

确保对应的目录存在

tar -zxvf  rc1.tar.gz -C ./test_rc1

tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 递归生成各文件的的MD5值

find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比较两文件的MD5值

diff -c rc1_md5.txt  rc2_md5.txt

或者用UltraCompare Professional比对结果

(0)

相关推荐

  • Linux命令小实践

    当拿到公司的硬盘数据以后,需要检查数据传输的完整性,然后备份! 公司返回的数据包括测序仪的原始下机数据(Raw data)和过滤后数据(Clean data). 检查数据传输的完整性就是md5校验,看 ...

  • 小白必学干货:利用 Linux 查找重复文件

    方法一:使用Find命令 本部分算是对find强大功能的扩展使用方法说明.在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找 ...

  • 大于2G的文件如何免费使用奶牛快传

    他们依然采用传统的本地上传方式,比如FileZilla(三大平台),taransmit(MacOS)等软件(这两个软件很常用,Transmit我之前在局域网的服务器中使用很方便,网速很快,但是在服务器 ...

  • Linux重要命令

    MD5算法常常被用来验证网络文件传输的完整性,防止文件被人篡改.MD5 全称是报文摘要算法(Message-Digest Algorithm 5),此算法对任意长度的信息逐位进行计算,产生一个二进制长 ...

  • linux之使用md5sum命令比较两个文件是否一样

    linux之使用md5sum命令比较两个文件是否一样

  • Debian应用-第四部分-openssl用法详解

    OpenSSL 是一个开源项目,其组成主要包括一下三个组件: openssl:多用途的命令行工具 libcrypto:加密算法库 libssl:加密模块应用库,实现了ssl及tls openssl可以 ...

  • Linux命令route显示或管理路由表-linux运维学习

    route命令可以显示或管理Linux系统的路由表,route命令设置的路由主要是静态路由.掌握Linux命令对于Linux运维来说是必备技能,对于Linux运维工作起着重要的作用.那么route命令 ...

  • 程序运行时调整优先级用什么命令?Linux命令

    Linux运维管理工作中,有程序在运行时,如果需要调整优先级,会用到什么命令?Linux命令众多运维工作中经常会用到的,是Linux运维必备技能知识点.那么对于初学Linux运维的人来说,牢记Linu ...

  • Linux命令中交互式命令都有哪些?Linux基础

    交互式命令就是在top命令执行过程中使用的一些命令.top命令用于实时地对系统处理器状态进行监控,它能够实时地显示系统中各个进程的资源占用状况.该命令可以按照CPU的使用.内存的使用和执行时间对系统任 ...

  • 这些最常用的Linux命令,每一条都应该会,没有借口!

    linux命令是对Linux系统进行管理的命令.对于Linux系统来说,无论是中央处理器.内存.磁盘驱动器.键盘.鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心. 线上查询及帮助 ...

  • ss命令查看网络状态参数选项有哪些?Linux命令

    ss命令是类似并将取代netstat的工具,它能用来查看网络状态信息,包括TCP.UDP连接.端口等.netstat命令用于显示本机网络的连接状态.运行端口和路由表等信息.而ss命令优点是能够显示更多 ...

  • 测试主机网络连通性ping命令参数选项 Linux命令

    ping命令可用于测试主机之间网络的连通性.执行ping命令会使用ICMP传输协议,发出要求回应的信息,若远端主机的网络功能没有问题,就会回应该信息,因而可得知该主机运作正常.那么Linux运维常用命 ...

  • wget命令优势及参数选项有什么?Linux命令

    wget命令用于从网络上下载某些资料,该命令对于能够连接到互联网的Linux系统的作用非常大,可以直接从网络上下载自己所需要的文件.命令行下载工具wget是Linux运维管理人员常用的核心命令之一.那 ...

  • 监听网络流量命令tcpdump学习知识?Linux命令

    tcpdump命令是一个截获网络数据包的包分析工具.tcpdump可以将网络中传送的数据包的"头"完全截获下来以提供分析.它支持针对网络层.协议.主机.端口等的过滤,并支持与.或. ...