某客户的一台PC服务器连接了一台HP EVA 的FC
SAN存储，划了一个6T的LUN分作一个单独的VG使用，在某一次异常掉电之后，发现该VG完全丢失，使用vgs/pvs/lvs命令均无法找到此VG及PV、LV，但在/dev下能看到SAN存储的两条路径/dev/sdc和/dev/sdb以及聚合出来的多路径盘/dev/mpathc。

由于LVM
VG已经丢失，数据自然是暂时不可用的，从存储管理端看到存储并无任何报错，于是怀疑是由于系统层面引发的该故障。由于LUN比较大，数据有近6T的大小，考虑到简单的一次异常关机应该不至于会导致数据全部丢失，考虑到可能是由于存储在PV上的VG元数据丢失造成的。后面从/etc/lvm/backup下面的vg信息备份文件里面找到了PV的UUID，再使用指定原PV
UUID及restorefile的方式重新pvcreate，再执行vgcfgrestore，成功找到数据，验证了以上的猜测。需要说明的是，类似这种对于VG/PV的底层操作，都可能会造成数据的永久丢失，除非是到万不得已的情况下，否则一定不要轻易在生产环境尝试此类危险操作。

下面就来模拟一下故障修复的全过程，模拟方法及环境是，使用虚拟机运行SLES
11，添加一块2GB大小的虚拟硬盘，将该虚拟硬盘创建为单独的VG，划分LV之后，格式化LV并挂载，在该LV上写入一些测试文件。再卸载LV，卸载VG，使用pvremove强制把该虚拟硬盘PV的uuid清除掉，并再次pvcreate该虚拟硬盘以重新分配一个PV
UUID，最后再从自动备份的/etc/lvm/backup/下面的文件恢复到原来PV UUID进而恢复原来的所有VG信息。

开始操作之前原有的VG/PV/LV信息

接下来将新加入的2GB大小的虚拟硬盘创建成PV/VG，并划分一个500M的LV，格式化成EXT3。
Sles11 # pvcreate /dev/sdb
Sles11 # vgcreate datavg /dev/sdb
Sles11 # lvcreate datavg –n lv01 –L 500M  
  // 创建一个500M大小名称为lv01的LV
Sles11 # mkfs.ext3 /dev/mapper/datavg-lv01  
// 格式化为ext3


上面的操作完成之后，再看一下当前的VG/PV/LV信息。
 
现在把该LV挂载起来，往里面写入一两个文件，并记录下来这些文件的大小（以便后面验证恢复回来的VG是否会丢失数据）。


接下面开始模拟把该PV的UUID重建。
Sles11 # pvdisplay /dev/sdb  
  // 查看当前的PV UUID，记录下面备用
Sles11 # umount /dev/mapper/datavg-lv01  
 // umount该LV以卸载VG
Sles11 # vgchange –an datavg  
   // 关闭该VG
Sles11 # pvremove –ff /dev/sdb  
  // 清除掉该PV的LVM标签，让它不再是PV，即抹掉PV UUID
 
此时，环境全部模拟完成，再次执行vgs&&pvs&&lvs已经完全看不到datavg和/dev/sdb的任何信息。现在整个系统的状态就跟开始提到的客户发生的故障完全一致。为了把故障搞得再大再狠一点，我们重新把/dev/sdb手动执行一次pvcreate，重新分配一个新的UUID给它。


注意看到现在的/dev/sdb的PV
UUID已经跟之前的UUID完全不一样了，现在我们就来恢复原来的VG信息及所有的文件信息。

在开始之前，需要提一下，Linux的LVM会默认存储用户对PV/VG/LV的每一步操作，并自动把当前的VG的信息备份到一个文件里面，位置是/etc/lvm/backup/VG名。这个文件里面记录的东西大概跟vgdisplay/pvdisplay/lvdisplay输出的信息一致，里面也包括了对于恢复VG信息至关重要的PV
UUID。这个文件记录的信息大概就相当于整个VG的元数据，这个文件非常重要，我们就是通过这个文件来恢复整个VG的信息的，下面是这个文件的不完整截图。


下面开始执行恢复。
Sles11 # pvcreate /dev/sdb -u
X4xYDe-VSiw-Gzh3-Ih78-dC08-xBKF-tGWc5s --restorefile
/etc/lvm/backup/datavg
// 使用原来的PV UUID来创建PV，并使用自动备份的文件来恢复信息
Sles11 # vgcfgrestore datavg  
   // 恢复datavg的vg信息
Sles11 # vgs && pvs && lvs

 

可以看到，执行完以上命令之后，PV及VG/LV都恢复回来了。现在来验证一下文件是不是都还在。
Sles11 # vgchange –ay datavg  
  // 激活该vg
挂载上该LV之后，再查看里面的文件信息，发现跟之前的完全一样，验证成功。


通过该案例，可以了解到，Linux对于LVM的操作是提供了一些灾难恢复的选项的，而通常情况下我们对PV/VG/LV的操作，除了格式化LV外，基本上都不会破坏实际存储的数据，只是对LVM的元数据进行操作。而此例实质也就是恢复了LVM的元数据而已。

最后再次提醒，在生产环境上执行此类VG的底层命令一定要谨慎再谨慎，毕竟数据无价，要养成经常备份数据的习惯。

一次Linux LVM VG丢失完整找回过程记录的更多相关文章

  1. linux下can调试工具canutils安装过程记录

    https://www.cnblogs.com/chenfulin5/p/6797756.html 一.下载源码 下载canutils和libsocketcan libsocketcan地址:http ...

  2. Linux下kafka集群搭建过程记录

    环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列,所以需要有zookeeper单机或者集群环境. 三台服务器: 172.16.18.198 k8s- ...

  3. Linux LVM学习总结——创建卷组VG

    在Linux平台如何创建一个卷组(VG)呢?下面简单介绍一下卷组(VG)的创建步骤.本文实验平台为Red Hat Enterprise Linux Server release 6.6 (Santia ...

  4. Linux LVM学习总结——扩展卷组VG

    Linux服务器由于应用变更或需求的缘故,有可能出现分区空间不足的情况,此时往往需要进行扩容(要增加分区的空间),而采用LVM的好处就是可以在不需停机的情况下可以方便地调整各个分区大小.如下所示,分区 ...

  5. linux lvm管理基础教程

    linux lvm管理基础教程 本人是在redhat7.x系统上亲测lvm管理功能,至于文中所受的CentOS 6 没有亲自试过. 本文来自:https://geekpeek.net/lvm-phys ...

  6. Linux LVM学习总结——删除物理卷

    本篇介绍LVM管理中的命令vgreduce, pvremove.其实前面几篇中以及有所涉及. vgreduce:通过删除LVM卷组中的物理卷来减少卷组容量.注意:不能删除LVM卷组中剩余的最后一个物理 ...

  7. Linux LVM简明教程

    逻辑卷管理LVM是一个多才多艺的硬盘系统工具.无论在Linux或者其他类似的系统,都是非常的好用.传统分区使用固定大小分区,重新调整大小十分麻烦.但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物 ...

  8. LINUX LVM和快照卷配置和管理

    具体参考这个文章把: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_042_lvm.html 1.LVM是什么 逻辑卷管理LVM是一个多 ...

  9. Linux LVM卷组管理

    Linux LVM卷组管理 由于传统的磁盘管理不能对磁盘进行磁盘管理,因此诞生了LVM技术,LVM技术最大的特点就是对磁盘进行动态管理. 由于LVM的逻辑卷的大小更改可以进行动态调整,且不会出现丢失数 ...

随机推荐

  1. 忽略PyCharm4中特定的警告提示信息

    有一种简单的方式忽略PyCharm4中的警告,光标放在下划线上,a. 等灯泡出现,点击灯泡或者b. 按下Alt和Enter键,选择'Ignore errors like this'. 或者,在设置里更 ...

  2. HttpWebRequest WebExcepton: The remote server returned an error: (407) Proxy Authentication Required.

    1. Supply the credentials of the Currently Logged on User to the Proxy object similar to this: // Be ...

  3. LAMP 建立 Wordpress 站点 Linux Apache MariaDB PHP

    使用LAMP建立Wordpress, 要求如下: 准备工作: VMware 14 CentOS 7.4 最小化 安装镜像 Wordpress 安装包,  下载 预热: 使用VMware新建4台虚拟机, ...

  4. js判断浏览器的环境（pc端，移动端，还是微信浏览器）

    window.navigator.userAgent用来区分设备和浏览器 <!DOCTYPE html> <html> <head> <meta charse ...

  5. for 的相关用法

    forEach() <!DOCTYPE html> <html> <head> <meta charset="utf-8"> < ...

  6. NodeJS学习笔记 (1)资源压缩-zlib(ok)

    原文: https://github.com/chyingp/nodejs-learning-guide/blob/master/README.md 自己的跟进学习: 概览 做过web性能优化的同学, ...

  7. [NOI2014]动物园（KMP）

    题意 题解 因为,一直用j=nxt[j]来遍历,可以遍历前i个字符所有相等的前后缀长度,所以有一个暴力的想法,就是对于每一个长度,开始遍历,记录长度小于i/2的相等的前后缀数量,最后累加即可. 但显然 ...

  8. linux 空间不够了 修改 /boot

    1>  查看空间多少:df -h2>  查看当期内核: uname -r3>  查找内核   rpm -qa | grep kernel4>  删除多余的内核 yum remo ...

  9. SQL 字符串操作函数

    SQL 字符串操作函数 学习了: https://www.cnblogs.com/wangzhe688/p/6046654.html 一.字符转换函数 1.ASCII() 返回字符表达式最左端字符的A ...

  10. Android 解决TextVIew载入自己定义字体慢的问题

    网上非常多自己定义字体样式的代码.都是告诉应该这样做: 在自己定义控件里写,可是这样写有问题,会随着界面里自己定义控件越多.Activity载入速度越慢,太多了easy造成内存泄露问题,由于你没创建一 ...