某客户的一台PC服务器连接了一台HP EVA 的FC
SAN存储，划了一个6T的LUN分作一个单独的VG使用，在某一次异常掉电之后，发现该VG完全丢失，使用vgs/pvs/lvs命令均无法找到此VG及PV、LV，但在/dev下能看到SAN存储的两条路径/dev/sdc和/dev/sdb以及聚合出来的多路径盘/dev/mpathc。

由于LVM
VG已经丢失，数据自然是暂时不可用的，从存储管理端看到存储并无任何报错，于是怀疑是由于系统层面引发的该故障。由于LUN比较大，数据有近6T的大小，考虑到简单的一次异常关机应该不至于会导致数据全部丢失，考虑到可能是由于存储在PV上的VG元数据丢失造成的。后面从/etc/lvm/backup下面的vg信息备份文件里面找到了PV的UUID，再使用指定原PV
UUID及restorefile的方式重新pvcreate，再执行vgcfgrestore，成功找到数据，验证了以上的猜测。需要说明的是，类似这种对于VG/PV的底层操作，都可能会造成数据的永久丢失，除非是到万不得已的情况下，否则一定不要轻易在生产环境尝试此类危险操作。

下面就来模拟一下故障修复的全过程，模拟方法及环境是，使用虚拟机运行SLES
11，添加一块2GB大小的虚拟硬盘，将该虚拟硬盘创建为单独的VG，划分LV之后，格式化LV并挂载，在该LV上写入一些测试文件。再卸载LV，卸载VG，使用pvremove强制把该虚拟硬盘PV的uuid清除掉，并再次pvcreate该虚拟硬盘以重新分配一个PV
UUID，最后再从自动备份的/etc/lvm/backup/下面的文件恢复到原来PV UUID进而恢复原来的所有VG信息。

开始操作之前原有的VG/PV/LV信息

接下来将新加入的2GB大小的虚拟硬盘创建成PV/VG，并划分一个500M的LV，格式化成EXT3。
Sles11 # pvcreate /dev/sdb
Sles11 # vgcreate datavg /dev/sdb
Sles11 # lvcreate datavg –n lv01 –L 500M  
  // 创建一个500M大小名称为lv01的LV
Sles11 # mkfs.ext3 /dev/mapper/datavg-lv01  
// 格式化为ext3


上面的操作完成之后，再看一下当前的VG/PV/LV信息。
 
现在把该LV挂载起来，往里面写入一两个文件，并记录下来这些文件的大小（以便后面验证恢复回来的VG是否会丢失数据）。


接下面开始模拟把该PV的UUID重建。
Sles11 # pvdisplay /dev/sdb  
  // 查看当前的PV UUID，记录下面备用
Sles11 # umount /dev/mapper/datavg-lv01  
 // umount该LV以卸载VG
Sles11 # vgchange –an datavg  
   // 关闭该VG
Sles11 # pvremove –ff /dev/sdb  
  // 清除掉该PV的LVM标签，让它不再是PV，即抹掉PV UUID
 
此时，环境全部模拟完成，再次执行vgs&&pvs&&lvs已经完全看不到datavg和/dev/sdb的任何信息。现在整个系统的状态就跟开始提到的客户发生的故障完全一致。为了把故障搞得再大再狠一点，我们重新把/dev/sdb手动执行一次pvcreate，重新分配一个新的UUID给它。


注意看到现在的/dev/sdb的PV
UUID已经跟之前的UUID完全不一样了，现在我们就来恢复原来的VG信息及所有的文件信息。

在开始之前，需要提一下，Linux的LVM会默认存储用户对PV/VG/LV的每一步操作，并自动把当前的VG的信息备份到一个文件里面，位置是/etc/lvm/backup/VG名。这个文件里面记录的东西大概跟vgdisplay/pvdisplay/lvdisplay输出的信息一致，里面也包括了对于恢复VG信息至关重要的PV
UUID。这个文件记录的信息大概就相当于整个VG的元数据，这个文件非常重要，我们就是通过这个文件来恢复整个VG的信息的，下面是这个文件的不完整截图。


下面开始执行恢复。
Sles11 # pvcreate /dev/sdb -u
X4xYDe-VSiw-Gzh3-Ih78-dC08-xBKF-tGWc5s --restorefile
/etc/lvm/backup/datavg
// 使用原来的PV UUID来创建PV，并使用自动备份的文件来恢复信息
Sles11 # vgcfgrestore datavg  
   // 恢复datavg的vg信息
Sles11 # vgs && pvs && lvs

 

可以看到，执行完以上命令之后，PV及VG/LV都恢复回来了。现在来验证一下文件是不是都还在。
Sles11 # vgchange –ay datavg  
  // 激活该vg
挂载上该LV之后，再查看里面的文件信息，发现跟之前的完全一样，验证成功。


通过该案例，可以了解到，Linux对于LVM的操作是提供了一些灾难恢复的选项的，而通常情况下我们对PV/VG/LV的操作，除了格式化LV外，基本上都不会破坏实际存储的数据，只是对LVM的元数据进行操作。而此例实质也就是恢复了LVM的元数据而已。

最后再次提醒，在生产环境上执行此类VG的底层命令一定要谨慎再谨慎，毕竟数据无价，要养成经常备份数据的习惯。

一次Linux LVM VG丢失完整找回过程记录的更多相关文章

  1. linux下can调试工具canutils安装过程记录

    https://www.cnblogs.com/chenfulin5/p/6797756.html 一.下载源码 下载canutils和libsocketcan libsocketcan地址:http ...

  2. Linux下kafka集群搭建过程记录

    环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列,所以需要有zookeeper单机或者集群环境. 三台服务器: 172.16.18.198 k8s- ...

  3. Linux LVM学习总结——创建卷组VG

    在Linux平台如何创建一个卷组(VG)呢?下面简单介绍一下卷组(VG)的创建步骤.本文实验平台为Red Hat Enterprise Linux Server release 6.6 (Santia ...

  4. Linux LVM学习总结——扩展卷组VG

    Linux服务器由于应用变更或需求的缘故,有可能出现分区空间不足的情况,此时往往需要进行扩容(要增加分区的空间),而采用LVM的好处就是可以在不需停机的情况下可以方便地调整各个分区大小.如下所示,分区 ...

  5. linux lvm管理基础教程

    linux lvm管理基础教程 本人是在redhat7.x系统上亲测lvm管理功能,至于文中所受的CentOS 6 没有亲自试过. 本文来自:https://geekpeek.net/lvm-phys ...

  6. Linux LVM学习总结——删除物理卷

    本篇介绍LVM管理中的命令vgreduce, pvremove.其实前面几篇中以及有所涉及. vgreduce:通过删除LVM卷组中的物理卷来减少卷组容量.注意:不能删除LVM卷组中剩余的最后一个物理 ...

  7. Linux LVM简明教程

    逻辑卷管理LVM是一个多才多艺的硬盘系统工具.无论在Linux或者其他类似的系统,都是非常的好用.传统分区使用固定大小分区,重新调整大小十分麻烦.但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物 ...

  8. LINUX LVM和快照卷配置和管理

    具体参考这个文章把: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_042_lvm.html 1.LVM是什么 逻辑卷管理LVM是一个多 ...

  9. Linux LVM卷组管理

    Linux LVM卷组管理 由于传统的磁盘管理不能对磁盘进行磁盘管理,因此诞生了LVM技术,LVM技术最大的特点就是对磁盘进行动态管理. 由于LVM的逻辑卷的大小更改可以进行动态调整,且不会出现丢失数 ...

随机推荐

  1. Java多线程编程模式实战指南(一)：Active Object模式--转载

    本文由黄文海首次发布在infoq中文站上:http://www.infoq.com/cn/articles/Java-multithreaded-programming-mode-active-obj ...

  2. 我的Java历程_写出这个数

    lzJava基础进行中,今天偶然间看到的一个题目: 读入一个自然数n,计算其各位数字之和,用汉语拼音写出和的每一位数字.如下代码: import java.util.*;public class Ma ...

  3. sass的用法小结（一）

    1. 使用变量; sass让人们受益的一个重要特性就是它为css引入了变量.你可以把反复使用的css属性值 定义成变量,然后通过变量名来引用它们,而无需重复书写这一属性值.或者,对于仅使用过一 次的属 ...

  4. 洛谷 P3203 [HNOI2010]弹飞绵羊 分块

    我们只需将序列分成 n\sqrt{n}n​ 块,对于每一个点维护一个 val[i]val[i]val[i],to[i]to[i]to[i],分别代表该点跳到下一个块所需要的代价以及会跳到的节点编号.在 ...

  5. 【BZOJ1014】【JSOI2008】火星人prefix

    题意: Description 火星人最近研究了一种操作:求一个字串两个后缀的公共前缀.比方说,有这样一个字符串:madamimadam,我们将这个字符串的各个字符予以标号:序号: 1 2 3 4 5 ...

  6. [agc004d]salvage robot

    题意: 别问我谁翻译的 虫合虫莫国的领土我们可以抽象为H*W的笼子,在这虫合土上,有若干个机器人和一个出口,其余都是空地,每次虫合虫莫会要求让所有的机器人向某个方向移动一步,当机器人移动到出口时会被虫 ...

  7. tinymce原装插件源码分析（四）-fullscreen

    fullscreen 作为一款文本编辑器,全屏功能是非常有必要的.在插件中主要是修改一些css style和触发resize事件. style问题(反例): 见github源码:https://git ...

  8. Ajax通过script src特性加载跨域文件 jsonp

    <!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>Do ...

  9. HDU-2087 剪花布条 字符串问题 KMP算法 查匹配子串

    题目链接:https://cn.vjudge.net/problem/HDU-2087 题意 中文题咯 一块花布条,里面有些图案,另有一块直接可用的小饰条,里面也有一些图案.对于给定的花布条和小饰条, ...

  10. 网页里如何使用js禁用F12事件

    接上一篇,突然想起来,类似于网页里如何使用js禁用鼠标右击事件,还有禁用F12事件也可以禁用一下,总所周知,对于Web开发人员来说,常常要进行界面的调试.使用F12调试工具能够很方便地进行调试,查看h ...