某客户的一台PC服务器连接了一台HP EVA 的FC
SAN存储，划了一个6T的LUN分作一个单独的VG使用，在某一次异常掉电之后，发现该VG完全丢失，使用vgs/pvs/lvs命令均无法找到此VG及PV、LV，但在/dev下能看到SAN存储的两条路径/dev/sdc和/dev/sdb以及聚合出来的多路径盘/dev/mpathc。

由于LVM
VG已经丢失，数据自然是暂时不可用的，从存储管理端看到存储并无任何报错，于是怀疑是由于系统层面引发的该故障。由于LUN比较大，数据有近6T的大小，考虑到简单的一次异常关机应该不至于会导致数据全部丢失，考虑到可能是由于存储在PV上的VG元数据丢失造成的。后面从/etc/lvm/backup下面的vg信息备份文件里面找到了PV的UUID，再使用指定原PV
UUID及restorefile的方式重新pvcreate，再执行vgcfgrestore，成功找到数据，验证了以上的猜测。需要说明的是，类似这种对于VG/PV的底层操作，都可能会造成数据的永久丢失，除非是到万不得已的情况下，否则一定不要轻易在生产环境尝试此类危险操作。

下面就来模拟一下故障修复的全过程，模拟方法及环境是，使用虚拟机运行SLES
11，添加一块2GB大小的虚拟硬盘，将该虚拟硬盘创建为单独的VG，划分LV之后，格式化LV并挂载，在该LV上写入一些测试文件。再卸载LV，卸载VG，使用pvremove强制把该虚拟硬盘PV的uuid清除掉，并再次pvcreate该虚拟硬盘以重新分配一个PV
UUID，最后再从自动备份的/etc/lvm/backup/下面的文件恢复到原来PV UUID进而恢复原来的所有VG信息。

开始操作之前原有的VG/PV/LV信息

接下来将新加入的2GB大小的虚拟硬盘创建成PV/VG，并划分一个500M的LV，格式化成EXT3。
Sles11 # pvcreate /dev/sdb
Sles11 # vgcreate datavg /dev/sdb
Sles11 # lvcreate datavg –n lv01 –L 500M  
  // 创建一个500M大小名称为lv01的LV
Sles11 # mkfs.ext3 /dev/mapper/datavg-lv01  
// 格式化为ext3


上面的操作完成之后，再看一下当前的VG/PV/LV信息。
 
现在把该LV挂载起来，往里面写入一两个文件，并记录下来这些文件的大小（以便后面验证恢复回来的VG是否会丢失数据）。


接下面开始模拟把该PV的UUID重建。
Sles11 # pvdisplay /dev/sdb  
  // 查看当前的PV UUID，记录下面备用
Sles11 # umount /dev/mapper/datavg-lv01  
 // umount该LV以卸载VG
Sles11 # vgchange –an datavg  
   // 关闭该VG
Sles11 # pvremove –ff /dev/sdb  
  // 清除掉该PV的LVM标签，让它不再是PV，即抹掉PV UUID
 
此时，环境全部模拟完成，再次执行vgs&&pvs&&lvs已经完全看不到datavg和/dev/sdb的任何信息。现在整个系统的状态就跟开始提到的客户发生的故障完全一致。为了把故障搞得再大再狠一点，我们重新把/dev/sdb手动执行一次pvcreate，重新分配一个新的UUID给它。


注意看到现在的/dev/sdb的PV
UUID已经跟之前的UUID完全不一样了，现在我们就来恢复原来的VG信息及所有的文件信息。

在开始之前，需要提一下，Linux的LVM会默认存储用户对PV/VG/LV的每一步操作，并自动把当前的VG的信息备份到一个文件里面，位置是/etc/lvm/backup/VG名。这个文件里面记录的东西大概跟vgdisplay/pvdisplay/lvdisplay输出的信息一致，里面也包括了对于恢复VG信息至关重要的PV
UUID。这个文件记录的信息大概就相当于整个VG的元数据，这个文件非常重要，我们就是通过这个文件来恢复整个VG的信息的，下面是这个文件的不完整截图。


下面开始执行恢复。
Sles11 # pvcreate /dev/sdb -u
X4xYDe-VSiw-Gzh3-Ih78-dC08-xBKF-tGWc5s --restorefile
/etc/lvm/backup/datavg
// 使用原来的PV UUID来创建PV，并使用自动备份的文件来恢复信息
Sles11 # vgcfgrestore datavg  
   // 恢复datavg的vg信息
Sles11 # vgs && pvs && lvs

 

可以看到，执行完以上命令之后，PV及VG/LV都恢复回来了。现在来验证一下文件是不是都还在。
Sles11 # vgchange –ay datavg  
  // 激活该vg
挂载上该LV之后，再查看里面的文件信息，发现跟之前的完全一样，验证成功。


通过该案例，可以了解到，Linux对于LVM的操作是提供了一些灾难恢复的选项的，而通常情况下我们对PV/VG/LV的操作，除了格式化LV外，基本上都不会破坏实际存储的数据，只是对LVM的元数据进行操作。而此例实质也就是恢复了LVM的元数据而已。

最后再次提醒，在生产环境上执行此类VG的底层命令一定要谨慎再谨慎，毕竟数据无价，要养成经常备份数据的习惯。

一次Linux LVM VG丢失完整找回过程记录的更多相关文章

  1. linux下can调试工具canutils安装过程记录

    https://www.cnblogs.com/chenfulin5/p/6797756.html 一.下载源码 下载canutils和libsocketcan libsocketcan地址:http ...

  2. Linux下kafka集群搭建过程记录

    环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列,所以需要有zookeeper单机或者集群环境. 三台服务器: 172.16.18.198 k8s- ...

  3. Linux LVM学习总结——创建卷组VG

    在Linux平台如何创建一个卷组(VG)呢?下面简单介绍一下卷组(VG)的创建步骤.本文实验平台为Red Hat Enterprise Linux Server release 6.6 (Santia ...

  4. Linux LVM学习总结——扩展卷组VG

    Linux服务器由于应用变更或需求的缘故,有可能出现分区空间不足的情况,此时往往需要进行扩容(要增加分区的空间),而采用LVM的好处就是可以在不需停机的情况下可以方便地调整各个分区大小.如下所示,分区 ...

  5. linux lvm管理基础教程

    linux lvm管理基础教程 本人是在redhat7.x系统上亲测lvm管理功能,至于文中所受的CentOS 6 没有亲自试过. 本文来自:https://geekpeek.net/lvm-phys ...

  6. Linux LVM学习总结——删除物理卷

    本篇介绍LVM管理中的命令vgreduce, pvremove.其实前面几篇中以及有所涉及. vgreduce:通过删除LVM卷组中的物理卷来减少卷组容量.注意:不能删除LVM卷组中剩余的最后一个物理 ...

  7. Linux LVM简明教程

    逻辑卷管理LVM是一个多才多艺的硬盘系统工具.无论在Linux或者其他类似的系统,都是非常的好用.传统分区使用固定大小分区,重新调整大小十分麻烦.但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物 ...

  8. LINUX LVM和快照卷配置和管理

    具体参考这个文章把: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_042_lvm.html 1.LVM是什么 逻辑卷管理LVM是一个多 ...

  9. Linux LVM卷组管理

    Linux LVM卷组管理 由于传统的磁盘管理不能对磁盘进行磁盘管理,因此诞生了LVM技术,LVM技术最大的特点就是对磁盘进行动态管理. 由于LVM的逻辑卷的大小更改可以进行动态调整,且不会出现丢失数 ...

随机推荐

  1. jq操作属性，元素，样式，事件

    操作属性: 单个 $('选择器').attr('属性名','属性值'); 多个 $('选择器').attr({'属性名':'属性值','':''}); eg: $('#a1').attr('flag' ...

  2. SQL语句调优相关方法

    SQL语句慢的原因:1,数据库表的统计信息不完整2,like查询估计不准确调优方法:1,查看表中数据的条数:2, explain analyze target_SQL;查看SQL执行计划:比较SQL总 ...

  3. SpringCloud学习笔记（12）----Spring Cloud Netflix之Hystrix断路器的流程和原理

    工作流程(参考:https://github.com/Netflix/Hystrix/wiki/How-it-Works) 1. 创建一个HystrixCommand或HystrixObservabl ...

  4. C#获取实例运行时间StopWatch类

    在程序运行时有时需要获取某一步骤的操作时间,C#提供的StopWatch类可以很方便的实现这一目的. StopWatch sw=new StopWatch(); sw.Start(); //Do So ...

  5. 洛谷 P2040 打开所有的灯

    P2040 打开所有的灯 题目背景 pmshz在玩一个益(ruo)智(zhi)的小游戏,目的是打开九盏灯所有的灯,这样的游戏难倒了pmshz... 题目描述 这个灯很奇(fan)怪(ren),点一下就 ...

  6. 我有一个idea，但是没有钱，又没技术怎么办？

    我想你还少讲一件事,就是同时如果你也没什么明确的商业计划,恭喜,那你有机会成为马云第二,因为他曾说过自己的成功要素就是「没钱」.「不懂技术」.「没有计划」,要是这么刚好让你从事互联网产业,我看不出三年 ...

  7. 面向对象设计（OOD）七大原则

    这篇文章我会不停的维护它,它将会越来越长,但它是关于我在面向对象中的一些学习的思考心得.希望对自己对各位都能实用处.     开篇前,说明一下写这篇文章的原因.原因是由于设计模式.由于设计模式里的各种 ...

  8. RIP协议的配置

    拓扑图: 要求: 理解RIP协议的工作原理,并通过 RIP 路由协议实现不同网络互通. 配置步骤: 1.配置好 PC 机的 IP 地址等參数. PC 0>ipconfig IP Address. ...

  9. leetCode(38):Lowest Common Ancestor of a Binary Search Tree

    Given a binary search tree (BST), find the lowest common ancestor (LCA) of two given nodes in the BS ...

  10. Pleasant sheep and big big wolf

    pid=3046">点击打开链接 题目:在一个N * M 的矩阵草原上,分布着羊和狼.每一个格子仅仅能存在0或1仅仅动物.如今要用栅栏将全部的狼和羊分开.问怎么放,栅栏数放的最少,求出 ...