故障背景:

在2.6.32升级内核之后,出现多台设备启动失败,失败的全部都是ssd作为系统盘的机器,bios引导之后,屏幕就黑了,没有打印。

一开是以为是mbr损坏了,所以将启动盘挂载到其他服务器上,结果发现mbr和升级之前备份的mbr是一样的,而且和升级后能正常启动的mbr也是一样的。

排查到此,没能继续跟踪,找专业的os团队同事蒙恩排查,结论记录如下:

由于使用的是grub作为引导程序,mbr中的扇区位置,找不到stage2文件。

过程:

1.把现场的boot.bak和mbr.bak拿回来搭建了环境,引导内核,引导不起来,由于虚拟机bios有里程碑打印,确定bios已经加载到mbr了。

2.确定mbr坏掉了,主要是mbr中写入的stage2文件开始扇区号错了

3.打点确定升级操作没有操作到mbr以及引导相关的几个关键文件(stage2等)

grub-install失败的原因就是现场用了这种方式写device map文件,构造个如下的device.map文件,然后用命令:"grub-install /dev/sda" (sda是系统盘)

[root@XJ-Center-VS3000-4 /]# cat /boot/grub/device.map

(hd0)   /dev/disk/by-id/ata-INTEL_SSDSC2BB240G4_BTWL4020041Z240NGN

原理记录:

=====

系统启动流程:MBR(/boot/grub/stage1)->/boot/grub/stage2->vmlinux MBR负责加载stage2->stage2负责加载vmlinux.

MBR /boot/grub/stage1,/boot/grub/stage2的关系如下:

stage1二进制么以办法识别文件系统,因此只能通过biso中断,读数据。

stage1二进制程序被写入MBR,stage1有几个变量通过编译器严格控制其在stage1二进制文件中的偏移量。其中一个最重要的变量是stage2在boot分区的开始扇区号,因此MBR为stage1文件+几个被安装程序修改的变量+分区表

stage2中内置了ext系列文件系统的支持,因此可以通过直接读boot分区所在的文件系统来加载vmlinux,grub.conf等。

上面结论的依据:

Stage 1 and Stage 2 have embedded variables whose locations are

well-defined, so that the installation can patch the binary file

directly without recompilation of the stages.

In Stage 1, these are defined:

`0x3E'

The version number (not GRUB's, but the installation mechanism's).

`0x40'

The boot drive. If it is 0xFF, use a drive passed by BIOS.

`0x41'

The flag for if forcing LBA.

`0x42'

The starting address of Stage 2.

`0x44'

The first sector of Stage 2.

`0x48'

The starting segment of Stage 2.

`0x1FE'

The signature (`0xAA55').

打点了升级patch中是否调用过grub一级打开stage文件结果如下,并没有发现有人调用过grub命令(grub-install也是调用了grub来安装grub的)

[root@localhost home]# ./test.stap |grep -E 'stage|grub'

open===/boot/grub/grub.conf

open===/boot/grub/sedgzxf68

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting02.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting02.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting02.png

execve===>/sbin/grubby

open===/etc/grub.conf

open===../boot/grub/grub.conf-

execve===>/sbin/grubby

open===/etc/grub.conf

execve===>/sbin/grubby

open===/etc/grub.conf

open===/etc/sysconfig/grub

execve===>/sbin/grubby

open===/etc/grub.conf

open===../boot/grub/grub.conf-

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting11.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting08.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting02.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting07.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting02.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting01.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting09.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting05.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage01-connecting03.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting10.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting06.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage02-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting04.png

open===/usr/share/icons/hicolor/22x22/apps/nm-stage03-connecting02.png

open===/boot/grub/grub.conf

open===/boot/grub/grub.conf

排查了grub-install脚本,在脚本中发现对device-map文件的解析还是过于简单,我们这种类型的device-map没有适配,在升级之前,我们的mbr中对stage2的扇区也是错的,

但由于这个扇区里面存放的之前老的stage2文件还留存着,反倒没有问题,升级之后,boot分区可能因为备份的原因,里面要覆盖一些新的文件,导致那个sector被分配出去了。

参考资料:

https://www.gnu.org/software/grub/manual/legacy

一次linux启动故障记录的更多相关文章

  1. Linux启动过程详解(inittab、rc.sysinit、rcX.d、rc.local)

    启动第一步--加载BIOS 当你打开计算机电源,计算机会首先加载BIOS信息,BIOS信息是如此的重要,以至于计算机必须在最开始就找到它.这是因为BIOS中包含了CPU的相关信息.设备启动顺序信息.硬 ...

  2. Linux启动过程详解

    Linux启动过程详解 附上两张图,加深记忆 图1: 图2: 第一张图比较简洁明了,下面对第一张图的步骤进行详解: 加载BIOS 当你打开计算机电源,计算机会首先加载BIOS信息,BIOS信息是如此的 ...

  3. Linux启动过程详述

    http://www.ibm.com/developerworks/cn/linux/kernel/startup/index.html Linux启动第1步:引导内核 Linux启动第2步:内核部分 ...

  4. linux启动流程及自定义gurb

    linux 启动流程 POST BIOS(boot sequence) 所选择的启动设备次序的MBR中是否有引导程序, ----> MBR(bootloader) 提供内核列表 -------& ...

  5. Linux启动与登陆环境

    linux启动流程 参考:http://www.ruanyifeng.com/blog/2013/08/linux_boot_process.html 加载内核,首先读入/boot 目录下的内核文件. ...

  6. linux启动流程

    看了深入理解linux内核一书的最后对linux启动流程的介绍,下面就把我能理解的写一下吧: bios(硬件加电自检POST,寻找第一个启动设备) the boot loader(可以从硬盘启动也可以 ...

  7. Linux 启动过程分析

    本文仅简单介绍Linux的启动过程,在此基础上做简要的分析.对于Linux启动过程中内部详细的函数调用不做介绍,只是希望本文能给新手起到一个抛砖引玉的作用,以便深入研究Linux的启动过程.下图基本展 ...

  8. [转载] Linux启动过程详解-《别怕Linux编程》之八

    本原创文章属于<Linux大棚>博客,博客地址为http://roclinux.cn.文章作者为rocrocket.为了防止某些网站的恶性转载,特在每篇文章前加入此信息,还望读者体谅. = ...

  9. python实现Linux启动守护进程

    python实现Linux启动守护进程 DaemonClass.py代码: #/usr/bin/env python # -*- coding: utf-8 -*- import sys import ...

随机推荐

  1. [UE4]虚幻引擎UE4如何制作可拖动(Drag and Drop)的背包(Scrollbox)(转载)

    最终效果 由于隐私保护,不想截实际的效果图,下面给出了示意图,左边是背包A,右边是背包B,将其中的子项目从左侧拖往右侧的背包,然后在插入位置放置. 第一步: 制作一个user widget(在内容浏览 ...

  2. SpringMVC 请求响应流程

    SpringMVC的工作原理图: SpringMVC流程 1.  用户发送请求至前端控制器DispatcherServlet. 2.  DispatcherServlet收到请求调用HandlerMa ...

  3. 1-自己动手编写ArrayList集合

    学习集合的原理,这是一个很简单的代码,没有索引下标越界判断,异常处理等,不够健壮,后面会继续更新完善代码..... 只是入门学习一下 package my; /*** * 自己动手编写一个ArrayL ...

  4. 有关Set集合的一个小问题

    先看两段代码: Demo1: Set<Short>s=new HashSet<>(); for(Short i=0;i<100;i++){ s.add(i); s.rem ...

  5. django练习题

    1.Web框架的本质是什么?为什么要有Web框架? 所有的Web应用,本质上其实就是一个socket服务端,用户端程序其实就是一个socket客户端.对于真实开发中的python web程序来说,一般 ...

  6. 百度翻译API(C#)

    百度翻译开放平台:点击打开链接 1. 定义类用于保存解析json得到的结果 public class Translation { public string Src { get; set; } pub ...

  7. VMware NAT模式多个虚拟机相互访问

    在一台主机上只允许有一个NAT模式的虚拟网络.因此,同一台主机上的多个采用NAT模式网络连接的虚拟机也是可以相互访问的.

  8. raid1与raid5

    raid 1 就是两个磁盘同时读同时写, 当其中一个坏了 不影响使用, 直接更换一个,这样磁盘的容量只有一个盘的raid 5 就是 N-1个磁盘的容量,当其中任何一个磁盘坏,不影响使用,更换一个就可以 ...

  9. python函数的return

    return语句用于退出函数,向调用方返回一个表达式.return在不带参数的情况下(或者没有写return语句),默认返回None.None是一个特殊的值,它的数据类型是NoneType.NoneT ...

  10. django---单表操作之增删改

    首先找到操作的首页面‘ 代码如下 <!DOCTYPE html> <html lang="en"> <head> <meta charse ...