storcli64和smartctl定位硬盘的故障信息

storcli64可对LSIRAID卡基本操作进行管理，本文主要是对LSIRAID卡常使用到的命令进行介绍

https://www.cnblogs.com/wangl-blog/archive/2019/05/09/10839635.html

https://blog.csdn.net/itzhangdaopin/article/details/77746608

https://www.cnblogs.com/diyunpeng/p/8051749.html

strocli是megacli的升级版本，针对于戴尔服务器是perccli，用法完全一致

smartctl可以查看磁盘的主控芯片smart信息

lsscsi可以查看系统的scsi信息，数据来源/proc/scsi/scsi相关，该文档此处暂不介绍

这些工具都是查看磁盘相关信息的常用工具，对于排查磁盘状态和raid卡问题都有帮助

安装一下storcli或者perccli，并且将命令软连接到/usr/bin/目录下，方便使用命令：

ln -s /opt/MegaRAID/storcli/storcli64 /usr/bin/

ln -s /opt/MegaRAID/perccli/percclie64 /usr/bin/

Centos安装:
yum -y install smartmontools

smartctl
-i 指定设备
-d 指定设备类型,例如：ata, scsi, marvell, sat, 3ware,N
-a 或A 显示所有信息
-l 指定日志的类型，例如:TYPE: error, selftest, selective, directory,background, scttemp[sts,hist]
-H 查看硬盘健康状态
-t short 后台检测硬盘，消耗时间短
-t long 后台检测硬盘，消耗时间长
-C -t short 前台检测硬盘，消耗时间短
-C -t long 前台检测硬盘，消耗时间长
-X 中断后台检测硬盘
-l selftest 显示硬盘检测日志
HP硬盘：
smartctl -s on -d cciss,0 /dev/cciss/c0d0 开启SMART
smartctl -a -d cciss,0 -i /dev/cciss/c0d0 显示所有SMART信息
smartctl -l error -d cciss,0 -i /dev/cciss/c0d0 查看磁盘错误日志
+++++++++++++++++++++++smarted服务+++++++++++++++++

简单说下smartctl:smartd由kernel-utils包缺省安装。用命令 rpm -ql kernel-utils 可以列出kernel-utils包中的文件
它是一个守护进程（一个帮助程序），它能监视拥有自我监视，分析和汇报技术(Self-Monitoring, Analysis, and Reporting Technology - SMART)的硬盘。
主配置文件：/etc/smartd.conf
添加一行/dev/cciss/c0d0 -H -m sys@5iqiong.com
上边的配置表示smartd以静默状态工作，当SMART中报告PASSED的时候不理睬一旦出现Failure，立刻用邮件通知用户指定的邮箱

1.2 基本语法

获取控制器号：storcli64 /call show all

/c 控制器号输出结果中的Controller 值

/v RAID号

/e 背板号输出结果EID值

/f 外部配置

/s 槽位号输出结果的Slt值

1.3 系统

查看RAID控制器摘要信息

storcli64 show

查看详细RAID控制器信息

storcli64 show all

查看帮助文档

storcli64 -h

1.4 控制器

查看属性语法：storcli64 /cx show <properties>

如查看蜂鸣器状态：strocli64 /c0 show alarm

设置某个属性语法：storcli64 /cx set <properties>

如设置蜂鸣器开启：storcli64 /cx set alarm=on

1.5 物理磁盘

可查看磁盘的健康状态，对不健康的磁盘进行替换，设置磁盘状态，设置磁盘初始化，对磁盘进行定位

1.5.1 查看磁盘健康状态

storcli64 -PDList -aALL

对于每块物理磁盘的描述信息，主要关注一下几项：

Slot Number : 表示磁盘的插槽位置，可以根据Slot Number序列值推断是否有磁盘离线

Medai Error Count : 表示磁盘可能错误，可能是磁盘有坏道，这个值不为0值得注意，数值越大，危险系数越高

Other Error Count : 表示磁盘可能存在松动，可能需要重新再插入

Predictive Failure Count : ( 预测性失败统计)

Firmware state : 表示磁盘的状态，可以判断磁盘是否损坏。正常状态是Online, Spun Up

1.5.2 查看磁盘

查看控制器为0 背板为36槽位号为1的磁盘

storcli64 /c0/e36/s1 show

查看控制器0 所有背板及背板上的所有磁盘信息

storcli64 /c0/eall/sall show

查看所有控制器所有背板背板上的所有磁盘的详细信息

storcli64 /call/eall/sall show all

1.5.3 设置磁盘状态

设置控制器 0 背板36 槽位号为1的磁盘状态为good

storcli64 /c0/e36/s1 set good

设置控制器 0 背板36 槽位号为1的磁盘状态为offline

storcli64 /c0/e36/s1 set offline

设置控制器为0 背板为36 槽位号为1的磁盘状态为online

storcli64 /c0/e36/s1 set online

1.5.4 磁盘初始化

磁盘在其他系统中使用过磁盘不干净的情况下需对磁盘进行初始化，初始化会清理掉磁盘上的所有数据

查看正在初始化的磁盘

storcli64 /cx/ex/sx show initialization

磁盘开始初始化

storcli64 /cx/ex/sx start initialization

停止磁盘的初始化

storcli64 /cx/ex/sx stop initialization

1.5.5 磁盘定位

开始定位

storcli64 /cx/ex/sx start locate

停止定位

storcli64 /cx/ex/sx stop locate

1.6 RAID

1.6.1 新建RAID

必须含有的参数 RAID类型 RAID大小 RAID名称和包含的磁盘

storcli64 /cx add RAID r 0|1|5|6|10|50|60 Size=<RAID1_Sz>,<RAID2_Sz>,..|*all name=<RAIDNAME1>,drives=e:s|e:s-x|e:s-x,y;e:s-x,y,z

例子：

使用默认参数创建的RAID5 读策略为ra: Read ahead 写策略wt io策略为direct 条带大小为256

storcli64 /c0 add RAID r5 size=all name=diskarray01 drives=36:15-16,36:18

设置读写策略条带大小的RAID5

storcli64 /c0 add vd r5 size=all name=diskarray01 drives=50:5-7,50:9 awb ra cached strip=256

参数	值	描述
type	RAID 0\|1\|5\|6\|10\|50\|60	RAID配置
size	最大不超过所能设置的最大值	虚拟磁盘的大小，多个值逗号分开
name	最大15位字节	RAID名称
drives	e:s\|e:s-x\|e:s-x,y:	有效的enclosure和slot号 e enclosure ID .e:s-x enclosure中的slot号.
direct\|cached	cached direct	IO策略，默认为direct
wt\|wb	wt: Write through. wb: Write back. awb:Always Write back带电池的情况	写策略，默认为wt
nora\|ra	ra: Read ahead. nora: No read ahead.	读策略，默认为ra

1.6.2 热备

查看磁盘状态：storcli64 /c0 /eall/sall show 磁盘状态为UGOOD空闲盘，磁盘状态为DHS为专属热备，磁盘状态为GHS为全局热备

添加专属热备

获得dgs号 storcli64 /call/vall show 可看到DG及dgs的值为特定的DG配置热备
获取空闲磁盘storcli64 /c0 /eall/sall show 磁盘状态为UGOOD

c. 语法storcli64 /cx/ex/sx add hotsparedrive dgs=x

例：storcli64 /c0/e3/s6 add hotsparedrive dgs=0 背板为3，槽位为6的磁盘做 dgs为0的RAID的专属热备

添加全局热备

查看空闲磁盘storcli64 /c0 /eall/sall show 磁盘状态为UGOOD
storcli64 /cx/ex/sx add hotsparedrive

如：storcli64 /c0/e3/s6 add hotsparedrive 背板为3，槽位为6的磁盘作为全局热备

删除热备

查看热备盘 storcli64 /c0 /eall/sall show 磁盘状态为DHS,GHS

b. 删除热备盘 storcli /c0/ex/sx delete hotsparedrive

1.6.3 删除RAID

先查看要删除的RAID 查看到对应的VD号 storcli64 /c0/vall show

删除RAID

storcli64 /cx/vx del

例：storcli64 /c0/v1 del 删除虚拟设备号为1的RAID

删除含有用户数据（MBR或者分区信息）的RAID

storcli64 /cx/vx del force

1.6.4 查看RAID

查看控制器上的所有

RAID storcli64 /call/vall show

查看具体的RAID虚拟设备号为1的详细信息

storcli64 /c0/v1 show all

1.6.5 RAID缓存设置

设置写缓存语法：storcli64 /cx/vx set wrcache=wt|wb|awb wt 是关闭缓存wb 在RAID卡没有电池的情况下开启写缓存 awb在RAID卡含有电池的情况下开启写缓存

设置读缓存语法：storcli64 /cx/vx set racache=nora|ra nora不会读缓存里面内容 ra 先读缓存里有的内容

设置io 优先级的语法：storcli64 /cx/vx set iopolicy=direct|cached

开启读缓存

storcli64 /call/v1 set rdcache=ra

开启写缓存

开启写缓存需要先设置IO优先级为缓存 storcli /c0/v1 set iopolicy=cached

storcli64 /call/v1 set wrcache=wb

或者 storcli64 /call/v1 set wrcache=awb

关闭读缓存

storcli64 /call/v1 set rdcache=nora

关闭写缓存

storcli64 /call/v1 set wrcache=wt

1.6.6 RAID初始化

查看快速初始化

storcli64 /cx/vx show init

开启快速初始化

storcli64 /cx/vx start init

开启完全初始化

storcli64 /cx/vx start init full

停止初始化

storcli64 /cx/vx stop init

RAID5（5块以上）和RAID6（6块以上）在进行快速初始化时会转到后台进行初始化

查看后台初始化

storcli64 /cx/vx show bgi

停止初始化

storcli64 /call/v1 stop bgi

挂起初始化

storcli64 /call/v1 suspend bgi

1.6.7 RAID一致性校验

查看初始化

storcli64 /cx/vx show cc

开启初始化

storcli64 /cx/vx start cc

停止初始化

storcli64 /cx/vx stop cc

smartor基本设置下一致性校验 是在特定的时间执行一致性校验，在页面设置即可

LSIRAID卡自带的一致性校验

查看一致性校验执行的具体时间

storcli64 /cx show cc

设置卡自带的一致性校验方式顺序或者并发

storcli64 /cx set consistencycheck=seq|con

关闭卡自带的一致性校验

storcli64 /cx set cc=off

1.6.8 copyback

1.7 日志

storcli64支持的日志

清除所有日志事件

storcli64 /cx clear events

删除TTY（用于故障定位的固件输出信息）日志

storcli64 /cx delete termlog

将日志信息保存到指定文件

storcli64 /cx show events file=<absolute path>

查看产生日志文件的历史信息

storcli64 /cx show eventloginfo

查看term log 日志配置或者日志信息

storcli64 /cx show termlog type=config|contents

1.8 异常情况

1.8.1 异常断电对初始化影响

RAID0,RAID1，RAID5(小于5块盘)RAID(小于6块盘)RAID10，RAID50，RAID60在重启之后不会再进行初始化

RAID5（5块以上）和RAID6（6块以上）会停止前台初始化，在后台进行初始化，使用命令 storcli64 /c0 show bgi可以查看到

1.8.2 拔盘热备和1块数据盘恢复

将盘插回去查看磁盘状态 storcli64 /cx/ex/sall show all 磁盘状态为ubad

设置磁盘状态为good storcli64 /c0/ex/sx set good

查看磁盘状态 storcli64 /cx/ex/sx show 磁盘状态为 UGOOD -F

导入磁盘 storcli64 /cx/fall import

查看磁盘状态 storcli64 /cx/ex/sx show 磁盘状态为 UGOOD -

磁盘为可用状态

1.8.3 RAID 以损坏恢复磁盘可用

卸载已损坏raid上建的文件系统：umount ....

删除已顺坏raid上的lvm管理映射：

dmsetup remove /dev/p1/* (p1为raid上存储池名)

echo 1 > /sys/block/sdb/device/delete （sdb为实际区下）

删除损坏的raid： storcli64 /cx/vx del