X7-2存储节点操作系统盘上的变化

我们知道，在X7-2之前，存储节点的12块机械硬盘的前2块(LUN0和LUN1)中各划出33GB的分区来做RAID1,这个RAID1再划出小的分区来存放操作系统和存储软件等。

但从X7-2开始，这发生了一些变化，存储节点除了12块机械硬盘，还内置了2块SSD盘，这2块SSD盘会做成RAID1来存放操作系统和存储软件等。

如图是官方文档中存储节点所涉及的硬件：

可以看出有2块150GB的M2盘用来存放操作系统。

直接登陆操作系统，来查看相关信息：

[root@dm01celadm01 ~]# lsscsi -v

[4:0:0:0] disk ATA INTEL SSDSCKJB15 0121 /dev/sda

dir: /sys/bus/scsi/devices/4:0:0:0 [/sys/devices/pci0000:00/0000:00:17.0/ata5/host4/target4:0:0/4:0:0:0]

[5:0:0:0] disk ATA INTEL SSDSCKJB15 0121 /dev/sdb

dir: /sys/bus/scsi/devices/5:0:0:0 [/sys/devices/pci0000:00/0000:00:17.0/ata6/host5/target5:0:0/5:0:0:0]

[8:2:0:0] disk AVAGO MR9361-16i 4.72 /dev/sdc

dir: /sys/bus/scsi/devices/8:2:0:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:0/8:2:0:0]

[8:2:1:0] disk AVAGO MR9361-16i 4.72 /dev/sdd

dir: /sys/bus/scsi/devices/8:2:1:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:1/8:2:1:0]

[8:2:2:0] disk AVAGO MR9361-16i 4.72 /dev/sde

dir: /sys/bus/scsi/devices/8:2:2:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:2/8:2:2:0]

[8:2:3:0] disk AVAGO MR9361-16i 4.72 /dev/sdf

dir: /sys/bus/scsi/devices/8:2:3:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:3/8:2:3:0]

[8:2:4:0] disk AVAGO MR9361-16i 4.72 /dev/sdg

dir: /sys/bus/scsi/devices/8:2:4:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:4/8:2:4:0]

[8:2:5:0] disk AVAGO MR9361-16i 4.72 /dev/sdh

dir: /sys/bus/scsi/devices/8:2:5:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:5/8:2:5:0]

[8:2:6:0] disk AVAGO MR9361-16i 4.72 /dev/sdi

dir: /sys/bus/scsi/devices/8:2:6:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:6/8:2:6:0]

[8:2:7:0] disk AVAGO MR9361-16i 4.72 /dev/sdj

dir: /sys/bus/scsi/devices/8:2:7:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:7/8:2:7:0]

[8:2:8:0] disk AVAGO MR9361-16i 4.72 /dev/sdk

dir: /sys/bus/scsi/devices/8:2:8:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:8/8:2:8:0]

[8:2:9:0] disk AVAGO MR9361-16i 4.72 /dev/sdl

dir: /sys/bus/scsi/devices/8:2:9:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:9/8:2:9:0]

[8:2:10:0] disk AVAGO MR9361-16i 4.72 /dev/sdm

dir: /sys/bus/scsi/devices/8:2:10:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:10/8:2:10:0]

[8:2:11:0] disk AVAGO MR9361-16i 4.72 /dev/sdn

dir: /sys/bus/scsi/devices/8:2:11:0 [/sys/devices/pci0000:5d/0000:5d:00.0/0000:5e:00.0/host8/target8:2:11/8:2:11:0]

[root@dm01celadm01 ~]#

可以看出，/dev/sda和/dev/sdb就是这两块SSD盘，而后面的12块盘就是机械硬盘，通过MR9361-16i的RAID卡进行管理。

继续查看RAID1结构：

[root@dm01celadm01 ~]# mdadm -Q -D /dev/md24p7

/dev/md24p7:

Container : /dev/md/imsm0, member 0

Raid Level : raid1

Array Size : 3145728 (3.00 GiB 3.22 GB)

Used Dev Size : 104857600 (100.00 GiB 107.37 GB)

Raid Devices : 2

Total Devices : 2

 

State : active

Active Devices : 2

Working Devices : 2

Failed Devices : 0

Spare Devices : 0

 

 

UUID : f226a4b4:1a3028cf:44797b22:b6f39aa9

Number Major Minor RaidDevice State

1 8 16 0 active sync /dev/sdb

0 8 0 1 active sync /dev/sda

[root@dm01celadm01 ~]#

[root@dm01celadm01 ~]# fdisk -l /dev/sda

 

WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU Parted.

 

Disk /dev/sda: 150.0 GB, 150039945216 bytes

255 heads, 63 sectors/track, 18241 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Sector size (logical/physical): 512 bytes / 4096 bytes

I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk identifier: 0x00000000

 

Device Boot Start End Blocks Id System

/dev/sda1 1 13055 104857599+ ee GPT

Partition 1 does not start on physical sector boundary.

[root@dm01celadm01 ~]#

可以看出，该RAID1的确是由/dev/sda和/dev/sdb两整块磁盘组成，但我们同样可以看出，这个RAID1的大小只有104857600 (100.00 GiB 107.37 GB)，为什么150GB的SSD盘，却只使用100GB？剩余的空间预留下来干什么用呢？目前还没有想明白这个事情，只能等以后深入研究后，才可能有答案了。

由于操作系统区域不需要从LUN0和LUN1上划分空间，所以ASM磁盘组上也发生了很多变化，具体变化先简单记录一下吧：

1、没有了system_dg或grid_dg这个磁盘组。

2、ocr和votedisk存放在data磁盘组中。

3、只有data和reco磁盘组。