mkfs -t ext3 错误/dev/sdxx is apparently in use by the system; 解决方法

在存储上共享了一个500G的空间，映射到Linux系统提供上，环境由2个节点组成。

一．测试一：直接mount

用fdisk 格式化之后如下：

[root@rac1 u01]# fdisk -l

……

Disk /dev/sdk: 536.8 GB, 536870912000 bytes

255 heads, 63 sectors/track, 65270cylinders

Units = cylinders of 16065 * 512 = 8225280bytes

Device Boot Start End Blocks Id System

/dev/sdk1 1 65270 524281243+ 83 Linux

……

[root@rac1u01]#

但是创建文件系统时报错：

[root@rac1 u01]# mkfs -t ext3 /dev/sdk1

mke2fs 1.39 (29-May-2006)

/dev/sdk1 isapparently in use by the system; will not make a filesystem here!

提示/dev/sdk1 正在被使用。 /dev/sdk1 正在被DM管理，所以我们创建文件系统时提示报错，我们手工的移除，就可以正常的创建文件系统，操作如下：

[root@rac1 u01]# dmsetup status

mpath2: 0 2097152 multipath 2 0 1 0 1 1 A 01 0 8:16 A 0

mpath11p1: 0 1048562487 linear

mpath9: 0 209715200 multipath 2 0 1 0 1 1 A0 1 0 8:128 A 0

mpath8: 0 629145600 multipath 2 0 1 0 1 1 A0 1 0 8:112 A 0

mpath7: 0 629145600 multipath 2 0 1 0 1 1 A0 1 0 8:96 A 0

mpath6: 0 2097152 multipath 2 0 1 0 1 1 A 01 0 8:80 A 0

mpath5: 0 2097152 multipath 2 0 1 0 1 1 A 01 0 8:64 A 0

mpath11: 0 1048576000 multipath 2 0 1 0 1 1A 0 1 0 8:160 A 0

mpath4: 0 2097152 multipath 2 0 1 0 1 1 A 01 0 8:48 A 0

mpath10: 0 209715200 multipath 2 0 1 0 1 1A 0 1 0 8:144 A 0

mpath3: 0 2097152 multipath 2 0 1 0 1 1 A 01 0 8:32 A 0

[root@rac1 u01]# dmsetup remove_all

[root@rac1 u01]# dmsetupstatus

No devices found

[root@rac1 u01]# mkfs -text3 /dev/sdk1

mke2fs 1.39 (29-May-2006)

Filesystem label=

OS type: Linux

Block size=4096 (log=2)

Fragment size=4096 (log=2)

65536000 inodes, 131070310 blocks

6553515 blocks (5.00%) reserved for thesuper user

First data block=0

Maximum filesystem blocks=4294967296

4000 block groups

32768 blocks per group, 32768 fragments pergroup

16384 inodes per group

Superblock backups stored on blocks:

32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,

4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,

102400000

Writing inode tables: done

Creating journal (32768 blocks): done

Writing superblocks and filesystemaccounting information: done

This filesystem will be automaticallychecked every 36 mounts or

180 days, whichever comes first. Use tune2fs -c or -i to override.

--创建文件系统成功。

--mount 成功：

[root@rac1 u01]# mount /dev/sdk1/u01/backup

[root@rac1 u01]# df -lh

Filesystem Size Used Avail Use% Mounted on

/dev/sda3 59G 22G 35G 39% /

/dev/sda1 996M 51M 894M 6% /boot

tmpfs 32G 0 32G 0% /dev/shm

/dev/sda4 145G 188M 138G 1% /u01/dave

/dev/sdk1 493G 198M 467G 1% /u01/backup

--修改/etc/fstab 文件，让开机自动挂载：

[root@rac2 mapper]# vi /etc/fstab

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-sda2 swap swap defaults 0 0

/dev/sdk1 /u01/backup ext3 defaults 0 0

但重启后测试，该文件不能正常挂载，手工挂载也会失败。

所以，这种解决方法不行。

补充内容：

Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制,在该机制下,用户可以很方便的根据自己的需要制定实现存储资源的管理策略,如条带化,镜像,快照等. 当前比较流行的 Linux 下的逻辑卷管理器如 LVM2（Linux Volume Manager 2 version)、EVMS(EnterpriseVolume Management System)、dmraid(Device Mapper RaidTool)等都是基于该机制实现的. 只要用户在用户空间制定好映射策略，按照自己的需要编写处理具体IO请求的 target driver插件,就可以很方便的实现这些特性.

Device Mapper主要包含内核空间的映射和用户空间的device mapper库及dmsetup工具.

二．实验二: 使用Multipath

关于Multipath的配置说明，参考：

Multipath实现LUN设备名称的持久化

http://blog.csdn.net/tianlesoftware/article/details/5979061

--获取wwid：

[root@rac1 mapper]# /sbin/scsi_id -g -u -s/block/sdk

3690b11c00022bc0e000003e55105b786

--修改multipath.conf 文件：

[root@rac1 mapper]# vi /etc/multipath.conf

multipaths {

multipath {

wwid 3690b11c00022bc0e000003e55105b786

alias backup

path_grouping_policy multibus

path_checker readsector0

path_selector "round-robin 0"

failback manual

rr_weight priorities

no_path_retry 5

}

# multipath {

# wwid 1DEC_____321816758474

# alias red

# }

}

"/etc/multipath.conf" 177L, 4832Cwritten

--重启multipath：

[root@rac1 mapper]# service multipathdrestart

Stopping multipathd daemon: [ OK ]

Starting multipathd daemon: [ OK ]

--检查文件：

[root@rac1 mapper]# cd /dev/mapper/

[root@rac1 mapper]# ll

total 0

brw-rw---- 1 root disk253, 9 Feb 20 12:35 backup

brw-rw---- 1 root disk253, 10 Feb 20 12:35 backupp1

crw------- 1 root root 10, 60 Feb 20 12:35 control

brw-rw---- 1 root disk 253, 8 Feb 20 12:35 mpath10

brw-rw---- 1 root disk 253, 0 Feb 20 12:35 mpath2

brw-rw---- 1 root disk 253, 1 Feb 20 12:35 mpath3

brw-rw---- 1 root disk 253, 2 Feb 20 12:35 mpath4

brw-rw---- 1 root disk 253, 3 Feb 20 12:35 mpath5

brw-rw---- 1 root disk 253, 4 Feb 20 12:35 mpath6

brw-rw---- 1 root disk 253, 5 Feb 20 12:35 mpath7

brw-rw---- 1 root disk 253, 6 Feb 20 12:35 mpath8

brw-rw---- 1 root disk 253, 7 Feb 20 12:35 mpath9

--mount 文件：

[root@rac1 mapper]# mount/dev/mapper/backupp1 /u01/backup

--检查mount：

[root@rac1 mapper]# df -lh

Filesystem Size Used Avail Use% Mounted on

/dev/sda3 59G 22G 34G 39% /

/dev/sda1 996M 51M 894M 6% /boot

tmpfs 32G 364M 32G 2% /dev/shm

/dev/sda4 145G 188M 138G 1% /u01/dave

/dev/mapper/backupp1 493G 198M 467G 1% /u01/backup

修改/etc/fstab文件后，重启可以正常的自动挂载。但是这里是2个节点，存储配置的也是共享的。但是在节点1创建的文件，在节点2上不能识别，经测试，只有在重新mount之后，才可以看到另一个节点创建的文件。

测试步骤如下：

[root@rac1 backup]# ll

total 24

-rw-r--r-- 1 root root 0 Feb 20 12:57 bl

drwxr-xr-x 2 root root 4096 Feb 20 12:55 dave

-rw-r--r-- 1 root root 5 Feb 20 12:55 dvd

drwx------ 2 root root 16384 Feb 20 12:10lost+found

--创建文件orcl：

[root@rac1 backup]# touch orcl

--在节点2 umount 目录：

[root@rac2 backup]# umount /u01/backup

umount: /u01/backup: device is busy

[root@rac2 backup]# fuser -km /u01/backup

/u01/backup: 9848c

[root@rac2 ~]# df -lh

Filesystem Size Used Avail Use% Mounted on

/dev/sda3 70G 20G 46G 31% /

/dev/sda1 996M 51M 894M 6% /boot

tmpfs 32G 364M 32G 2% /dev/shm

/dev/mapper/backupp1 493G 198M 467G 1% /u01/backup

[root@rac2 ~]# umount /u01/backup

--确认umount 成功：

[root@rac2 ~]# df -lh

Filesystem Size Used Avail Use% Mounted on

/dev/sda3 70G 20G 46G 31% /

/dev/sda1 996M 51M 894M 6% /boot

tmpfs 32G 364M 32G 2% /dev/shm

--再次mount：

[root@rac2 ~]# mount /dev/mapper/backupp1 /u01/backup

[root@rac2 ~]# cd /u01/backup

[root@rac2 backup]# ll

total 24

-rw-r--r-- 1 root root 0 Feb 20 12:57 bl

drwxr-xr-x 2 root root 4096 Feb 20 12:55 dave

-rw-r--r-- 1 root root 5 Feb 20 12:55 dvd

drwx------ 2 root root 16384 Feb 20 12:10lost+found

-rw-r--r-- 1 root root 0 Feb 20 14:34 orcl

[root@rac2 backup]#

这次就在节点2上看到我们节点1上创建的文件了。