转：存储之直连存储Dell Powervault MD 3000

存储之直连存储DellPowervault MD 3000

存储根据服务器类型可以分为：封闭系统的存储和开放系统的存储

1、封闭系统的存储：封闭系统主要指大型机，AS400等服务器

2、开放系统的存储：开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储。外挂存储根据连接的方式分为：

DAS直连式存储（Direct-AttachedStorage）：服务器需要安装SAS HBA卡，通过SAS线连直接接到盘柜的SAS接口上。I/O请求是直接发送到存储设备上。这种方式是用来连接单独的或两台群集服务器。如Powervault MD3000、JBOD

FC-SAN存储区域网络：服务器需要安装FC（光纤信道）HBA卡，通过光纤线连接到盘柜的FC接口。另外还可以通过光纤交换机（需要安装短波光模块）扩展成一个FC-SAN存储区域网络。FC-SAN和服务器可以任意连接，数据通信是通过SCSI命令而非TCP/IP，数据处理是“块级”（block level），I/O请求是直接发送到存储设备的。 高性能的光纤通道交换机和光纤通道网络协议是FC-SAN的关键，把以光纤通道交换机为骨干的网络拓扑结构称为“SAN Fabric”，而光纤通道协议是FC-SAN的另一个本质特征。FC-SAN正是利用光纤通道协议上加载SCSI协议来达到可靠的块级数据传输。光纤信道协议实际上解决了底层传输协议，高层的协议任然使用SCSI协议，所以光纤信道协议实际上可以看成是SCSI over FC。目前一般的SAN提供2Gb/S到4Gb/S的传输数.SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。总的来说SAN是一個“本地磁盘”。在FC-SAN中，有一些专用的硬件和软件。硬件包括FC卡、FC HUB、FC交换机、存储系统等，软件主要是FC控制卡针对各种操作系统的驱动程序和存储管理软件。
FC卡：主要用于主机与FC设备之间的连接。
 FC HUB：内部运行仲裁环拓扑，连接到HUB的节点共享100MB/S带宽（或更高）。
FC交换机：内部运行Fabric拓扑，每端口独占100MB/S带宽（或更高）。
FC存储设备：采用FC连接方式，光纤接口可以有一到多个。FC存储设备通常采用光纤的硬盘，也有Fibre to SCSI（Fibre to ATA）的解决方案，使用SCSI（或ATA）的硬盘，在整个配置上较便宜。
存储网络管理软件：存储管理软件主要的功能是自动发现网络拓扑及映射，当在存储网络中增加或减少时自动发现及组态。

IP-SAN存储区域网络（iSCSI、FCIP、iFCP）：这种方式是将服务器和存储设备通过专用IP网络连接起来，服务器通过“Block I/O”发送数据存取请求到存储设备。也就是说把SCSI命令包在TCP/IP中传输，即SCSI over TCP/IP。IP-SAN（IP存储）的通信通道是使用IP通道，而不是光纤通道，這些技术有iSCSI、FCIP、iFCP。而iSCSI发展最快，已经成了IP存储一个有力的代表。像光纤通道一样，IP存储是可交换的，但是与光纤通道不一样的是，IP网络是成熟的，不存在互操作性问题，而光纤通道SAN最令人头痛的就是这个问题。

1. iSCSI（互联网小型计算机系统接口）：是一种在internet协议网络上，特别是以太网上进行数据块传输的标准。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择，实现了SCSI和TCP/IP协议的连接。

2. FCIP（FiberChannel over IP）：在同一个SAN范围内，TCP/IP数据包再封装FC命令和数据，从而在IP网络上传输FC命令和数据。FCIP是一种基于互联网协议（IP）的存储联网技术，它利用IP网络通过数据通道在SAN设备之间实现光纤通道协议的数据传输，把真正的全球数据镜像与光纤通道SAN的灵活性、IP网络的低成本相结合，降低远程操作的成本，从而把成本节省和数据保护都提升到了一个新的高度。FCIP被提议为通过现有的IP网络连接光纤通道SAN“孤岛”的一种标准方法。FCIP还可用来克服光纤通道目前存在的距离限制因素，能够跨越大于光纤通道支持的距离连接SAN孤岛。FCIP具有实现纠错和检测的优点：即如果IP网络错误率高的话，它就重试。

3. iFCP（Internet Fibre Channel Protocol）：是基于TCP/IP网络运行光纤信道通信的标准，iFCP具备网关功能，它能将光纤信道RAID阵列、交换机以及服务器连接到IP存储网，而不需要额外的基础架构投资。iFCP的工作原理是：将FC数据以IP包形式封装，并将IP地址映射到分离FC设备。由于在IP网中每类FC设备都有其独特标识，因而能够与位于IP网其它节点的设备单独进行存储数据收发。FC信号在iFCP网关处终止，信号转换后存储通信在IP网中进行，这样iFCP就打破了传统FC网的距离（约为10公里）限制。

NAS网络存储：NAS实际是一种带有瘦服务器的存储设备。它直接连接到TCP/IP网络上，作为一台网络文件服务器通过文件存取协议如：NFS、HTTP、CIFS实现数据共享访问，用户通过TCP/IP协议访问NAS服务器存取管理数据。不同于DAS和SAN，服务器通过“File I/O”方式发送文件存取请求到NAS设备上，NAS设备上的系统将“FileI/O”转换成“Block I/O”发送到内部磁盘。由于NAS采用文件请求的方式，相比块请求的设备性能差，并且NAS系统不适合于不采用文件系统进行存储管理的系统（如数据库）。NAS作为异构平台使用统一存储系统提供了解决方案。对硬件要求很低，软件成本也不高，甚至可以使用免费的LINUX（openfiler、OpenNAS）解决方案，成本只比直接附加存储略高。可见NAS是将目光集中在应用、用户和文件以及它们共享的数据上.总的来说，NAS就是一个网络上的文件系统。

注意：SAN结构中，文件管理系统（FS）是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句话说：NAS和SAN存储系统的区别是NAS有自己的文件系统管理。

比较：

接口技术：IP-SAN和NAS一样透过IP网络来传输数据，FC则不一样，数据是透过光纤通道（Fibre Channel）来传递。

数据传输方式：同为SAN的IP-SAN及FC-SAN都采用Block协议方式，而NAS则采用File协议。

传输速度：就目前的传输速度而言是FC-SAN（2Gb）最快、IP-SAN（1Gb）次之，NAS居末。基本上，FC-SAN及IP-SAN的Block Protocol会比NAS的File Protocol来得快，这是因为在操作系统的管理上，前者是一个“本地磁盘”，后者则会以“网络磁盘”的名义显示。

资源共享：FC-SAN和IP-SAN共享的是存储资源，NAS共享的是数据。

传输距离：原则上，三者都支持长距离的数据传输。FC的理论值可达100公里。透过IP网络的NAS及IP-SAN理论上都没有距离上的限制，但NAS适合长距小档案的传输，IP-SAN则可以进行长距大量资料的传递。

本次实验以直连存储Dell PowerVaultMD3000为例子，环境有以下硬件：

1. 一台Dell PowerVault MD3000的直连存储

2. 两条SAS 4x线

3. 一张SAS HBA卡。

4. 四块SCSI硬盘

5. 一台Dell T110 ii的服务器，安装有Windowsserver 2008 x64操作系统

6. 三条电源线，一条服务器用，两条是MD3000 Raid控制器的

图一：所有设备

图二：安装SAS HBA卡

图三：MD3000的双Raid存储器

图四：使用冗余数据通路链接单台主机（单HBA卡）

说明：

1. 服务器主机上安装一张SAS HBA卡，卡上有两个接口分别为0，1；从宿主服务器连接至MD3000 SAS 输入“In”端口连接器时，可以使用服务器HBA 卡的任一输出端口连接器。

1. RAID阵列存储设备通过两个热插拔RAID控制器模块连接至主机。RAID控制器模块被标识为RAID控制器模块0和RAID控制器模块1.每个MD3000 RAID控制器模块至少具有一个SAS 输入端口“In”，该连接器提供了到主机或节点的直接连接。每个控制器模块还包含一个SAS 输出端口“Out”，此端口使您可以选择将RAID存储设备连接至扩充存储设备。注意另外有一些可选的双端口RAID 控制器提供了第二个SAS 输入端口连接器，SAS 输入端口连接器被标记为“In-0”，如果使用了可选的控制器，则第二个SAS 输入端口连接器被标记为“In-1”

2. 每个MD3000 RAID控制器模块至少有一个以太网口，通过网络链接提供带外管理；而数据SAS输入端口“In”也可以通过SAS线链接提供带内管理。

3. MD3000存储阵列由MD Storage Manager 软件管理，该软件可运行在主机或存储管理站点上。在主机系统上，MD Storage Manager和阵列通过接口电缆直接传送管理请求和事件信息。在存储管理站点上，MD Storage Manager通过 RAID控制器模块上的以太网连接或宿主服务器上安装的主机代理与阵列进行通信。使用MD Storage Manager，您可以将阵列中的物理磁盘配置为称作磁盘组的逻辑组件。然后可以将磁盘组划分为多个虚拟磁盘。在存储阵列配置和硬件允许的情况下，可以划分任意多个磁盘组和虚拟磁盘。可在存储阵列的未配置的空间中创建磁盘组，在磁盘组的可用空间中创建虚拟磁盘。未配置的空间由尚未分配给磁盘组的物理磁盘组成。使用未配置的空间创建虚拟磁盘时，将自动创建磁盘组。 如果删除磁盘组中仅有的虚拟磁盘，则该磁盘组也将一起删除。可用空间是指磁盘组中尚未分配给虚拟磁盘的空间。使用RAID技术将数据写入存储阵列中的物理磁盘。 RAID级别定义了将数据写入物理磁盘的方式。不同的 RAID级别可以提供不同级别的可访问性、冗余和容量。 可以为存储阵列上的每个磁盘组和虚拟磁盘设置一个指定的RAID 级别。您可以通过在磁盘组（具有除0 之外的RAID 级别）中创建热备用来提供其它数据冗余层。热备用可以自动更换标记为“Failed”（故障）的物理磁盘。

4. MD3000最多可以将存储设备连接至四台主机和两台扩充存储设备。您选择的配置取决于所拥有的主机数量、要连接至独立主机还是群集节点以及所需的数据冗余的级别。MD3000的可以最多添加两台MD1000扩充存储设备以获得额外的容量。扩充将最大物理磁盘池增加为453.5" SAS 物理磁盘。可以使用一个新的MD1000或先前在直 接连接解决方案中已使用PERC5/E系统进行配置的MD1000 来进行扩充。如果先前连接至PERC 5 SAS 控制器的MD1000用作至MD3000 的扩充存储设备，则将重新初始化MD1000存储设备的物理磁盘并且将丢失数据。尝试进行扩充之前，必须备份所有的 MD1000数据。

5. 单SAS输入端口配置和双SAS输入端口配置均支持冗余和非冗余布线。冗余是通过在主机和存储阵列之间安装独立的数据通路（其中每条通路对应不同的RAID控制器模块）而建立的。 由于两个RAID 控制器均可以访问存储阵列中的所有磁盘，因此冗余可以在通路出现故障的情况下保护主机对数据的访问；非冗余配置，即仅提供从主机至RAID 存储设备的单数据通路的配置，建议仅将其用于不重要的数据存储。 由于电缆出现故障或被拔下、主机总线适配器出现故障或者RAID 控制器模块出现故障或被卸下而导致的通路故障将导致主机对RAID 存储设备中存储信息的访问失败。

6. 下面是Dell手册中的MD3000存储架构的部署方式介绍

实验开始：

1. 按照图二在T110服务器上安装好SAS HBA卡

2. 按照图四使用SAS 4X线连接T110服务器的HBA卡到Dell PowerVault MD3000的Raid控制器上的两个”In”输入端口

3. 启动 MD3000存储阵列，两个Raid控制器的电源都要打开。可能需要2分钟时间以等待阵列进行初始化

4. 启动T110服务器登录系统，下载MD Storage Management软件

5. 在所有通过SAS线链接到MD3000存储控制器的服务器上打开MD Storage Management软件，选择“Install the SAS 5/E Adapter Driver”安装SAS HBA卡驱动(我已经提前安装)

6. 由于我们采用带内管理，完成5后需要继续在服务器上安装MD Storage Management软件，选择“Install MD3000 StorageSoftware”。选择完成安装即可，然后重启电脑。（重启比较慢时间，我已经提前安装）

7. 服务器重启完成后，在服务器上启动“Modular Disk Storage Manager Client”软件，并添加新存储阵列，选择“Automatic Discovery”（自动搜索）。注：搜索过程完成可能需要几分钟。 停止搜索过程后，请关闭“Automatic Discovery”（自动搜索）状态窗口。搜索完成后，系统将显示确认屏幕。新安装的MD3000存储阵列的默认名称为“Unnamed”（未命名），可以自定义名称为MD3000

8. （可选）如果我们使用带外管理，即通过以太网口管理。我们只要将MD3000的两个Raid控制器的以太网口接入到网络中，然后在内网一个客户机上安装MD Storage Management管理软件，然后通过IP远程链接MD 3000进行存储的管理。注：默认情况下，存储阵列管理端口将设置为DHCP配置。存储阵列上的控制器无法从DHCP服务器获得IP配置，其将在十秒后超时并回退到默认的静态IP地址，默认的IP配置如下：Controller 0： IP：192.168.128.101Subnet Mask：255.255.255.0 Controller 1： IP：192.168.128.102 Subnet Mask：255.255.255.0

   当扫描发现存储后，可以重新配置存储管理地址和存储名字

9. 添加完存储阵列后，就可以在MD Storage Management中管理控制台的“配置>创建磁盘组和虚拟磁盘”，创建磁盘组Data并把3块磁盘做成Raid5，并把全部容量分配给虚拟磁盘名为Data

10. 在MD Storage Management管理控制台的“配置>配置热后备设备>配置热备份（手动）”中将剩下的最后一块磁盘配置热备磁盘。这样当有磁盘损坏时，热备盘直接替换有问题的磁盘使用；当重新插回修复好的磁盘时，热备盘就会回到热备状态。保证数据的安全

11. 当完成以上配置后，我们就要将虚拟磁盘指派给我们的服务器使用了。注意服务器必须是使用SAS HBA卡通过SAS 4X线链接到MD3000存储控制器上的。在“配置>配置主机访问（手动）”中，将服务器名字添加进去，然后选择“Windows 2000/Server 2003/Server 2008 非群集” 后指定HBA主机端口，选择添加即可

12. 接着在“配置>创建主机-到-虚拟磁盘映射-选择主机”中,选择事先建好的主机，然后将事先建好的虚拟磁盘分给同一个主机即可。

13. 重启服务器后可以进行硬盘分区格式化等操作，完成后可以当作本地硬盘使用。实验完成。

测试速度还可以接受吧