Isilon上数据是如何存放的？

OneFS的文件系统的block size是8KB。这是OneFS上最小的数据存储单位了，比8KB小的文件都要占掉8KB大小的空间。连续的8KB的block会被用来存储文件的数据，但最多不会超过16个。为啥呢？因为，16个连续的block会组成一个大小为128KB的stripe unit。一个文件在存储在Isilon上的时候，如果其大小超过128KB，那么这个文件会被切分为多个128KB的stripe unit。然后这些stripe unit会散布在Isilon集群的多个节点的多块盘上。

这些stripe unit是怎么放在Isilon cluster的节点中的呢？这取决于四个因素：

• Isilon集群的节点数 - 集群的节点数直接决定了data stripe的宽度。数据是尽可能的跨多个节点的多块盘来存放的。
• 文件的保护等级 - 越高，那么同一个stripe里所包含的protection data block （FEC）就要越多。在data stripe宽度（node数）固定的情况下，单条data stripe里包含的数据块就要更少了。
• 文件的大小 - 小于128KB的文件都不会跨多个盘，对于这么小的文件的保护只有使用Mirror的方式。同时，被存储文件的protection level，直接决定了这个文件需要多少份mirror。
• 文件所在的文件夹的磁盘访问模式（access pattern）- 下面有两个举例，concurrent模式，为了支持并发读写，一个读写尽量不去影响另一个读写，所以同样的文件，尽可能放在少的盘上。Stream模式，为了让同一个文件能用到更多的磁盘，所以存储的时候会放在尽可能多的盘上。

首先，一个大文件的许许多多的stripe unit会被以一个叫做data stripe的逻辑单位来存放，一个data stripe会包含多少个stripe unit呢？这个data stripe是如何跨越多个节点的呢？这取决于两个因素，protection level和cluster node number。

集群的节点数直接决定stripe的宽度.

假设一个1024KB的文件，存储在Isilon上，它会被切分为8个128KB的stripe unit。假设这个cluster有3个节点，每个节点上有12块盘。那么这8个stripe units会怎么在这36块盘上分布呢？

这里需要涉及到一个protection level的问题，因为protection level不同，那么data stripe的大小就不同。

为了简化，假设我们的文件的protection level是N+1，即允许down掉一个节点或一块盘。

因为我们的集群只有3个节点，那么每两个data的stripe unit就应该带一个Protection stripe unit。这样，坏一个节点，所丢失的数据就可以通过另外两块数据计算出来。

来看两个例子：

Concurrent access pattern的1兆文件的存储方式举例：

Streaming access pattern的1兆文件的存储方式举例：

一些问题

============

问题1：假设我们有个大于128KB，小于256KB的文件，那么这个文件在2d：1n的protection level下，集群有4个节点，如何存储？

答：这个文件会被切成两部分，一部分是128KB的data stripe unit，与另外两个节点提供的两个protection stripe unit组成一个data stripe。另一部分小于128KB，OneFS会为这块数据添加两份mirror，从而达到坏两块盘数据依然可用的保护级别。

问题2：假设我们有一个Isilon的集群，其中有80个节点，那么对于一个足够大的文件来讲，data stripe的长度可以达到80么？

答：单个文件在Isilon上存储最多跨20个节点。

问题3：Isilon Gen5的S210有两块SSD，22块HDD，请问这个节点的disk pool是怎样的？

答：SSD由于有不同的使用方式，先不予考虑。22块HDD会被分为四个disk pool，两个pool里分别有5块HDD，另两个pool里有6块HDD.

问题4: MTTDL跟节点数量，文件的protection level有什么关系？

答：MTTDL的定义是大概多长时间之后会发生这样的情况：坏盘同时出现从而导致数据丢失，这个时间是多久。数据在节点的盘中的打散程度越高，节点越多，文件保护等级越低，那么MTTDL就会越低。

参考资料

==============

OneFS File System Data Layout

https://community.emc.com/docs/DOC-42741

Dell EMC Isilon OneFS: A Technical Overview

https://www.emc.com/collateral/hardware/white-papers/h10719-isilon-onefs-technical-overview-wp.pdf

HIGH AVAILABILITY AND DATA PROTECTION WITH DELL EMC ISILON SCALE-OUT NAS

https://www.emc.com/collateral/hardware/white-papers/h10588-isilon-data-availability-protection-wp.pdf