Alluxio增强Spark和MapReduce存储能力

Alluxio的前身为Tachyon。Alluxio是一个基于内存的分布式文件系统；Alluxio以内存为中心设计，他处在诸如Amazon S3、 Apache HDFS 或 OpenStack Swift存储系统和计算框架应用Apache Spark 或Hadoop MapReduce中间，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件。

对上层应用来讲。Alluxio是一个管理数据訪问和高速存储的中间层，对底层存储而言。Alluxio消除了大数据业务和存储系统依赖和鸿沟， 隐藏底层存储的差异，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。Alluxio支持的后端存储包含GCS、S3、Swift、GlusterFS、HDFS、MapR-FS、 secure HDFS、AlibabaOSS和NFS。

Alluxio应用场景

通常，在大数据领域，最底层的是分布式文件系统，如Amazon S3、Apache HDFS等，而较高层的应用则是一些分布式计算框架。如Spark、MapReduce、Hbase、Flink等，这些分布式框架。往往都是直接从分布式文件系统中读写数据，效率比較低。性能消耗比較大。

Alluxio居于传统大数据存储(如Amazon S3，Apache HDFS和OpenStack Swift等) 和大数据计算框架（如Spark，Hadoop Mapreduce）之间。为那些大数据应用提供一个数量级的加速，并且它仅仅要提供通用的数据訪问接口。就能非常方便的切换底层分布式文件系统。

Alluxio的组件

Alluxiozh包含一个Master和多个workers。在逻辑上 Alluxio由master、workers和clients组成。通过master和workers一起协同工作来提供服务并有协同管理员来维护和管理。而clients一般面向的就是大数据应用程序，如Spark 或MapReduce任务，它是数据訪问的发起者。通常情况。Alluxio用户仅仅须要跟client 进行交互，clients为用户提供统一的文件存取服务接口。

Alluxio系统架构

与其它诸如HDFS、HBase、Spark等大数据相关框架一致，Alluxio的主节点为Master，Alluxio支持部署一个或两个Master节点。即单节点或HA模式。Master负责管理全局的文件系统元数据，比方文件系统树等，Clients跟Master交互获取元数据。而从节点Worker负责管理本节点数据存储资源，这些资源包含本地Memory、SSD或HDD。

当HDFS、HBase、Spark等应用程序须要訪问Alluxio时。通过客户端先与主节点Master通讯，然后再和相应Worker节点通讯，进行实际的文件存取操作。全部的Worker会周期性地发送心跳给Master。维护文件系统元数据信息和确保自己被Master感知到，并在集群中正常提供服务。与HDFS、HBase等分布式系统设计模式是一致，Master不会主动发起与其它组件的通信。它仅仅是以回复请求的方式与其它组件进行通信。降低Master的工作负载。

Alluxio的生态

利用Alluxio将NAS设备接入Hadoop生态链。Dell EMC就ECS产品签订了合作协议。华为、HDS、HPE和NetApp也跟Alluxio有相似合作；通过一个中间层。可以让Hadoop、Spark、Storm、samza等选择訪问不论什么一种后端存储数据源。如 9000，AWS S3、HDFS、Ceph、Isilon、Gluster等。

搜索“ICT_Architect”增加微信公众号“架构师技术联盟”获取很多其它精彩内容。