lamba数据架构以及数据湖

　　面试大数据项目，面试过程中发现面试官提到的两个概念没有搞清楚：

　　1. lamba数据架构；这个概念的提出是由storm的作者提出来的，其实主旨就是想要说明，数据的处理分成三层，一类是批处理程序（batch laryer，非实时），比如午夜跑出来的报表，可以供第二天进行消费；第二类是实时增量处理数据（speed layer），比如通过kafka等流计算工具进行的实时增量处理；第三层就是service layer，是对外提供服务的层，既可以访问batch layer或者realtime layer，还可以整合两者数据然后对外提供服务。

　　2. 数据湖，数据湖其实是一个很模糊的概念，笼统的来理解就是可以集成各个源的数据；数据湖最大价值其实是中转站，这个概念其实是和数据水库很像（水库，就是用于临时蓄水），数据水库的价值在于收集各个源的数据后，给后端的数据仓库使用；数据湖的概念比数据水库又多了一个：数据水库的消费者可能会比较多，不仅仅是数据仓库，可能是其他的目的地。

　　数据湖最大的误区在于两个：

　　第一个是数据湖用于存储数据；数据如果只是为了存储而存储是最大的资源浪费，数据的存在一定是为了利用和消费；所谓消费就是一定是有某种机制可以不断的让数据湖中的数据减少；当然数据湖还会不断被注入新的湖水；

　　第二个就是将自助式查询服务暴露给普通的用户；因为数据湖里面的数据都是原始数据，如果让缺乏数据经验的人来进行处理很可能会导致服务器压力；最好让数据科学家的数据专家来使用数据湖里面的数据。

参考：

数据系统架构——Lambda architecture

https://yq.aliyun.com/articles/57876?spm=a2c4e.11155435.0.0.58375483oWJayU

数据湖只是个哗众取宠的伪概念吗？

http://www.infoq.com/cn/articles/is-the-data-lake-just-a-grandstanding-concept