给王心凌打Call的，原来是神奇的智能湖仓

图文原创：谭婧（王凌老粉）

“爷青回”

“我们只是老了，并没有死。”

谭老师作为老粉，热烈庆祝“甜心教主”王凌成为现象级翻红顶流。

只要地球不爆炸，她的数据就一个都不能丢，还得用好了。

那为王凌从头开发一套大数据与智能系统吧？

答案，没必要。

不能把精力花在和IT基础设施你死我活地缠斗中。

就好比，当你的目的是去开会，那就不能去搭建会议室。

所以，这边建议电视台：

把所有数据放到公有云上，使用无服务器架构（Serverless），将项目命名为 ：

“王凌老粉打Call数据项目” 

每一家云厂商都能拿出足够的资料来证明自己的产品才是最好的，我们不在此处争论。

方案技术选型上，一步到位，挑选一朵最大的，全球部署的公有云，方便凌文化出海。

用亚马逊公有云，全方位无死角给凌打Call。

首先，王凌的视频，音频，电视剧，演唱会等大批量历史数据，不存放在本地IDC上。

现在疫情，供应链紧张，硬件采购周期太长，电视台的审批流程也太长，不能等。

直接将凌的所有数据妥善存储在Amazon S3 数据湖中。

不同种类的数据都能存，量大量少都能存，而且不会丢，永远在数据湖里，安全，放心。

技术上，这些文件存进S3数据湖自动成为数据API，方便调用，标准一致，取用方便。

怪不得，有人称S3为事实上的云计算对象存储标准。

没有数据指导的业务，怎么可能做好？

领导着急看数，数据分析人员更着急，这个情况不允许发生，立刻配备云数据仓库Amazon Redshift。

联合查询的功能不能少：

比如，某电视台数据分析专家想查手机APP平台和大屏电视机顶盒观看平台的用户之间的联系。

Redshift联合查询可以直接从手机App平台（已入湖），大屏电视机顶盒平台（基于数据库），获取数据的联系。

晚上九点，晚饭后，某一批用户在电视上反复观看王凌现场舞蹈（产生的行为数据存在数据库中，包括当时产生的很多标签）。

然后，我们直接查询一批用户在手机App中的观看过和这些行为数据中的标签相关的视频（这些数据存在数据湖里），比如标签里有“甜心教主” “电视剧”。

这两类数据存放在不同的地方，一个在数据库，一个在数据湖。如果之前没看过相关视频（“王凌男孩跳舞热榜”），就向手机App端推送。

实时智能分析必不可少：

先将历史数据和新鲜（实时）两种数据同时接入云数据仓库Redshift。

Amazon Redshift ML 使数据分析师和数据库开发人员可以在Redshift 数据仓库中使用熟悉的 SQL 命令轻松创建、训练和应用机器学习模型。

实时看板必不可少：

某电视台，没有设置王凌线上投票，实在令人遗憾，氛围感差些些。

建议电视台开展线上投票，并公开实时看板，让全国粉丝了解投票热度整体进展，即时知道投票效果。

所有产生的实时打榜数据，接入流式数据管道Amazon Kinesis，数据像水流一样一直灌进来。

并不是所有人时时刻刻在打榜，水流有大有小，而无服务器架构的Kinesis可以基于水流的大小即时弹性扩缩，无需关心流量高峰低谷，安心接入。

Redshift创建流式物化视图对接Kinesis，结合数据仓库内历史数据生成实时看板。

那些不能从电视台数据仓库里直接取数的外部团队，比如，抖音和快手，办法是电视台借助Amazon Redshift Data Sharing的功能，将数据安全共享。

查询并发高峰的时刻，Redshift并发扩展能力也能轻松应对。

总而言之，数据仓库性能越高越好，价格越便宜越好。

这就要靠云厂商的技术手段了，压力给到亚马逊云科技这边。

“王凌老粉打Call数据项目”项目，危险行为识别必不可少：

用日志分析服务Amazon OpenSearch，做链路追踪，监视黑产恶意刷榜，确保公平。

“王凌老粉打Call数据项目”项目，数据库选型如下：

1. 如果王凌开直播，刷礼物的交易数据，先放入极致弹性的Amazon DynamoDB中，再将历史数据同步到Redshift数据仓库。

2. 手机APP用户浏览王凌视频的行为，记录等，也得存入非关系型数据库DynamoDB中。

本方案，为突发状况，准备了预案。

突发情况一：

突然，某天，要查询一遍过去十年的王凌数据，可能几十PB。

方法一：这种使用频率极低，又要分析海量数据，成本还要低的查询，就用Amazon Athena。

方法二，搭建一个Hadoop系统。但是，为了干这件事情，耗费的人力物力非常可怕，从头干起大约两个月。

在Athena里，查询按次按量计费，一定要查询的话，这笔费用可以出。

突发情况二：

“王凌男孩跳舞热榜”现象，让人始料不及。跟风创作，大量上传热舞视频。

实时处理这些视频并提取特征，为下一阶段分析提供数据，得用什么技术呢？

答案是，流式数据分析技术，Amazon Kinesis Analytics。

另外，历史数据怎么处理呢？

答案是，使用托管大数据平台Amazon EMR处理大规模历史数据，为凌的每一个历史视频都打上标签。同时EMR Serverless以极简的开发来处理数据，同时实现最低的成本。

最后强调一句，亚马逊云科技Serverless无服务器架构，很黑科技。

初听还是小学生，再听已是社会人，支持凌，致我们逝去的青春。

“王凌老粉打Call数据项目”方案的技术选型部分就介绍完了。

刚刚提到很多亚马逊云科技产品服务，大家感兴趣的话也可以扫码进入官网阅读，一起学习成长，欢迎交流讨论~

来源：公众号亲爱的数据