简析5G时代的MART流处理
在当今数字驱动的世界中,实时处理数据流是业务成功的必要条件。
5G网络的引入增加了对数据量和速要求,而这些要求给传统的数据架构带来了压力。对吸收数据流量的需求空前增长,同时还要通过跨多个数据流,做出智能且动态的决策来推动执行。
当前的数据流处理体系通常足以结构处理流水线,但它们不能满足应用关键型任务程序的需求,而低延迟和多步响应式决策突出了这些任务型的应用程序需求。
此外,与传统的少数中央枢纽数据中心相反。随着预计每平方公里100万的互联事物密度的增加,以及规定的单位数毫秒的低延迟,数据和处理将通过几个边缘数据中心分散化。
在不完整的信息汇合处,传统的和现代的处理流数据的选择都将失败。为了使交互式低延迟应用程序和流水线管道共存,它们必须使用相同的数据来驱动跨功能的一致性。
信息不完整的前四部分是:
1.微服务架构要求将状态和逻辑分离
缺少的是对业务类型的逻辑以及应该存在的位置的理解。尽管应用程序流控制逻辑可以保留在应用程序层中,从而使计算容器真正变为无状态,但数据业务逻辑必须与存在的数据一起驱动。
2.网络带宽使用效率
当您将状态储存在NoSQL数据存储区中,并且实例容器每次交互都必须移动10至25 KB的数据有效负载时(例如,从存储区读取对象,对它进行修改并将它发送回数据存储),应用程序很快就会开始消耗大量的网络带宽。在虚拟化或容器化的世界中,网络资源就像黄金。人们不应该为了琐碎的数据移动而浪费它。
3.流处理的基本前提
今天的流处理基于时间窗口化概念:事件时间窗口或处理时间窗口之一。这并不代表真正现况。组织需要持续处理事件,无论事件是单独到达还是上下文到达。这种方法将避免诸如错过事件之类的问题,因为它们只会迟到了,而不必膨胀数据库来等待迟到的已知的最后一个事件。
4.交叉轮询多个数据流,以构建驱动决策的复杂事件
事件驱动的体系结构是消息流,每个消息流都与事件相关联,以驱动某些操作。架构面临到的挑战,是从多个数据流中构建复杂的事件,或基于复杂的业务逻辑将单个数据流驱动更改到多个状态。
- 智能流处理架构可操作:
- 将传入事件数据吸收到状态机中
- 从多个摄取流构建上下文实体状态
- 应用业务规则的规则集来驱动决策
- 通过迭代地融合从机器学习计划中,获得的新知识来增强和丰富这些规则
- 让决策传播以推动执行
- 一旦在实时处理中不需要上下文完成/处理的数据,则将其迁移到档案存储
智能流处理体系结构是由一个用于摄取,处理和存储的统一环境组成。
这种具有内置智能功能的集成方法可以在数据所在的位置进行分析。它利用快速的内存中关系数据处理平台(IMRDPP)不仅使流“变得智能”,而且还提供了线性扩展,可预测的低延迟,严格的ACID以及可在以下位置轻松部署的低得多的硬件空间边缘。
借助聚合,过滤,采样和关联等内置分析功能,以及存储过程/嵌入式受监督和无监督机器学习,可在一个集成平台上获得面向实时决策的流处理的所有要素。
如果您对VoltDB的工业物联网大数据低延迟方案、全生命周期的实时数据平台管理等感兴趣,欢迎私聊,与更多小伙伴一起探讨。
简析5G时代的MART流处理的更多相关文章
- 【ACM/ICPC2013】POJ基础图论题简析(一)
前言:昨天contest4的惨败经历让我懂得要想在ACM领域拿到好成绩,必须要真正的下苦功夫,不能再浪了!暑假还有一半,还有时间!今天找了POJ的分类题库,做了简单题目类型中的图论专题,还剩下二分图和 ...
- [转载] Thrift原理简析(JAVA)
转载自http://shift-alt-ctrl.iteye.com/blog/1987416 Apache Thrift是一个跨语言的服务框架,本质上为RPC,同时具有序列化.发序列化机制:当我们开 ...
- Unity5中新的Shader体系简析
一.Unity5中新的Shader体系简析 Unity5和之前的书写模式有了一定的改变.Unity5时代的Shader Reference官方文档也进一步地变得丰满. 主要需要了解到的是,在原来的Un ...
- Android -- 多媒体播放之MediaPlayer使用内部实现简析
Android -- MediaPlayer内部实现简析 在之前的博客中,已经介绍了使用MediaPlayer时要注意的内容.如今,这里就通过一个MediaPlayer代码实例,来进一步分析Media ...
- Nutch学习笔记二——抓取过程简析
在上篇学习笔记中http://www.cnblogs.com/huligong1234/p/3464371.html 主要记录Nutch安装及简单运行的过程. 笔记中 通过配置抓取地址http://b ...
- 简析 Golang IO 包
简析 Golang IO 包 io 包提供了 I/O 原语(primitives)的基本接口.io 包中定义了四个最基本接口 Reader.Writer.Closer.Seeker 用于表示二进制流的 ...
- 【HANA系列】SAP Vora(SAP HANA和Hadoop)简析
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP Vora(SAP HAN ...
- Linux网络性能优化方法简析
Linux网络性能优化方法简析 2010-12-20 10:56 赵军 IBMDW 字号:T | T 性能问题永远是永恒的主题之一,而Linux在网络性能方面的优势则显而易见,这篇文章是对于Linux ...
- 阿里云王广芳:5G时代,我们需要怎样的边缘计算?
7月24日阿里云峰会开发者大会的IT基础设施云化专场中,阿里云边缘计算高级技术专家王广芳进行了边缘节点服务重大升级发布,同时与现场观众一同探讨了5G时代边缘计算的思考与技术实践. 5G时代,我们需要怎 ...
随机推荐
- 遇见BUG如何区分前后端
定位前后端bug: 1.经验法: 软件测试人员应不断精进自己的技能,负责的项目多了,自然对功能的实现过程有了解,也就明白如何分类bug了. 例如: 网页上的某个图片的分辨率不对,如果我们了解实现过程, ...
- LeetCode 034 Search for a Range
题目要求:Search for a Range Given a sorted array of integers, find the starting and ending position of a ...
- charles功能(二)修改response请求参数
1.接口处 鼠标右击,选择breakpoints(允许本接口使用breakpionts功能) 2.开始设置断点值 4.重新请求接口(charles的界面变为可编辑状态),修改请求参数,执行请求 5.最 ...
- Python中使用eval执行下面函数的结果怎么是字符串'10020'?
定义了函数: def add(a,b): s='a+b' c=compile(s,'','eval') gArea,lArea = {},{} gArea['a']=str(a10) gArea['b ...
- 安装虚拟机(centos7)
安装VMware 15 这里就不介绍VMware如何安装了,可以自行百度安装. 准备centos7镜像 我选择的是网易的镜像源,地址是:http://mirrors.163.com/centos/7/ ...
- 深海 => 暴力扫描挖掘机
平时总是联动这个联动那个,写一些小脚本,感觉零碎又没啥意思,想把市面上一些比较知名的工具集合一下,弄个方便点的躺着挖洞的工具,看看效果会不会更好,暂时名字取深海吧,估计又是一个迟迟不填的坑,灌灌灌灌水
- 凌乱的与ctf无关的小知识点
(1)在网页中一般不要用记住密码.否则想要知道你的密码很简单. 例子:看样子很安全,别人无法通过这些来获得你的其他密码(尤其是想我这样密码强度不高的人),但是知道要修改前端的选项,你的密码就会被暴露. ...
- java后端开发学习路线
思维导图(欢迎克隆):https://www.processon.com/mindmap/5f563cd31e08531762c4e32b 主要包括:编程基础.研发工具.应用框架.运维知识(主要学会配 ...
- Python(三) PIL, Image生成验证图片
Python(三) PIL, Image生成验证图片 安装好PIL,开始使用. 在PyCharm中新建一个文件:PIL_Test1.py 1 # PIL 应用练习 2 # 3 # import PIL ...
- Java并发编程的艺术(十一)——Executor与线程池
Executor框架简介 从JDK5开始,把工作单元和执行机制分离开来了,工作的单元包括Runnable和Callable,执行机制就是由Executor框架提供. Executor两级调度模型 Ho ...