简析5G时代的MART流处理
在当今数字驱动的世界中,实时处理数据流是业务成功的必要条件。
5G网络的引入增加了对数据量和速要求,而这些要求给传统的数据架构带来了压力。对吸收数据流量的需求空前增长,同时还要通过跨多个数据流,做出智能且动态的决策来推动执行。
当前的数据流处理体系通常足以结构处理流水线,但它们不能满足应用关键型任务程序的需求,而低延迟和多步响应式决策突出了这些任务型的应用程序需求。
此外,与传统的少数中央枢纽数据中心相反。随着预计每平方公里100万的互联事物密度的增加,以及规定的单位数毫秒的低延迟,数据和处理将通过几个边缘数据中心分散化。
在不完整的信息汇合处,传统的和现代的处理流数据的选择都将失败。为了使交互式低延迟应用程序和流水线管道共存,它们必须使用相同的数据来驱动跨功能的一致性。
信息不完整的前四部分是:
1.微服务架构要求将状态和逻辑分离
缺少的是对业务类型的逻辑以及应该存在的位置的理解。尽管应用程序流控制逻辑可以保留在应用程序层中,从而使计算容器真正变为无状态,但数据业务逻辑必须与存在的数据一起驱动。
2.网络带宽使用效率
当您将状态储存在NoSQL数据存储区中,并且实例容器每次交互都必须移动10至25 KB的数据有效负载时(例如,从存储区读取对象,对它进行修改并将它发送回数据存储),应用程序很快就会开始消耗大量的网络带宽。在虚拟化或容器化的世界中,网络资源就像黄金。人们不应该为了琐碎的数据移动而浪费它。
3.流处理的基本前提
今天的流处理基于时间窗口化概念:事件时间窗口或处理时间窗口之一。这并不代表真正现况。组织需要持续处理事件,无论事件是单独到达还是上下文到达。这种方法将避免诸如错过事件之类的问题,因为它们只会迟到了,而不必膨胀数据库来等待迟到的已知的最后一个事件。
4.交叉轮询多个数据流,以构建驱动决策的复杂事件
事件驱动的体系结构是消息流,每个消息流都与事件相关联,以驱动某些操作。架构面临到的挑战,是从多个数据流中构建复杂的事件,或基于复杂的业务逻辑将单个数据流驱动更改到多个状态。
- 智能流处理架构可操作:
- 将传入事件数据吸收到状态机中
- 从多个摄取流构建上下文实体状态
- 应用业务规则的规则集来驱动决策
- 通过迭代地融合从机器学习计划中,获得的新知识来增强和丰富这些规则
- 让决策传播以推动执行
- 一旦在实时处理中不需要上下文完成/处理的数据,则将其迁移到档案存储
智能流处理体系结构是由一个用于摄取,处理和存储的统一环境组成。
这种具有内置智能功能的集成方法可以在数据所在的位置进行分析。它利用快速的内存中关系数据处理平台(IMRDPP)不仅使流“变得智能”,而且还提供了线性扩展,可预测的低延迟,严格的ACID以及可在以下位置轻松部署的低得多的硬件空间边缘。
借助聚合,过滤,采样和关联等内置分析功能,以及存储过程/嵌入式受监督和无监督机器学习,可在一个集成平台上获得面向实时决策的流处理的所有要素。
如果您对VoltDB的工业物联网大数据低延迟方案、全生命周期的实时数据平台管理等感兴趣,欢迎私聊,与更多小伙伴一起探讨。
简析5G时代的MART流处理的更多相关文章
- 【ACM/ICPC2013】POJ基础图论题简析(一)
前言:昨天contest4的惨败经历让我懂得要想在ACM领域拿到好成绩,必须要真正的下苦功夫,不能再浪了!暑假还有一半,还有时间!今天找了POJ的分类题库,做了简单题目类型中的图论专题,还剩下二分图和 ...
- [转载] Thrift原理简析(JAVA)
转载自http://shift-alt-ctrl.iteye.com/blog/1987416 Apache Thrift是一个跨语言的服务框架,本质上为RPC,同时具有序列化.发序列化机制:当我们开 ...
- Unity5中新的Shader体系简析
一.Unity5中新的Shader体系简析 Unity5和之前的书写模式有了一定的改变.Unity5时代的Shader Reference官方文档也进一步地变得丰满. 主要需要了解到的是,在原来的Un ...
- Android -- 多媒体播放之MediaPlayer使用内部实现简析
Android -- MediaPlayer内部实现简析 在之前的博客中,已经介绍了使用MediaPlayer时要注意的内容.如今,这里就通过一个MediaPlayer代码实例,来进一步分析Media ...
- Nutch学习笔记二——抓取过程简析
在上篇学习笔记中http://www.cnblogs.com/huligong1234/p/3464371.html 主要记录Nutch安装及简单运行的过程. 笔记中 通过配置抓取地址http://b ...
- 简析 Golang IO 包
简析 Golang IO 包 io 包提供了 I/O 原语(primitives)的基本接口.io 包中定义了四个最基本接口 Reader.Writer.Closer.Seeker 用于表示二进制流的 ...
- 【HANA系列】SAP Vora(SAP HANA和Hadoop)简析
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP Vora(SAP HAN ...
- Linux网络性能优化方法简析
Linux网络性能优化方法简析 2010-12-20 10:56 赵军 IBMDW 字号:T | T 性能问题永远是永恒的主题之一,而Linux在网络性能方面的优势则显而易见,这篇文章是对于Linux ...
- 阿里云王广芳:5G时代,我们需要怎样的边缘计算?
7月24日阿里云峰会开发者大会的IT基础设施云化专场中,阿里云边缘计算高级技术专家王广芳进行了边缘节点服务重大升级发布,同时与现场观众一同探讨了5G时代边缘计算的思考与技术实践. 5G时代,我们需要怎 ...
随机推荐
- C语言讲义——链表完整代码
#include <stdio.h> #include <stdlib.h> #include <string.h> struct Node { int _id; ...
- oracle sql%notfound
SQL%NOTFOUND 是一个布尔值.与最近的sql语句(update,insert,delete,select)发生交互,当最近的一条sql语句没有涉及任何行的时候,则返回true.否则返回fal ...
- 【NOIP2017提高A组模拟9.17】组合数问题
[NOIP2017提高A组模拟9.17]组合数问题 题目 Description 定义"组合数"S(n,m)代表将n 个不同的元素拆分成m 个非空集合的方案数. 举个例子,将{1,2,3}拆分成2 个 ...
- 基于vue(element ui) + ssm + shiro 的权限框架
zhcc 基于vue(element ui) + ssm + shiro 的权限框架 引言 心声 现在的Java世界,各种资源很丰富,不得不说,从分布式,服务化,orm,再到前端控制,权限等等玲琅满目 ...
- opencv-python imread、imshow浏览目录下的图片文件
☞ ░ 前往老猿Python博文目录 ░ 一.几个知识点 1.1.使用Python查找目录下的文件 具体请参考<Python正则表达式re模块和os模块实现文件搜索模式匹配>. 1.2.o ...
- moviepy音视频剪辑:使用VideoFileClip、AudioFileClip和write_videofile、write_audiofile进行音视频的加载和输出
专栏:Python基础教程目录 专栏:使用PyQt开发图形界面Python应用 专栏:PyQt入门学习 老猿Python博文目录 老猿学5G博文目录 一.概述 在本地进行音视频处理时,首先要从视频文件 ...
- 第3章 Python的数据类型目录
第3.1节 功能强大的 Python序列概述 第3.2节 Python列表简介 第3.3节 强大的Python列表 第3.4节 泛善可陈的元组 第3.5节 丰富的Python字典操作 第3.6节 Py ...
- 手机APP测试(测试点、测试流程、功能测试)
1.功能测试 1.1 启动 APP安装完成后,是否可以正常打开,稳定运行 APP的速度是可以让人接受,切换是否流畅 网络异常时,应用是否会崩溃:在请求超时的情况下,如果程序逻辑处理的不好,就有可能发生 ...
- (转)oracle体系结构
对于一门技术的学习,尤其是像Oracle database这种知识体系极其庞杂的技术来讲,从宏观上了解其体系结构是至关重要的.同时,个人认为,未必是专业DBA人员才需要了解其体系结构(固然对于数据库专 ...
- 团队作业part4--项目冲刺
七天敏捷冲刺汇总 1. Day1 Scrum 冲刺博客 2. Day2 Scrum 冲刺博客 3. Day3 Scrum 冲刺博客 4. Day4 Scrum 冲刺博客 5. Day5 Scrum 冲 ...