微软开源的Trill是什么?

https://www.cnblogs.com/CattaC/p/10143445.html

微软开源的Trill是什么?

以下是一篇15年的文章的译文:https://dwainegilmer.wordpress.com/2015/01/28/microsoft-trill-for-streaming-analytics-from-microsoft-research/

当今许多大数据应用程序套件的重点是数据存储。它们是围绕狭窄范围的数据集设想和设计的,通常是为了组织内的特定业务功能使用。

对新数据源的不断增加的需求使得许多BI应用程序在短短几年内就过时了。令人遗憾的是,对于许多公司而言,他们的大数据战略是存储数据,直到其实际业务价值可以在未来某个时间解锁。

在这些快节奏的时代,大多数企业迫切需要是实时的处理数据,而不是仅仅存储数据并应用一组工具进行滞后的离线分析。Trill则可以从数据中实时提取可用的知识和分析结果。基于实时的当前信息对决策提供可靠的支持和制定。这最终将改善整个决策过程。

流分析应用程序在数据到达时就可以开始搜索分析数据。而不是通过查询数据库以拉取数据信息流来进行分析,将常设查询应用于在捕获数据时产生事件(推送)的数据流。

与传统关系型数据库比较。SQL Server旨在存储和管理静态数据,Trill则旨在分析动态数据。基于Trill构建的应用程序将流传递给一组查询,这些查询分析数据并在找到匹配项时触发事件完成实时结果推送。

在大数据的新时代,公司正在竞相推出大数据系统。这些系统本质上是用于检查,转换,存储和建模业务数据的第一代紧耦合平台。Microsoft Trill(每天万亿事件)是Data Analytics层的一部分。

可以在Microsoft.com上可以找到介绍Trill的Microsoft Research(MSR)研究论文 。 Microsoft Trill是用于分析的流分析引擎或查询处理器。Trill被设计为大数据的查询处理器,有三个要求:

1) 查询模型:使用早期结果实时处理流式和关系查询,并提供离线查询;

2) 结构和语言集成:提供从高级语言库轻松访问,以便与现有分发结构和应用程序集成;

3) 性能:低延迟和高吞吐量。

与Apache Storm,Microsoft SQL StreamInsight,Vertica Shark和Naiad Spark流相比,Trill具有许多优势。Trill也将取代微软的StreamInsight。下面是Microsoft的图表,说明了差异并比较了功能集。

Trill具有时间语义化查询的能力,允许用户“通过实时或离线数据集的方式进行复杂查询”,并且由于分析引擎“在预期的使用场景中具有高性能”,因此可以比以前更快地获得结果。

Trill使用批量处理事件的新技术和算法。并且,这些批次中的数据以一种促使查询更有效地方式执行与组织。

结论

事实上,我们目前的总存储容量能提供的能力远远落后于存储新的和变化的数据流不断增长的需求。此种情况下很快就会引发以处理数据和流分析为处理方式的转变。

额外的阅读资料:

您可以从以下出版物中了解有关Trill的更多信息,或者从我们的幻灯片中了解更多信息pdf | pptx。

Trill现在是开源的,可以在GitHub上找到!

您可以在此处通过NuGet安装Trill二进制文件。
此处提供了 Trill源
可以在此处下载用于演示Trill使用的示例。
可以在此处浏览Trill API文档。
可以在此处找到阐述Trill的论文。

微软开源的Trill是什么?的更多相关文章

  1. 社区活动分享PPT:使用微软开源技术开发微服务

    上周六在成都中生代技术社区线下活动进行了一个名为"微软爱开源-使用微软开源技术开发微服务"的技术分享. 也算是给很多不熟悉微软开源技术的朋友普及一下微软最近几年在开源方面所做的努力 ...

  2. 资深人士剖析微软开源.NET事件:战略重心已经从PC转移到云端

    本文是雷锋网对我的访谈整理的文章,源地址是 http://www.leiphone.com/news/201411/6KaGhD7PDABnvrRf.html 2014年11月13日,微软表示开源.N ...

  3. K & DN 的前世今生(微软开源命名变革)

    一个非常有意思的 Issue:Can we rename K? 在这个 Issue 中,有大量的社区开发者讨论了微软开源命名问题,主要是 K 如何进行替换掉?看来大伙都对微软项目命名有歧义,首先,再次 ...

  4. Winjs – 微软开源技术发布的 JavaScript 组件集

    Winjs 是由微软开源技术的开发者推出的一组 JavaScript 组件,包括 ListView.ListView.Tooltip.DatePicker.Ratings 等等,帮助 Web 开发人员 ...

  5. 微软开源自动机器学习工具NNI安装与使用

    微软开源自动机器学习工具 – NNI安装与使用   在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到最佳模型的过程了.对于初学者来说,常常是无从下手.即使是对于有经验的算法工程师 ...

  6. 【重磅】微软开源自动机器学习工具 - NNI

    [重磅]微软开源自动机器学习工具 - NNI 在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到模型最佳效果的过程了.即使是对于有经验的算法工程师和数据科学家,有时候也很难把握其中 ...

  7. 【干货】快速部署微软开源GPU管理利器: OpenPAI

    [干货]快速部署微软开源GPU管理利器: OpenPAI 介绍 不管是机器学习的老手,还是入门的新人,都应该装备上尽可能强大的算力.除此之外,还要压榨出硬件的所有潜力来加快模型训练.OpenPAI作为 ...

  8. 微软开源大规模数据处理项目 Data Accelerator

    微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator.自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上. 据微软官方开源博客介绍,Data Accel ...

  9. ethr 微软开源的tcp udp http 网络性能测试工具

    ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试 同时对于https icmp 的支持也在开发中,tcp 协议支持连接.带宽. ...

随机推荐

  1. Cannot uninstall 'pyserial'. It is a distutils installed project and thus we cannot a ccurately determine which files belong to it which would lead to only a partial uninstall. 解决方法

    最近再升级 pyserial模块时,采用 pip install --upgrade pyserial,待模块下载完成准备卸载原版本时 提示:“Cannot uninstall 'pyserial'. ...

  2. PHP数组转为树的算法

    一.使用引用 function listToTree($list, $pk = 'id', $pid = 'pid', $child = '_child', $root = 0) { $tree = ...

  3. 最长公共子序列(模板 LCSL)

    博客: https://www.cnblogs.com/sasuke-/p/5396843.html 模板 #include<iostream>#include<cstdio> ...

  4. log4j2的环境变量使用

    官方文档  http://logging.apache.org/log4j/2.x/manual/lookups.html#EnvironmentLookup

  5. Shell逻辑语句

    case esac 语句 参考 :https://blog.csdn.net/wu20093346/article/details/47210809 case ... esac 与其他语言中的 swi ...

  6. 18核心的Intel i9将在2019年夏发布

    受工艺和架构限制,Intel HEDT发烧级桌面平台面对AMD早已经优势不再,但升级仍然在继续. 去年10月份,Intel一方面发布了第二代酷睿i9 X系列,仍然基于14nm Skylake-X架构, ...

  7. B类——Stas and the Queue at the Buffet

    http://codeforces.com/contest/1151/problem/D 题意: n个学生,每个学生都有自己的位置,最后要使

  8. liunx基础知识

    学习Linux系统的重要性应该不用多说,下面我就对Linux的基础知识进行一个全面而又简单的总结.不过建议大家还是装个Linux系统多练习,平时最好只在Linux环境下编程,这样会大有提高. linu ...

  9. Luogu P1020 导弹拦截

    传送门 这道题信息量好大啊 1.Dilworth定理 Dilworth定理:对于一个偏序集,最少链划分等于最长反链长度. Dilworth定理的对偶定理:对于一个偏序集,其最少反链划分数等于其最长链的 ...

  10. three.js - 渲染并展示三维对象

    看结果: 看源码及解释: <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...