微软开源的Trill是什么?

https://www.cnblogs.com/CattaC/p/10143445.html

微软开源的Trill是什么?

以下是一篇15年的文章的译文:https://dwainegilmer.wordpress.com/2015/01/28/microsoft-trill-for-streaming-analytics-from-microsoft-research/

当今许多大数据应用程序套件的重点是数据存储。它们是围绕狭窄范围的数据集设想和设计的,通常是为了组织内的特定业务功能使用。

对新数据源的不断增加的需求使得许多BI应用程序在短短几年内就过时了。令人遗憾的是,对于许多公司而言,他们的大数据战略是存储数据,直到其实际业务价值可以在未来某个时间解锁。

在这些快节奏的时代,大多数企业迫切需要是实时的处理数据,而不是仅仅存储数据并应用一组工具进行滞后的离线分析。Trill则可以从数据中实时提取可用的知识和分析结果。基于实时的当前信息对决策提供可靠的支持和制定。这最终将改善整个决策过程。

流分析应用程序在数据到达时就可以开始搜索分析数据。而不是通过查询数据库以拉取数据信息流来进行分析,将常设查询应用于在捕获数据时产生事件(推送)的数据流。

与传统关系型数据库比较。SQL Server旨在存储和管理静态数据,Trill则旨在分析动态数据。基于Trill构建的应用程序将流传递给一组查询,这些查询分析数据并在找到匹配项时触发事件完成实时结果推送。

在大数据的新时代,公司正在竞相推出大数据系统。这些系统本质上是用于检查,转换,存储和建模业务数据的第一代紧耦合平台。Microsoft Trill(每天万亿事件)是Data Analytics层的一部分。

可以在Microsoft.com上可以找到介绍Trill的Microsoft Research(MSR)研究论文 。 Microsoft Trill是用于分析的流分析引擎或查询处理器。Trill被设计为大数据的查询处理器,有三个要求:

1) 查询模型:使用早期结果实时处理流式和关系查询,并提供离线查询;

2) 结构和语言集成:提供从高级语言库轻松访问,以便与现有分发结构和应用程序集成;

3) 性能:低延迟和高吞吐量。

与Apache Storm,Microsoft SQL StreamInsight,Vertica Shark和Naiad Spark流相比,Trill具有许多优势。Trill也将取代微软的StreamInsight。下面是Microsoft的图表,说明了差异并比较了功能集。

Trill具有时间语义化查询的能力,允许用户“通过实时或离线数据集的方式进行复杂查询”,并且由于分析引擎“在预期的使用场景中具有高性能”,因此可以比以前更快地获得结果。

Trill使用批量处理事件的新技术和算法。并且,这些批次中的数据以一种促使查询更有效地方式执行与组织。

结论

事实上,我们目前的总存储容量能提供的能力远远落后于存储新的和变化的数据流不断增长的需求。此种情况下很快就会引发以处理数据和流分析为处理方式的转变。

额外的阅读资料:

您可以从以下出版物中了解有关Trill的更多信息,或者从我们的幻灯片中了解更多信息pdf | pptx。

Trill现在是开源的,可以在GitHub上找到!

您可以在此处通过NuGet安装Trill二进制文件。
此处提供了 Trill源
可以在此处下载用于演示Trill使用的示例。
可以在此处浏览Trill API文档。
可以在此处找到阐述Trill的论文。

微软开源的Trill是什么?的更多相关文章

  1. 社区活动分享PPT:使用微软开源技术开发微服务

    上周六在成都中生代技术社区线下活动进行了一个名为"微软爱开源-使用微软开源技术开发微服务"的技术分享. 也算是给很多不熟悉微软开源技术的朋友普及一下微软最近几年在开源方面所做的努力 ...

  2. 资深人士剖析微软开源.NET事件:战略重心已经从PC转移到云端

    本文是雷锋网对我的访谈整理的文章,源地址是 http://www.leiphone.com/news/201411/6KaGhD7PDABnvrRf.html 2014年11月13日,微软表示开源.N ...

  3. K & DN 的前世今生(微软开源命名变革)

    一个非常有意思的 Issue:Can we rename K? 在这个 Issue 中,有大量的社区开发者讨论了微软开源命名问题,主要是 K 如何进行替换掉?看来大伙都对微软项目命名有歧义,首先,再次 ...

  4. Winjs – 微软开源技术发布的 JavaScript 组件集

    Winjs 是由微软开源技术的开发者推出的一组 JavaScript 组件,包括 ListView.ListView.Tooltip.DatePicker.Ratings 等等,帮助 Web 开发人员 ...

  5. 微软开源自动机器学习工具NNI安装与使用

    微软开源自动机器学习工具 – NNI安装与使用   在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到最佳模型的过程了.对于初学者来说,常常是无从下手.即使是对于有经验的算法工程师 ...

  6. 【重磅】微软开源自动机器学习工具 - NNI

    [重磅]微软开源自动机器学习工具 - NNI 在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到模型最佳效果的过程了.即使是对于有经验的算法工程师和数据科学家,有时候也很难把握其中 ...

  7. 【干货】快速部署微软开源GPU管理利器: OpenPAI

    [干货]快速部署微软开源GPU管理利器: OpenPAI 介绍 不管是机器学习的老手,还是入门的新人,都应该装备上尽可能强大的算力.除此之外,还要压榨出硬件的所有潜力来加快模型训练.OpenPAI作为 ...

  8. 微软开源大规模数据处理项目 Data Accelerator

    微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator.自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上. 据微软官方开源博客介绍,Data Accel ...

  9. ethr 微软开源的tcp udp http 网络性能测试工具

    ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试 同时对于https icmp 的支持也在开发中,tcp 协议支持连接.带宽. ...

随机推荐

  1. WebStorm如何分配运行内存?The IDE is running low on memory...

    vue项目做的后台管理系统做得差不多了,安装的依赖包也越来越大,就在春节放假的前两天,突然发现我的电脑居然带不动WebStorm了,查改一些代码,WebStorm运行迟钝,鼠标滑动严重“掉帧”,让我非 ...

  2. Python3中PyMongo的用法

    MongoDB存储 在这里我们来看一下Python3下MongoDB的存储操作,在本节开始之前请确保你已经安装好了MongoDB并启动了其服务,另外安装好了Python的PyMongo库. 连接Mon ...

  3. XML Namespace (xmlns) 属性

    http://www.w3school.com.cn/xml/xml_namespaces.asp XML Namespace (xmlns) 属性 XML 命名空间属性被放置于元素的开始标签之中,并 ...

  4. c#中开发ActiveX的学习笔记

    1.为什么要用ActiveX? 网页本身的功能是有限的,要想实现一些网页本身不支持的功能,比如:网页上的p2p视频播放,就得靠ActiveX这种古老的技术. 2.c#能开发ActiveX吗? 严格意义 ...

  5. asp.net loading 动画

    https://www.cnblogs.com/AnneHan/p/7477761.htmlhttps://blog.csdn.net/qq_33769914/article/details/7115 ...

  6. ftp、ssh

    ftp.ssh都是网络传输的协议,两者一般用来访问服务器,支持ftp的服务器称为ftp服务器,支持ssh的服务器称为ssh服务器. 说白了就是不同的访问方式,ssh更加安全,有相应的密匙 https: ...

  7. 错误:java.io.FileNotFoundException: /storage/emulated/0/Documents/eclipse-inst-win64.exe

    在Android服务的最佳实例中:https://www.cnblogs.com/hh8888-log/p/10300972.html,在最后运行的时候,点击Start Download按钮总是会报一 ...

  8. 《Google软件测试之道》测试工程师

    愿和我一样读过这本书的人有所共鸣或者启发,愿没读过这本书的人,能获得一点点收获... 说到软件测试工程师,首先我们需要明白一个问题,软件测试工程师的职责是什么? 关于这个话题,不同的人有不同的定义:抛 ...

  9. Android使用属性动画ValueAnimator动态改变SurfaceView的背景颜色

    以下是主要代码,难点和疑问点都写在注释中: /** * 开始背景动画(此处为属性动画) */ private void startBackgroundAnimator(){ /* *参数解释: *ta ...

  10. 搭建SSH服务

    1.安装 ssh-server 通过命令进行安装:sudo apt-get install openssh-server 在安装时遇到问题,根据提示,执行命令:sudo apt-get update, ...