机器大数据也离不开Hadoop

转自：http://gtstorageworld.blog.51cto.com/908359/1286758

根据数据来源划分，大数据主要包括三类：商业运作产生的数据、人类行为产生的数据和机器数据。目前，人们谈论最多的是前两类数据的 处理和分析。创立于2004年的Splunk公司独树一帜，从公司成立之初就一直专注于机器数据的处理和分析。Splunk公司产品营销副总裁 Sanjay Mehta在接受本报记者采访时表示，机器大数据未来具有非常广阔的发展前景。

　　机器大数据有可为

　 　何为机器数据?人们的每项活动都会在机器数据中留下痕迹，这些数据包含客户行为、使用事务处理、应用程序行为、服务水平等的明确记录，像人们非常熟悉的 日志文件、传感器数据等都是机器数据。Sanjay Mehta表示：“机器生成的数据是发展最快、最复杂同时也是最宝贵的那部分大数据。但是现有的数据分析、管理和监控解决方案很少有为这类数据设计的。”

　　机器数据处理的难点在于以下三方面：机器数据来自于不同来源，而将这些不同来源关联起来十分复杂;机器数据主要是非结构化的，很难用预先定义的架构来处理;机器数据对实时处理的要求非常高。Splunk的产品被外界称为机器数据的引 擎，它能够有效应对机器数据的种种挑战，收集非结构化的时间序列机器数据，并编制索引加以利用。Sanjay Mehta表示，Splunk可以读取人们能够想到的任何来源的数据，比如网络流量、Web服务器、自定义应用程序、应用程序服务器、虚拟机管理程序、GSP系统甚至股市源、社交媒体和结构化数据库的数据，并通过它们实时掌握业务状况，深入分析在整个IT系统和基础设施中发生了什么，从而做出正确决策。

　　增强Hadoop的易用性

　 　“我们的某些客户告诉我们，他们要使用Hadoop，希望以更低成本来存储数据。但问题是，如果想部署Hadoop并基于它获得更多价值并不是一件容易 的事。部署Hadoop所花费的人力和服务可能是部署普通软件的20倍。如果想充分发挥Hadoop的作用，至少要将13个项目与Hadoop进行集成。 另外很多客户反映，Hadoop平台上的数据量太大而无法随意迁移。”Sanjay Mehta表示，“2012年10月，我们推出了 Splunk Hadoop Connect，让用户可以简单、方便地在Splunk Enterprise和Hadoop之间转移数据。”

　　Splunk Hadoop Connect打通了Hadoop与Splunk产品平台之间的传输通道， 用户可以将Splunk平台上的数据传输到Hadoop平台上进行长期存储。Hadoop上的数据也可以实时地传输到Splunk上进行分析和可视化。

　　对于很多客户来说，最棘手的问题是Hadoop上的数据量太大，无法随意移动。

　　2013年6月22日，Splunk 发布了Hunk测试版——Splunk Analytics for Hadoop，它提供了针对Hadoop平台的互动数据探索分析和可视化功能，这为用户使用Hadoop平台提供了更多便利。

　 　Splunk Analytics for Hadoop是一个全功能的集成的产品，针对Hadoop上的数据在同一个平台上提供了互动的数据探索、分 析和可视化三种必要的功能。“Splunk Analytics for Hadoop为用户提供了一个简单、易用的界面，不仅专业人员可以使用，即使普 通的管理人员也能使用它对数据进行访问和分析。以前可能要花几个月时间来了解和分析数据，现在使用 Splunk Analytics for Hadoop，可能只要一小时甚至几分钟。”Sanjay Mehta表示。

　　 Splunk Analytics for Hadoop是首个采用Splunk虚拟索引技术(正在申请专利)的产品。用户通过它可以无缝使用 Splunk的所有技术，包括Splunk搜索处理语言(SPL)等。它可以实现互动地探索、分析和可视化存储在任何地方的数据，就像这些数据存储在 Splunk Index中一样。Sanjay Mehta介绍说：“未来，我们会把更多技术创新反馈给Hadoop社区。目前，我们正在邀请特定的用户 参与Hunk的测试。”