Hadoop之我见

　　最近在学习Hadoop，很想把自己的一些学习遇到的问题以及解决方案分享出来，也碍于最近一堆忙不完的事，就把这事给搁了很久。

　　那下面我就先来简单说下我为什么要学习Hadoop以及我学习Hadoop的一些感受吧。

　　大家都知道，最近几年互联网的云计算、大数据、Hadoop等等这些都很炒的很火。我是一名学生，学校也赶上时髦了，也开了相关的数据挖掘、云计算等的课程。我是去年开始接触云计算方面的东西，了解了一些关于大数据处理、Hadoop的一些发展概况。总的体会就是，随着互联网的飞速发展，各行各业的数据也在急剧膨胀，未来一定是大数据的时代。因此，围绕这大数据存储、大数据处理等的发展前景也变得更加光明。

　　然后，我选择学习Hadoop也是因为它在大数据存储、数据处理方面比较强大。其次，Hadoop技术已经在互联网领域得以广泛的应用，同时也得到研究界的普遍关注。国内外很多的互联网公司都在用Hadoop做一些数据处理分析什么的。

　　学习Hadoop主要还是看好它的发展前景，我个人还是很看好这个分布式计算平台未来的前景的。目前很多大公司也在都在使用Hadoop，比如国内的阿里巴巴、百度、腾讯、国外的Yahoo、亚马逊、Facebook等都在使用Hadoop。事实证明这个分布式平台很有潜力的，虽然目前还是存在各种各样的不足和缺陷，但是有那么多人在为之付出，总是能够不断改进的。下面是Hadoop目前的一些应用情况：

Apache Nutch是Hadoop的源头，该项目始于2002年，是Apache Lucene 的子项目之一。至2004年，Google在OSDI上公开发表了题为“MapReduce: Simplified Data Processing on Large Clusters”的论文，受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS(Nutch Distributed File System)结合支持Nutch的主要算法。至2006年逐渐成为一套完整而独立的软件，起名为Hadoop。2008年初，Hadoop成为 Apache的顶级项目，应用到除Yahoo!以外的很多互联网公司。

　　Hadoop主要提供了一套名为HDFS的分布式文件系统以及支持Map-Reduce的计算框架。此外，还提供构建在HDFS 和Map/Reduce之上的可扩展的数据仓库Hive，结构化数据库HBase，数据流高层语言Pig，高性能分布式协同服务ZooKeeper，以及 面向大规模分布式系统的数据收集软件Chukwa等。

如Yahoo!使用4000个节点的机群运行Hadoop，支持广告系统和 Web搜索的究；Facebook使用1000节点的机群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习;百度用Hadoop处理每周 200TB的数据，进行搜索日志分析和网页数据挖掘工作;中移动研究院基于Hadoop开发了“大云”(BigCloud)系统，不但用于相关数据分析， 还对外提供服务；淘宝的Hadoop系统用于存储并处理电子商务的交易相关数据。国内的高校和科研院所基于Hadoop在数据存储、资源管理、作业调度、 性能优化、系统高可用性和安全性方面进行研究，相关研究成果多以开源形式贡献给Hadoop社区。

　　在国内最早运用Hadoop技术的是互联网公司，因为Hadoop是开源软件，当时国内尚无针对Hadoop的交流平台，Hadoop in China志愿者社区正是在这样的形势下自然形成的。Hadoop in China大会是这个志愿者社区的窗口，其前身是Hadoop技术沙龙。第一次举办沙龙是在2008年11月23日，目的是为了让更多的Hadoop技术 爱好者能够互相认识，并能够在一起交流学术和技术心得。会议邀请了Yahoo!、Facebook、百度等互联网企业的资深技术人员到场讲解了 Hadoop技术的原理、应用和很多内部技术细节。经过两年多的努力，Hadoop in China大会已逐渐成为集技术研讨、交流和成果展示为一身的综合性技术交流平台，Hadoop in China 志愿者社区已成为国内推广Hadoop技术的重要力量之一。

原文链接：http://it.chinabyte.com/83/11520583.shtml

　　这是我写的第一篇关于Hadoop的博文，在学习Hadoop的过程中遇到了很多的困难，在Hadoop搭建环境、实战开发过程中也出现过很多的问题。因此，以后我也会陆续的把自己之前学习Hadoop的过程中所遇到的问题以及解决方案的分享出来和大家一起研究学习。我相信积累是成长的必须过程。以后有空就多就经常去学习，思考，总结。万事开头难，不过今天算是迈出了第一步，千里之行始于足下，加油吧！