Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路

Doug Cutting，凭借自己对工作的热情和脚踏实地的态度，开创了Lucene和Nutch两个成功的开源搜索引擎项目，同时也是当下人气大数据计算框架 Hadoop的创立者。Doug于1985年毕业于美国斯坦福大学，首个在Xerox的实习工作奠定了他日后研究搜索引擎项目以及成功的基础。1997年 底，Doug通过Lucene这个首个提供了全文文本搜索的开源函数库实现了理论到实践的巨大突破。在此基础上，Doug相继实现了Nutch 、Hadoop。为了自身梦想的实现，Doug先后就职于Architext和Yahoo!等企业，直至2009年出任Cloudera的首席架构师。

Lucene&Nutch

Lucene是第一个提供全文文本搜索的函数库，提供了一个简单而强大的应用程序接 口，是一个高性能、可伸缩的信息搜索库。作为一个成熟免费的开源项目，Lucene在Java信息检索程序库中得到了广泛的欢迎。开发者不仅能利用它构建 具体的全文检索应用，同时还能将其集成到各种系统软件中，它提供的很多API函数都能运用到各种实际应用程序中。

Nutch则是Doug在Lucene基础上将开源思想继续深化的成果，是一个真正的应用程序，它是建立在Lucene核心之上的Web搜索的实现，其目的旨在减少人们使用过程中的复杂度，并在花费很少的情况下配置世界一流的Web搜索引擎，实现开箱即用的特性。 站内索引和搜索推广到全球网络的搜索上，就像Google和雅虎一样。

Hadoop

Hadoop是Doug基于谷歌MapReduce system开发的一个开源版本，是一种开源的适合大数据的分布式存储和处理平台，是当下新时代应用程序开发必备技能之一。Hadoop作为一个能够让用户轻松架构和使用的分布式平台，具有以下几个优点：

  • 高可靠性
  • 高扩展性
  • 高效性
  • 高容错性
  • 低成本

Hadoop从最初应用的那一刻起就表现的异常出众，大大提高了网页搜索的速度。Doug的目标是将Hadoop发展成云计算领域的RedHat。纵观当下该计算框架所受到的关注度，Hadoop的成功已完全超脱了Doug的想象。

Doug可以说是云计算和大数据领域的传奇人物，他将高深莫测的搜索技术神奇般的变成了产品。然而，他的成功秘诀却并不神秘——对工作的热情和工作时的认真踏实。然而，正是这众所周知的品质成就了他的成功，也让几乎所有的人都直接或间接的使用过他作品。

转自：http://cda.pinggu.org/view/1679.html

Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路的更多相关文章

  1. Hadoop之父Doug Cutting

    生活中,可能所有人都间接用过他的作品,他是Lucene.Nutch .Hadoop等项目的发起人.是他,把高深莫测的搜索技术形成产品,贡献给普罗大众:还是他,打造了目前在云计算和大数据领域里如日中天的 ...

  2. 关于Hadoop之父Doug Cutting

    生活中,可能所有人都间接用过他的作品,他是Lucene.Nutch .Hadoop等项目的发起人.是他,把高深莫测的搜索技术形成产品,贡献给普罗大众:还是他,打造了目前在云计算和大数据领域里如日中天的 ...

  3. Hadoop基础（二）：从Hadoop框架讨论大数据生态

    1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本:Apache.Cloudera.Hortonworks. Apache版本最原始(最基础)的版本,对于入门学习最好. C ...

  4. Hadoop是原Yahoo的Doug Cutting根据Google发布的学术论文研究而来

    Hadoop是原Yahoo的Doug Cutting根据Google发布的学术论文研究而来.Doug Cutting给这个Project起了个名字,就叫Hadoop. Doug Cutting在Clo ...

  5. Hadoop创始人Doug Cutting寄语2017：五种让开源项目成功的方法

    原文链接:http://www.infoq.com/cn/news/2017/01/Hadoop-2017-5-open-source?utm_source=tuicool&utm_mediu ...

  6. [Hadoop in Action] 第2章 初识Hadoop

    Hadoop的结构组成 安装Hadoop及其3种工作模式:单机.伪分布和全分布 用于监控Hadoop安装的Web工具   1.Hadoop的构造模块   (1)NameNode(名字节点)       ...

  7. Hadoop阅读笔记（六）——洞悉Hadoop序列化机制Writable

    酒,是个好东西,前提要适量.今天参加了公司的年会,主题就是吃.喝.吹,除了那些天生话唠外,大部分人需要加点酒来作催化剂,让一个平时沉默寡言的码农也能成为一个喷子!在大家推杯换盏之际,难免一些画面浮现脑 ...

  8. Hadoop阅读笔记（五）——重返Hadoop目录结构

    常言道:男人是视觉动物.我觉得不完全对,我的理解是范围再扩大点,不管男人女人都是视觉动物.某些场合(比如面试.初次见面等),别人没有那么多的闲暇时间听你诉说过往以塑立一个关于你的完整模型.所以,第一眼 ...

  9. Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决

    0. 安装JDK 参考网上教程在OSX下安装jdk 1. 下载及安装hadoop a) 下载地址: http://hadoop.apache.org b) 配置ssh环境 在terminal里面输入: ...

随机推荐

  1. arx 移动界面到一点

    AcDbViewTableRecord view; AcGePoint3d max = acdbHostApplicationServices()->workingDatabase()-> ...

  2. 前端axios发送的数据后端接收不到（没有自动依赖注入）可能的原因

    前端请求头content-type没有进行正确设置,后端无法解析该类型数据,比如说: 后端若想接收json类型的数据,则需要配置相应的转换器,(spring中可使用@RequestBody注解),若没 ...

  3. Spring Boot 与任务

    一.任务 1.异步任务 package com.yunche.task.service; import org.springframework.stereotype.Service; /** * @C ...

  4. lombok无法解析log

    首先确认开发工具是否安装lombok,已安装的话打开lombok插件页,选择update, 然后重启idea.

  5. 【计算几何】二维凸包——Graham's Scan法

    凸包 点集Q的凸包(convex hull)是指一个最小凸多边形,满足Q中的点或者在多边形边上或者在其内.右图中由红色线段表示的多边形就是点集Q={p0,p1,...p12}的凸包. 一组平面上的点, ...

  6. HDU - 2018 - 母牛的故事（dp）

    题意: 如题 思路: 递推的思想,牛只能在第4年才能开始生小牛,对于 第n年有多少牛 = n-1年的牛数量 + 新出生的牛的数量 新出生的牛的数量 = 已经出生满4年的牛的数量 = n-3年时候牛的数 ...

  7. poj2352 Stars【树状数组】

    Astronomers often examine star maps where stars are represented by points on a plane and each star h ...

  8. python爬虫26 | 把数据爬取下来之后就存储到你的MySQL数据库。

    小帅b说过 在这几篇中会着重说说将爬取下来的数据进行存储 上次我们说了一种 csv 的存储方式 这次主要来说说怎么将爬取下来的数据保存到 MySQL 数据库 接下来就是 学习python的正确姿势 真 ...

  9. 洛谷 2484 [SDOI2011]打地鼠

    [题解] n^6的做法很好想,然而这样复杂度不对.. 然后我们可以发现R和C可以分开求,这样复杂度降到了n^4. 使用树状数组可以把复杂度降到n^3logn,可以顺利通过. #include<c ...

  10. Spring核心技术（一）——IoC容器和Bean简介

    IoC容器和Bean简介 这章包括了Spring框架对于IoC规则的实现.Ioc也同DI(依赖注入).而对象是通过构造函数,工厂方法,或者一些Set方法来定义对象之间的依赖的.容器在创建这些Bean对 ...