Hadoop学习笔记2 - 第一和第二个Map Reduce程序

【Hadoop学习笔记2 - 第一和第二个Map Reduce程序】的更多相关文章

Hadoop学习笔记2 - 第一和第二个Map Reduce程序

转载请标注原链接http://www.cnblogs.com/xczyd/p/8608906.html 在Hdfs学习笔记1 - 使用Java API访问远程hdfs集群中,我们已经可以完成了访问hdfs的配置. 接下来我们试图写一个最简单的map reduce程序.网上一般给的Demo都是统计词频(Word Count), 于是我们也简单先实现一下: 首先准备一个内容大致如下的test.txt文件: aa bbb aaa ab ba bb bbb bba baa aa aaa aa aab 每…

progit 学习笔记-- 1 第一章第二章

* 1 起步** 关于版本控制*** 什么是版本控制?记录文件变化,查阅特定版本,回溯到之前的状态.任何类型的文件进行版本控制.复制整个目录加上备份时间简单混淆无法恢复本地版本控制数据库记录历次差异更新rcs 保存并管理文件补丁(对应文件修订前后的内容变化) 不断打补丁 *** 集中化的版本控制系统不同系统上的开发者协同工作单一的集中管理的服务器,保存所有的修订版本.协同人员通过客户端连到这台服务器,取出最新文件或者提交更新. 一定程度上看到项目中的其他人在做什么,掌控开发者的权限…

Python学习笔记系列——高阶函数（map/reduce）

一.map #变量可以指向函数,函数的参数能接受变量,那么一个函数就可以接受另一个函数作为参数,这种函数被称之为高阶函数 def add(x,y,f): return f(x)+f(y) print(add(-5,-9,abs)) ''' map()函数接受两个参数,一个是函数,一个是Iterable.map将传入的函数依次作用到序列的每个元素,并把结果作为新的Iterable返回. 举例函数作用说明:把f(x)作用在list的每一个元素并把结果生成一个新的list. ''' def f(x):…

Hadoop学习笔记(10) ——搭建源码学习环境

Hadoop学习笔记(10) ——搭建源码学习环境上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步调试呢? 看程序不能调那多痛苦啊,想看跟踪一下变量,想看一下执行路径都难. 所以这里,我们得把这个调试环境搭建起来.Hadoop的主要代码是用java编写的,所以这里就选用eclipse作为环境. Hadoop目录下,本身就可以为作eclipse的一个工程来操作,但这里我不想,我想自己来建一个工程,…

Hadoop学习笔记(9) ——源码初窥

Hadoop学习笔记(9) ——源码初窥之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例.接下来其实就有两条路可走了,一条是继续深入研究其编程及部署等,让其功能使用的淋漓尽致.二是停下来,先看看其源码,研究下如何实现的.在这里我就选择第二条路. 研究源码,那我们就来先看一下整个目录里有点啥: 这个是刚下完代码后,目录列表中的内容. 目录/文件说明 bin 下面存放着可执行的sh命名,所有操作都在这里 conf 配置文件所在…

Stealth视频教程学习笔记（第一章）

Stealth视频教程学习笔记(第一章) 本文是对Unity官方视频教程Stealth的学习笔记.在此之前,本人整理了Stealth视频的英文字幕,并放到了优酷上.本文将分别对各个视频进行学习总结,提炼出其中的知识点和思路思想. 视频地址在(http://www.youku.com/playlist_show/id_23389553.html),是一个Stealth的专辑,这里只放上第一个视频,其它的大家在上面的链接中慢慢看吧. 第二章有一个视频是FLV格式的,我没法把字幕嵌入其中,所以优酷上就…

Hadoop学习笔记(5) ——编写HelloWorld(2)

Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我们写了一个MapReduce的HelloWorld程序,那这一节,我们就也学一学DFS程序的编写. DFS是什么,之前已经了解过,它是一个分布式文件存储系统.不管是远程或本地的文件系统,其实从接口上讲,应该是一至的,不然很难处理.同时在第2节的最后,我们列出了很多一些DFS的操作命令,仔细看一下,这…