github项目地址: https://github.com/changrui520/homework 作业要求: 可执行程序命名为:wc.exe. 该程序处理用户需求的模式为:wc.exe [parameter] [input_file_name] 存储统计结果的文件默认为result.txt,放在与wc.exe相同的目录下. 需求分析: 输入:wc.exe -c file.c 读取file.c,统计字符数,输出字符数并写入到result.txt中. 输入:wc.exe -w file.c 读…
还是那句话,看别人写的的总是觉得心累,代码一贴,一打包,扔到Hadoop上跑一遍就完事了????写个测试样例程序(MapReduce中的Hello World)还要这么麻烦!!!?,还本地打Jar包,传到Linux上,最后再用jar命令运行jar包敲一遍in和out参数,我去,我是受不了了,我很捉急,. 我就想知道MapReduce的工作原理,而知道原理后,我就想在本地用Java程序跑一遍整个MapReduce的计算过程,这个很难吗? 搜遍全网,没发现几个是自己想要的(也有可能漏掉了),都是可以…
Word Count作业 一.个人Gitee地址:https://gitee.com/Changyu-Guo 二.项目简介 该项目主要是模拟Linux上面的wc命令,基本要求如下: 命令格式: wc.exe [para] <filename> [para] <filename> ... -o <filename> 功能: wc.exe -c file.c:返回文件file.c的字符数 wc.exe -w file.c:返回文件file.c的单词总数 wc.exe -l…
lsl321 java第一次作业 #1. 本章学习总结 你对于本章知识的学习总结 本章我们学习了各种java相关文件的使用,以及码云,博客,pat等程序辅助软件,这些对于我们专业的学习有非常大的帮助,对于java的使用,目前处于初学者的状态,感觉到比较难. #2. 书面作业 1.为什么java程序可以跨平台运行?执行java程序的步骤是什么?(请用自己的语言书写) 因为java只在jvm中运行,跟平台不是直接接触的.步骤:编写java程序--生成class文件--虚拟机中解释文件. 2.什么是j…
<Java技术>第一次作业 学习总结 1.Scanner类实现基本数据输入方法 Scanner input=new Scanner(System.in); int num = input.nextInt(); 定义Scanner类,输入数 Scanner 使用分隔符模式将其输入分解为标记,默认情况下该分隔符模式与空白匹配.然后可以使用不同的 next 方法将得到的标记转换为不同类型的值. 2.Random类和Math类的random()方法都能产生随机数,这两种方式有什么区别,各有什么特点呢?…
个人项目作业 1.Github地址 https://github.com/CLSgGhost/SE_work 2.项目相关需求 wc.exe 是一个常见的工具,它能统计文本文件的字符数.单词数和行数.这个项目要求写一个命令行程序,模仿已有wc.exe 的功能,并加以扩充,给出某程序设计语言源文件的字符数.单词数和行数. 实现一个统计程序,它能正确统计程序文件中的字符数.单词数.行数,以及还具备其他扩展功能,并能够快速地处理多个文件.具体功能要求:程序处理用户需求的模式为: wc.exe [par…
1 导引 我们在博客<Hadoop: 单词计数(Word Count)的MapReduce实现 >中学习了如何用Hadoop-MapReduce实现单词计数,现在我们来看如何用Spark来实现同样的功能. 2. Spark的MapReudce原理 Spark框架也是MapReduce-like模型,采用"分治-聚合"策略来对数据分布进行分布并行处理.不过该框架相比Hadoop-MapReduce,具有以下两个特点: 对大数据处理框架的输入/输出,中间数据进行建模,将这些数据…
今天更下word count程序的设计思路及实现方法. 我的程序贴在coding里,这里就先不贴出来了, 我的coding地址:https://coding.net/u/holy_angel/p/words-count/git 想去看看的直接点地址跳转. Word count这个东西让我想起了上个学期学习的编译方法,额,或许是睡了一个学期的编译方法,感觉并不会做,然后就开始撸代码了~ 整个设计花了大概5个小时. 没有啥设计,听着音乐,喝着咖啡,想到哪写到哪~ 首先是文件名的自己键入和文件的写入读…
Mac下hadoop运行word count的坑 Word count体现了Map Reduce的经典思想,是分布式计算中中的hello world.然而博主很幸运地遇到了Mac下特有的问题Mkdirs failed to create,特此记录 一.代码 WCMapper.java package wordcount; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.a…
项目地址:https://gitee.com/yangfj/wordcount_project 1.软件需求分析: 撰写PSP表格: PSP2.1 PSP阶段 预估耗时 (分钟) 实际耗时 (分钟) Planning 计划 20 15 · Estimate · 估计这个任务需要多少时间 20 15 Development 开发 960 880 · Analysis · 需求分析 (包括学习新技术) 10 20 · Design Spec · 生成设计文档 40 20 · Design Revie…