个人项目wordcount】的更多相关文章

个人项目WordCount(C++/QT) GitHub项目地址:https://github.com/Nova-cjp/Word-Count 百度云链接:https://pan.baidu.com/s/1MSOXu0KbuUMJfJ8p8bwMwQ 提取码:jef2 已同步至个人博客:http://www.jpblog.xyz/Word-Count-WC-%E9%A1%B9%E7%9B%AE/ 一.PSP表格 PSP2.1 Personal Software Process Stages 预估…
结对作业: 成员:201631062115(me),201631062613(partner) 代码地址:https://gitee.com/ackary/WordCount 作业的链接地址:https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2188 partner的博客:https://www.cnblogs.com/xiaobaiky/p/9796054.html PSP表格: PSP2.1 PS…
结对项目完成WordCount 合作者:201631062507  201631062526(学号) 代码地址:https://gitee.com/WordCountMC/WordCountTeam 本次作业链接:https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2188 1.结对项目PSP编写 我们的项目于10月11日正式开始,在开始编写代码之前,我们先对我们如何完成项目以及对老师布置的作业等进行再…
码云地址:https://gitee.com/stedylan/WordCount 1.PSP表格: PSP2.1 PSP阶段 预估耗时 (分钟) 实际耗时 (分钟) Planning 计划 10 10 · Estimate · 估计这个任务需要多少时间 600 590 Development 开发 500 560 · Analysis · 需求分析 (包括学习新技术) 60 80 · Design Spec · 生成设计文档 20 0 · Design Review · 设计复审 (和同事审核…
参考自林子雨大数据教学:     http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/ 创建一个文件夹:放入一个文本文件:填入数据 导入数据如下 10181 1000481 2010-04-04 16:54:31 20001 1001597 2010-04-07 15:07:52 20001 1001560 2010-04-07 15:08:27 20042 1001368 2010-04-08 08:20:30 200…
1.Github项目地址:https://github.com/inimble/wordcount.git 2.估算耗费的时间(如右表) PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟) Planning 计划 30 10 · Estimate · 估计这个任务需要多少时间 10 5 Development 开发 60 30 · Analysis · 需求分析 (包括学习新技术) 20 40 · Design Spec · 生成设…
源代码上传到github的网址为:https://github.com/fancy-dawning/hello-world.git. wc.exe是一个常见的工具,它能统计文本文件的字符数,单词数和行数.本周的个人项目是要求写一个命令行程序,模仿已有wc.exe的功能,并加以扩充.本周的任务我参考的是博客园一位名为wuxiaoyong的博主的源代码,博主是用C语言实现,在Windows操作系统上运行,用vc++6.0开发的,其原有的功能已非常完善,不仅完成了wc.exe的基本功能,而且在其基础上…
1.Github项目地址:https://github.com/JameMo/WordCount-for-C        2.在程序的各个模块的开发上耗费的时间: PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟) Planning 计划 10 8 · Estimate · 估计这个任务需要多少时间 10 8 Development 开发 350 350 · Analysis · 需求分析 (包括学习新技术) 150 120 ·…
WordCount by Java 软测第二周作业 该项目github地址如下: https://github.com/YuQiao0303/WordCount 一.概述 项目WordCount的需求可以概括为:对程序设计语言源文件统计字符数.单词数.行数,统计结果以指定格式输出到默认文件中,以及其他扩展功能,并能够快速地处理多个文件. 具体来说,需求可参见网址: http://www.cnblogs.com/ningjing-zhiyuan/p/8563562.html 注意,这里认为如果行内…
hadoop查看自己空间 http://127.0.0.1:50070/dfshealth.jsp import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.…
1,eclipse安装hadoop插件 插件下载地址:链接: https://pan.baidu.com/s/1U4_6kLFNiKeLsGfO7ahXew 提取码: as9e 下载hadoop-eclipse-plugin-2.7.3.jar包,放入eclipse路径下(本人eclipse版本为eclipse mars,路径为C:\Users\Administrator\.p2\pool\plugins,其他版本可直接放入eclipse安装路径下的plugin) 2,安装hadoop到本地,并…
一.Hadoop环境配置概述 三台虚拟机,操作系统为:Ubuntu 16.04. Hadoop版本:2.7.2 NameNode:192.168.72.132 DataNode:192.168.72.135,192.168.72.136 注:具配置过程,不具备介绍了,网上很多. 二.eclipse(JAVA)环境配置概述 操作系统:Windows 10 eclipse版本:Mars.2 Release (4.5.2) 1.hadoop-eclipse-plugin-2.7.2.jar组件放plu…
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开发者来说,自己完完全全实现一个并行计算程序难度太大,而MapReduce就是一种简化并行计算的编程模型,它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序.这也就是MapReduce的价值所在,通过简化编程模型,降低了开发并行应用的入门门槛. 1.1 MapReduce是什么 Hadoop…
本文所用软件版本:myeclipe2014    hadoop1.2.1 1.安装Hadoop开发插件 下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]…
作业要求一 实践最简答的项目wordcount,必须完成其中的基本功能,若可以完成其他功能给予加分.完成后请将你的设计思路.主要代码写在本次作业博客里. 设计思路: 第一步:定义文件型指针变量fp,整型number,字符a. 第二步:判断输入的字符a的值,根据a值的不同调用不同的函数. 第三步:在被调用的三个函数中,判断是否打开此txt文件,如果打开失败则直接退出,从fp所指示的磁盘文件上分别读入一个字符到a,b,c,在while循环中判断文件是否结束. 第四步:对应不同的函数在循环中有不一样的…
第1章 Spark概述 1.1 什么是Spark 1.2 Spark内置模块 Spark Core:实现了Spark的基本功能,包含任务调度.内存管理.错误恢复.与存储系统交互等模块.Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet,简称RDD)的API定义. Spark SQL:是Spark用来操作结构化数据的程序包.通过Spark SQL,我们可以使用 SQL或者Apache Hive版本的SQL方言(HQL)来查询数据.Spark…
作业要求一 项目wordcount 设计思路:输入需统计的文件名,打开此文件,输入功能对应的字符,分别实现对应的功能,关闭文件. 主要代码 #include<stdio.h> #include<string.h> #define N 20 int main() { char file_name[N],parameter[2]; FILE *fp; printf("输入文件名:"); scanf("%s",&file_name); //…
作业要求一 (70分) 实践最简答的项目wordcount,必须完成其中的基本功能,若可以完成其他功能给予加分.完成后请将你的设计思路.主要代码写在本次作业博客里. 真的迷茫<(_ _)>,老师辛苦了.   要求二.学习总结和进度 1.Git:https://git.coding.net/GUANCHENG/101.git 2.点评3个同学的本周作业. 王姝雯:http://www.cnblogs.com/phsudie/p/8932631.html 孙铭婧:http://www.cnblog…
1.安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]->[Other...…
1.安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]->[Other...…
local模式 概述 local模式就是在一台计算机上运行spark程序,通常用于在本机上练手和测试,它将线程映射为worker. 1)local: 所有计算都运行在一个线程当中,没有任何并行计算,通常我们在本机执行一些测试代码,或者练手,就用这种模式; 2)local[K]: 指定使用几个线程来运行计算,比如local[4]就是运行4个Worker线程.通常我们的Cpu有几个Core,就指定几个线程,最大化利用Cpu的计算能力; 3)local[*]: 这种模式直接帮你按照Cpu最多Cores…
第4章 IDEA环境应用 spark shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理jar包的依赖. 4.1 在IDEA中编写WordCount程序 1)创建一个Maven项目WordCount并导入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId>…
在上一篇博客中,我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount.本文将介绍如何编写Java端的程序以及如何发布到测试的Storm环境中运行. 如果你觉得对你有帮助,欢迎Star和Fork,让更多人看到来帮助完善这个项目. STEP1: 克隆storm官方示例项目 storm-starter: $ git clone git://github.com/apache/storm.git && cd storm/ex…
一.项目源代码地址 本人Gitee项目地址:https://gitee.com/yuliu10/WordCount 二.PSP表格 psp阶段 预估耗时 (分钟) 实际耗时 (分钟) 计划 30 10 估计这个任务需要多少时间 20 20 开发 600 660 需求分析 (包括学习新技术) 40 60 生成设计文档 60 30 设计复审 (和同事审核设计文档) 30 20 代码规范  10 0 具体设计 50 30 具体编码 500 600 基本功能实现 150 200 扩展功能实现 350 4…
合作者:201631062124,201631062423 代码地址:https://gitee.com/yryx/WordCount 作业地址:https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2188 代码互审: 关于代码互审有一点需要说明,在之前实现wordcount的基本功能时我使用的是c++语言实现,而周欣则是使用的是java语言实现,所以在进行结对项目的时候我们商量了关于使用那种语言实现接…
参考文章:http://www.360doc.com/content/16/0227/18/10529016_537828949.shtml, 配置修改:http://blog.csdn.net/loliaryx/article/details/79125444 本文基于以上两篇文章和自己的实际操作整理,之前没有成功就是因为没有进行“hadoop2x-eclipse-plugin”配置修改: 1.环境: win7 64位,hadoop2.7.5,JDK1.8.0_162,ant1.9.10,ec…
GitHub地址:https://github.com/DM-Star/WordCount-opt 作业需求:http://www.cnblogs.com/ningjing-zhiyuan/p/8654132.html 1.WordCount项目PSP表格: PSP表格 PSP2.1 PSP阶段 预估耗时 (分钟) 实际耗时 (分钟) Planning 计划 5  5 · Estimate · 估计这个任务需要多少时间  5 5 Development 开发 310  340 · Analysi…
编程规范 (1)用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端) (2)Mapper的输入数据是KV对的形式(KV的类型可自定义) (3)Mapper的输出数据是KV对的形式(KV的类型可自定义) (4)Mapper中的业务逻辑写在map()方法中 (5)map()方法(maptask进程)对每一个<K,V>调用一次 (6)Reducer的输入数据类型对应Mapper的输出数据类型,也是KV (7)Reducer的业务逻辑写在reduce()方…
序言 合作伙伴 201631062220      201631062120 项目码云地址: https://gitee.com/zhege/WordCount 作业详细要求 系统分析与设计结对项目 正文 1.概述 该项目的PSP表格如下 2.互审代码 李欣 TO 王筱哲 :逻辑写的非常不错,唯一不足的是注释有点少,希望以后多写注释 王筱哲 TO 李欣  :思路很清楚,感觉还不错 基本功能基本一样,扩展功能主要是分成几个class,都有点困扰,代码不是那么清楚,都有所改动,最后基本一致 3.程序…
2018年系统分析与设计—个人项目作业 题目来自于 :https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2120 本次作业Gitee项目地址 :https://gitee.com/moxxxmo/WordCount 一.项目简介 1. 本项目的需求: 通过程序设计,编写一个可执行文件exe能够对源程序文件进行统计字符数.单词数.行数,统计结果可以以指定的格式输出到默认文件中. 2.参数及其约定如下:…