7月13号day5总结
今天学习过程和小结
使用伪分布式进行大数据计算,计算气象站记录气温的平均值
weather
map()方法,key值数据多所以用LongWritable,value值是string类型,string类型包装类是Text。输出value是气温也是Text,key是IntWritable.接下来重写map方法。//获取气象站编号--文件名,从5到10.获取其气温值,从13到19,去空格trim()方法。
reduce()方法,第一步继承int sum=0相同key进行合并在同一个reduce下。int count=0;
sum+=val.get();count++;
Job()方法,继承类,main方法,配置文件,连接namenode
气温计算过程:
气温计算结果:
怎么显示?读出来放进数据库中。读一行放一行。怎么读?用HDFS读写操作读取文件。
读取文件中的数据:
读取之后存入数据库中
建立数据库,ENGINE=INNODB数据引擎,default charset=utf8事物,原子操作,要么都执行要么都不执行。保证数据的一致性。分布式数据库消息中间件回滚。不能用原子操作。因为数据分布在不同的数据库就不是同一个数据源。
insert封装数据输入到数据库中之后进行前端显示。
显示的时候用springMVC框架
框架配置过程:
用到springMVC,servlet用户只能通过URL提交到servlet,service(do Get.doPost)通过转发或重定向。但什么时候用,查询以后用转发。增删改之后用重定向。用转发的话会进行重复操作。查询之后吧数据放入作用域。servlet用类@servlet配地址。用户通过URL到核心拦截器DispatchServlet.拦截所有的请求解析URL。handlerMapping.key与value。URL和handler对象1.通过URL找handler。handlerMapping3.将handler交给handleradaper找handlerAdaper。4.将返回值交还给DispatchServlet.
在web.xml中配置
第三个包,jstl1.2,4.16contect,mvc
遇到问题汇总
1.在进行气温计算的时候,要通过KEY来确定数据,但一开始从文件中数数据列的时候没有数对列数。而且数据前可能有空格也没有考虑到,要用trim()去空格
2.Setting property 'source' to 'org.eclipse.jst.jee.server:你的站点名' did not find a matching property。在Tomcat的设置上面出了错。
3.SpringMVC的原理有所了解但是自己搭建springMVC的环境还比较生疏。
4.在用HDFS进行文件操作的时候要注意文件的路径,对于namenote和datanote
学习技能思维导图
7月13号day5总结的更多相关文章
- 2019第一期《python测试开发》课程,10月13号开学
2019第一期<python测试开发>课程,10月13号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学,方便交流 本期上课时间:10月13号-12月8号,每周六.周日晚上20: ...
- 西安活动 | 2019年1月13号 "拥抱开源, 又见.NET" 线下交流活动报名进行中
随着.NET Core的发布和开源,.NET又重新回到人们的视野..NET Core的下个3.0即将release,加入非常多的新功能,越来越拥抱变化,DevOps和Microservice的最佳实践 ...
- 号外号外:9月13号《Speed-BI云平台案例实操--十分钟做报表》开讲了
引言:如何快速分析纷繁复杂的数据?如何快速做出老板满意的报表?如何快速将Speed-BI云平台运用到实际场景中? 本课程将通过各行各业案例背景,将Speed-BI云平台运用到实际场景中 ...
- java内部类 2016年12月13号
1.在外部类的任意位置创建内部类对象的方法: 1)从外部类的非静态方法之外的任意位置创建某个内部类的对象,必须指明这个对象所在的外部类和内部类:OuterClassName.InnerClassNam ...
- 4月13号的web标准化交流化-开端
这是实习工作的开始,也是正式踏入北京之后去参加的第一个活动.也算是想着法的去融入这个圈子. 这两个分享都是基于nodejs的.nodejs从11年开始就开始红火.但是真正nodejs能用来干什么? 我 ...
- 对5月13号中BaseDao方法进行优化改造,更接近于框架的编写
/* * 通用查询.更新升级版 * */ public class BaseDao2 { static { try { Class.forName(ConfigUtil.getValue(" ...
- 5月25号开学! 第13期《python3自动化测试selenium+接口》课程,python零基础也能学
2019年 第13期<python3自动化测试selenium+接口>课程,5月25号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学 本期上课时间:5月25号-7月28号,每周 ...
- 补psp进度(11月4号-9号)
这周psp进度 11月4号 内容 开始时间 结束时间 打断时间 净时间 小伙伴聊天实现 9:45 10:49 0 64m 学习HttpURLConnection 14:13 15:48 10m 85m ...
- 《Genesis-3D开源游戏引擎-FQA常见问题解答》2014年01月10号版本
1.Genesis-3D开源游戏引擎主要面向哪些用户人群?有限制吗? 1.我们的引擎没有限制,只要您想了解和使用我们的引擎,就可以加入Genesis-3D的大家庭.2.我们的主要用户群是各个相关的企业 ...
随机推荐
- oracle之bitmap索引
oracle常见的索引是BTree索引和Bitmap索引. BTree索引特点: 默认索引 适合大量增删改查 不能用or操作符 适合高基数的列(即唯一值多) 创建sql:create index li ...
- tcl之控制流-while
- POJ 2836 状压DP
Rectangular Covering Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 2727 Accepted: 7 ...
- easypoi 一行代码搞定excel导入导出
开发中经常会遇到excel的处理,导入导出解析等等,java中比较流行的用poi,但是每次都要写大段工具类来搞定这事儿,此处推荐一个别人造好的轮子[easypoi],下面介绍下“轮子”的使用. pom ...
- [CodeForces954G]Castle Defense(二分答案+差分)
Description 题目链接 Solution 二分答案,套一个差分标记即可 每次放弓箭手显然越右边越优 Code #include <cstdio> #include <alg ...
- Android 程序中获取一个反向 Shell
代码如下: String command = "ls -al /"; Process process = Runtime.getRuntime().exec(command); 之 ...
- 【转帖】置高并发jdbc连接池
简单的MySQL连接池 <Resource type="javax.sql.DataSource" name="jdbc/TestDB" factory= ...
- HTML中body相关标签-03
今日主要内容: 列表标签 <ul>.<ol>.<dl> 表格标签 <table> 表单标签 <fom> 一.列表标签 列表标签分为三种. 1 ...
- AD高级规则设置
inpolygon 是所有的覆铜 ispad 是焊盘到焊盘的间距 IsVia 过孔间距 ispad and InComponent('S1') 设置某个器件的焊盘间距规则 ispad and H ...
- Java中的垃圾回收机制&内存管理&内存泄漏
1. Java在创建对象时,会自动分配内存,并当该对象引用不存在的时候,释放这块内存. 为什么呢? 因为Java中使用被称为垃圾收集器的技术来监视Java程序的运行,当对象不再使用时,就自动释放对象所 ...