简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map和Reduce,框架采用Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave上运行TaskTracker,Hadoop框架是用Java实现的,但是MapReduce应用程序则不一定要用Java来写. MapReduce体系结构主要是…

简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与计算机密融合(可以充分利用与计算机设施来降低或提高负载) NoSQL数据库的十大类型:文档数据库,图数据库,键值数据库,列族数据库 1.键值数据库 二.列族数据库 三.文档数据库 四.图形数据库 NoSQL理论三大基石之CAP: CAP理论告诉我们,一个分布式系统不可能同时满足一致性,可用性,与分区…

简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行在MapReduce任务 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上 是一个可以提供有效,合理,直观组织和使用数据的分析工具 特点:1.采用批处理方式处理海量数据:H…

复习关于Hadoop的操作语句以及重点 Shell版 跳转目录到Hadoop: cd /usr/local/hadoop 启动Hadoop: ./sbin/start-dfs.sh 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系…

一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

本周主要对HBASE的相关知识进行了学习,主要是通过视频的讲解了解到了HBASE的存储机制,HBASE的机制与普通的关系型数据库完全不同,HBASE以列进行存储,其主要执行的就是增删查操作,其更改主要是依靠时间戳进行的,他保存旧数据直到达到一定的时间才会进行更新.关系型数据库主要是通过二维表的方式来确定数据的,并且其数据一般具有联系性.而对于HBASE来讲他是通过1.行键2.列族3.列限定符4.时间戳四维来确定一个元素的,并且HBASE适合存储非结构化和半结构化的松散数据.并且对HBASE数据库…

20145330第五周<Java学习笔记> 这一周又是紧张的一周. 语法与继承架构 Java中所有错误都会打包为对象可以尝试try.catch代表错误的对象后做一些处理. 使用try.catch语法,JVM尝试执行try区块中的程序代码.如果发生错误,执行流程会跳离错误发生点,然后比较catch括号中声明的类型,是否符合被抛出的错误对象类型,如果是,就执行catch区块的程序代码. 范例如下: import java.util.*; public class Average { public…

没想到,我的大学里第一个暑假,9周的时间只有最初的两周在家待着,接下来的7周将会在学校度过. 说真的,这是我上学以来,第一次真正好好利用的假期.在这五周里,周一.三.五下午学长都会给我们讲点知识,之后会给我们题目让我们去A. 因为我一切都是从0开始的,基本上大多数题目都是看网上题解后才做的,很少是从头到尾全靠自己能力AC的.不过,毕竟是一开始嘛,总有不熟悉的,接触久了,自然会有提升. 听学长说,搞ACM是很费精力的一件事.我知道这条路很漫长,也许最终不一定能得好的结果,但是既然选择了,就要为之付…

第五周课程总结 本周主要学习了 1.抽象类 抽象类的定义格式 abstract class抽象类名称{ 属性; 访问权限返回值类型方法名称(参数){ //普通方法 [return返回值]; } 访问权限abstract返回值类型方法名称(参数); //抽象方法 //在抽象方法中是没有方法体的 } 2.对象的多态性 向上转型(子类 → 父类) 向下转型(父类 → 子类) 向下转型前一定要先向上转型,并用instanceof关键字进行安全验证 3.接口 interface 接口名{ 全局变量: 抽象…

第六章学习内容 1.接口 使用interface来定义一个接口. 接口体中包含常量的声明(没有变量)和抽象方法两部分.接口体中只有抽象方法,没有普通的方法,而且接口体中所有的常量的访问权限一定都是public,而且是static常量(允许省略public.final和static修饰符),所有的抽象方法的访问权限一定都是public(允许省略public abstract修饰符),例如: interface Printable{ public static final int MAX = 100…