简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与计算机密融合(可以充分利用与计算机设施来降低或提高负载) NoSQL数据库的十大类型:文档数据库,图数据库,键值数据库,列族数据库 1.键值数据库 二.列族数据库 三.文档数据库 四.图形数据库 NoSQL理论三大基石之CAP: CAP理论告诉我们,一个分布式系统不可能同时满足一致性,可用性,与分区…

简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行在MapReduce任务 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上 是一个可以提供有效,合理,直观组织和使用数据的分析工具 特点:1.采用批处理方式处理海量数据:H…

简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map和Reduce,框架采用Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave上运行TaskTracker,Hadoop框架是用Java实现的,但是MapReduce应用程序则不一定要用Java来写. MapReduce体系结构主要是…

复习关于Hadoop的操作语句以及重点 Shell版 跳转目录到Hadoop: cd /usr/local/hadoop 启动Hadoop: ./sbin/start-dfs.sh 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系…

一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

本周由于自己出去玩,以及家里的各种事也没好好看书,就对HDFS的一些常用的shell命令进行了学习与应用,观看了林子雨老师关于HDFS的视频,对HDFS的一些存储的原理.规则进行了一定的了解.对ubantu系统的操作有了逐步的认识,其中还是有不少需要注意的地方,如果不小心的话就肯定不会得到想要的结果,出现较大的问题.…

数据库学习---SQL基础(一) 数据库学习---SQL基础(二) 数据库学习---SQL基础(三) 上篇复习的sql的增删改查,and ,or ,>=, <=,!=等逻辑运算符,还有in限制范围操作付,还有like查找相似操作符.使用表连接查找数据... 这篇主要复习各种内置函数使用. 特殊函数: SQL NULL 函数 有时候进行计算的值是null,如price*(other+orderNums) 如果orderNums是为null那么结果为null,但原本预期如果没有订单数则为0最后结果…

第三周 一.使用JDB调试java代码(主要内容为断点) 以下文字内容转自使用JDB调试java程序,图片则为自己的截图 我们提倡在Linux命令行下学习Java编程.学习时在Ubuntu Bash中通过Ctrl+Shift+T快捷键打开三个标签(tab),:一个使用vim编辑代码:一个使用javac, java(或ant, gradle...)编译运行代码:一个使用JDB调试代码. 如下图所示,这样就不用在一个窗口中进行编辑,编译运行和调试的切换了,能提高效率. 如上图,我们在Linux Ba…

简单学习云数据库系统架构(以UMP系统为例) 一.UMP系统概述 低成本和高性能的MySQL云数据库方案 二.UMP系统架构 架构设计遵循以下原则: 保持单一的系统对外入口,并且为系统内部维护单一的资源池 消除单点故障,保证服务的高可用性 报站系统具有良好的可伸缩性,能够动态地增加,删除计算与储存节点 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全 UMP系统中的角色包括: Controller服务器 Proxy服务器 Agent服务器 Web控制台 日志分析服务器…

Hadoop的核心是HDFS和MapReduce. 1.分布式文件系统HDFS理论方面的认知学习. 2.HDFS编程实践. 3.分布式数据库HBase.…