一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

简单学习云数据库系统架构(以UMP系统为例) 一.UMP系统概述 低成本和高性能的MySQL云数据库方案 二.UMP系统架构 架构设计遵循以下原则: 保持单一的系统对外入口,并且为系统内部维护单一的资源池 消除单点故障,保证服务的高可用性 报站系统具有良好的可伸缩性,能够动态地增加,删除计算与储存节点 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全 UMP系统中的角色包括: Controller服务器 Proxy服务器 Agent服务器 Web控制台 日志分析服务器…

简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与计算机密融合(可以充分利用与计算机设施来降低或提高负载) NoSQL数据库的十大类型:文档数据库,图数据库,键值数据库,列族数据库 1.键值数据库 二.列族数据库 三.文档数据库 四.图形数据库 NoSQL理论三大基石之CAP: CAP理论告诉我们,一个分布式系统不可能同时满足一致性,可用性,与分区…

简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行在MapReduce任务 可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上 是一个可以提供有效,合理,直观组织和使用数据的分析工具 特点:1.采用批处理方式处理海量数据:H…

简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map和Reduce,框架采用Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave上运行TaskTracker,Hadoop框架是用Java实现的,但是MapReduce应用程序则不一定要用Java来写. MapReduce体系结构主要是…

复习关于Hadoop的操作语句以及重点 Shell版 跳转目录到Hadoop: cd /usr/local/hadoop 启动Hadoop: ./sbin/start-dfs.sh 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系…

本次配置主要使用的教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法,或者提示 一.使用虚拟机安装centos7并设置图形界面 在安装的过程中,由于自己还是熟悉图形界面,所以还是在安装之后又继续安装了图形界面 yum groupinstall "GNOME Desktop" "Graphical Administration Tools" 这行代码是安装图形…

<python基础教程(第二版)>学习笔记 基础部分(第1章)python常用的IDE:Windows: IDLE(gui), Eclipse+PyDev; Python(command line);Linux/Unix: python 1/2=0 # 整除结果为0from __future__ import division # 可以执行普通的除法python -Qnew # 可以执行普通的除法 //整除, 例如: 1//2=0:%取余数:**乘幂长整型数: 末尾带L,例如: 10000L十…

一,Hadoop和NoSQL数据库的学习,大多需要Linux环境. 搭建Linux环境可以分为两种方式: (1)在电脑上安装双操作系统,即同时安装Linux和Windows操作系统,在电脑启动的时候,可以选择进入Linux系统: (2)在安装好Windows操作系统的电脑上,在开机进入Windows操作系统以后,安装Linux虚拟机,即在Windows运行环境下虚拟出一个Linux运行环境. 至此,我选择第二种,安装Linux虚拟机. 1.若您的电脑支持VT(Virtualization Tec…

在老师给的虚拟机上安装,试了n次都没有安装成功,百度上的说法也是众说纷纭. 之后重新安装了另一个版本的虚拟机,按照教程成功装上了ka li. 一. 安装VMtools:是为了方便宿主机与虚拟机间的文件的传输 点击 虚拟机-->安装VMware Tools 然后将安装的文件复制到Home文件夹中. 查看主目录的文件,使用命令'ls' 进入主目录,使用命令'cd vmtools',使用'ls'再次查看vmtools的文件,发现有一个压缩包,名为VMwareTools-10.1.6-5214329.t…