Hadoop产生背景: 传统方式,我们使用数据库来对数据进行管理.可是随着数据量的增加,我们要对这个数据库中的海量数据进行处理, 从中提取出有效的信息,这时候面临的问题随之而来: 1.海量数据读取,采用多个硬件读取,如果硬件故障了怎么办? 2.  1个磁盘读取的数据可能和另外99个磁盘读取的数据合并起来才能使用,如何保证这个不同数据组合的正确性? 这便是Hadoop要解决的问题.Hadoop使用了HDFS分布式文件系统,计算架构Map reduce以及结构化数据处理的Hbase.基于zooKee…

一.Hadoop简介 1.1.Hadoop主要进行分布式存储和分布式计算 1.1-1.HDFS:分布式文件系统 1.1-2.MapReduce:并行计算框架 1.2.Hadoop用来做什么? 搭建大型的数据仓库 搜索引擎.日志分析.数据挖掘 1.3.优势: 高扩展.低成本.成熟的生态圈 二.Hadoop核心 2.1.HDFS 2.1.1 简介 文件被分成块进行存储(默认块的大小是64MB),HDFS两个重要节点NameNode和DataNode 1)NameNode:管理节点,存储源文件 (1)…

背景 本文整理一些Hadoop YARN的相关内容. 简介 YARN(Yet Another Resource Negotiator)是Hadoop通用资源管理平台,为各类计算框架(离线MR.在线Storm.内存计算Spark等)提供统一的资源管理和调度. 它提供的功能有: 统一资源管理和调度: 集群中所有节点的资源(内存.CPU.磁盘.网络)抽象为Container.计算框架需要向YARN申请Container,YARN按策略对资源进行调度与Container分配. 资源隔离:YARN使用了轻…

一 Hadoop简介 1.1Hadoop产生的背景 1. HADOOP最早起源于Nutch.Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取.索引.查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问,如何解决数十亿网页的存储和索引问题. 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案. 分布式文件系统(GFS),可用于处理海量网页的存储 分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题. BigTable 数据库:OLTP 联机事…

一.简介 定义:开源的,做分布式存储与分布式计算的平台: 功能:搭建大型数据仓库,对PB级数据进行存储.处理.分析.统计等业务:(如日志分析.数据挖掘) Hadoop工作模块 Common:提供框架和工具,对其它Hadoop模块的支持: Distributed File System(HDFS:分布式文件系统):负责数据的存储: YARN:作业的调度及资源管理: MapReduce:基于YARN的并行处理框架: 二.Hadoop 功能模块 1)HDFS(分布式文件系统) 特点 可扩展,可容错.可…

相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构.Pig还提供了一套更强大的数据变换操作,包括在MapReduce中被忽视的连接Join操作. Hadoop版本:2.2.0  Pig版本:0.12.1 Pig介绍 Pig包括两部分: 用于描述数据流的语言,称为Pig Latin. 用于执行Pig Latin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和Hadoo…

Hortworks 作为Apache Hadoop2.0社区的开拓者,构建了一套自己的Hadoop生态圈,包括存储数据的HDFS,资源管理框架YARN,计算模型MAPREDUCE.TEZ等,服务于数据平台的PIG.HIVE&HCATALOG.HBASE,HDFS存储的数据通过FLUME和SQOOP导入导出,集群监控AMBARI.数据生命周期管理FALCON.作业调度系统OOZIE.本文简要介绍了各个系统的概念.另外大多系统都通过Apache开源,读者可以自行下载试用. Hortworks Had…

Hadoop的介绍: Hadoop是一个适用于大数据的并行存储和计算的平台,是 Apache的一个用java 语言实现开源软件框架,实现了在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架的核心组成是HDFS和MapReduce,HDFS 实现存储,而 MapReduce实现数据分析与处理. Hadoop开源系统实现了MapReduce编程模型,采用了分布式存储方式提高了读写速度,并扩大了存储容量.采用 MapReduce来整合分布式文件系统上的数据,可保证分析和处理数据的高效.…

1.core-site.xml文件 这是一个描述集群中NameNode结点的URI-统一资源标识符(包括协议,主机名称,端口号),集群里面的每一台机器都需要知道 NameNode的地址.DataNode结点会先在NameNode上注册,这样它们的数据才可以被利用.独立的客户端程序通过这个URI跟 DateNode交互,以取得文件的块列表. <property> <name>fs.default.name</name> <value>hdfs://localh…

一.虚拟机环境搭建 我们用的虚拟机为vmware,Linux镜像为centOS6.5. vmware安装 安装没什么多说的,一路下一步,但是在新建虚拟机的时候有两个地方需要注意: 1.分配处理器1个就好了,毕竟现在搭的是伪分布式 2.内存分配多一些,这个就看自己机器的情况了 3.网络设置为NAT,不然会有连不上网的问题 centOS6.5安装 将镜像文件添加至虚拟机中,这个CentOS6.5安装比较傻瓜式,不用自己操作,不像之前在CentOS7的安装,还需要自己进行分区,各种设置. CentOS…