目录 前言 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 一.HDFS HDFS的设计理念 HDFS的缺点 1.NameNode 1.1.namenode的作用 1.2.元数据目录说明 1.3.NameNode启动 2.Secondary NameNode 3.数据存储细节 4.DataNode 5.Blocks块(最小化寻址,加快数据传输速度) 6.HDFS文件读取的解析 7.HDFS文件写入的解析 8.HDFS通信协议 9…

一.大数据存储和计算的各种框架即工具 1.存储:HDFS:分布式文件系统   Hbase:分布式数据库系统   Kafka:分布式消息缓存系统 2.计算:Mapreduce:离线计算框架   storm:实时流式计算   spark:离线批处理/实时流处理计算框架(MR的二次封装) 3.辅助类工具:hive:数据仓库工具   flume:数据采集工具   sqoop:数据迁移工具 二.大数据应用场景: 典型应用:公司运营情况 =>典型网站:CNZZ.数据专家.友盟 电商广告推荐系统:淘宝.京东.…

概述 分布式运算程序: 优点:易于编程:良好扩展性:高容错性:适合PB级以上海量数据的离线处理: 缺点:不擅长实时计算:不擅长流式计算:不擅长DAG有向图计算: 核心思想: 1)分布式的运算程序往往需要分成至少2个阶段. 2)第一个阶段的MapTask并发实例,完全并行运行,互不相干. 3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出. 4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务…

一 概述       Apache Hadoop YARN (Yet Another Resource Negotiator,还有一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统.可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率.资源统一管理和数据共享等方面带来了巨大优点.                                                                      YARN最初是为了修复MapReduce实现…

一.概述. MapReduce是一种可用于数据处理的编程模型.Hadoop能够执行由各种语言编写的MapReuce程序.MapReduce分为Map部分和Reduce部分. 二.MapReduce的机制 MapReduce分为几大过程input.Mapper.shufle.reduce.output 1.input阶段是指将原始文件复制到HDFS中. 2.通过Mapper来处理成目标所须要的key-value形式然后进行排序,Map相当于把源数据进行整理成目标数据所须要的数据材料.把多余的数据去…

一.Hadoop是什么 Hadoop是一个由Apche基金会所开发的分布式系统基础架构. 主要解决海量数据的存储和海量数据的分析计算问题. 广义上来说,Hadoop通常是指一个更广泛的概念—Hadoop生态圈. 二.Hadoop发展历史 Google是Hadoop的思想之源(Google在大数据方面的三篇论文) GFS ——> HDFS Map-Reduce —— MR BigTable —— HBase 三.Hadoop三大发行版本 Hadoop三大发行版本:Apache.Cloudera.H…

HDFS是Hadoop的核心模块之一,围绕HDFS是什么.HDFS的设计思想和HDFS的体系结构三方面来介绍. Hadoop的设计思想受到Google公司的GFS设计思想的启示,基于一种开源的理念实现的分布式分布式文件系统.HDFS的设计基础与目标如下. 1)硬件错误(Hardware Failure)是常态,因而需要数据冗余技术. 2)流失数据访问(Streaming Data Access),即数据批量读取而非随机读写,Hadoop擅长做数据分析而不是事务处理. 3)大规模数据集(Large…

一 简介:今天来聊聊增强半同步复制这一强悍的特性 二 原理解析 1 AFTER_COMMIT(5.6默认值) master将每个事务写入binlog ,传递到slave 刷新到磁盘(relay log),同时主库提交事务.master等待slave 反馈收到relay log,只有收到ACK后master才将commit OK结果反馈给客户端.         2  AFTER_SYNC(5.7默认值,但5.6中无此模式) master 将每个事务写入binlog , 传递到slave 刷新到磁…

首先,cocos引擎有三个版本:C++,Lua,Js.其底层代码是由C++编写,通过脚本文件绑定到Lua与Js,所以我们之后解析的都是cocos2d-x.其次,cocos安装等就不概述了,百度一大堆. 讲解的cocos引擎下载地址:http://cocos2d-x.org/filedown/cocos2d-x-3.17.1 cocos解压后文件目录结构如下图 通过build中sln项目入口进入官方提供的用例:具体位置如下,双击使用vs2015打开 打开之后可以看到目录,这里只做C++文件注释,l…

一.概述 sql基础:数据库.数据表.行.列.关系 查询: Select 字段1,字段2,* from 表 where 条件 去除重复:Distinct 必须放在所有列前面 区间语句:BETWEEN ... AND 会选取介于两个值之间的数据范围.这些值可以是数值.文本或者日期.并且包含两端值. 示例:select * from tableA where age between 18 and 50 指定条件语句:in AND:Order by  asc 升序:desc降序 聚合函数:汇总:cou…