1. Daemons(守护进程) 新老架构 老的: Apache Hadoop 1.x (MRv1)   新的: Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator   1-1) Apache Hadoop 1.x (MRv1) 包含如下后台进程: • Namenode (名称节点) • Secondary namenode (第二名称节点) • Jobtracker (工作跟踪器) • Datanode (数据节点) • Taskt…

[Architecture] 系统架构正交分解法 前言 随着企业成长,支持企业业务的软件,也会越来越庞大与复杂.当系统复杂到一定程度,开发人员会发现很多系统架构的设计细节,很难有条理.有组织的用一张大蓝图去做分析设计.先前在InfoQ上看到一篇文章:「亿级用户下的新浪微博平台架构 - 卫向军」,在这篇文章里使用正交分解法,来分析设计新浪微博平台的系统架构. 透过正交分解法这样表格式的条列与分解,可以让开发人员清楚理解每个象限的关注点,进而去理解与组织整个系统架构所使用到的框架技术.本篇文章介绍如…

[Architecture Design] 3-Layer基础架构 三层式体系结构 只要是软件从业人员,不管是不是本科系出身的,相信对于三层式体系结构一定都不陌生.在三层式体系结构中,将软件开发所产出的程序代码,依照不同用途归类为:系统表示层.领域逻辑层.数据存取层.其中: 系统表示层 (Presentation Layer),用来归类「提供操作接口」的相关程序代码.例如:提供Textbox接受用户输入地址数据.透过MessageBox通知用户处理结果.甚至是提供Web API给远程系统使用,这…

[原创 Hadoop&Spark 动手实践 12]Spark MLLib 基础.应用与信用卡欺诈检测系统动手实践…

EDA: Event-Driven Architecture事件驱动架构 2009-09-24 17:28 5 赞  异步编程      软件架构      EDA事件驱动        SOA的核心是:暴露然后处理 expose and handle,SOA使事件Event跨系统流动 EDA是以事件为核心:什么时候触发 然后做什么.EDA是更加松散耦合,有极强的巨大事务处理能力 ESP—Event Stream Processing:监视事件数据流,分析这些事件.CEP—Complex Eve…

对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的.本文将尝试从其各自的定义.特点.限制.应用场景等角度来进行分析,以作抛砖引玉之用.  Hive是什么? Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库.Hive可以看作是用户编程接口,它本身不存储和计算数据:它依赖于HDFS(Hadoop分布式文件系统)和MapReduce(一种编程模型,映射与化简:用于大数据并行运算).其对HDFS的操作类似于SQL—名为HQL,它提…

本文主要从yarn的基础架构和yarn的作业执行流程进行阐述 一.yarn的概述 Apache Yarn(Yet Another Resource Negotiator的缩写)是hadoop集群资源管理器系统,Yarn从hadoop 2引入,最初是为了改善MapReduce的实现,但是它具有通用性,同样执行其他分布式计算模式. 在MapReduce1中,具有如下局限性: 1.扩展性差:jobtracker兼顾资源管理和作业控制跟踪功能跟踪任务,启动失败或迟缓的任务,记录任务的执行状态,维护计数器…

基于VMware 15+CentOS 7+Hadoop 2.6,hadoop的搭建主要用于个人学习,水平有限. hadoop搭建一:虚拟机网络配置和基础 hadoop搭建二:hadoop全分布搭建 hadoop搭建三:hadoop伪分布搭建 hadoop搭建四:hive安装配置 说明:本篇主要记录了hadoop全分布搭建中:固定ip地址,它是master节点和slave节点连接的基础. 一,虚拟机网络模式选择 虚拟机网络模式主要有两种可以选择:桥接模式/NAT模式. 两种模式区别在于主从性.桥接…

1. What's HDFS? Hadoop Distributed File System is a block-structured file system where each file is divided into blocks of a pre-determined size. These blocks are stored across a cluster of one or several machines. Apache Hadoop HDFS Architecture fol…

[From] https://mapr.com/blog/in-depth-look-hbase-architecture/ In this blog post, I’ll give you an in-depth look at the HBase architecture and its main benefits over NoSQL data store solutions. Be sure and read the first blog post in this series, tit…