Spark系列-初体验(数据准备篇) Spark系列-核心概念 一. Spark核心概念 Master,也就是架构图中的Cluster Manager.Spark的Master和Workder节点分别Hadoop的NameNode和DataNode相似,是一种主从结构.Master是集群的领导者,负责协调和管理集群内的所有资源(接收调度和向WorkerNode发送指令).从大类上来分Master分为local和cluster两大类 local:也就是本地模式,所有计算都在一台服务器上完成,通常用…

一.Zookeeper简介 二.Zookeeper设计目标 三.核心概念         3.1 集群角色         3.2 会话         3.3 数据节点         3.4 节点信息         3.5 Watcher         3.6 ACL 四.ZAB协议         4.1 ZAB协议与数据一致性         4.2 ZAB协议的内容 五.Zookeeper的典型应用场景         5.1数据的发布/订阅         5.2 命名服务   …

一.Zookeeper简介 Zookeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护.Zookeeper 可以用于实现分布式系统中常见的发布/订阅.负载均衡.命令服务.分布式协调/通知.集群管理.Master 选举.分布式锁和分布式队列等功能.它具有以下特性: 顺序一致性:从一个客户端发起的事务请求,最终都会严格按照其发起顺序被应用到 Zookeeper 中: 原子性:所有事务请求的处理结果在整个集群中所有机器上都是一致的:不存在部分机器应用了该事务,而另一部分没有应用的情…

一.Storm核心概念 1.1 Topologies(拓扑) 一个完整的 Storm 流处理程序被称为 Storm topology(拓扑).它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将主动其杀死 (kill) 为止. 1.2 Streams(流) Stream 是 Storm 中的核心概念.一个 Stream 是一个无界的.以分布式方式并行创建和处理的…

一.AOP的核心概念回顾 https://docs.spring.io/spring/docs/5.1.3.RELEASE/spring-framework-reference/core.html#aop 我们先来看一下下面的这张图 说明: 程序运行时会调用很多方法,调用的很多方法就叫做Join points(连接点,可以被选择来进行增强的方法点),在方法的前或者后选择一个地方来切入,切入的的地方就叫做Pointcut(切入点,选择增强的方法),然后把要增强的功能(Advice)加入到切入点所在…

本系列导航 本系列其他文章目录请戳这里. 1.名字.约束时间(Binding Time) 在本篇博文开始前先介绍两个约定:第一个是“对象”,除非在介绍面向对象语言时,本系列中出现的对象均是指任何可以有名字的东西,比如变量.常量.类型.子程序.模块等等.第二个是“抽象的”,因为我们讨论的是语言的核心概念,所以“抽象的”具体指代的是语言特征与任何计算机体系结构分离的程度. 如果可以给名字下个定义,那么它是代表某东西的一些助记字符序列.就好比张三.李四,对应到大部分语言中一般可以等价为“标识符”.名字…

由浅入深,主要介绍maven的用途.核心概念(Pom.Repositories.Artifact.Build Lifecycle.Goal).用法(Archetype意义及创建各种项目).maven常用参数和命令以及简单故障排除.maven扩展(eclipse.cobertura.findbugs.插件开发).maven配置.较长,可根据个人需要有选择性的查看,比如先看用法再回过头来看核心概念 1.maven的用途maven是一个项目构建和管理的工具,提供了帮助管理 构建.文档.报告.依赖.sc…

前言 webpack 是一个当下最流行的前端资源的模块打包器.当 webpack 处理应用程序时,它会递归地构建一个依赖关系图(dependency graph),其中包含应用程序需要的每个模块,然后将所有这些模块打包成少量的bundle - 通常只有一个,由浏览器加载. 它是高度可配置的,我们先理解四个核心概念:入口(entry).输出(output).loader.插件(plugins) 入口(entry) webpack 创建应用程序所有依赖的关系图.图的起点被称之为入口起点(entry…

一.webpack四个核心概念 1.入口[Entry] webpack将创建所有应用程序 依赖关系图表.图表的起点被称之为 入口起点.入口起点告诉webpack从哪里开始,并遵循着依赖关系图表知道打包什么.可以将您的应用入口起点认为是跟上下文或app的第一个启动文件. const config = { entry: { app: './src/app.js' } } module.exports = config; 2.出口[Output] 将所有资源打包在一起,仍然告诉webpack在哪里打包…

http://gaearon.github.io/redux/index.html ,文档在 http://rackt.github.io/redux/index.html .本文不是官方文档的翻译.你可以在阅读官方文档之前和之后阅读本文,以加深其中的重点概念. 根据该项目源码的习惯,示例都是基于 ES2015 的语法来写的. Redux 是应用状态管理服务.虽然本身受到了 Flux 很深的影响,但是其核心概念却非常简单,就是 Map/Reduce 中的 Reduce. 我们看一下 Javasc…