Spark系列-初体验(数据准备篇) Spark系列-核心概念 一. Spark核心概念 Master,也就是架构图中的Cluster Manager.Spark的Master和Workder节点分别Hadoop的NameNode和DataNode相似,是一种主从结构.Master是集群的领导者,负责协调和管理集群内的所有资源(接收调度和向WorkerNode发送指令).从大类上来分Master分为local和cluster两大类 local:也就是本地模式,所有计算都在一台服务器上完成,通常用…
核心概念 middleware 类似express 的中间件模型(实际上是构建在koa中间件模型上的),但是和koa 的中间件有差异 fusionjs 的中间件同时可以运行在浏览器页面加载的时候 services service 是任务可以暴露编程接口的library,主要与普通library的区别是fusion的service 可以动态的注入系统,通过es6 的import 操作(依赖注入) plugin 一个fusion的插件是一个包含service 以及middleware 的容器,插件定…
一.Zookeeper简介 二.Zookeeper设计目标 三.核心概念         3.1 集群角色         3.2 会话         3.3 数据节点         3.4 节点信息         3.5 Watcher         3.6 ACL 四.ZAB协议         4.1 ZAB协议与数据一致性         4.2 ZAB协议的内容 五.Zookeeper的典型应用场景         5.1数据的发布/订阅         5.2 命名服务   …
一.Zookeeper简介 Zookeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护.Zookeeper 可以用于实现分布式系统中常见的发布/订阅.负载均衡.命令服务.分布式协调/通知.集群管理.Master 选举.分布式锁和分布式队列等功能.它具有以下特性: 顺序一致性:从一个客户端发起的事务请求,最终都会严格按照其发起顺序被应用到 Zookeeper 中: 原子性:所有事务请求的处理结果在整个集群中所有机器上都是一致的:不存在部分机器应用了该事务,而另一部分没有应用的情…
一.Storm核心概念 1.1 Topologies(拓扑) 一个完整的 Storm 流处理程序被称为 Storm topology(拓扑).它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将主动其杀死 (kill) 为止. 1.2 Streams(流) Stream 是 Storm 中的核心概念.一个 Stream 是一个无界的.以分布式方式并行创建和处理的…
一.AOP的核心概念回顾 https://docs.spring.io/spring/docs/5.1.3.RELEASE/spring-framework-reference/core.html#aop 我们先来看一下下面的这张图 说明: 程序运行时会调用很多方法,调用的很多方法就叫做Join points(连接点,可以被选择来进行增强的方法点),在方法的前或者后选择一个地方来切入,切入的的地方就叫做Pointcut(切入点,选择增强的方法),然后把要增强的功能(Advice)加入到切入点所在…
http://gaearon.github.io/redux/index.html ,文档在 http://rackt.github.io/redux/index.html .本文不是官方文档的翻译.你可以在阅读官方文档之前和之后阅读本文,以加深其中的重点概念. 根据该项目源码的习惯,示例都是基于 ES2015 的语法来写的. Redux 是应用状态管理服务.虽然本身受到了 Flux 很深的影响,但是其核心概念却非常简单,就是 Map/Reduce 中的 Reduce. 我们看一下 Javasc…
工欲善其事,必先利其器.在开发Xblog的过程中,稍微领悟了一点Laravel的思想.确实如此,这篇文章读完你可能并不能从无到有写出一个博客,但知道Laravel的核心概念之后,当你再次写起Laravel时,会变得一目了然胸有成竹. PHP的生命周期 万物皆有他的生命周期.熟悉Android的同学一定熟悉Android最经典的Activity的生命周期,Laravel 也不例外,Laravel应用程序也有自己的生命周期.Laravel是什么?一个PHP框架.所以要想真正说清Laravel的生命周…
工欲善其事,必先利其器.在开发Xblog的过程中,稍微领悟了一点Laravel的思想.确实如此,这篇文章读完你可能并不能从无到有写出一个博客,但知道Laravel的核心概念之后,当你再次写起Laravel时,会变得一目了然胸有成竹. PHP的生命周期 万物皆有他的生命周期.熟悉Android的同学一定熟悉Android最经典的Activity的生命周期,Laravel 也不例外,Laravel应用程序也有自己的生命周期.Laravel是什么?一个PHP框架.所以要想真正说清Laravel的生命周…
本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 本文转自 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈 本系列文章将整理于我的个人博客: www.how2playlife.com 该系列博文会介绍常见的后端技术,这对后端工程师来说是一种综合能力,我们会逐步了解搜索技术,云计算相关技术.大数据研发等常见的技术喜提,以便让你更完整地了解后端技术栈的全貌,为后续参与分布式应用的开发和学习做好准备…