2016-04-30 22:24:39    Yanjun Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能.现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟.Exactly-once保证,而批处理需要支持高吞吐.高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一个独…

作为实时计算领域的佼佼者,Flink 的基本组件同样值得我们仔细研究. Flink 同样遵循着分层的架构设计理念,在降低系统耦合的同时,也为上层用户构建 Flink 应用提供了丰富且友好的接口. Flink 分层架构,从上到下依次是:API & Libraries 层.Runtime 核心层 和 物理部署层 API & Libraries 层 作为分布式数据处理框架,Flink 同时提供了支撑流计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库,如基于流处理的 CEP (复杂事…

1.简介 在分析完AbstractQueuedSynchronizer(以下简称 AQS)和ReentrantLock的原理后,本文将分析 java.util.concurrent 包下的两个线程同步组件CountDownLatch和CyclicBarrier.这两个同步组件比较常用,也经常被放在一起对比.通过分析这两个同步组件,可使我们对 Java 线程间协同有更深入的了解.同时通过分析其原理,也可使我们做到知其然,并知其所以然. 这里首先来介绍一下 CountDownLatch 的用途,Co…

大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分.首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执行机制. Checkpoint 与 state 的关系 Checkpoint 是从 source 触发到下游所有节点完成的一次全局操作.下图可以有一个对 Checkpoint 的直观感受,红框里面可以看到一共触发了 569K 次 C…

一.架构 Ceph在一个统一的系统中独特地提供对象,块和文件存储. Ceph高度可靠,易于管理且免费. Ceph的强大功能可以改变您公司的IT基础架构以及管理大量数据的能力. Ceph提供了非凡的可扩展性 - 成千上万的客户端访问数PB到数十亿的数据. Ceph节点利用商用硬件和智能守护进程,Ceph存储集群可容纳大量节点,这些节点相互通信以动态地复制和重新分配数据. 二.RADOS-ceph存储集群 Ceph提供基于RADOS的无限可扩展Ceph存储集群,您可以在RADOS中阅读 - 一个可扩…

1 GPU简介 图形处理单元GPU英文全称Graphic Processing Unit,GPU是相对于CPU的一个概念,NVIDIA公司在1999年发布GeForce256图形处理芯片时首先提出GPU的概念.GPU使显卡减少了对CPU的依赖,并进行部分原本CPU的工作(主要是并行计算部分).GPU具有强大的浮点数编程和计算能力,在计算吞吐量和内存带宽上,现代的GPU远远超过CPU. 目前NVIDIA最新的CUDA图形计算架构主要是Fermi架构和Kepler架构. 2  Fermi架构概述 上…

本文转载自:http://blog.csdn.net/u012296694/article/details/48055491 本文主要描述了在android2.3平台G-sensor相关软硬件的体系架构和实现原理,按照Applications.Framework.HAL.Driver和Hardware五大层次分别介绍. 1.系统架构 (Architecture) 1.1 Android体系架构图   1.2 Sensor子系统架构图 · Application Framework Sensor应…

本文简要分析了UAA的认证机制和部分源码功能. UAA全称User Account and Authentication. 相关源码都是通过Jhipster生成,包括UAA,Gateway,Identity.Jhipster简介请参考这里. 1 OAuth2认证模式 1.1 密码模式 密码模式(Resource Owner Password Credentials)中,用户向客户端提供自己的用户名和密码.客户端使用这些信息,向"认证服务器"进行认证.在这种模式中,用户必须把自己的密码给…

零拷贝Zero-Copy 我们先来看下它的定义: "Zero-copy" describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is frequently used to save CPU cycles and memory bandwidth when transmitting a fi…

详见: http://blog.yemou.net/article/query/info/tytfjhfascvhzxcytp61  在不同地域的用户访问网站的响应速度存在差异,为了提高用户访问的响应速度.优化现有Internet中信息的流动,需要在用户和服务器间加入中间层CDN. 使用户能以最快的速度,从最接近用户的地方获得所需的信息,彻底解决网络拥塞,提高响应速度,是目前大型网站使用的流行的应用方案. 1. CDN 概述 CDN的全称是Content Delivery Network,即内容…