本文来源于官方文档翻译 NiFi 的核心概念 NiFi 最早是美国国家安全局内部使用的工具,用来投递海量的传感器数据.后来由 apache 基金会开源.天生就具备强大的基因.NiFi基本设计理念与 Flow Based Programming 基于流式编程 的主要思想非常类似,核心概念如下: FlowFile FlowFile表示在系统中移动的每个对象,FlowFile由两部分组成: content 内容 既数据本身 attributes 属性 每条数据带上的属性信息.以键值对的形式. Flow…

转自:http://blog.csdn.net/peterwanghao/article/details/8015571 Shiro框架中有三个核心概念:Subject ,SecurityManager和Realms. 2.1.1    SubjectSubject一词是一个安全术语,其基本意思是"当前的操作用户".称之为"用户"并不准确,因为"用户"一词通常跟人相关.在安全领域,术语"Subject"可以是人,也可以是第三方…

1. 场景 https://hudi.apache.org/docs/use_cases.html 近实时写入 减少碎片化工具的使用 CDC 增量导入 RDBMS 数据 限制小文件的大小和数量 近实时分析 相对于秒级存储 (Druid, OpenTSDB) ,节省资源 提供分钟级别时效性,支撑更高效的查询 Hudi 作为 lib,非常轻量 增量 pipeline 区分 arrivetime 和 event time 处理延迟数据 更短的调度 interval 减少端到端延迟 (小时 -> 分钟)…

前言: Storm读取实时数据流,并传递给处理单元,最终输出处理后的数据. 下图描述了storm的处理数据的主要结构. 元组(Tuple) :       元组是Storm提供的一个轻量级的数据格式,可以用来包装你需要实际处理的数据.元组是一次消息传递的基本单元.一个元组是一个命名的值列表,其中的每个值都可以是任意类型的.元组是动态地进行类型转化的(字段的类型不需要事先声明).在Storm中编程时,就是在操作和转换由元组组成的流.通常,元组包含整数,字节,字符串,浮点数,布尔值和字节数组等类型.…

简单罗列一下较为重要的点: 同步的问题 碰撞处理问题 rehash的过程 put和get的处理过程 HashMap基础: HashMap的理论基础:维基百科哈希表 JDK中HashMap的描述:HashMap Java中HashMap的实现原理和源码解读: 文章1:Java HashMap 核心源码解读 简要介绍了容量.装载因子.阈值的作用,结合put和get源码部分介绍了大致流程.但是没有详细说类似与碰撞和碰撞的解决办法,也没有提到关于同步的问题 文章2:HashMap实现原理分析 介绍了哈希…

简介 Apache NiFi 是一个易于使用.功能强大而且可靠的数据拉取.数据处理和分发系统,用于自动化管理系统间的数据流. 它支持高度可配置的指示图的数据路由.转换和系统中介逻辑,支持从多种数据源动态拉取数据. NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一 NiFi基于Web方式工作,后台在服务器上进行调度. 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎.任务…

1.什么是Apache NiFi? 简单地说,NiFi是为了自动化系统之间的数据流.虽然数据流这种形式很容易理解,但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转.企业拥有多个系统,其中一些系统创建了数据,部分系统消耗了数据,那么问题就出现了.出现的问题和解决方案已经广泛讨论和阐述.nifi就是一个致力于数据对接的集成框架. 数据流面临的一些比较高级的挑战包括: 1.系统故障 网络故障.硬盘故障.软件宕机.人员操作失误. 2.数据接入超出处理能力 有时候一个数据源的输出可能超出,系…

一.说明 区块链是一个透明的,基于不可变模式的去中心化系统,核心就是一个分布式账本,记录网络上发生的所有交易. 区块链网络主要有三种类型:公共区块链.联盟区块链,以及私有区块链:我们熟知的比特币.以太坊这些数字货币其实就是属于公共区块链平台: 而今天要介绍的 Fabric 则是属于联盟链类型的:Fabric是一个企业级的分布式账本技术平台,也是目前应用最广泛的区块链项目. 本文将梳理区块链技术平台 Fabric 的核心概念与关键功能. 二.特点 Fabric与其他区块链平台对比有以下几个特点:…

前言 要问 Hortonworks 这家公司最有产品力的产品是什么,我觉得是 Apache NiFi.去年Cloudera 和 Hortonworks 合并之后,以 Cloudera 为主,两家公司进行产品整合.Cloudera 从 Hortonworks 家没拿啥东西,唯独拿来了 Apache NiFi ,并借鉴了 HDF 平台,整合成了全新的产品 Cloudera DataFlow(CDF)产品,并且大有把 CDF 做成自家拳头产品之势.Cloudera 官网 PRODUCTS 展示的第一个…

1 前言 Apache NiFi是什么?NiFi官网给出如下解释:“一个易用.强大.可靠的数据处理与分发系统”.通俗的来说,即Apache NiFi 是一个易于使用.功能强大而且可靠的数据处理和分发系统,其为数据流设计,它支持高度可配置的指示图的数据路由.转换和系统中介逻辑. 为了对NiFi能够表述的更为清楚,下面通过NiFi的架构来做简要介绍,如下图所示. 根据官网对各个组件的说明,做摘要翻译: • WebServer:其目的在于提供基于HTTP的命令和控制API. • Flow Contro…