storm作为第一款大数据领域的流式计算引擎,在2013年推出之后风头一时无二.后续虽然有spark streaming也作为流式计算的引擎,但storm依然在流式计算的江湖占有稳定的地位.直到2017年,flink作为流式计算引擎异军突起,几年间,风云突变,流计算言必谈flink. 诚然,flink对比storm和spark streaming都有很多优势,但作为早期storm的使用者,一直也很想了解storm这些年的发展. 通过梳理storm自己的发版说明,发现storm还是做了很多的事情,…

一.Storm的简介 官网地址:http://storm.apache.org/ Storm是一个免费开源.分布式.高容错的实时计算系统.Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求.Storm经常用于在实时分析.在线机器学习.持续计算.分布式远程调用和ETL等领域.Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的. 1.Storm的优点 编程简单:开发人员只需要关注应用逻辑,而且跟Hadoop类似,Storm提供的编…

概要 你是否想象过与神秘的深海生物近距离接触?你是否梦想过穿戴钢铁侠那样的超先进科技装备成为超级英雄?你又是否幻想过与梦中的女神面对面的交流?这些可能在以前都只能是存在于脑海中的幻想,可是在如今有一项技术已经可以使这些幻想成为现实,那就是虚拟现实或称灵境技术,简称VR. 王冉说:“如果未来五到十年有什么东西能够像Uber颠覆全球出租车行业一样颠覆全球娱乐行业,我认为就是VR这个东西”.随着2016年Oculus 新品与PSVR的推出,VR这个概念逐渐被人们所知,各式各样的VR设备如雨后春笋一般出…

一:元数据管理器==>元数据管理器是系统平台的“大脑”,在任务调度中有着重要的作用[1]什么是元数据?--->中介数据,用于描述数据属性的数据.--->具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理过程,数据的快照信息等.[2]为何要引入元数据--->实际案例:HDFS中的NameNode节点,Hive的MySql元数据表,MooseFs的Master节点,GFS(Google分布式文件系统)中的Master节点等.--->在大数据处理架构中引入元数据结…

简介 概念 安装部署 ES安装 数据索引 索引优化 内存优化 1简介 ElasticSearch(简称ES)是一个分布式.Restful的搜索及分析服务器,设计用于分布式计算:能够达到实时搜索,稳定,可靠,快速.和Apache Solr一样,它也是基于Lucence的索引服务器,而ElasticSearch对比Solr的优点在于: 轻量级:安装启动方便,下载文件之后一条命令就可以启动. Schema free:可以向服务器提交任意结构的JSON对象,Solr中使用schema.xml指定了索引结…

第一部分:连锁零售企业上BI的必要性． 目前国内的连锁零售行业的发展趋势,呈现出产业规模化,经营业态多样化,管理精细化的特点.所谓管理精细化就是"精耕细作搞管理,领先一步订系 统".如今的商业企业在日常的经营过程中,产生了大量的信息,这些信息蕴藏了丰富的经营技巧和市场规律,怎样才能有效的利用这一宝贵的资源是每一个零售企 业最为迫切的愿望.于是,商业BI(Business Intelligent 商业智能分析系统)便诞生了.BI是一种运用了数据仓库.在线分析和数据挖掘技术来处理和分析数据…

第一部分:连锁零售企业上BI的必要性． 目前国内的连锁零售行业的发展趋势,呈现出产业规模化,经营业态多样化,管理精细化的特点.所谓管理精细化就是"精耕细作搞管理,领先一步订系统".如今的商业企业在日常的经营过程中,产生了大量的信息,这些信息蕴藏了丰富的经营技巧和市场规律,怎样才能有效的利用这一宝贵的资源是每一个零售企业最为迫切的愿望.于是,商业BI(Business Intelligent 商业智能分析系统)便诞生了.BI是一种运用了数据仓库.在线分析和数据挖掘技术来处理和分析数据的崭…

毕业后几年一直待在广州,觉得这是一个比较生活化及务实的城市,其互联网公司和相应的投融资环境都不如北深上活跃,大大小小的面试也有几十个,有点规模的公司应该都面试过了,面试一般会见到主力技术人员,技术主管,技术总监,人力几个人,狭义上还是可以看出一些公司文化技术氛围滴,于是想写这样一篇文章,介绍经历也给予朋友们看看. 先介绍下自己的技术背景,二流大学计科毕业,GPA3.21/4.0,计算机专业课都有 90 分以上,高数基础不太好,也是我目前的瓶颈,程序语言基础不算差,外企,国企,民企都混过,做了 6…

美国先进制造研究机构(AMR)定义了MES为:"位于上层的计划管理系统与底层的工业控制之间的面向车间层的管理信息系统",它为操作人员/管理人员提供计划的执行.跟踪以及所有资源(人.设备.物料.客户需求等)的当前状态.可以看出MES的目标就是为了解决生产计划的适应性以及增加车间底层生产过程的信息流动,提高计划的实时性和灵活性,通过MES的实施,跨越计划管理和底层控制的鸿沟. MES系统是多种生产过程控制和管理功能的软件集合,一个完整的MES系统包括上层系统和底层系统两个部分.而就软件架构…

我干了五年了,我想把我的经验跟大家分享一下,欢迎大家阅读. 1. Nginx入门简介 WEB服务器也称为WWW(WORLD WIDE WEB)服务器,主要功能是提供网上信息浏览服务. WWW 是 Internet的多媒体信息查询工具,是 Internet 上近年才发展起来的服务,也是发展最快和目前用的最广泛的服务.正是因为有了WWW工具,才使得近年来 Internet 迅速发展,且用户数量飞速增长. Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器,…