背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择使用oozie来对工作流进行调度监控.在此介绍一下oozie~ 官网介绍 首先看官网首页介绍:http://oozie.apache.org (1)Oozie是一个管理 Apache Hadoop 作业的工作流调度系统. (2)Oozie的 workflow jobs 是由 actions 组成的…

[阿里云产品公测]大数据下精确快速搜索OpenSearch 作者:阿里云用户小柒2012 相信做过一两个项目的人都会遇到上级要求做一个类似百度或者谷歌的站内搜索功能.传统的sql查询只能使用like 或者FIND_IN_SET来实现.后者性能稍微好点但是必须要逗号分隔才可以实现匹配.甚至多条件的话还可能用到OR这是极影响系统性能的. 最近公司项目需要.主要是系统查询缓慢.并且查询精度不敢恭维.一开始想到的是Lucene 毕竟是一个开放源代码的全文检索引擎工具包 并且官方还在持续更新中.当时闲暇时…

联童科技是一家智能化母婴童产业平台,从事母婴童行业以及互联网技术多年,拥有丰富的母婴门店运营和系统开发经验,在会员经营和商品经营方面,能够围绕会员需求,深入场景,更贴近合作伙伴和消费者,提供最优服务产品,公司致力于以技术来驱动母婴童产业的发展,公司也希望借助于大数据为客户提供更多智能数据分析和决策分析,大数据是公司重点发展的一部分,公司从成立初期起就搭建了大数据团队,有了大数据团队后,大数据调度平台的构建自然是最基础也是最重要的环节. 一.为什么选择incubator-dolphinschedu…

    缺乏高端技术人才?缺乏开发标准?    代码复用性低?技术风险难于把控?     招聘成本高?培训成本高?    假设想法不够雄伟,那么就会局限于细节:假设一開始就铺很大的摊子,将会失去控制:假设不能高速扩展,就无法满足应用须要! 由于,再好的框架也有过时的时候.再优秀的架构师也有视野盲区,再NB的写手也无法实现全部的部分!     来吧,聆听<开源公开课1>.让我们一起体验Tiny框架的魅力.    主题:Tiny框架介绍    主讲人:塔罗大道,清华硕士.十年软件开发经验.Tiny…

胡亚海 首席技术官  CTO 北京航空航天大学  博士 深耕互联网领域近20年,先后任职于普天信息技术研究院.摩托罗拉.宇龙酷派.百度等知名企业,曾主导宇龙酷派公司全员从WinCE向Android转型,并作为百度移动云技术委员会成员,参与核心架构设计和业务规划.在手机系统研发.云生态技术架构与业务规划等领域拥有丰富经验,擅长技术体系搭建.大数据平台.运维与云服务平台化. 今天非常有幸采访掌众金服的胡总,就掌众金服的业务发展和信贷风控的自动化实施进行了交流. 信数:请胡总简单介绍下掌众金服和主要的…

​相信关注过我们的肯定知道BI是什么,但是老话常谈以防新朋友不知道BI的含义,BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 一.BI系统在企业数据决策中能做什么 1.通过数据分析了解企业业务过去做过什么,BI系统对企业现有数据进行整合,以固定报表.数据图表.仪表盘的方式呈现. 2.从数据中了解为什么会发生,通过即席查询.OLAP分析和数据挖掘技术,对各…

导读: 上周,袋鼠云数栈全新技术开源规划--DTMO(DTstack Meetup Online)的第一场直播圆满完成.袋鼠云数栈大数据开发专家.Taier项目主导人偷天为大家带来了<Taier入门介绍>的分享,我们将直播精华部分做了整理,带大家再次回顾内容,加深技术细节的了解. 你能看到 Taier发展历程 Taier架构设计和功能详解 Taier具体应用和未来规划 点击链接,查看直播视频回放 https://www.bilibili.com/video/BV13L4y1L71w?spm_i…

Genie是Netflix开发的联合作业编排引擎.Genie提供REST-ful API来运行各种大数据工作,如Hadoop,Pig,Hive,Spark,Presto,Sqoop等.它还提供用于管理许多分布式处理集群的元数据以及在其上运行的命令和应用程序的API. 说明 官方同时也提供了docker 镜像可以试用,这个开源项目很不错,直接上来就是可用版本 参考资料 https://github.com/Netflix/genie https://netflix.github.io/genie/…

多元化集团企业在发展到一定阶段后,往往会遇到业务与财务分离.管理缺乏系统决策支持等管理问题.财务决策支持系统建设实施BI是管理升级的内在要求. 1996年,加特纳集团提出了商业智能(Businesintelligence.BI)的概念.BI系统一般由数据仓库.数据挖掘.数据转换等技术手段组成.从不同的系统中提取数据,并通过ETL过程合并到企业的数据仓库,从而获得全局视图.一方面解决了企业信息系统无顶层设计的弊端,是大数据支持管理的需要:另一方面,也是集团企业领导业务决策可视化的迫切需要. 一.B…

翻了一下最近一段时间写的分享,DKHadoop发行版本下载.安装.运行环境部署等相关内容几乎都已经写了一遍了.虽然有的地方可能写的不是很详细,个人理解水平有限还请见谅吧!我记得在写DKHadoop运行环境部署的时候,遗漏了hadoop服务角色的内容,本篇特地补上这部分内容吧,不然总觉得不舒服. 要在集群中运行DKHadoop服务,需要指定集群中的一个或多个节点执行该服务的特定功能,角色分配是必须的,没有角色集群将无法正常工作,在分配角色前,需要了解这些角色的含义. Hadoop服务角色: 1. …