大纲(辅助系统) 离线辅助系统 数据接入 Flume介绍 Flume组件 Flume实战案例 任务调度 调度器基础 市面上调度工具 Oozie的使用 Oozie的流程定义详解 数据导出 sqoop基础知识 sqoop实战及原理 Sqoop数据导入实战 Sqoop数据导出实战 Sqoop作业操作 Sqoop的原理 目标: 1.理解flume.sqoop.oozie的应用场景 2.理解flume.sqoop.oozie的基本原理 3.掌握flume.sqoop.oozie的使用方法 前言 在一个完整…

一:介绍 1.概述 ->flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 数据源:web service                 RDBMS 采集: shell flume                   sqoop 清洗:mapreduce,hive 数据的保存:sqoop 监控与调度:hue,oozie 2.框图 3.架构特点 ->on streaming data flows 基于流式的数据 数据流:job->…

文件/RDBMS -> flume/sqoop -> HDFS -> Hive -> HDFS -> Sqoop -> RDBMS 其中,本文实现了 使用 sqoop 从 RDBMS 中读取数据(非Oozie实现,具体错误将在本文最后说明) 从 Hive 处理数据存储到 HDFS 使用 sqoop 将 HDFS 存储到 RDBMS 中 1.复制一个 sqoop example,拷贝 hive-site.xml 文件,拷贝 mysql 依赖包到 lib 目录下 2.增加…

标签:操作系统 中间件 千里马 Linux 技能 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://oldboy.blog.51cto.com/2561410/775056 Linux运维人员必会开源运维工具体系 说明:不同的技术人员,在不同的阶段确定知识边界非常重要,否则,虽然是千里马,但是不知道终点在哪,最终累死也达不到目标. 例如:拿8K要学多少知识,拿15K又要学多少技能.一个新手也许只想拿8k结果各种学,花了2年时间,…

操作系统:Centos,Ubuntu,Redhat,suse,Freebsd 网站服务:nginx,apache,lighttpd,php,tomcat,resin数据库:MySQL,MariaDB,PostgreSQL DB中间件:maxscale,MyCat,atlas,cobar,amoeba,MySQL-proxy 代理相关:lvs,keepalived,haproxy,nginx,heartbeat网站缓存:squid,nginx,varnishNOSQL库:Redis,Memcach…

之前有幸在MOOC学院抽中小象学院hadoop体验课. 这是小象学院hadoop2.X概述第一章的笔记 第一章主要讲的是hadoop基础知识.老师讲的还是比较全面简单的,起码作为一个非专业码农以及数据库管理人员,也能狗大致了解其特点.后面因为8月比较忙,就主要看案例那一部分了,应用及基础部分笔记基本没怎么做. 基本上是3/4屏幕放视频,1/4开着马克飞象 首先是概括图(以hadoop2.0为例)  不在博客园上阅读时才会看到的,这篇博文归http://www.cnblogs.com/weibaa…

html,body { } .CodeMirror { height: auto } .CodeMirror-scroll { } .CodeMirror-lines { padding: 4px 0px } .CodeMirror pre { } .CodeMirror-scrollbar-filler,.CodeMirror-gutter-filler { background-color: white } .CodeMirror-gutters { border-right-width:…

0. 大背景 全球No.1搜索引擎公司谷歌(Google)面临每天海量搜索引擎数据的问题,经过长时间的实践积累, 谷歌形成了自己的大数据框架,但是并没有开源,而是发表了一篇论文,阐述了自己的思想,在论文中 提到了MapReduce的方法.这篇论文,被Doug Cutting也就是后来的Hadoop之父所关注,引起了他极大的兴趣. 因为,这个时候,他正在致力于一个项目,该项目需要多任务并行处理大量的数据,他和伙伴努力了多次,结果都不理想. 于是,Doug和他的团队决定基于Google的MapRed…

前言 第一章主要讲的是hadoop基础知识.老师讲的还是比较全面简单的,起码作为一个非专业码农以及数据库管理人员,也能狗大致了解其特点 首先是概括图(以hadoop2.0为例)  一.Hadoop基础架构: HDFS(分布式存储层,主要储存数据) YARN(集群资源管理层) MapReduce 分布式数据处理,java HDFS为最基本的,分布式文件系统 Redundant, Reliable Storage 它可扩展性好,资源不够时再买服务器就可以直接集成了.另外数据重分布也很方便,对服务器崩…

快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana) 概要说明 需求场景,系统环境是CentOS,多个应用部署在多台服务器上,平时查看应用日志及排查问题十分不变.索性搭建一个服务器日志收集系统,由于每日日志规模仅在G级别,所有前期暂先不搭建集群. 技术方案是 Filebeat + ElasticSearch + kibana (日志服务器上安装ElasticSearch,Kibana,其他应用服务器上安装Filebeat); 没有考虑加上Logsta…