SparkConf sparkConf = new SparkConf()//此处使用一个链接切记使用一个链接否则汇报有多个sparkcontext错误 .setAppName("SparkConsumerRabbit") .setMaster("local[2]") .set("hive.metastore.uris", thrift) .set("spark.sql.warehouse.dir", hdfs) .set(&…

1.安装hadoop集群 参考:http://www.cnblogs.com/wcwen1990/p/6739151.html 2.安装hive 参考:http://www.cnblogs.com/wcwen1990/p/6757240.html 3.安装配置spark 编译spark:http://www.cnblogs.com/wcwen1990/p/7688027.html 部署参考:http://www.cnblogs.com/wcwen1990/p/6889521.html 4.spa…

TreeDMS数据库管理系统使用JAVA开发,采用稳定通用的springMVC +JDBC架构,实现基于WEB方式对 MySQL,Oracle,PostgreSQL,mongoDB ,Hive, SAP HANA 等数据库进行维护管理操作.单支持一个数据库就很牛了,而TreeDMS支持多种数据库并存同时管理,太强大了. 功能包括:数据库的展示,库表的展示,表字段结构的展示, SQL语句的在线编辑批量执行,表结构的在线设计维护,数据的在线编辑维护,查询语句保存,数据备份还原,复制表,复制数据,JS…

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[SQL系列]深入浅出数据仓库中SQL性能优化之Hive篇   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR…

一.top3热门商品实时统计案例 1.概述 Spark Streaming最强大的地方在于,可以与Spark Core.Spark SQL整合使用,之前已经通过transform.foreachRDD等算子看到, 如何将DStream中的RDD使用Spark Core执行批处理操作.现在就来看看,如何将DStream中的RDD与Spark SQL结合起来使用. 案例:每隔10秒,统计最近60秒的,每个种类的每个商品的点击次数,然后统计出每个种类top3热门的商品. 2.java案例 packag…

转自:http://www.csdn.net/article/2015-01-13/2823530 一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会有细分),针对MR全局的优化,和针对整个查询(多MR Job)的优化,下文会分别阐述. 在开始之前,先把MR的流程图帖出来(摘自Hadoop权威指南),方便后面对照.另…

我们经常在Windows开发的时候,需要在本地进行调试.当然也免不了安装数据库.消息队列 等一些开发软件.等什么时候我们重新安装了这边软件.如此的繁琐. 尤其是安装RabbitMQ 消息队列的时候,居然需要安装 Erlang ,挑剔一些的小伙伴简直就是受不了,小码之前也安装过一次,配置环境变量哪些.一步错,后面更是启动报错,想砸电脑! Docker 我觉得docker 就是为简化配置而生的.每个软件都有一个独立的镜像生成虚拟机,需要的时候,只需要将docker 启动便可,无需复杂配置,一次安装.…

1. 概述. 本文主要介绍了mapreduce框架上如何实现两表JOIN. 2. 常见的join方法介绍 假设要进行join的数据分别来自File1和File2. 2.1 reduce side join reduce side join是一种最简单的join方式,其主要思想如下: 在map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value数据对,对每条数据打一个标签 (tag),比如:tag=0表示来自文件File1,tag=2表示来自文件File2.…

随着云计算,云服务的不断发展演进,数据库的管理及维护方式也在转变,传统基于C/S客户端工具管理的方式,已经无法满足实际需要. TreeSoft数据库管理系统,采用web方式,对mongoDB,MySQL进行管理维护,一次布署,到处使用,功能包括mongoDB数据的查看,新增, 编辑,删除,shell命令的执行,树状展示,数据导出JSON,数据JSON格式化输出,状态参数监控,在线配置维护数据源,皮肤配色设置等, 更多功能等待你的发掘.可同时支持 MySQL,Oracle,PostgreSQL,…

TreeSoft数据库管理系统,采用web方式,对mongoDB进行管理维护,一次布署,到处使用, 功能包括:mongoDB数据的查看,新增,编辑,删除,shell命令的执行,树状展示,数据导出JSON, 数据JSON格式化输出,状态参数监控,在线配置维护数据源,皮肤配色设置等,更多功能等待你的发掘. 可支持 MySQL,Oracle,PostgreSQL, SQL Server,mongoDB ,Hive , SAP HANA2等异构数据库同时在线管理. 下载地址:http://www.tre…