Thinking in BigData 系列

【Thinking in BigData 系列】的更多相关文章

Thinking in BigData 系列

Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构 Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解博主大牛啊,先收藏一下…

Hadoop MapReduce编程 API入门系列之压缩和计数器（三十）

不多说,直接上代码. Hadoop MapReduce编程 API入门系列之小文件合并(二十九) 生成的结果,作为输入源. 代码 package zhouls.bigdata.myMapReduce.ParseTVDataCompressAndCounter; import java.net.URI; import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Co…

大数据系列修炼-Scala课程09

Option使用和实现内幕源码揭晓 1.Option中的sealed关键字解析:Option中用了sealed,定义的case class与case object必须在同一个文件中.Option在模式匹配中匹配项 2.Option使用内幕实战解析:Some表示匹配项,如果没有就在None中找 //sealed 表示封闭式抽象类 sealed abstract class Option[+A] extends Product with Serializable {} //而some也是继承了Opt…

kylin 系列（一）安装部署

kylin 系列(一)安装部署一.环境说明 1.1 版本选择 cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 软件名称版本 JDK 1.8 HADOOP Hadoop2.6.0-cdh5.10 ZOOKEERER 3.4.5 HBASE Hbase1.2.0-cdh5.10 HIVE Hive1.2.0-cdh5.10 KAFKA Kafka0.10 KYLIN Kylin2.3.2 1.2 节点准备节点说明 CDH-01 CDH-0…

HBase编程 API入门系列之create（管理端而言）（8）

大家,若是看过我前期的这篇博客的话,则 HBase编程 API入门系列之put(客户端而言)(1) 就知道,在这篇博文里,我是在HBase Shell里创建HBase表的. 这里,我带领大家,学习更高级的,因为,在开发中,尽量不能去服务器上创建表. 所以,在管理端来创建HBase表.采用线程池的方式(也是生产开发里首推的). package zhouls.bigdata.HbaseProject.Pool; import java.io.IOException; import java.util…

zookeeper编程入门系列之zookeeper实现分布式进程监控和分布式共享锁（图文详解）

本博文的主要内容有一.zookeeper编程入门系列之利用zookeeper的临时节点的特性来监控程序是否还在运行二.zookeeper编程入门系列之zookeeper实现分布式进程监控三.zookeeper编程入门系列之zookeeper实现分布式共享锁我这里采用的是maven项目,这个很简单,不会的博友,见我下面写的这篇博客 Zookeeper项目开发环境搭建(Eclipse\MyEclipse + Maven) 这里,推荐用下面的eclipse版本(当然你若也有myeclips…

Storm编程入门API系列之Storm的Topology的stream grouping

概念,见博客 Storm概念学习系列之stream grouping(流分组) Storm的stream grouping的Shuffle Grouping 它是随机分组,随机派发stream里面的tuple,保证polt的每个人物接收到的tuple数目相同.(它能实现较好的负载均衡) 如果工作中没有特殊要求,一般用Shuffle Grouping. 编写StormTopologyShufferGrouping.java package zhouls.bigdata.stormDemo; imp…