不多说,直接上干货! 答:这些你想删除的话得得去数据库里删除,最好别删除 .  现在默认就是使用好的配置               欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑       同时,大家可以关注我的个人博客:    http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/       详情…

不多说,直接上干货! Storm的版本选取 我这里,是选用apache-storm-1.0.2.tar.gz apache-storm-0.9.6.tar.gz的集群搭建(3节点)(图文详解) 为什么我用过storm-0.9.6版本,我还要用storm-1.0.2? storm集群也是由主节点和从节点组成的. storm版本的变更:  storm0.9.x  storm0.10.x  storm1.x  前面这些版本里面storm的核心源码是由Java+clojule组成的.  storm2.x…

不多说,直接上干货! Storm的版本选取 我这里,是选用apache-storm-0.9.6.tar.gz Storm的本地模式安装 本地模式在一个进程里面模拟一个storm集群的所有功能, 这对开发和测试来说非常方便.以本地模式运行topology跟在集群上运行topology类似. 要创建一个进程内“集群”,使用LocalCluster对象就可以了: import backtype.storm.LocalCluster; LocalCluster cluster = new LocalCl…

扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐) 以下,是我在Clouderamanager平台下,安装Hue. 给Clouderamanager集群里安装可视化分析利器工具Hue步骤(图文详解) 本博文呢,是在ambari集群里 首先, https://github.com/EsharEditor/ambari-hue-servic…

不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口) 但是,要注意的是,因为在amabri集群里啊,10000端口默认是给了oozie的. 然而,我上述的博客,是当时手动临时给的10000端口给kafka-manager,所以,对此,我这里改变端口,具体如下. 一.给基于Ubuntu14.04的ambari集群里的kafka安装基于web的kafk…

具体步骤,见如下: https://ftp.gnu.org/gnu/wget/ 解压到Cygwin的主目录中,一般是   你的Cygwin目录/home/当前用户名/ . 我这是如下     先./configure       然后,make   也许,我看到网上有些资料说,重新点击安装.   里面找到make,然后,Bin 和 Src 如果可以勾选都 勾选上,点击下一步就可以安装了     但是,输入make,还是无法生效(说白了,没有彻底解决!)   则:解决办法 windows系统下在忘…

我的操作系统信息是 1.在官网https://cygwin.com/install.html下载win64位安装包 选择包的下载存放目录,点击“下一步”   为了使我们安装的Cygwin能够编译程序,我们需要安装gcc编译 器,默认情况下,gcc并不会被安装,我们需要选中它来安装.为了安装gcc,我们用鼠标点开组件列表中的“Devel”分支,在该分支下,有很多组件, 我这里选择的是:(其实这里少选了,也没关系,大家后续可以源码编译即可)     还有ssh和wget(即,选择的是那个openss…

不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or directory [bigdata@ambigdata1 ~]$ pwd /home/bigdata [bigdata@ambigdata1 ~]$ ls .txt Desktop Documents Downloads Music Pictures Public Templates Videos [bi…

不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 hortonworks ambari集成impala ambari hdp 集成 impala 欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑       同时,大家可以关注我的个人博客:    http://www.cnblogs.com/zlslch/   和     http…

1.MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果.简单地说,MapReduce就是"任务的分解与结果的汇总". 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker:另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracke…