三台CentOS:Host0,Host1,Host2 在三台中分别安装zookeeper-server yum install zookeeper-server -y 修改zookeeper的配置文件(/etc/zookeeper/conf/zoo.cfg) 因为zookeeper集群共有3个节点,所以在配置文件中添加server.0,server.1,server.2 # Licensed to the Apache Software Foundation (ASF) under one or

配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户的访问. Cloudera Manager 5.3及更高版本提供单用户模式,满足此类环境的要求.在单用户模式下,Cloudera Manager Agent和由Cloudera Manager管理的服务运行的所有进程将作为单个已配置的用户和组启动.单用户模式优先考虑Hadoop与系统其余部分之间的隔

搭建要求: 1.CDH环境已经搭建成功,在CDH上搭建kafka.要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 改动hosts 10.10.0.11 s1-1 10.10.0.12 s1-2 10.10.0.13 s1-3 10.10.0.14 s1-4 10.10.0.15 s2-1 10.10.0.16 s2-2 10.10.0.17 s2-3

如果你在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致.这个时候你也许会想要通过kafka把数据从新处理一遍,我们知道kafka默认会在磁盘上保存到7天的数据,你只需要把kafka的某个topic的consumer的offset设置为某个值或者是最小值,就可以使该consumer从你设置的那个点开始消费. 查询topic的offset的范围 用下面命令可以查询到topic:DynamicRange broker:SparkMaster

mapreduce真的是门学问,遇到的问题逼着我把它从MRv1摸索到MRv2,从年前就牵挂在心里,连过年回家的旅途上都是心情凝重,今天终于在eclipse控制台看到了job completed successfully,当时的兴奋难以形容,都有些不敢相信自己的眼睛,压抑住激动的心情再试了一遍,特么真的跑通了,喜极而泣. 总结起来就是两处 1.报错Class not found 或者 No job jar file set 这是由于及集群中没有我们提交的jar包,所以namenode不知道怎么执行

前言 在我刚开始接触分布式集群的时候,是自己在几台虚拟机中手动安装的 Hadoop 和 Spark ,所以当时对 Hadoop 的配置有个简单的印象 ,但是后面发现了 Cloudera 和 Ambari 之后(两个分布式集群自动管理工具),就再没有手动安装过.这就导致我用了很久的 Accumulo 却从未手动安装过,使用 Cloudera 安装导致我根本没有关心 Accumulo 是怎么从无到有冒出来的,只是简单了解了安装的大概过程,并学会了如何使用它. 今天不同,当我再次安装 Cloudera

hbase删除table时,显示table不存在,但是创建table时,显示table存在. 解决方案: 清空zookeeper数据.(重新安装zookeeper)

一.主机规划.存储规划 服务器配置信息:CentOS6.5 最小化安装+development tools组包,其余组件yum安装即可. 二.系统设置如下: 1.服务器信息如下(/etc/hosts文件): 192.168.100.231 db01.chavin.king db01 192.168.100.232 db02.chavin.king db02 192.168.100.233 db03.chavin.king db03 192.168.100.234 db04.chavin.king

一.概述 Hbase适用于大表的存储,通过单一的RowKey查询虽然能快速查询,但是对于复杂查询,尤其分页.查询总数等,实现方案浪费计算资源,所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing),供复杂查询使用. Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎.

1. HFile的LoadIncrement卡住 原来是因为权限,我一直以为,load函数之后是要删除文件的,但是hdfs://slave1:8020/test/info文件夹所有的是只读权限,而且考出来附加到HFile的时候可能也需要改文件,但是权限不够,所以导致卡在了那个地方. 2.df.rdd明明有值,为什么没有执行到map呢? 没有触发,map只是transformation,还需要一个action,比如count: 3.spark分区 每个分区对应一个CPU的核 4. Put方式插入到

Sqoop框架基础 本节我们主要需要了解的是大数据的一些协作框架,也是属于Hadoop生态系统或周边的内容,比如: ** 数据转换工具:Sqoop ** 文件收集库框架:Flume ** 任务调度框架:Oozie ** 大数据Web工具:Hue 这些框架为什么成为主流,请自行百度谷歌,此处不再赘述. * CDH版本框架 Cloudera公司发布的CDH版本,在国内,很多大公司仍在使用,比如:一号店,京东,淘宝,百度等等.Cloudera公司发布的每一个CDH版本,其中一个最大的好处就是,帮我们解

Hbase: 更细的操作和原理研究笔记和视频 cloudera Hbase:https://sysit.cn/blog/post/sysit/cloudera%E5%AE%89%E8%A3%85HBASE官网:https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/hbase.htmlCDH启动hbasehttps://sysit.cn/blog/post/sysit/cloudera%E5%AE%89%E8%A3%85HB

前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接 http://www.cnblogs.com/zlslch/p/5846390.html 附链接如下: http://blog.csdn.net/u010270403/article/details/51446674 关于几个疑问和几处心得! a.用NAT,还是桥接,还是only-host模式? 答: hostonly.桥接和NAT b.用static的ip,还

需要的软件包:zookeeper-3.4.5-cdh5.3.6.tar.gz  1.将软件包上传到Linux系统指定目录下: /opt/softwares/cdh 2.解压到指定的目录:/opt/modules/cdh/ $ tar -zxvf /opt/softwares/zookeeper-3.4.5-cdh5.3.6.tar.gz  -C  /opt/modules/cdh/ 3.进入zookkeeper目录,创建存放数据的目录 $ mkdir zkData 4.在conf目录里 $ cp

CDH版本的zookeeper环境搭建 下载 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 修改配置文件 创建ZooKeeper数据存放目录 mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas 修改ZooKeeper配置文件 cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf cp zoo_sample.cfg zoo.cfg ->备份一个

1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2>  清空主节点CM数据库 进入主节点的Mysql数据库,然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* # rm -rf /opt/dfs/dn/* 4> 在主节点上重新初始化CM数据库 # /opt/cm-5.4.7/share/cmf/sc

测试hiveserver2高可用的时候,需要登录zookeeper检查hiveserver2是否在zookeeper中注册 执行 zookeeper-client 不断的拒绝连接 -- ::, [myid:] - INFO [main-SendThread(localhost:):ClientCnxn$SendThread@] - Opening socket connection to server localhost/::::::::. Will not attempt to authent

1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-

p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt } p.15 { margin: 0pt; margin-bottom: .0001pt; text-indent: 21.0000pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt }

1 卸载cloudera 参照 http://www.cnblogs.com/chenfool/p/3738540.html Cloudera 的官方介绍: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_uninstall_CM.html 操作的系统是Centos OS6.3 操作需要root权限,先切换roo