LZO好处.可以对hive这种快文件进行压缩,然后做索引达到速度大幅度改进索引 先是按照这个教程(网上很多可以找找看看)  https://blog.csdn.net/Post_Yuan/article/details/54287325 安装完CDH,很多人会发现 跑的时候class no found,这时候只需要把GPLEXTRAS下的lib 拷贝到你的hadoop下就可以了,不用重启集群因为是jar路径,找得到就好了…

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是…

1 软硬件准备 1.1 准备三个节点 序号 主机名 内存 CPU IP地址 角色 1 cdh1 8G 8核心 192.168.5.78 cloudera-scm-server,mysql 2 cdh2     4G 8核心 192.168.5.79 cloudera-scm-agent 3 cdh2 4G 8核心 192.168.5.80 cloudera-scm-agent 1.2 软件版本信息 OS:RedHat EL 6.5 CDH: 5.6.0 Java:1.7 MySQL:5.6  …

大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能. 一.环境: 1.三台VMware虚拟机(一个做为主节点,两个做为从节点) hserver1n(主节点) hserver2n(从节点) hserver3n(从节点) CM Se…

在线安装 sudo yum install cloudera-manager-daemons cloudera-manager-server 离线安装 资源下载地址 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/ 上次下面资源包到cdh1节点 cloudera-manager-server--.el7.x86_64.rpm cloudera-manager-server-db---.el7.x86_64.rpm cl…

安装mysql,并且创建相关的表(只需要在chd1上面安装而且需要root权限)1.1 查看Centos自带mysql是否已经安装 yum list installed | grep mysql 卸载自带mariadb # rpm -qa | grep mariadb mariadb-libs--.el7_0.x86_64 # rpm -e --nodeps mariadb-libs--.el7_0.x86_64 如果系统的mysql已经安装,卸载 yum -y remove mysql-lib…

转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0 各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget  Cloudera-manager压缩包地址:    http://archive.cloudera.com/cm4/…

yum 安装cm 参考官网 主机名 /etc/hosts hostnamectl set-hostname foo-1.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname cdh-1.data.com hostnamectl set-hostname cdh-2.data.com cat >> /etc/hosts &l…

在安装CDH的时候出现错误提示: 安装失败. 无法接收 Agent 发出的检测信号. 日志提示错误: start >> raise socket.error(msg) >>error: No socket could be created on ('node6', 9000) -- [Errno 99] Cannot assign requested address on ('node6', 9000) -- [Errno 99] Cannot assign requested a…

1 先拷贝tar包到目录底下(tar 包解压 tar zxvf) 2 : 1.使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz,上传到虚拟机的/usr/local目录下.(http://archive.cloudera.com/cdh5/cdh/5/)2.将hadoop包进行解压缩:tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz3.对hadoop目录进行重命名:mv hadoop-2.5.0-cdh5.3.6 hadoop4.配置hadoop相…