前言 对于hadoop,hbase由于项目紧张原因好几个月没有时间认真的来总结下了,最近有一些空,就来继续的把项目中用到的一些技术实际的写出来,动动手,好久没有写东西了,都生疏了,说起hadoop,公司还在用相对比较古老的hadoop && hbase 0.20.* 级别的老版本了,这点充分说明日本人不想折腾,能跑的就好,针对企业用户最主要的是稳定,而且访问量也不是很大,所以关注的不对,但是对于技术发烧友的我来说,当然想尝试新的版本的了,从去年开始就一直关注hadoop2 的beta版本,…

安装流程 机器和系统 3台服务器,安装centos 6.4 64bit系统,内存8G,磁盘60G,cpu单核 已配置好静态ip,并配置好/etc/hosts 下载cdh4版本 https://www.cloudera.com/content/support/en/downloads.html 点击下载cdh4版本,下载cloudera-manager-installer.bin 赋予执行权限 chmod u+x cloudera-manager-installer.bin 执行安装命令 ./cl…

几个星期前, Cloudera发布了CDH 4.1最新的更新版本,这是第一个真正意义上的独立高可用性HDFS NameNode的hadoop版本,不依赖于特殊的硬件或外部软件.这篇文章从开发者的角度来看这个新功能,解释了内部运作原理.如果你正在寻找有关配置和操作此功能的信息,请参阅 高可用性指南CDH4 . 背景 项目自年初以来,围绕一个非常简单的架构HDFS被设计成:主守护程序,被称为NameNode的存储文件系统 元数据 ,而从守护进程,称为DataNode节点,存储文件系统的 数据 .Na…

cdh4 install for Centos6那个最美的年代,最好的时光,一路梦想,一路流泪,流的不会是懦弱的泪,而是对奋斗的寄于;1,repo配置>>>/etc/yum.repo/wget http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/cloudera-cdh4.repo或是wget archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cd…

libhadoop.so其实是后面安装impala时要用到 此处配置环境变啦时注意 下 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_LIB/native/libhadoop.so 版本及准备 我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz,下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.ta…

1.架构准备:      namenode 10.0.0.2      secondnamenode 10.0.0.3      datanode1 10.0.0.4      datanode2 10.0.0.6      datanode3 10.0.0.11 2.安装用户:cloud-user 3.[namenode]namenode到其他节点ssh无密码登录:      ssh-keygen     (一路回车)      ssh-copy-id cloud-user@10.0.0.3…

版本及准备 我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz,下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz.在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包.再准备一个jdk1.6+的java环境,设置好JAVA_HOME. 需要注意的是,window下直接点击链接下载到的包可能无法解压成功,原因是…

前言 近期在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群总体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下. 本文不解说相关原理,若想了解请參考其它资料. 本文目的: 即使之前未触过ganglia,也能依照文中步骤搭建自己的ganglia监控集群. @Author duangr @Website http://my.oschina.net/duangr/blog/181585 1.相关环境 Host Name IP OS Arch master…

Hadoop 2.0.0-cdh4.5.0安装:http://blog.csdn.net/u010967382/article/details/18402217 CDH版本下载:http://archive.cloudera.com/cdh4/cdh/4/ 进一步学习:http://blog.csdn.net/can007/article/details/8298415(NFS挂载) PIG:http://pig.apache.org/docs/r0.11.0/ http://wenku.bai…

一.                                环境部署概况   cdh-master 172.168.10.251 cdh-node1 172.168.10.251 cdh-node2 172.168.10.251 三台服务器已按照CDH4 RPM方式安装hadoop,还包括SSH联机,保证三台机器无需密码即可切换用户. 搭建两台NAMENODE机器 分别部署在cdh-master和cdh-node1上 同时有三台journalnode用来存储namenode元数据 有三台…