1.修改机器名 集群的搭建最少需要三个节点,机器名分别修改为master,slave1,slave2.其中以master为主要操作系统. 修改hostname: sudo gedit /etc/hostname 紧接着执行: sudo gedit /etc/hosts 在hosts文件中更改原来的机器名为想要的,之后注销重新登陆,注销不成功就重启吧 现在验证是否更改成功,执行: hostname 2.添加ip地址 查看本机ip,执行: ifconfig 修改为静态ip后更方便记忆.每台机器在 e…

1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz -C /usr/local [root@bonnie1 ~]# cd /usr/local/ [root@bonnie1 local]# tar -xvf hadoop-2.6.0.tar (2) 配置环境变量…

hadoop-2.6.0集群开发环境配置 一．环境说明 1.1安装环境说明 本例中,操作系统为CentOS 6.6, JDK版本号为JDK 1.7,Hadoop版本号为Apache Hadoop 2.6.0 现有四台机器例如以下 10.25.100.130 node01    //namenode 10.25.100.131 node02    //datanode 10.25.100.132 node03    //datanode 10.25.100.133 node04    //data…

前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令). 关于如何安装Hadoop集群请参照:CentOS7搭建Hadoop2.8.0集群及基础操作与测试 下载Apache Hadoop 下载 地址:http://hive.apache.org/downloads.html wget http://mirrors.hust.edu.cn/apach…

  本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题),并构建Hadoop-2.2.0集群,生成在Eclipse环境上的Hadoop-2.2.0插件,并通过了测试运行. 1 . 安装maven .libssl-dev .cmake 和JDK 安装本机库http://wiki.apache.org/hadoop/HowToContribute sudo…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提供随机.实时的读写访问功能,具有开源.分布式.可扩展及面向列存储的特点.由于Hbase架构是基于其他文件存储系统的,因此在分布式模式下安装Hadoop是必须的.本文参考官方文档,安装部署一个完全分布式的Hbase集群.@_@ 一.基本环境 操作系统:Ubuntu14.04 Server-x64 JD…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1.7.0_51 Hadoop版本:Hadoop-2.2.0 Hive可以理解为在Hadoop和HDFS之上为用户封装一层便于用户使用的接口.Hive需要将元数据存储在RDBMS中,这对于Hive的运行是非常重要的. (1)安装Hadoop-2.2.0集群 参见<Ubuntu12.04-x64编译Ha…

公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB 内存| 2 虚拟内核 | 30.0GB 盘 3个机器的主机和ip规划如下: IP地址           主机名    用途 192.168.0.101  hd1     namenode192.168.0.102  hd2     datanode192.168.0.103  hd3     d…

介绍 redis自3.0版本以来支持主从模式的集群,可用哨兵监控集群健康状态,但这种方式的集群很不成熟,数据备份需要全量拷贝.在之后的版本才真正支持集群分片. 在redis5.0中去除了以redis-trib.rb作为搭建集群的工具,全部整合到了redis-cli中,这极大地简化了集群环境的搭建,特别是对不懂ruby语言的小伙伴们(但是ruby以及zlib还是需要安装的). Redis集群的优点: 无中心架构,分布式提供服务.数据按照slot存储分布在多个redis实例上.增加slave做sta…

p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt } h1 { margin-top: 17.0000pt; margin-bottom: 16.5000pt; page-break-after: avoid; text-align: justify; line-height: 240%; font-family: C…