Hadoop集群的安装与配置(centos 6.5)
一、Hadoop搭建准备(centOs6.5 且每个系统都要有同一个用户,如:hadoop)
1、IP的配置
包括Master和Slaves的IP配置,之间能够相互ping通;
例如:
192.168.1.2 Master
192.168.1.3 Slave-1
192.168.1.4 Slave-2
192.168.1.5 Slave-3
其中每台机子配置IP的过程如下:
vi /etc/sysconfig/network //配置hostName
vi /etc/sysconfig/network-script/ifcfg-eth0 //配置ip
vi /etc/hosts //配置hosts(所有集群的IP地址和对应的主机名称)
配置完成后,重启network 命令:service
network restart
测试是否能够ping通过
2、配置SSH
1)首先,查看是否已经安装SSH
rmp -qa | grepopenssh
rmp -qa |grep rsync
2)若没有查询到结果,请按以下方式安装
yum -y installopenssh
yum -y install rsync
3)重新启动服务:service
sshd restart
4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)
)ssh-keygen
–t rsa –P '' //生成密钥对
)cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
)chmod
600 authorized_keys
)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。
RSAAuthentication yes #启用
RSA认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)
)设置完之后记得重启SSH服务,才能使刚才设置有效。
servicesshd restart
)使用下面的命令格式进行复制公钥:
scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
cat ~/id_rsa.pub >>~/.ssh/authorized_keys
chmod 600~/.ssh/authorized_keys
)用root用户修改"/etc/ssh/sshd_config"
3、配置Java环境(其它机子雷同)
)下载适合系统版本的Java
)解压到/usr/java
) vim /etc/profile加入:
#set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
(4) 测试环境:java -version
二、Hadoop的安装
1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)
2、hadoop目录设置权限(用户组和用户都是hadoop)
chown -R hadoop:hadoop hadoop
3、设置hadoop 启动环境
vim /etc/profile
#set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
source/etc/profile
4、配置Hadoop
(1)vim /usr/hadoop/conf/hadoop-env.sh
# set java environment
exportJAVA_HOME=/usr/java/jdk1.6.0_31
(2)vim /usr/hadoop/conf/core-site.xml
<property>
<name>fs.default.name</name>
</value>
</property>
(3)vim /usr/hadoop/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
</value>
台就会报错)
</property>
(4)vim /usr/hadoop/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
</value>
</property>
(5)vim /usr/hadoop/conf/master
192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)
(6)vim /usr/hadoop/conf/slaves
192.168.1.3
192.168.1.4
192.168.1.5
5、配置到其它Slaves机子
)scp拷贝
scp -r /usr/hadoop root@目标Ip:~/usr/
)改变权限
chown -R hadoop:hadoophadoop
)设置Hadoop运行环境
vim /etc/profile(见二-3)
三、启动Hadoop集群(使用hadoop用户)
1、格式化HDFS文件系统
hadoop namenode -format
2、启动hadoop
start-all.sh
ls /usr/hadoop/logs/ 查看日志
、验证hadoop
) jps
) hadoop
dfsadmin -report
四、其它问题
1、日志Error:getting localhost name
using 'localhost'
查看是否配置好 /etc/hosts要和Master的配置一样
、日志Error:java.net.NoRouteToHostException:No
route
查看防火墙是否关闭:service iptables status
关闭防火墙:service iptables stop
永远关闭:chkconfig --level 0123456 iptables off
Hadoop集群的安装与配置(centos 6.5)的更多相关文章
- 零基础配置Hadoop集群——Ambari安装及配置详解
1. 准备工作 1.1. 系统环境 主机列表: IP地址 HostName 描述 192.168.610.153 ambari.server Ambari服务器 192.168.10.152 had ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
- Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...
- Ganglia监控Hadoop集群的安装部署[转]
Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...
- 沉淀,再出发——在Hadoop集群之上安装hbase
在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安 ...
- Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...
- Dubbo入门到精通学习笔记(十五):Redis集群的安装(Redis3+CentOS)、Redis集群的高可用测试(含Jedis客户端的使用)、Redis集群的扩展测试
文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentO ...
- Dubbo入门到精通学习笔记(十四):ActiveMQ集群的安装、配置、高可用测试,ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试
文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试 准备 正式开始 ActiveMQ ...
- ZooKeeper 集群的安装、配置---Dubbo 注册中心
ZooKeeper 集群的安装.配置.高可用测试 Dubbo 注册中心集群 Zookeeper-3.4.6 Dubbo 建议使用 Zookeeper 作为服务的注册中心. Zookeeper 集群中只 ...
随机推荐
- MySql 数据库定时备份
1.使用sqldump+任务计划 mysqldump备份成sql文件==============假想环境:MySQL 安装位置:C:\MySQL论坛数据库名称为:bbsMySQL root 密 ...
- codeforces 417D. Cunning Gena 状压dp
题目链接 D. Cunning Gena time limit per test 1 second memory limit per test 256 megabytes input standard ...
- MVC-04 视图(3)
五.Url辅助方法 Url辅助方法与HTML辅助方法很类似,HTML辅助方法用来产生HTML标签,而Url辅助方法则负责用来产生Url网址. @Url.Action("About" ...
- XML中SystemID和PublicID的区别
http://hi.baidu.com/binboot007/item/1533f91d52113d7c7b5f259c http://supportweb.cs.bham.ac.uk/documen ...
- iOS开发UI 篇—CAlayer层的属性
一.position和anchorPoint 1.简单介绍 CALayer有2个非常重要的属性:position和anchorPoint @property CGPoint position; 用来设 ...
- 'nmake' 不是内部或外部命令,VCVARS32.BAT路径问题
'nmake' 不是内部或外部命令,VCVARS32.BAT路径问题 2014-5-24 VC运行不正确基本上都是路径的问题,今天在进行Openssl开发的环境搭建时,需要使用nmake进行源码和库的 ...
- Null指针
C++ Null 指针 C++ 指针 C++ 指针 在变量声明的时候,如果没有确切的地址可以赋值,为指针变量赋一个 NULL 值是一个良好的编程习惯.赋为 NULL 值的指针被称为空指针. NULL ...
- 1724: [Usaco2006 Nov]Fence Repair 切割木板( 贪心 )
倒过来看 , 每次总是选择最短的两块木板合并 , 用heap维护 ------------------------------------------------------------------- ...
- Linux命令压缩与解压缩
zip格式的文件:zip和unzip zip 命令: # zip test.zip test.txt 它会将 test.txt 文件压缩为 test.zip ,当然也可以指定压缩包的目录,例如 /ro ...
- 建立dblink,clob
建立dblink的方法, 如果有个测试库A,要访问生产库里的数据,那么可以直接在测试库A里建立一个dblink,然后数据库A就可以直接访问测试库B的数据了. -- 删除已有的dblink drop d ...