一、nat配置
1、虚拟机-》编辑-》虚拟网络编辑器-》更改设置-》移除原VMnet8-》加新的VMnet8-》点击NAT模式
桥接模式-》NAT模式,初始化一下NAT模式
2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.126.10 #看虚拟机
NETMASK=255.255.255.0
GATEWAY=192.168.126.2 #看虚拟机
DNS1=202.106.0.20
3、/etc/init.d/network restart 重启网络

二、hadoop安装
1、挂起虚拟机-》复制虚拟机文件-》打开虚拟机
2、slave分机
编辑/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.126.11 #看虚拟机
NETMASK=255.255.255.0
GATEWAY=192.168.126.2 #看虚拟机
DNS1=202.106.0.20
3、/etc/init.d/network restart 重启网络
4、虚拟机删除网卡再添加网卡
5、master虚拟机与windows文件共享设置 jdk-6u45-linux-x64.bin、hadoop-1.2.1-bin.tar.gz
/mnt/hgfs/ 下有了共享目录
6、./jdk-6u45-linux-x64.bin 安装jdk
添加全局变量 ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc 重启全局变量
7、远程复制文件:scp -rp jdk-6u45-linux-x64.bin 192.168.126.11:/usr/local/src/
8、slave分机重复第六步

9、master主机解压hadoop-1.2.1-bin.tar.gz
cd hadoop-1.2.1
mkdir tmp
cd conf
vim master :内容为master
vim slaves :内容为
slave1
slave2
vim core-site.xml : 内容为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.126.10:9000</value>
</property>
</configuration>
vim mapred-site.xml :内容为
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.126.10:9001</value>
</property>
</configuration>
vim hdfs-site.xml :内容为
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
vim hadoop-env.sh :最后添加
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

10、本地网络配置master和slave都要配置
vim /etc/hosts
192.168.126.10 master
192.168.126.11 slave1
192.168.126.12 slave2
vim /etc/sysconfig/network
HOSTNAME=master(根据机器填写:slave1/slave2)
hostname master(根据机器填写:slave1/slave2)

11、hadoop复制到分机
scp -rp hadoop-1.2.1 192.168.126.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.126.12:/usr/local/src/

12、关闭防火墙(每台机器都要执行)
/etc/init.d/iptables stop
setenforce 0 #关闭selinux

三、master、slave建立互信关系
ssh-keygen #回车回车
cd ~/.ssh
cat id_rsa.pub > authorized_keys #公钥文件copy
把slave1的公钥slave2的公钥添加到authorized_keys 并把authorized_keys 复制到分机上

ssh slave1 ssh slave2 ssh master 进行验证互信关系

四、启动hadoop集群
cd /usr/local/src/hadoop-1.2.1/bin/
./hadoop namenode -format #初始化
./start-all.sh #启动
jps #查看进程(每台机器查看)
./hadoop fs -put /etc/passwd / #往集群里写文件
./hadoop fs -ls / #查看集群里的文件

hadoop集群配置全过程的更多相关文章

  1. Hadoop集群配置(最全面总结)

    Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...

  2. 大数据测试之hadoop集群配置和测试

    大数据测试之hadoop集群配置和测试   一.准备(所有节点都需要做):系统:Ubuntu12.04java版本:JDK1.7SSH(ubuntu自带)三台在同一ip段的机器,设置为静态IP机器分配 ...

  3. Hadoop集群配置(最全面总结 )(转)

    Hadoop集群配置(最全面总结) huangguisu 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为Da ...

  4. Hadoop 集群配置记录小结

    Hadoop集群配置往往按照网上教程就可以"配置成功",但是你自己在操作的时候会有很多奇奇怪怪的问题出现, 我在这里整理了一下常见的问题与处理方法: 1.配置/etc/hosts ...

  5. hadoop集群配置和在windows系统上运用java操作hdfs

    安装 配置 概念 hadoop常用shell命令 使用java操作hadoop 本文介绍hadoop集群配置和在windows系统上运用java操作hdfs 安装 http://mirror.bit. ...

  6. hadoop集群配置方法---mapreduce应用:xml解析+wordcount详解---yarn配置项解析

    注:以下链接均为近期hadoop集群搭建及mapreduce应用开发查找到的资料.使用hadoop2.6.0,其中hadoop集群配置过程下面的文章都有部分参考. hadoop集群配置方法: ---- ...

  7. Hadoop集群配置过程中需要注意的问题

    环境:VMwareWorkstation8.0 和 Ubuntu14.04 1. 使用三台虚拟机搭建Hadoop集群 2. 一定要在每台机器上配置ssh免密码登录 3. 由于需要给/etc/hosts ...

  8. HADOOP集群配置

    http://wenku.baidu.com/view/92cbe435eefdc8d376ee32eb.html http://www.infoq.com/cn/articles/hadoop-co ...

  9. Hadoop集群配置免密SSH登录方法

    Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法. 一.Hadoop集群环境 二.免密登录原理 每台主机authorized_keys文件里面包含的主 ...

随机推荐

  1. RPM方式安装GreatSQL 8.0.25-16

    GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. GreatSQL是MySQL的国产分支版本,使用上与MySQL一致. 目录 一.系统信息 1.确认OS信息 2.OS优化调 ...

  2. 万答#13,MySQL自增键用完后,插入数据会发生什么情况

    欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 MySQL自增键用完了,插入数据会发生什么情况 1.实验场景 GreatSQL ...

  3. 搞定面试官 - 可以介绍一下在 MySQL 中你平时是怎么使用 COUNT() 的嘛?

    大家好,我是程序员啊粥. 相信在大家的工作中,有很多的功能都需要用到 count(*) 来统计表中的数据行数.同时,对于一些大数据的表,用 count 都是瑟瑟发抖,往往会结合缓存等进行处理. 那么, ...

  4. PerfView专题 (第七篇):如何洞察触发 GC 的 C# 代码?

    一:背景 上一篇我们聊到了如何用 PerfView 洞察 GC 的变化,但总感觉还缺了点什么? 对,就是要跟踪到底是什么代码触发了 GC,这对我们分析由于 GC 导致的 CPU 爆高有非常大的参考价值 ...

  5. 洛谷P4135 作诗(不一样的分块)

    题面 给定一个长度为 n n n 的整数序列 A A A ,序列中每个数在 [ 1 , c ] [1,c] [1,c] 范围内.有 m m m 次询问,每次询问查询一个区间 [ l , r ] [l, ...

  6. python自学笔记10:while循环和for循环

    条件控制和循环控制是两种典型的流程控制方法,前面我们写了 if 条件控制,这节讲 for 循环和 while 循环. 循环是另一种控制流程的方式,一个循环体中的代码在程序中只需要编写一次,但可能会连续 ...

  7. c++的一些笔记

    --const 的一些用法 1,修饰指针 const int *p=....   可以改变指针所指的位置,但不能改变指向位置的值. 2,修饰变量 int const * p=....  可以改变指向位 ...

  8. Spring(四)-声明式事务

    Spring-04 声明式事务 1.事务的定义 事务就是由一组逻辑上紧密关联的多个工作单元(数据库操作)而合并成一个整体,这些操作要么都执行,要么都不执行. 2.事务的特性:ACID 1)原子性A : ...

  9. IDEA整合Docker

    创建项目 1.使用 IDEA 构建一个 SpringBoot 项目 2.编写一个helloController @RestController public class HelloController ...

  10. 经纬度转换为距离单位km的方法

    function rad(d){ return d * Math.PI /180.0; }; GetDistance(lat1, lng1, lat2, lng2){ var radLat1 =rad ...