花了1天时间最终把环境搭建好了。整理了一下,希望对想学习hadoop的有所帮助。

资料下载:http://pan.baidu.com/s/1kTupgkn
包括了linux虚拟机。jdk, hadoop1.0

环境搭建准备工作:
hadoop_master 192.168.50.158
hadoop_slave    192.168.50.136

网络配置:
1:设置IP
2:重新启动网卡 service network restart.  验证命令 ifconfig
3:设置主机名 hostname hadoop 运行命令 vi /ect/sysconfig/network
4:把hostname和IP绑定
      运行命令 vi /etc/hosts   
192.168.50.158 master
192.168.50.136 slave
      验证:ping hadoop
5:关闭防火墙 service iptables stop
     关闭防火墙自己主动执行:  chkconfig iptables off
     验证: chkconfig --list |grep iptables

     
免password登陆ssh
1:ssh-keygen -t rsa产生的密钥位于~/.ssh目录中
2:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  本机就能够免password登录了
3:配置多机器面password登录
    拷贝id_rsa.pub到须要登录的机器上:    scp .ssh/id_rsa.pub chenlb@192.168.1.181:/home/chenlb/id_rsa.pub 
    把文件的内容追加到authorized_keys上  cat id_rsa.pub >> .ssh/authorized_keys
                                                               chmod 600 .ssh/authorized_keys
   配置完毕后ssh ip(对方的电脑)



配置环境变量
1:拷贝jdk到/user/local文件夹下
2:运行命令 chmod u+x jdk*.bin
3:vi /etc/profile 
      export JAVA_HOME = /user/local/jdk
      export PATH=.:$JAVA_HOME/bin:$PATH
      让配置文件生效: source /etc/profile

安装 hadoop
1:tar -zxvf hadoop.tar.gz
2:改名字 mv hadoop.1.2 hadoop
3:vi /etc/profile  
     export HADOOP_NAME=/user/local/hadoop
     path环境变量须要改动一下。

加入hadoop的bin

4:改动配置文件,配置文件在hadoop的conf文件夹下
     hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

也能够配置垃圾回收机制:

比如,配置Namenode时,为了使其可以并行回收垃圾(parallelGC)。 要把以下的代码增加到hadoop-env.sh :

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"

其他可定制的经常使用參数还包含:

    • HADOOP_LOG_DIR - 守护进程日志文件的存放文件夹。假设不存在会被自己主动创建。
    • HADOOP_HEAPSIZE - 最大可用的堆大小,单位为MB。

      比方。1000MB。 这个參数用于设置hadoop守护进程的堆大小。缺省大小是1000MB。

    core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop0:9000</value>   定义HadoopMaster的URI和port

<description>change your own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

    hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>
     mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop0:9001</value> <!--hadoop0指的是你在hosts中配置的名字-->

<description>change your own hostname</description>

</property>

</configuration>

配置完毕后。假设是配置集群就须要在配置文件下的slaves和masters配置相应的datanode和secordaryNamenode。

5:对hadoop进行格式化  hadoop namenode -format
     格式化假设没有成功的话须要删除 /usr/local/hadoop/tmp目录



启动完毕后,能够输入 http://master:50070/dfshealth.jsp中能够查看到节点。

配置hadoop集群一的更多相关文章

  1. Linux中安装配置hadoop集群

    一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择 ...

  2. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  3. centos7配置hadoop集群

    一:测试环境搭建规划: 主机名称 IP 用户 HDFS YARN hadoop11 192.168.1.101 hadoop NameNode,DataNode NodeManager hadoop1 ...

  4. 在 Linux 服务器上搭建和配置 Hadoop 集群

    实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0 注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主 ...

  5. 安装和配置hadoop集群步骤

    hadoop集群的安装步骤和配置 hadoop是由java语言编写的,首先我们肯定要在电脑中安装jdk,配置好jdk的环境,接下来就是安装hadoop集群的步骤了,在安装之前需要创建hadoop用户组 ...

  6. linux配置hadoop集群

    ①安装虚拟机 ②为虚拟机添加共享文件 右击已经安装好的虚拟机 设置—>选项—>共享文件 ③配置映射 sudo nano /etc/network/interfaces   重启网络:sud ...

  7. 为Linux集群创建新账户,并配置hadoop集群

    转自:http://blog.csdn.net/bluesky8640/article/details/6945776 之前装python.jdk.hadoop都是用的root账户,这是一个绝对的失策 ...

  8. 配置hadoop集群的lzo压缩

    MR-Job中使用lzop详见MR案例:Job中使用Lzo压缩 1). 配置前的环境准备 # yum -y install lzo-devel zlib-devel gcc autoconf auto ...

  9. 在Ubuntu18.04下配置hadoop集群

    服务器准备 启动hadoop最小集群的典型配置是3台服务器, 一台作为Master, NameNode, 两台作为Slave, DataNode. 操作系统使用的Ubuntu18.04 Server, ...

随机推荐

  1. 【译】x86程序员手册28-7.7任务地址空间

    7.7 Task Address Space 任务地址空间 The LDT selector and PDBR fields of the TSS give software systems desi ...

  2. python学习笔记(7)——集合(set)

    关键词#1.定义:无序不重复元素集, 基本功能包括关系测试和消除重复元素. 2.关键词:类似dict.只有key无value.常用于集合类数学运算. 3.创建 s=set() #入参可以是list.t ...

  3. CAD与用户交互在图面上选择一个实体(com接口VB语言)

    主要用到函数说明: IMxDrawUtility::GetEntity 与用户交互到在图面上选择一个实体,详细说明如下: 参数 说明 [out] IMxDrawPoint** pPickPoint 返 ...

  4. java基础学习日志--Stirng内存案例

    案例一: public class test1 { public static void mb_swap(String Str1,String Str2) { String temp=Str1; St ...

  5. 数据分布vs聚类-数据预处理技巧-对数变换

    对于原始数据分布倾斜 利用统计或数学变换来减轻数据分布倾斜的影响.使原本密集的区间的值尽可能的分散, 原本分散的区间的值尽量的聚合. Log变换通常用来创建单调的数据变换.它的主要作用在于帮助稳定方差 ...

  6. this与const

    在普通非const成员函数中,this是const指针,而在const成员函数中,this是const对象的const指针. class Foo { Foo& get_self1(void) ...

  7. 带你全面分析嵌入式linux系统启动过程中uboot的作用

    资料链接:http://mp.weixin.qq.com/s/rYVchD-xy7Bdkc1O3fW2Wg

  8. Python网络编程—socket(二)

    http://www.cnblogs.com/phennry/p/5645369.html 接着上篇博客我们继续介绍socket网络编程,今天主要介绍的内容:IO多路复用.多线程.补充知识点. 一.I ...

  9. slf4j+log4j2的配置

    昨天自己测试了一下slf4j+log4j2的配置,可以正常使用,虽然配置十分简单,但好记性不如烂笔头,想想还是记录下来吧. 运行的环境:jdk1.7.tomcat7.Maven的web项目 1.在新建 ...

  10. Ural 1036 Lucky Tickets

    Lucky Tickets Time Limit: 2000ms Memory Limit: 16384KB This problem will be judged on Ural. Original ...