---恢复内容开始---

一，linux下的准备工作

1，修改主机名：

vi /etc/sysconfig/network

2,修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3,修改主机名和ip的映射

vi /etc/hosts

192.168.145.109 eddy01

192.168.145.110 eddy02

192.168.145.111 eddy03

192.168.145.112 eddy04

192.168.145.113 eddy05

192.168.145.114 eddy06

192.168.145.115 eddy07

4,关闭防火墙

5，在生产坏境中，操作linux不可能用root用户，最好添加一个普通的用户

　　useradd eddy

　　password eddy

6，给eddy用户添加sudo指令，

　　vi /etc/sudoers

7,查看是否有java环境

8，配置JAVA_HOME环境变量

　　vi /etc/profile

　　source /etc/profile

9,ssh的免密登录

ssh-keygen

不要忘了在使用hadoop命令中的start-all.sh命令需要给自己一个免密登录公钥
ssh-copy-id eddy02

二，hadoop集群

规划：

　　1，eddy01   namenode    resourcemanager

　　2，eddy02　datanode　　nodemanager

　　3，eddy02　datanode　　nodemanager

　　4，eddy02　datanode　　nodemanager

执行：

1，在eddy01中的/home/eddy/中mkdir一个apps

　　mkdir/home/eddy/apps

2,在apps中解压java和hadoop　

[eddy@eddy01 ~]$ cd apps/

[eddy@eddy01 apps]$ ll

total 8

drwxrwxr-x. 11 eddy eddy 4096 Mar 28 23:14 hadoop-2.6.4

drwxr-xr-x.  8 eddy eddy 4096 Mar 28 22:38 jdk1.7.0_79

3,在/etc/profile中添加JAVA_HOME和HADOOP_HOME环境变量

    export HISTCONTROL=ignoredups

fi                                                                                                

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL                                       

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then

    umask 002

else

    umask 022

fi                                                                                                

for i in /etc/profile.d/*.sh ; do

    if [ -r "$i" ]; then

        if [ "${-#*i}" != "$-" ]; then

            . "$i"

        else

            . "$i" >/dev/null 2>&1

        fi

    fi

done                                                                                              

unset i

unset -f pathmunge                                                                                

JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH                                                                   

export HADOOP_HOME=/home/eddy/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4,分别拷贝/etc/profile文件到其它三台主机上

scp /etc/profile eddy@eddy02:/etc/

scp /etc/profile eddy@eddy03:/etc/

scp /etc/profile eddy@eddy04:/etc/

5,配置hadoop配置文件

cd /home/eddy/apps/hadoop-2.6.4/etc/hadoop

1,hadoop-env.sh中添加java环境变量

export JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

2，vi core-site.xml

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->                                      

                <property>                                                                                          

                        <name>fs.defaultFS</name>                                                                   

                        <value>hdfs://eddy01:9000</value>                                                           

                </property>                                                                                         

                <!-- 指定hadoop运行时产生文件的存储目录 -->                                                         

                <property>                                                                                          

                        <name>hadoop.tmp.dir</name>                                                                 

                        <value>/home/eddy/apps/hadoop-2.6.4/tmp</value>                                             

    </property>

</configuration>

3,hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

4,mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

5, yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->                                                                    

                <property>                                                                                          

                        <name>yarn.resourcemanager.hostname</name>                                                  

                        <value>eddy01</value>                                                                       

                </property>                                                                                         

                <!-- reducer获取数据的方式 -->                                                                      

                <property>                                                                                          

                        <name>yarn.nodemanager.aux-services</name>                                                  

                        <value>mapreduce_shuffle</value>                                                            

                </property>

<!-- Site specific YARN configuration properties -->                                                                

</configuration>

6,以eddy用户的身份cp到其它三台主机上。

注意：⚠️如果用root用户cp会出现hadoop在启动的时候权限访问的问题，

scp -r /home/eddy/apps eddy@eddy02:/home/eddy/

scp -r /home/eddy/apps eddy@eddy04:/home/eddy/

scp -r /home/eddy/apps eddy@eddy03:/home/eddy/

7，格式化namenode

hdfs namenode -format (hadoop namenode -format)

8，启动dfs分布式文件系统

hadoop-daemon start namenode

9，在其它三台主机上启动datanode

hadoop-daemon.sh start datanode

10查看页面

http://eddy01:50070/

关闭进程

hadoop-daemon stop namenode

hadoop自动化启动脚本的说明：

1，上述中，只有三个节点，但是如果还有更多，就需要自动化启动

如：start-all.sh

　　start-dfs.sh

　  start-yarn.sh

这里说明一下/home/eddy/apps/hadoop-2.6.4/etc/hadoop中的slaves文件，

eddy01

eddy02

eddy03

eddy04

当使用start-all.sh启动的时候会ssh到slaves文件中的主机上启动namenode，resourcemanager等进程。

---恢复内容结束---

hadoop2.6.4集群笔记的更多相关文章

  1. Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

      本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题) ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1 ...

  4. Hadoop-2.6.0 集群的 安装与配置

    1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/had ...

  5. CentOS6.4上搭建hadoop-2.4.0集群

    公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...

  6. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  7. 基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

    基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase ...

  8. HBase0.99.2集群的搭建步骤（在hadoop2.6.4集群和zookeeper3.4.5集群上）

    HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase ...

  9. hive1.2.1安装步骤（在hadoop2.6.4集群上）

    hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf ...

随机推荐

  1. [BZOJ2427]软件安装

    Problem 每个软件都要安装某些软件才能安装,而且都有体积和价值,求安装的价值最大值 Solution 对于每个环,我们可以知道必须全部一起取或者不取,因此我们先用Tarjan缩点 然后我们用一个 ...

  2. 调用shutdown.sh后出现could not contact localhost8005 tomcat may not be running报错问题

    之前调用tomcat的shutdown.sh无法关闭tomcat,一直报could not contact localhost8005 tomcat may not be running错. 在网上找 ...

  3. 安装Ruby、Sass在WebStrom配置Scss编译环境css自动压缩

    安装Sass和Compass sass基于Ruby语言开发而成,因此安装sass前需要安装Ruby.(注:mac下自带Ruby无需在安装Ruby!) window下安装SASS首先需要安装Ruby,先 ...

  4. targetcli配置iSCSI

    概述:这篇文章来介绍LIO下的用户态工具targetcli来配置iSCSI服务 虚拟机环境:centos7.x(内核版本3.10.0-862.el7.x86_64) IP分别为192.168.1.20 ...

  5. OC关于项目里面的代码统计次数

    备注:这里只是个人的观点,有的地方也是copy,多多指教,个人笔记,有侵犯你们版权的地方还望海涵!!! 1.打开终端 2.cd 进入项目根目录 3.输入命令 find . "(" ...

  6. python接口自动化测试(一)-request模块

    urllib.request模块是python3针对处理url的. 1. 首先导入: from urllib import request 2. 构造url,构造url的headers信息和传参[re ...

  7. 2019-04-17-day034-线程与数据共享

    内容回顾 锁 互斥锁 能够保护数据的安全性 保证对于数据的修改操作同一时刻多个进程只有一个进程执行 进程数据不安全 : 同时修改文件/数据库/其他共享资源的数据 ###队列 -- 实现了进程之间的通信 ...

  8. FreeSWITCH部署与功能配置

    一.FreeSWITCH服务部署 1.wget http://www.freeswitch.org.cn/Makefile && make install 2.cd freeswitc ...

  9. 剑指Offer 49. 把字符串转换成整数 （字符串）

    题目描述 将一个字符串转换成一个整数(实现Integer.valueOf(string)的功能,但是string不符合数字要求时返回0),要求不能使用字符串转换整数的库函数. 数值为0或者字符串不是一 ...

  10. 周强 201771010141 《面向对象程序设计（java）》第七周学习总结

    实验目的与要求 (1)进一步理解4个成员访问权限修饰符的用途: (2)掌握Object类的常用API用法: (3)掌握ArrayList类用法与常用API: (4)掌握枚举类使用方法: (5)结合本章 ...