---恢复内容开始---

一，linux下的准备工作

1，修改主机名：

vi /etc/sysconfig/network

2,修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3,修改主机名和ip的映射

vi /etc/hosts

192.168.145.109 eddy01

192.168.145.110 eddy02

192.168.145.111 eddy03

192.168.145.112 eddy04

192.168.145.113 eddy05

192.168.145.114 eddy06

192.168.145.115 eddy07

4,关闭防火墙

5，在生产坏境中，操作linux不可能用root用户，最好添加一个普通的用户

　　useradd eddy

　　password eddy

6，给eddy用户添加sudo指令，

　　vi /etc/sudoers

7,查看是否有java环境

8，配置JAVA_HOME环境变量

　　vi /etc/profile

　　source /etc/profile

9,ssh的免密登录

ssh-keygen

不要忘了在使用hadoop命令中的start-all.sh命令需要给自己一个免密登录公钥
ssh-copy-id eddy02

二，hadoop集群

规划：

　　1，eddy01   namenode    resourcemanager

　　2，eddy02　datanode　　nodemanager

　　3，eddy02　datanode　　nodemanager

　　4，eddy02　datanode　　nodemanager

执行：

1，在eddy01中的/home/eddy/中mkdir一个apps

　　mkdir/home/eddy/apps

2,在apps中解压java和hadoop　

[eddy@eddy01 ~]$ cd apps/

[eddy@eddy01 apps]$ ll

total 8

drwxrwxr-x. 11 eddy eddy 4096 Mar 28 23:14 hadoop-2.6.4

drwxr-xr-x.  8 eddy eddy 4096 Mar 28 22:38 jdk1.7.0_79

3,在/etc/profile中添加JAVA_HOME和HADOOP_HOME环境变量

    export HISTCONTROL=ignoredups

fi                                                                                                

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL                                       

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then

    umask 002

else

    umask 022

fi                                                                                                

for i in /etc/profile.d/*.sh ; do

    if [ -r "$i" ]; then

        if [ "${-#*i}" != "$-" ]; then

            . "$i"

        else

            . "$i" >/dev/null 2>&1

        fi

    fi

done                                                                                              

unset i

unset -f pathmunge                                                                                

JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH                                                                   

export HADOOP_HOME=/home/eddy/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4,分别拷贝/etc/profile文件到其它三台主机上

scp /etc/profile eddy@eddy02:/etc/

scp /etc/profile eddy@eddy03:/etc/

scp /etc/profile eddy@eddy04:/etc/

5,配置hadoop配置文件

cd /home/eddy/apps/hadoop-2.6.4/etc/hadoop

1,hadoop-env.sh中添加java环境变量

export JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

2，vi core-site.xml

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->                                      

                <property>                                                                                          

                        <name>fs.defaultFS</name>                                                                   

                        <value>hdfs://eddy01:9000</value>                                                           

                </property>                                                                                         

                <!-- 指定hadoop运行时产生文件的存储目录 -->                                                         

                <property>                                                                                          

                        <name>hadoop.tmp.dir</name>                                                                 

                        <value>/home/eddy/apps/hadoop-2.6.4/tmp</value>                                             

    </property>

</configuration>

3,hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

4,mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

5, yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->                                                                    

                <property>                                                                                          

                        <name>yarn.resourcemanager.hostname</name>                                                  

                        <value>eddy01</value>                                                                       

                </property>                                                                                         

                <!-- reducer获取数据的方式 -->                                                                      

                <property>                                                                                          

                        <name>yarn.nodemanager.aux-services</name>                                                  

                        <value>mapreduce_shuffle</value>                                                            

                </property>

<!-- Site specific YARN configuration properties -->                                                                

</configuration>

6,以eddy用户的身份cp到其它三台主机上。

注意：⚠️如果用root用户cp会出现hadoop在启动的时候权限访问的问题，

scp -r /home/eddy/apps eddy@eddy02:/home/eddy/

scp -r /home/eddy/apps eddy@eddy04:/home/eddy/

scp -r /home/eddy/apps eddy@eddy03:/home/eddy/

7，格式化namenode

hdfs namenode -format (hadoop namenode -format)

8，启动dfs分布式文件系统

hadoop-daemon start namenode

9，在其它三台主机上启动datanode

hadoop-daemon.sh start datanode

10查看页面

http://eddy01:50070/

关闭进程

hadoop-daemon stop namenode

hadoop自动化启动脚本的说明：

1，上述中，只有三个节点，但是如果还有更多，就需要自动化启动

如：start-all.sh

　　start-dfs.sh

　  start-yarn.sh

这里说明一下/home/eddy/apps/hadoop-2.6.4/etc/hadoop中的slaves文件，

eddy01

eddy02

eddy03

eddy04

当使用start-all.sh启动的时候会ssh到slaves文件中的主机上启动namenode，resourcemanager等进程。

---恢复内容结束---

hadoop2.6.4集群笔记的更多相关文章

  1. Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

      本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题) ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1 ...

  4. Hadoop-2.6.0 集群的 安装与配置

    1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/had ...

  5. CentOS6.4上搭建hadoop-2.4.0集群

    公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...

  6. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  7. 基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

    基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase ...

  8. HBase0.99.2集群的搭建步骤（在hadoop2.6.4集群和zookeeper3.4.5集群上）

    HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase ...

  9. hive1.2.1安装步骤（在hadoop2.6.4集群上）

    hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf ...

随机推荐

  1. iOS 在工程内部创建一个静态库target

    当你在开发项目的时候需要把公用的东西打包出来,其他项目方便使用的时候,打包成静态库是你的最优选择,在工程内部开发的时候新建一个target进行静态库的开发可以使你的开发调试更加方便而不是单独新建一个工 ...

  2. Selenium HTMLTestRunner 执行测试成功但无法生成报告

    为什么用PyCharm或者Eclipse执行测试成功但无法生成HTMLTestRunner报告 最近遇到一些人问这样的问题: 他们的代码写的没问题,执行也成功了,但就是无法生成HTMLTestRunn ...

  3. 2/17 笔记 n：字符串索引、切片、数据转换笔记

    切片:顾头不顾尾 s[首:尾:步长] 代码是从上到下依次判断,只要满足一个,就不会再往下走! continue和break有点类似,区别在于continue只是终止本次循环,接着还执行后面的循环,br ...

  4. locate语法

    1.命令格式:locate [参数] [文件] 2.命令功能:locate命令可以在搜寻数据库时快速找到档案,数据库由updatedb程序来更新,updatedb是由cron daemon周期性建立的 ...

  5. C#添加文字水印

    使用的是iTextSharp添加PDF水印,由于是接口动态生成PDF,所以采用的是全部是内存流的形式,而且水印是平铺是.iTextSharp版本是5.5 /// <summary> /// ...

  6. python3+requests+unittest：接口自动化测试（一）

    转载请表明出处:https://www.cnblogs.com/shapeL/p/9179484.html 简单介绍框架的实现逻辑,参考代码的git地址: https://github.com/zha ...

  7. 百度前端代码规范：HTML

    HTML 1.代码风格 1.1缩进与换行 [强制] 使用 4 个空格做为一个缩进层级,不允许使用 2 个空格 或 tab 字符. <style> ul { padding:; } < ...

  8. hdu5001 Walk 概率DP

    I used to think I could be anything, but now I know that I couldn't do anything. So I started travel ...

  9. java Scanner中next和nextLine()区别

    next(): 1.一定要读取到有效字符后才可以结束输入. 2.对输入有效字符之前遇到的空白,next() 方法会自动将其去掉. 3.只有输入有效字符后才将其后面输入的空白作为分隔符或者结束符. ne ...

  10. How to create an rpm package

    转自:https://linuxconfig.org/how-to-create-an-rpm-package Rpm is both the package manager and the pack ...