---恢复内容开始---

一，linux下的准备工作

1，修改主机名：

vi /etc/sysconfig/network

2,修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3,修改主机名和ip的映射

vi /etc/hosts

192.168.145.109 eddy01

192.168.145.110 eddy02

192.168.145.111 eddy03

192.168.145.112 eddy04

192.168.145.113 eddy05

192.168.145.114 eddy06

192.168.145.115 eddy07

4,关闭防火墙

5，在生产坏境中，操作linux不可能用root用户，最好添加一个普通的用户

　　useradd eddy

　　password eddy

6，给eddy用户添加sudo指令，

　　vi /etc/sudoers

7,查看是否有java环境

8，配置JAVA_HOME环境变量

　　vi /etc/profile

　　source /etc/profile

9,ssh的免密登录

ssh-keygen

不要忘了在使用hadoop命令中的start-all.sh命令需要给自己一个免密登录公钥
ssh-copy-id eddy02

二，hadoop集群

规划：

　　1，eddy01   namenode    resourcemanager

　　2，eddy02　datanode　　nodemanager

　　3，eddy02　datanode　　nodemanager

　　4，eddy02　datanode　　nodemanager

执行：

1，在eddy01中的/home/eddy/中mkdir一个apps

　　mkdir/home/eddy/apps

2,在apps中解压java和hadoop　

[eddy@eddy01 ~]$ cd apps/

[eddy@eddy01 apps]$ ll

total 8

drwxrwxr-x. 11 eddy eddy 4096 Mar 28 23:14 hadoop-2.6.4

drwxr-xr-x.  8 eddy eddy 4096 Mar 28 22:38 jdk1.7.0_79

3,在/etc/profile中添加JAVA_HOME和HADOOP_HOME环境变量

    export HISTCONTROL=ignoredups

fi                                                                                                

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL                                       

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then

    umask 002

else

    umask 022

fi                                                                                                

for i in /etc/profile.d/*.sh ; do

    if [ -r "$i" ]; then

        if [ "${-#*i}" != "$-" ]; then

            . "$i"

        else

            . "$i" >/dev/null 2>&1

        fi

    fi

done                                                                                              

unset i

unset -f pathmunge                                                                                

JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH                                                                   

export HADOOP_HOME=/home/eddy/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4,分别拷贝/etc/profile文件到其它三台主机上

scp /etc/profile eddy@eddy02:/etc/

scp /etc/profile eddy@eddy03:/etc/

scp /etc/profile eddy@eddy04:/etc/

5,配置hadoop配置文件

cd /home/eddy/apps/hadoop-2.6.4/etc/hadoop

1,hadoop-env.sh中添加java环境变量

export JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

2，vi core-site.xml

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->                                      

                <property>                                                                                          

                        <name>fs.defaultFS</name>                                                                   

                        <value>hdfs://eddy01:9000</value>                                                           

                </property>                                                                                         

                <!-- 指定hadoop运行时产生文件的存储目录 -->                                                         

                <property>                                                                                          

                        <name>hadoop.tmp.dir</name>                                                                 

                        <value>/home/eddy/apps/hadoop-2.6.4/tmp</value>                                             

    </property>

</configuration>

3,hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

4,mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

5, yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->                                                                    

                <property>                                                                                          

                        <name>yarn.resourcemanager.hostname</name>                                                  

                        <value>eddy01</value>                                                                       

                </property>                                                                                         

                <!-- reducer获取数据的方式 -->                                                                      

                <property>                                                                                          

                        <name>yarn.nodemanager.aux-services</name>                                                  

                        <value>mapreduce_shuffle</value>                                                            

                </property>

<!-- Site specific YARN configuration properties -->                                                                

</configuration>

6,以eddy用户的身份cp到其它三台主机上。

注意：⚠️如果用root用户cp会出现hadoop在启动的时候权限访问的问题，

scp -r /home/eddy/apps eddy@eddy02:/home/eddy/

scp -r /home/eddy/apps eddy@eddy04:/home/eddy/

scp -r /home/eddy/apps eddy@eddy03:/home/eddy/

7，格式化namenode

hdfs namenode -format (hadoop namenode -format)

8，启动dfs分布式文件系统

hadoop-daemon start namenode

9，在其它三台主机上启动datanode

hadoop-daemon.sh start datanode

10查看页面

http://eddy01:50070/

关闭进程

hadoop-daemon stop namenode

hadoop自动化启动脚本的说明：

1，上述中，只有三个节点，但是如果还有更多，就需要自动化启动

如：start-all.sh

　　start-dfs.sh

　  start-yarn.sh

这里说明一下/home/eddy/apps/hadoop-2.6.4/etc/hadoop中的slaves文件，

eddy01

eddy02

eddy03

eddy04

当使用start-all.sh启动的时候会ssh到slaves文件中的主机上启动namenode，resourcemanager等进程。

---恢复内容结束---

hadoop2.6.4集群笔记的更多相关文章

  1. Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

      本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题) ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1 ...

  4. Hadoop-2.6.0 集群的 安装与配置

    1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/had ...

  5. CentOS6.4上搭建hadoop-2.4.0集群

    公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...

  6. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  7. 基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

    基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase ...

  8. HBase0.99.2集群的搭建步骤（在hadoop2.6.4集群和zookeeper3.4.5集群上）

    HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase ...

  9. hive1.2.1安装步骤（在hadoop2.6.4集群上）

    hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf ...

随机推荐

  1. 福大软工 · 第十一次作业 - Alpha 事后诸葛亮（团队）

    福大软工·第十一次作业-Alpha事后诸葛亮 组长博客链接 本次作业博客链接 项目Postmortem 模板 设想和目标 我们的软件要解决什么问题?是否定义得很清楚?是否对典型用户和典型场景有清晰的描 ...

  2. SQL配置的坑

    我要被自己蠢哭了,新做了一台电脑装SQL sever为了存数据,配置完,突然间发现MSSQLSEVER 不能重新启动,相当于之前的配置,还IP都白弄了.我找原因找了3个小时,后来发现是手欠启动的不该启 ...

  3. java特殊抽象类-接口

  4. Python基础05_str_补充

    继续学习中, 补充一些str 的索引.切片.长度.循环输出等. #!/usr/bin/env python # coding:utf-8 # 通过下标索引获取字符串中的某个字符 # 1. 索引 tes ...

  5. 爬虫案例(js动态生成数据)

    需求:爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的 ...

  6. 基于scrapy-redis分布式爬虫(简易)

    redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以.原因有二. 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls ...

  7. docker下运行labview2010

    前言 本人笔记本用kali,因课程需要,要在Linux下运行Labview,找到了2010的iso,但只支持rehat系列的发行版,用rpm转化deb的方案不可行,尝试了在virtualbox下运行w ...

  8. linux日常命令之一

    zcat Linux中,cat命令可查看文本内容: 对于压缩包内的文本,可使用zcat命令,在不解压的情况下查看文本内容: iconv file -i 可查看文件字符集: iconv为字符集转换命令, ...

  9. Python全栈之路----函数----内置方法

    Built-in Functions abs() dict() help() min() setattr() all() dir() hex() next() slice() any() divmod ...

  10. SQL 优化经历

    一次非常有趣的 SQL 优化经历   阅读本文大概需要 6 分钟. 前言 在网上刷到一篇数据库优化的文章,自己也来研究一波. 场景 数据库版本:5.7.25 ,运行在虚拟机中. 课程表 #课程表 cr ...