Hadoop1.x与2.x安装笔记

Email: chujiaqiang229@163.com

2015-05-09

Hadoop 1.x 安装

Hadoop1.x 集群规划

No

名称

内容

备注

1

用户

grid

2

用户组

hadoop

有权限运行hadoop，并可以使用jdk

3

服务器

Hadoop11: 192.168.1.211

Hadoop12: 192.168.1.212

Hadoop13: 192.168.1.213

4

系统

Cent OS 7

5

JDK版本

jdk-7u79-linux-x64.gz

6

Hadoop版本

hadoop-1.2.1-bin.tar.gz

文件传输工具

WinSCP

  1. 创建用户及所属组

    grid,用来运行Hadoop (可选)

    su

    groupadd grid

    useradd –m –s /bin/bash –g grid grid

  2. 机器及网络配置

  3. 配置IP

  4. 修改主机名：

    su

    vi /etc/hostname

    将三台机器的名子改为： hadoop11, hadoop 12, hadooop 13

  5. 配置host文件

    切换到root帐户下，使用vi在修改文件/etc/hosts，添加三台机器的IP，及名称。然后使用ping命令检查各台机器之间的是否可以通过机器名连通

  6. 关闭防火墙

    systemctl stop firewalld.service

  7. 禁止防火墙自启动

    systemctl disable firewalld.service

  8. 配置SSH无密码登录

    在三台机器上分别执行

    ssh-keygen -t rsa

    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

    然后在需要输入信息的时候，直接回车。直至命令完成

    使用ssh登录机器。检查SSH无密码是否配置正确

    将三台的机器的id_rsa.pub内容合并，然后将内容写到authorized_keys，然后使用SCP将authorized_keys拷贝到其它两台机器上。

    scp id_rsa.pub hadoop11:~/.ssh/h12_id_rsa.pub

    scp id_rsa.pub hadoop11:~/.ssh/h13_id_rsa.pub

  9. 安装JDK

  10. 准备JKD

    将准备好的JKD安装包使用Winscep拷贝到Hadoop11上

  11. 在root用户解压安装

    su

    cp jdk-7u79-linux-x64.gz hadoop-1.2.1-bin.tar.gz /usr/local

    tar -zxvf jdk-7u79-linux-x64.gz

  12. 为用户赋权限

    在三台机器上执行以下命令

    cd /usr/local

    chown –R grid:hadop jdk-7u79-linux-x64

  13. 安装Hadoop

  14. 准备hadop安装包

    使用winscp将hadop安装包hadoop-1.2.1-bin.tar.gz拷贝到hadoop11机器上

  15. 在root用户下解压hadoop

    su

    cd /usr/local

    tar –zxvf hadoop-1.2.1-bin.tar.gz

  16. 为用户赋权限

    chown –R grid:hadoop hadoop-1.2.1

  17. 修改配置文件

  18. 修改hadoop-env.sh

  19. 修改masters,slaves文件

  20. 修改core-site.xml,hdfs-site.xml,mapred-site.xml

    core-site.xml

    hdfs-site.xml

    mapred-site.xml

  21. 将配置好的hadoop复制到其它各节点

    scp -r jdk1.7.0_79 hadoop12:/usr/local

    scp -r hadoop-1.2.1 hadoop12:/usr/local/

    scp -r jdk1.7.0_79 hadoop13:/usr/local

    scp -r hadoop-1.2.1 hadoop13:/usr/local/

  22. 在hadoop12,hadoop13上设置权限：

    su

    chown -R grid:grid hadoop-1.2.1 jdk1.7.0_79

  23. 格式化hadoop

    bin/hadoop namenode -format

  24. 启动进程

    在hadoop安装目录下运行

    bin/start-all.sh

  25. 检查进程

    使用工具jps on hadoop11

    jps on hadoop12, hadoop13

  26. 在Hadoop 1.x上运行wordcount

    Hadoop一切准备就细后，我们来运行hadoop自带的例子wordcount来检查下hadoop是否能正常工作。

  27. 准备要分析的文件

    cd /usr/local/hadoop-1.2.1/

    mkdir input

    echo "hello word" >test1.txt

    echo "hello hadoop" >test2.txt

  28. 将文件放到hdfs文件系统中

    bin/hadoop fs -put /usr/local/hadoop-1.2.1/input in

    检查文件创建是否成功

    bin/hadoop fs -lsr in

  29. 运行程序

    bin/hadoop jar hadoop-examples-1.2.1.jar wordcount in out

  30. 查看结果：

    bin/hadoop fs -cat /user/grid/out/part-r-00000

    作业问题二：Hadoop 2.x 安装

    Hadoop2.x 集群规划

No

名称

内容

备注

1

用户

grid

2

用户组

hadoop

有权限运行hadoop，并可以使用jdk

3

服务器

Hadoop21: 192.168.1.221

Hadoop22: 192.168.1.222

Hadoop23: 192.168.1.223

4

系统

Cent OS 7

5

JDK版本

jdk-7u79-linux-x64.gz

6

Hadoop版本

hadoop-2.5.2.tar.gz

文件传输工具

WinSCP

x安装的前期准备工作与hadoop 1.x类似，具体步骤可以参考1.x的安装文件。下面主要介绍hadoop 2.x的安装.

  1. 安装Hadoop

  2. 准备Hadoop安装包

    将文件hadoop-2.5.2.tar.gz拷贝到/home/grid

  3. 在root用户下解压hadoop

    su

    cp hadoop-2.5.2.tar.gz /usr/local

    tar -zxvf hadoop-2.5.2.tar.gz

  4. 为用户赋权限

    chown -R grid:hadoop hadoop-2.5.2

    exit

  5. 修改配置文件：

    hadoop2.x 需要修改如下目录下的七个配置文件

    /usr/local/hadoop-2.5.2/etc/hadoop

    1. yarn-env.sh
    2. hadoop-env.sh
    3. slaves
    4. core-site.xml
    5. hdfs-site.xml
    6. mapred-site.xml （从mapred-site.xml.template复制得到）
    7. yarn-site.xml

  6. yarn-env.sh

  7. hadoop-env.sh

  8. slaves

    1.4．4 core-site.xml

    <configuration>

    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop21:9000</value>

    <description>change your own hostname</description>

    </property>

    <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/hadoop-2.5.2/tmp</value>

    </property>

    </configuration>

  9. hdfs-site.xml

    <configuration>

    <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hdfs://hadoop21:9001</value>

    </property>

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/usr/local/hadoop-2.5.2/name</value>

    </property>

    <property>>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/local/hadoop-2.5.2/data</value>

    </property>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

    <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

    </property>

    </configuration>

  10. mapred-site.xml

    从mapred-site.xml.template复制得到

    <configuration>

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop21:10020</value>

    </property>

    <property>>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop21:19888</value>

    </property>

    </configuration>

  11. yarn-site.xml

    <configuration>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    <property>

    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>hadoop21:8022</value>

    </property>

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hadoop21:8030</value>

    </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hadoop21:8031</value>

    </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hadoop21:8033</value>

    </property>

    <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hadoop21:8088</value>

    </property>

    </configuration>

  12. 复制配置好的Hadoop到其它节点

    scp -r hadoop-2.5.2 hadoop22:/usr/local

    scp -r hadoop-2.5.2 hadoop23:/usr/local

  13. 在hadoop22,hadoop23上执行命令设置权限

    chown -R grid:hadoop hadoop-2.5.2 jdk1.7.0_79

  14. 格式化Hadop

    bin/hdfs namenode -format

  15. 启动Hadoop

    sbin/start-dfs.sh

    sbin/start-yarn.sh

  16. 检查进程

    /usr/local/jdk1.7.0_79/bin/jps

    hadoop21:

    hadoop22

    hadoop23

  17. 使用Hadoop 2.x 运行示例

  18. 准备文件

    mkdir input

    cd input

    echo "hello word" >test1.txt

    echo "hello hadoop" >test2.txt

  19. 将文件放到hdfs文件系统中

    bin/hadoop fs -put /usr/local/hadoop-2.5.2/input /in

  20. 运行程序

    bin/hadoop jar /usr/local/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /in/* /out

  21. 查看结果：

    bin/hadoop fs -ls -R /out

    bin/hadoop fs -cat /out/part-r-00000

Hadoop1.x与2.x安装笔记的更多相关文章

  1. Hadoop1.1.2伪分布式安装笔记

    一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/if ...

  2. MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记

    MonoDevelop 4.2.2/Mono 3.4.0 in CentOS 6.5 安装笔记 说明 以root账户登录Linux操作系统,注意:本文中的所有命令行前面的 #> 表示命令行提示符 ...

  3. 基于Ubuntu14.04系统的nvidia tesla K40驱动和cuda 7.5安装笔记

    基于Ubuntu14.04系统的nvidia tesla K40驱动和cuda 7.5安装笔记 飞翔的蜘蛛人 注1:本人新手,文章中不准确的地方,欢迎批评指正 注2:知识储备应达到Linux入门级水平 ...

  4. sublime 安装笔记

    sublime 安装笔记 下载地址 安装package control 根据版本复制相应的代码到console,运行 按要求重启几次后再按crtl+shift+p打开命令窗口 输入pcip即可开始安装 ...

  5. docker在ubuntu14.04下的安装笔记

    本文主要是参考官网教程进行ubuntu14.04的安装. 下面是我的安装笔记. 笔记原件完整下载: 链接: https://pan.baidu.com/s/1dEPQ8mP 密码: gq2p

  6. ArchLinux 安装笔记：续 --zz

    续前话 在虚拟机里调试了几天,终于鼓起勇气往实体机安装了,到桌面环境为止的安装过程可以看我的前一篇文章<ArchLinux 安装笔记>.桌面环境我使用的是 GNOME,虽然用了很长一段时间 ...

  7. PHP7安装笔记

    PHP7安装笔记 时间 -- :: 喵了个咪 原文 http://www.hdj.me/php7-install-note 主题 PHP # 安装mcrypt yum install -y php-m ...

  8. Hadoop2.2.0 安装笔记

    在Youtube上找到靠谱的教程:http://www.youtube.com/watch?v=WN2tJk_oL6E 同时把作者的教程下载下来放在百度云盘上了:http://pan.baidu.co ...

  9. python 库安装笔记

    python 库安装笔记 zoerywzhou@163.com http://www.cnblogs.com/swje/ 作者:Zhouwan 2017-2-22 友情提示 安装python库的过程中 ...

随机推荐

  1. 【LOB】使用USER_LOBS视图获得当前用户包含LOB字段的表

    包含LOB类型字段的表往往需要特殊关照,如何快速的获得包含LOB对象的数据库表?使用DBA_LOBS.ALL_LOBS和USER_LOBS视图可以很方便地获得包含BLOB或CLOB字段的表. 简单看一 ...

  2. android 拍照，裁切，上传圆形头像， 图片等比缩放

    最近太忙了,没有空更新博客,其它部分以后再更新: 今天给大家分享的是解决解析图片的出现oom的问题,我们可以用BitmapFactory这里的各种Decode方法,如果图片很小的话,不会出现oom,但 ...

  3. jmeter随笔（5）--断言中正则表达式的特殊字符问题和中文乱码显示问号的问题

    最近在工作中,对jmeter实践的点滴的记录,这里分享交流,不一定正确,仅供参考和讨论,有想法的欢迎留言.谈论,手机上图片如果不清晰,请点击[阅读原文]查看. 问题:今天QQ群一朋友遇到jmeter的 ...

  4. python写入中文到文件乱码的问题

    file = open(filename,'a',encoding='utf8')#指定写入编码为utf8,否则写入中文会乱码

  5. 高校应该使用 Drupal 的10大理由

    使用 Drupal 已经成为全球顶尖高校中的一种潮流,它已经被全球数以百计的院校选择并应用,无论是哈佛.斯坦福.杜克.布朗.罗格斯.剑桥.耶鲁还是其它众多知名高校,都已经选择 Drupal 作为它们理 ...

  6. oracle 空表无法导出

    1.执行该语句   select 'alter table '||table_name||' allocate extent;' from user_tables where num_rows=0;  ...

  7. 静态链表 C语言描述

    静态链表1.下标为0的游标存放最后存放数据节点的游标,即是第一个没有存放元素(备用链表)的下标2.最后一个的节点存放第一个由数值得下标3.第一个和最后一个都不存放数据 即是备用链表的第一个的下标 4. ...

  8. 转)SSO单点登录在互联网电商应用中的解决方案(基于CAS的改造)

    电商平台中无论是前端还是后端会存在大量的业务应用,在整个交易的过程中请求是在各个业务应用中流转的,对于用户来讲只需要登录一次就可以访问所有的业务,这就是单点登录SSO. 单点登录开源有很多的解决方案, ...

  9. 初识Ruby

    以下为看<七周七语言>的第一课,找到答案,参考资料来源于http://book.douban.com/annotation/27705657/ Ruby API文档在这里http://ru ...

  10. WF4 持久化 <第四篇>

    一.基础示例 WF4 默认支持SQLServer的持续化,首先要执行目录C:\Windows\Microsoft.NET\Framework\v4.0.30319\SQL\en下的脚本: SqlPer ...