安装hadoop的步骤比较繁琐,但是并不难。

在CentOS上安装Hadoop2.7

1. 安装 CentOS,注:图形界面并无必要

2. 在CentOS里设置静态IP,手工编辑如下4个文件

  • /etc/hosts
  • /etc/sysconfig/netwok
  • /etc/hostname
  • /etc/sysconfig/network-scripts/ifcfg-eno1677773

3. 关闭防火墙

  • Close firewalld
  • systemctl stop firewalld.service #停止firewall
  • systemctl disable firewalld.service #禁止firewall开机启动

4. 设置ssh无密登录

l   去掉/etc/ssh/sshd_config其中2行的注释

#RSAAuthentication yes

#PubkeyAuthentication yes

l  
输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置

l  
合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并,

cat id_rsa.pub>> authorized_keys

l  
把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

5. 为提高软件下载速度,可以把软件安装库转向阿里云

6. Install net-tools, yum, wget,
vim

7. Install Java

  • Yum list java*
  • [root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

  • [root@localhost ~]# which java

     

    /usr/bin/java

     

    [root@localhost ~]# ls -lrt /usr/bin/java

     

    lrwxrwxrwx. 1 root root 22 Aug 17 15:12
    /usr/bin/java -> /etc/alternatives/java

     

    [root@localhost ~]# ls -lrt
    /etc/alternatives/java

     

    lrwxrwxrwx. 1 root root 46 Aug 17 15:12
    /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下

10. 输入命令解压

  • tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop设置

  • /Hadoop2.7.3/etc/Hadoop/hadoop-env.sh

export
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

  • /Hadoop2.7.3/etc/Hadoop/slaves
  • /Hadoop2.7.3/etc/Hadoop/mapred-site.xml
  • /Hadoop2.7.3/etc/Hadoop/hdfs-site.xml
  • /Hadoop2.7.3/etc/Hadoop/core-site.xml

13. 在Master服务器启动hadoop

  • 初始化

bin/hdfs namenode –format

l  全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

l  停止Hadoop服务

l  sbin/stop-all.sh

l  输入命令jps,可以看到节点相关信息

14. 访问Hadoop

添加新数据节点步骤

  • 安装CentOS,设置静态IP(4个配置文件)
  • 加入SSH免密码登录
  • SCP把Hadoop文件复制到新机器
  • 修改/Hadoop2.7.3/etc/Hadoop/slaves
  • 重新初始化
  • 重新启动hadoop服务

运行WordCount程序

1、在HDFS中创建目录input

hadoop fs -mkdir
/input

2、将本地的 PESXXX.txt上传到input中

hadoop fs -put PESXXX.txt /input

查看input目录下的文件

hadoop fs -ls
/input

查看PESXXX.txt文件内容

hadoop fs -cat
/input/ PESXXX.txt

3、运行程序

hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input
/output/

4、查看结果

查看输出目录hadoop
fs -ls /output

查看输出结果hadoop
fs -cat /output/part-r-0000

5、可在浏览器查看任务

http://192.168.1.15:8088

http://192.168.1.15:50070

CentOS上安装Hadoop2.7,添加数据节点,运行wordcount的更多相关文章

  1. 在Centos上安装RabbitMQ流程(转)

    在Centos上安装RabbitMQ流程------------------------ 1. 需求 由于项目中要用到消息队列,经过ActiveMQ与RabbitMQ的比较,最终选择了RabbbitM ...

  2. 在 CentOS 上安装和配置 OpenNebula

    转自:http://www.aikaiyuan.com/4889.html 我们提到的云计算一般有三种类型:软件即服务(Software as a Service, SaaS),平台即服务(Platf ...

  3. 在Ubuntu|CentOS上安装Shutter截图工具及快捷键设置

    简介 Shutter前身叫GScrot,它是一款相当棒的截图软件. 通过Shutter,你可以截取包括选定区域.全屏幕.窗口.窗口内的控件甚至网页的图像.通过内置的强大插件机制,你可以在截图后,对图像 ...

  4. 如何在centos上安装epel源

    一.EPEL是什么? EPEL (Extra Packages for Enterprise Linux,企业版Linux的额外软件包) 是Fedora小组维护的一个软件仓库项目,为RHEL/Cent ...

  5. Linux系统入门学习:在CentOS上安装phpMyAdmin

    问题:我正在CentOS上运行一个MySQL/MariaDB服务,并且我想要通过网络接口来用phpMyAdmin来管理数据库.在CentOS上安装phpMyAdmin的最佳方法是什么? phpMyAd ...

  6. CentOS下安装Nginx并添加nginx_upload_module

    安装前,最好能保证依赖的系统软件已经升级.    yum update CentOS上安装Nginx,如果只是简单安装,不附加其他第三方模块,一句话可以搞定:    yum install nginx ...

  7. CentOS上安装GitBlit服务

    简单介绍 在上一篇文章中,已经简单的介绍了如何在CentOS的服务器上搭建git服务器.但是这种方式实现的服务器功能比较弱,操作起来也比较繁琐.在网上搜索了一圈,感觉Gitblit比较符合我的需求.接 ...

  8. 简单介绍一下在CentOS上安装Docker。

    简单介绍一下在CentOS上安装Docker. 前置条件: 64-bit 系统 kernel 3.10+ 1.检查内核版本,返回的值大于3.10即可. $ uname -r 2.使用 sudo 或 r ...

  9. 什么是EPEL 及 Centos上安装EPEL

    RHEL以及他的衍生发行版如CentOS为了稳定,官方的rpm repository提供的rpm包为了服务器安全稳定更新往往是很滞后的,很多时候需要自己编译那太辛苦了,而EPEL恰恰可以解决这两方面的 ...

随机推荐

  1. Day2-字符编码转换

    1.在python2默认编码是ASCII, python3里默认是unicode 2.unicode 分为 utf-32(占4个字节),utf-16(占两个字节),utf-8(占1-4个字节), so ...

  2. bash下. : () {} [] [[]] (())的解释 (非原创,侵删)

    Copy from http://blog.chinaunix.net/uid-20380484-id-1692999.html bash下有很多像{}.[]等一些符号命令,下面是我对一些常用的符号命 ...

  3. VBS

    1.msgbox脚本显示回车 语法:msgbox"123"&vbcrlf&"456"

  4. python求职Top10城市,来看看是否有你所在的城市

    前言 从智联招聘爬取相关信息后,我们关心的是如何对内容进行分析,获取用用的信息. 本次以上篇文章“5分钟掌握智联招聘网站爬取并保存到MongoDB数据库”中爬取的数据为基础,分析关键词为“python ...

  5. iOS开发常用第三方开源框架 持续更新中...

    键盘管理 TPKeyboardAvoiding IQKeyboardManager(1.2.8) 弹窗HUD MBProgressHUD(0.9.2) SVProgressHUD UIView+Toa ...

  6. MyBatis 3 User Guide Simplified Chinese.pdf

    MyBatis 3 用户指南 帮助我们把文档做得更好… 如果你发现了本文档的遗漏之处,或者丢失 MyBatis 特性的说明时,那么最好的方法就 是了解一下这个遗漏之处然后把它记录下来. 我们在 wik ...

  7. RFID智能感知摄像机推进智慧城市建设步伐

    随着智慧城市建设步伐的大力推进,各地的智慧城市建设取得了卓有成效的成果.物联网工程正在如火如荼地进行,顺应智慧城市物联网的发展大趋势,建设城市级的视频感知网,涉及治安.交通.教育等多方面综合传感应用, ...

  8. 对pathtracing的一些个人理解

    本人水平有限,若有错误也请指正~ 上面说到pathtracing(pt)的一些优点和缺点,优点即其实现很简单,这就是大概为什么当今市面上流行的很多渲染器如今都相继采用pathtracing算法为核心进 ...

  9. CSS3学习系列之选择器(二)

    first-child选择器和last-child选择器 first-child指定第一个元素.last-child指定最后一个子元素. 例如: <!DOCTYPE html> <h ...

  10. POI使用:用poi接口不区分xls/xlsx格式解析Excel文档(41种日期格式解析方法,5种公式结果类型解析方法,3种常用数值类型精度控制办法)

    一.使用poi解析excel文档 注:全部采用poi接口进行解析,不需要区分xls.xlsx格式,不需要判断文档类型. poi中的日期格式判断仅支持欧美日期习惯,对国内的日期格式并不支持判断,怎么办? ...