这里的安装是在Linux系统上安装的

参考博客 :

https://blog.csdn.net/cafebar123/article/details/73500014

https://blog.csdn.net/bingduanlbd/article/details/51874195

1.安装Java

首先要确认安装了Java,用命令确定安装了Java。

  1. java -version

如果没有安装Java,请自行百度安装配置Java

2.在Linux下创建一个用户给Hadoop使用

  1. sudo adduser hadoop

这里创建了一个叫hadoop的用户

3.给账号添加sudo权限

  1. sudo usermod -G sudo hadoop

4.切换Linux账号到hadoop

  1. su hadoop

5.配置SSH无密码登录

首先生成公私密钥对:

  1. ssh-keygen -t rsa

指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
输入passphrase,这里直接回车,为空,确保无密码可登陆。
拷贝生成的公钥到授权key文件(authorized_keys)

  1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6.改变key权限为拥有者可读可写(0600) :

  1. chmod ~/.ssh/authorized_keys

chomod命令参考:

  1. chmod file owner can read and write
  2. chmod file owner can read, write and execute
  3. chmod file all can read and write
  4. chmod file all can read, write and execute

测试是否成功:

  1. ssh localhost

7.下载hadoop到用户(hadoop用户)的根目录下

注意,需要下载最新的版本可以到https://hadoop.apache.org/官网下载,点击Download-进入下载页面,选择Binary download项下的包下载。

8.下载完成后,解压包

  1. tar -zxvf 最新的hadoop包名

9.重命名一下(当然也可以忽略)

  1. mv hadoop- hadoop

(最好做个关联ln -s hadoop-2.6.0 hadoop)
10.配置环境变量

  1. vim ~/.bashrc
  1. export JAVA_HOME=/usr/java/jdk1.7.0_79/
  2. export HADOOP_HOME=/home/hadoop/hadoop
  3. export HADOOP_INSTALL=$HADOOP_HOME
  4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  5. export HADOOP_COMMON_HOME=$HADOOP_HOME
  6. export HADOOP_HDFS_HOME=$HADOOP_HOME
  7. export YARN_HOME=$HADOOP_HOME
  8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  9. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

11.让环境变量生效

  1. source ~/.bashrc

12.配置Hadoop

cd到/home/hadoop/hadoop-2.8.5/etc下,使用下面的命令编辑 core-site.xml 文件。

  1. vim core-site.xml

在<configuration>里添加下面的内容:

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://localhost:9000</value>
  5. </property>
  6. </configuration>

13.配置HDFS

  1. vim hdfs-site.xml

在<configuration>里添加下面的内容:

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6.  
  7. <property>
  8. <name>dfs.name.dir</name>
  9. <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
  10. </property>
  11.  
  12. <property>
  13. <name>dfs.data.dir</name>
  14. <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
  15. </property>
  16. </configuration>

14.配置MapReduce

  1. vim mapred-site.xml

跟上面一样添加下面的内容

  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

15.配置YARM:

  1. vim yarn-site.xml

跟上面一样添加下面的内容

  1. <configuration>
  2. <property>
  3. <name>yarn.nodemanager.aux-services</name>
  4. <value>mapreduce_shuffle</value>
  5. </property>
  6. </configuration>

16.启动集群,格式化HDFS,
使用之前,需要先格式化Hadoop文件系统

  1. hdfs namenode -format

当然,如果你没有配环境,也可以直接到指定目录启动命令

  1. cd /home/hadoop/hadoop-2.8.5
  1. ./bin/hdfs namenode -format

17.启动HDFS和YARN

  1. cd $HADOOP_HOME/sbin

当然你也可以直接进入对应目录下,输入命令
启动文件系统:

start-dfs.sh

这里写图片描述

启动YARN:

start-yarn.sh

查看状态
查看HDFS状态,浏览器访问: http://localhost:50070

查看second namenode:

http://localhost:50090

查看DataNode:
http://localhost:50075/
http://localhost:50075/dataNodeHome.jsp
简单使用Hadoop:
使用HDFS
在HDFS创建两个目录:

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop

上传:

hdfs dfs -put  /opt/modules/elasticsearch-2.3.1/logs logs

从管理界面可以看到:
运行MapReduce作业
提交一个MapReduce作业:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'

可以从YARN应用的界面查看作业情况 http://localhost:8088

  1.  
  1.  
  1.  

hadoop单机模式安装流程的更多相关文章

  1. Hadoop单机模式安装

    一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: ...

  2. 3-1.Hadoop单机模式安装

    Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试Wo ...

  3. Hadoop单机模式安装-(3)安装和配置Hadoop

    网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在Ubuntu安装完 ...

  4. Hadoop单机模式安装-(2)安装Ubuntu虚拟机

    网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在虚拟机设置完毕后, ...

  5. Hadoop单机模式安装-(1)安装设置虚拟环境

    网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows ...

  6. centos7 hadoop 单机模式安装配置

    前言 由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一 ...

  7. 【大数据系列】hadoop单机模式安装

    一.添加用户和用户组 adduser hadoop 将hadoop用户添加进sudo用户组 sudo usermod -G sudo hadoop 或者 visudo 二.安装jdk 具体操作参考:c ...

  8. centos7 hive 单机模式安装配置

    前言:由于只是在自己的虚拟机上进行学习,所以对hive只是进行最简单的配置,其他复杂的配置文件没有配置. 1.前提 1.1 安装配置jdk1.8 1.2 安装hadoop2.x hadoop单机模式安 ...

  9. Hadoop 2.x 版本的单机模式安装

    Hadoop 2.x 版本比起之前的版本在Hadoop和MapReduce上做了许多变化,主要的变化之一,是JobTracker被ResourceManager和ApplicationManager所 ...

随机推荐

  1. js vue 请求

    . Vue 的 GET 请求 var vm = new Vue({ el: '#app', data: { resp: {}, api_url: '/index', }, methods: { get ...

  2. 关于python的装饰器(初解)

    在python中,装饰器(decorator)是一个主要的函数,在工作中,有了装饰器简直如虎添翼,许多公司面试题也会考装饰器,而装饰器的意思又很难让人理解. python中,装饰器是一个帮函数动态增加 ...

  3. java 注解 知识整理

    一.前言 注解(也称为元数据)为我们在代码中添加信息提供了一种方法,它在 一定程度上将元数据与源代码文件结合在一起.它是从java 5 开始引入的.通过使用注解,我们可以将元数据保存在Java源代码之 ...

  4. node中间件概念

    中间件就是请求req和响应res之间的一个应用,请求浏览器向服务器发送一个请求后,服务器直接通过request定位属性的方式得到通过request携带过去的数据,就是用户输入的数据和浏览器本身的数据信 ...

  5. Redis连接方式

    连接redis 本地安装了Redis并运行在6379端口,密码设置为 foobared. 1. from redis import StrictRedis redis = StrictRedis(ho ...

  6. Java_04循环结构

    1.while 循环结构 格式: while(循环条件){ } 关键字 while 后的小括号中的内容是循环条件.循环条件是一个表达式,值为布尔类型. { }大括号中的语句统称为循环操作,又称为循环体 ...

  7. Base64字符 转图片乱码问题

    网站做了个随机验证码图片功能,遇到了一个奇怪的问题——Base64字符集转图片乱码问题,问题描述如下 1.用java画笔将随机验证码绘制成图片 2.再将图片的二进制代码转换成Base64字符集,返回给 ...

  8. docker-solr 使用host模式修改默认的8983端口号

    1.使用root账号进入docker-solr docker exec -it 127627ab6247 -u root /bin/bash 2.安装vim apt-get update apt-ge ...

  9. PCIE读书笔记

    PCIE读书笔记 什么是TLP:

  10. 【转】计算机信息系统安全保护等级划分准则(GB 17859-1999)

    计算机信息系统安全保护等级划分准则(GB 17859-1999) 概述 计算机信息系统安全保护等级划分准则(GB 17859-1999) 1 范围 本标准规定了计算机系统安全保护能力的五个等级,即: ...