hadoop单机模式安装流程
这里的安装是在Linux系统上安装的
参考博客 :
https://blog.csdn.net/cafebar123/article/details/73500014
https://blog.csdn.net/bingduanlbd/article/details/51874195
1.安装Java
首先要确认安装了Java,用命令确定安装了Java。
- java -version
如果没有安装Java,请自行百度安装配置Java
2.在Linux下创建一个用户给Hadoop使用
- sudo adduser hadoop
这里创建了一个叫hadoop的用户
3.给账号添加sudo权限
- sudo usermod -G sudo hadoop
4.切换Linux账号到hadoop
- su hadoop
5.配置SSH无密码登录
首先生成公私密钥对:
- ssh-keygen -t rsa
指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
输入passphrase,这里直接回车,为空,确保无密码可登陆。
拷贝生成的公钥到授权key文件(authorized_keys)
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
6.改变key权限为拥有者可读可写(0600) :
- chmod ~/.ssh/authorized_keys
chomod命令参考:
- chmod file – owner can read and write
- chmod file – owner can read, write and execute
- chmod file – all can read and write
- chmod file – all can read, write and execute
测试是否成功:
- ssh localhost
7.下载hadoop到用户(hadoop用户)的根目录下
注意,需要下载最新的版本可以到https://hadoop.apache.org/官网下载,点击Download-进入下载页面,选择Binary download项下的包下载。
8.下载完成后,解压包
- tar -zxvf 最新的hadoop包名
9.重命名一下(当然也可以忽略)
- mv hadoop- hadoop
(最好做个关联ln -s hadoop-2.6.0 hadoop)
10.配置环境变量
- vim ~/.bashrc
- export JAVA_HOME=/usr/java/jdk1.7.0_79/
- export HADOOP_HOME=/home/hadoop/hadoop
- export HADOOP_INSTALL=$HADOOP_HOME
- export HADOOP_MAPRED_HOME=$HADOOP_HOME
- export HADOOP_COMMON_HOME=$HADOOP_HOME
- export HADOOP_HDFS_HOME=$HADOOP_HOME
- export YARN_HOME=$HADOOP_HOME
- export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
- export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
11.让环境变量生效
- source ~/.bashrc
12.配置Hadoop
cd到/home/hadoop/hadoop-2.8.5/etc下,使用下面的命令编辑 core-site.xml 文件。
- vim core-site.xml
在<configuration>里添加下面的内容:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
13.配置HDFS
- vim hdfs-site.xml
在<configuration>里添加下面的内容:
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.name.dir</name>
- <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
- </property>
- </configuration>
14.配置MapReduce
- vim mapred-site.xml
跟上面一样添加下面的内容
- <configuration>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- </configuration>
15.配置YARM:
- vim yarn-site.xml
跟上面一样添加下面的内容
- <configuration>
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- </configuration>
16.启动集群,格式化HDFS,
使用之前,需要先格式化Hadoop文件系统
- hdfs namenode -format
当然,如果你没有配环境,也可以直接到指定目录启动命令
- cd /home/hadoop/hadoop-2.8.5
- ./bin/hdfs namenode -format
17.启动HDFS和YARN
- cd $HADOOP_HOME/sbin
当然你也可以直接进入对应目录下,输入命令
启动文件系统:
start-dfs.sh
这里写图片描述
启动YARN:
start-yarn.sh
查看状态
查看HDFS状态,浏览器访问: http://localhost:50070
查看second namenode:
http://localhost:50090
查看DataNode:
http://localhost:50075/
http://localhost:50075/dataNodeHome.jsp
简单使用Hadoop:
使用HDFS
在HDFS创建两个目录:
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop
上传:
hdfs dfs -put /opt/modules/elasticsearch-2.3.1/logs logs
从管理界面可以看到:
运行MapReduce作业
提交一个MapReduce作业:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'
可以从YARN应用的界面查看作业情况 http://localhost:8088
hadoop单机模式安装流程的更多相关文章
- Hadoop单机模式安装
一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: ...
- 3-1.Hadoop单机模式安装
Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试Wo ...
- Hadoop单机模式安装-(3)安装和配置Hadoop
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在Ubuntu安装完 ...
- Hadoop单机模式安装-(2)安装Ubuntu虚拟机
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在虚拟机设置完毕后, ...
- Hadoop单机模式安装-(1)安装设置虚拟环境
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows ...
- centos7 hadoop 单机模式安装配置
前言 由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一 ...
- 【大数据系列】hadoop单机模式安装
一.添加用户和用户组 adduser hadoop 将hadoop用户添加进sudo用户组 sudo usermod -G sudo hadoop 或者 visudo 二.安装jdk 具体操作参考:c ...
- centos7 hive 单机模式安装配置
前言:由于只是在自己的虚拟机上进行学习,所以对hive只是进行最简单的配置,其他复杂的配置文件没有配置. 1.前提 1.1 安装配置jdk1.8 1.2 安装hadoop2.x hadoop单机模式安 ...
- Hadoop 2.x 版本的单机模式安装
Hadoop 2.x 版本比起之前的版本在Hadoop和MapReduce上做了许多变化,主要的变化之一,是JobTracker被ResourceManager和ApplicationManager所 ...
随机推荐
- js vue 请求
. Vue 的 GET 请求 var vm = new Vue({ el: '#app', data: { resp: {}, api_url: '/index', }, methods: { get ...
- 关于python的装饰器(初解)
在python中,装饰器(decorator)是一个主要的函数,在工作中,有了装饰器简直如虎添翼,许多公司面试题也会考装饰器,而装饰器的意思又很难让人理解. python中,装饰器是一个帮函数动态增加 ...
- java 注解 知识整理
一.前言 注解(也称为元数据)为我们在代码中添加信息提供了一种方法,它在 一定程度上将元数据与源代码文件结合在一起.它是从java 5 开始引入的.通过使用注解,我们可以将元数据保存在Java源代码之 ...
- node中间件概念
中间件就是请求req和响应res之间的一个应用,请求浏览器向服务器发送一个请求后,服务器直接通过request定位属性的方式得到通过request携带过去的数据,就是用户输入的数据和浏览器本身的数据信 ...
- Redis连接方式
连接redis 本地安装了Redis并运行在6379端口,密码设置为 foobared. 1. from redis import StrictRedis redis = StrictRedis(ho ...
- Java_04循环结构
1.while 循环结构 格式: while(循环条件){ } 关键字 while 后的小括号中的内容是循环条件.循环条件是一个表达式,值为布尔类型. { }大括号中的语句统称为循环操作,又称为循环体 ...
- Base64字符 转图片乱码问题
网站做了个随机验证码图片功能,遇到了一个奇怪的问题——Base64字符集转图片乱码问题,问题描述如下 1.用java画笔将随机验证码绘制成图片 2.再将图片的二进制代码转换成Base64字符集,返回给 ...
- docker-solr 使用host模式修改默认的8983端口号
1.使用root账号进入docker-solr docker exec -it 127627ab6247 -u root /bin/bash 2.安装vim apt-get update apt-ge ...
- PCIE读书笔记
PCIE读书笔记 什么是TLP:
- 【转】计算机信息系统安全保护等级划分准则(GB 17859-1999)
计算机信息系统安全保护等级划分准则(GB 17859-1999) 概述 计算机信息系统安全保护等级划分准则(GB 17859-1999) 1 范围 本标准规定了计算机系统安全保护能力的五个等级,即: ...