Ubuntu18.0.4配置Hadoop1.2.1环境
在虚拟机中安装Linux,我这里选用VMware虚拟机;Linux版本是Ubuntu
VMware安装Ubuntu这里就不做说明了,网上有很多教程
1.安装jdk
apt install openjdk--jre-headless
开始安装

2.配置Java环境变量
进入/etc/profile文件

输入以下内容
export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

可能会遇到“您没有权限修改”,尝试输入 sudo gedit /etc/profile;再进行编辑
3.安装hadoop
输入以下命令,默认安装在桌面(desktop)
wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
移动到/opt/下,便于管理
mv hadoop-1.2..tar.gz /opt/
进入conf文件夹下,cd conf
编辑hadoop-env.sh
vim hadoop-env.sh
编辑core-site.xml
vim core-site.xml
在Property里面输入以下配置信息
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>

编辑hdfs-site.xml
vim hdfs-site.xml
将下面这句话复制到property里
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
编辑mapred-site.xml
vim mapred-site.xml
复制这句话,同理
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
再回到/etc/profile,添加信息如下,配置Hadoop环境变量

使其生效
source /etc/profile
进入/opt/hadoop-1.2.1/bin
对namenode进行格式化操作
hadoop namenode -format
如果之前的配置正确,这一步不应该报异常,报错的话请检查之前四个文件(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)的配置是否正确
启动
start-all.sh
然后输入root密码
最后在/opt/hadoop-1.2.1/bin目录下输入
jps
结果如下,至此,Hadoop环境搭建成功

Ubuntu18.0.4配置Hadoop1.2.1环境的更多相关文章
- Ubuntu18.04下配置深度学习开发环境
在Ubuntu18.04下配置深度学习/机器学习开发环境 1.下载并安装Anaconda 下载地址:https://www.anaconda.com/distribution/#linux 安装步骤: ...
- 新阿里云服务器从0开始配置为python开发环境
由于每次打开linux虚拟机比较麻烦,于是尝试一下云服务器,在阿里云领取了一个月的试用服务器,这里记录一下新服务器从0配置成python开发环境的步骤,以便以后配置新服务器时有个参考. 免费领取一个月 ...
- Ubuntu18.04中配置QT5.11开发环境
准备工作 参考 https://wiki.qt.io/Install_Qt_5_on_Ubuntu . # 安装g++ sudo apt install build-essential # sudo ...
- (三)配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序
配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序 一. 需求部分 在ubuntu上用Eclipse IDE进行hadoop相关的开发,需要在Eclip ...
- 【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo
一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部 ...
- Ubuntu环境下手动配置Hadoop1.2.1
/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ ...
- 配置hadoop-1.2.1 eclipse开发环境
写这篇文章的目的是记录解决配置过程中的问题 首先我们先看下这篇博文 配置hadoop-1.2.1 eclipse开发环境 但是在[修改 Hadoop 源码]这里,作者发布的 hadoop-core-1 ...
- VScode配置CMD本地运行环境(2.0)
VScode配置CMD本地运行环境(2.0) 官方Task.json说明 完整的Task.json配置信息 Task.json预定义变量 看了很多网上的教程都说需要下载VScode的python插件, ...
- hadoop 2.0 详细配置教程(转载)
转载: http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.html 作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出, ...
随机推荐
- CentOS 7上搭建Docker环境
一.Docker介绍和安装 http://linux.cn/article-4340-1.html Docker 是一个开源工具,它可以让创建和管理 Linux 容器变得简单.容器就像是轻量级的虚拟机 ...
- jenkins启动失败,提示Starting Jenkins Jenkins requires Java8 or later, but you are running 1.7.0
# 背景 centos安装jenkins后,先启动jenkins服务,结果报错如下: 但自己明明已经安装了java8的 # 解决方法 既然安装了java8的话,那么证明是jenkins启动的是还是用的 ...
- 查看JVM
通过jconsole.exe来查看,jconsole.exe所在目录为/%JAVA_HOME%/bin/jconsole.exe 需要配置: -Dcom.sun.management.jmxrem ...
- 使用jdbc的方式访问kylin cube的数据
使用jdbc的方式访问kylin cube的数据 引用kylin相关的jar包 <dependency> <groupId>org.apache.kylin</group ...
- list<T>集合中的Remove()、RemoveAt()、RemoveRange()、RemoveAll()的用法
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...
- C#List的创建例程
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...
- 兼容性测试中如何切换和管理多个JDK版本
本文由作者邹珍珍授权网易云社区发布. 一.测试背景: 项目对外提供JAR包,需要测试该JAR包对不同JDK版本(1.6至1.9版本)的兼容性.下面主要介绍在兼容性测试中,JDK多版本共存时如何配置环境 ...
- 如何在linux设置回收站 - 防止失误操作造成数据清空
linux rm命令是即刻删除的,而且挺多人喜欢加上-f强制命令,更暴力的是删除文件夹直接 rm -rf ,这样子代表你执行完后,就完全被干掉了. 还是推荐在linux下设置回收站,写一个shell脚 ...
- Python(简单计算器)
参考:https://www.cnblogs.com/alex3714/articles/5169958.html import re ret = re.search('\([^()]+\)','(1 ...
- Java_异常处理(Exception)
异常:Exception try{ //捕获异常 }catch{ //处理异常 } 异常处理机制: 1.在try块中,如果捕获了异常,那么剩余的代码都不会执行,会直接跳到catch中, 2.在try之 ...