Hadoop单机模式安装-(3)安装和配置Hadoop
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程。
此篇主要介绍在Ubuntu安装完毕后,如何进行Hadoop的安装和配置。
我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导。
环境约定
以下环境基于攥写时间:5th July 2015。
宿主机器:Windows 8
虚拟机环境:WMware Wrokstation 11
Ubuntu版本:Ubuntu Desktop 14.04.2
物理环境:
笔记本Thinkpad T420 i5 CPU 4+4=8G内存, 500G硬盘。
其它:
JavaJDK版本:7
Hadoop版本:2.7.0
首先,登录Ubuntu,进入到命令模式,可以通过两个方法,就是点击左上角的Search按钮,输入Ter然后在下面的结果界面就可以找到控制台Terminal。
另外一个方法就是通过快捷键Ctrl+Alt+T。
首先打开虚拟机的网络连接。Ubuntu的配置过程中包括更新和软件的安装都要以来于互联网环境。
回到控制台,输入如下命令开始更新系统(需联网)。sudo是经常会用到的,提示系统以最高权限运行,有些类似windows下的UAC。
sudo apt-get update
系统会提示输入密码,然后开始下载和安装更新。
完成更新后,接下来在系统中首先创建名称为hadoop的用户名和组。
首先创建组:
sudo addgroup Hadoop
然后再创建用户。
sudo adduser -ingroup hadoop Hadoop
输入这个命令后系统会提示输入密码,然后关于Full Name等信息一路回车就可以。
最后输入如下命令,使新建立的hadoop账户拥有最高的权限。
sudo gedit /etc/sudoers
系统会弹出Ubuntu Desktop的Gedit工具,这是一个可视化的文本编辑工具,跟windows下的记事本一样。在Ubuntu Server下没有图形化界面,可以通过vim完成类似的编辑和配置工作。
在打开的配置文件中,在root下面加入下面一行。
hadoop ALL=(ALL:ALL) ALL
需要留意的是,如果手动敲入这行内容,hadoop后面跟的是/t,也就是键盘的Tab。如果这里输入不对的话会导致Ubuntu系统出现很大的问题。
编辑完成后点击Gedit上面的Save按钮然后关闭这个工具(Ubuntu Desktop下关闭和最大化等按钮是在每个窗体的左上方),回到控制台。
接下来配置ssh服务,使系统可以远程登录。
输入如下命令安装ssh。
sudo apt-get install openssh-server
然后通过如下命令开启ssh服务。
sudo /etc/init.d/ssh start
最后通过如下命令,查看ssh服务是否启动。
ps -e | grep ss
如图看到sshd的话说明ssh启动成功。
接下来配置ssh的免密码登录,确保其它节点可以不需要密码就可以登录到系统。(目前不太确定单击模式中这一步是否必要,但为了后续搭建多节点环境所以先跟着配置。)
首先输入如下命令生成公匙和私匙。
ssh-keygen -t rsa -P ""
然后通过如下命令把公匙的内容加入到authorized_keys中。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
至此ssh的配置完成。
接下来安装java的jdk,输入如下命令开始安装。安装过程会略微长一些。
sudo apt-get install openjdk-7-jdk
安装完毕后,可以通过如下命令确定Java的版本。
java –version
接下来下载Hadoop。
打开Ubuntu Desktop的Firefox,输入以下网址:
找到页面的Get started,点击Download。
在下载页中,找到2.7.0版本的二进制下载链接。
然后系统会导航到另外一个下载页面,从众多地址中选择一个就可以了。
点击一个链接之后开始下载。
点击Save File之后,下载文件会默认存放在本地Ubuntu的Home/Wade/Downloads下,请留意Wade是我建立的用户名。
回到控制台,敲入cd命令,会回到/home/wade目录。所以直接敲入Downloads就可以进入到下载目录。
进入到Downloads目录后,输入如下指令将hadoop文件解压出来。
sudo tar xzf hadoop-2.7.0.tar.gz
然后使用下面的命令将解压后的目录移动到/usr/local/hadoop目录。
sudo mv hadoop-2.7.0 /usr/local/hadoop
接下来给前面建立的hadoop用户赋予相关的权限,否则hadoop用户无法配置这个目录下面的文件。
sudo chown -R hadoop:hadoop /usr/local/hadoop
接下来配置java home,首先通过如下命令确定java的安装位置。
update-alternatives - -config java
其中/usr/lib/jvm/java-7-openjdk-amd64是我们需要的部分。
接下来把这个配置到bashrc中,输入如下命令。
sudo gedit ~/.bashrc
系统会打开Gedit,然后把如下内容附加到文件的末尾。bashrc配置文件很重要,如果有差错会导致系统很大的问题。如果你的版本和前面的操作跟我的都一样的话,那么下面的配置内容是不需要更改的。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
配置之后的文件。点击Save后关闭。
接下来通过如下命令使配置生效。
source ~/.bashrc
再输入如下命令,配置hadoop的环境文件。
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到export JAVA段,配置成如下内容。
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
配置后的文件如下图。
接下来通过如下命令让配置生效。
source /usr/local/hadoop/etc/hadoop/hadoop-env.sh
至此hadoop的配置工作完成。
接下来测试一下hadoop的环境,我们将运行一个hadoop自带的程序WordCount。
这个应用我们统计一下在hadoop目录下README.txt文件各个英文单词出现的次数。
首先使用以下命令定位到hadoop目录。
cd /usr/local/Hadoop
在这个目录下创建一个input文件夹。
sudo mkdir input
然后将README.txt文件夹复制到input文件夹下。
sudo cp README.txt input
然后运行如下命令开始统计。
sudo bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output
看到如下输出说明执行成功了。
输入如下命令查看统计结果。(cat命令是显示文本内容的命令,如果编辑文件的话在ubuntu desktop下可以用gedit,server下可以用vim)
cat output/*
至此hadoop单击模式搭建完毕。
参考博客:
http://www.cnblogs.com/maybe2030/p/4591195.html
http://www.cnblogs.com/kinglau/p/3794433.html
注:其中第一个地址的内容有些细节在我这里无法走通,所以我这里根据其要表达的意思做了相关的修正。
Hadoop单机模式安装-(3)安装和配置Hadoop的更多相关文章
- Hadoop单机模式的配置与安装
Hadoop单机模式的配置与安装 单机hadoop集群正常启动后进程情况 ResourceManager NodeManager SecondaryNameNode NameNode DataNode ...
- centos7 hadoop 单机模式安装配置
前言 由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一 ...
- Hadoop单机模式安装
一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: ...
- Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...
- 3-1.Hadoop单机模式安装
Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试Wo ...
- Hadoop单机模式安装-(2)安装Ubuntu虚拟机
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在虚拟机设置完毕后, ...
- Hadoop单机模式安装-(1)安装设置虚拟环境
网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows ...
- hadoop单机模式安装流程
这里的安装是在Linux系统上安装的 参考博客 : https://blog.csdn.net/cafebar123/article/details/73500014 https://blog.csd ...
- 【大数据系列】hadoop单机模式安装
一.添加用户和用户组 adduser hadoop 将hadoop用户添加进sudo用户组 sudo usermod -G sudo hadoop 或者 visudo 二.安装jdk 具体操作参考:c ...
随机推荐
- Kinect 总结---Kinect基本认识
玩了Kinect也有差不多一年的时间了,觉得Kinect是个挺好玩挺有未来的玩意.但是很经常做完了一次,下次又得重新看源码,没有把Kinect里的知识总结起来变为自己的知识,所以特意重新总结一下自己使 ...
- Java多线程 2 线程的生命周期和状态控制
一.线程的生命周期 线程状态转换图: 1.新建状态 用new关键字和Thread类或其子类建立一个线程对象后,该线程对象就处于新生状态.处于新生状态的线程有自己的内存空间,通过调用start方法进入就 ...
- 浅谈Android样式开发之layer-list
引言 在开发某些有层叠效果App时,我们第一个想到的就是让UI进行切图.下面我们来这样的一个例子.如图所示: 上图Tab的背景效果,和带阴影的圆角矩形,是怎么实现的呢?大部分的人会让美工切图,用点九图 ...
- jQuery $(document).ready() 与window.onload的区别
ps:jQuery中$(document).ready()的作用类似于传统JavaScript中的window.onload方法,虽然具有类似的效果,但是它们在触发操作的时间上存在着微妙的差异. 在j ...
- 一个ListView怎么展示两种样式
private class MyBaseMsgAdapter extends BaseAdapter { //获取数据适配器中条目类型的总数,修改成两种(纯文本,输入+文字) @Override pu ...
- JavaWeb基础学习体系与学习思路
对于JAVAWEB的学习,首先一定要明确的是学习整体框架和思路,要有一个把控.对于WEB,很多人认为是做网页,简单的把静态网页与JAVAWEB与网页设计一概而论. 拿起一本JS就开始无脑的学习,学了一 ...
- Be careful about the upper limit of integer
在面对整数时,要留心整数溢出的情况. 在探索一个数有多少个除数的程序中,原本我们只要累加自然数到大于根号N停止即可. 不过因为计算机的整数范围的限制,我们需要判断是否i*i<(i-1)*(i-1 ...
- select中文字垂直居中解决办法
我们知道select标签在各个浏览器中的属性和各浏览器的支持各有些不同,从而造成select选择框在各浏览器的显示有不同,下面我们通过对主要 外形CSS属性的支持,打造全兼容select. 我对sel ...
- wxPython 自动提示文本框
1.原版和例子都在这里 在浏览器的地址栏,或者在百度.google 输入文字的时候,输入框的下面会把有关的项目都提示出来. wxPython 没有提供类似的控件,google 了一下,发现了一个,很好 ...
- Java性能调优之:idea变慢解决
今天搬砖的时候遇到一个问题,idea总是卡死,完全无法愉快的玩耍.幸好机器是Linux系统的.于是通过以下方式解决了问题: 通过top命令,查看系统运行状态发现4个CPU中有1个CPU用户占用率为10 ...