Linux ->> UBuntu 14.04 LTE下安装Hadoop 1.2.1(伪分布模式)
Hadoop的运行模式可分为单机模式、伪分布模式和分布模式。
首先无论哪种模式都需要安装JDK的,这一步之前的随笔Ubuntu 14.04 LTE下安装JDK 1.8中已经做了。这里就不多说了。
其次是安装SSH。安装SSH是为了每次可以免密码登陆数据节点服务器。因为集群的环境下,每次登陆到数据节点服务器不可能每次都输入密码。这一步在前面的随笔Ubuntu 14.04 LTE下配置SSH免密码登录中已经做了。这里也不多说了。
伪分布模式安装:
首先下载Hadoop 1.2.1到本机,再解压到用户目录下。
jerry@ubuntu:~/Downloads$ tar zxf hadoop-1.2.1.tar.gz -C ~/hadoop_1.2.1
jerry@ubuntu:~/Downloads$ cd ~/hadoop_1.2.1/
jerry@ubuntu:~/hadoop_1.2.1$ ls
hadoop-1.2.1
jerry@ubuntu:~/hadoop_1.2.1$ cd hadoop-1.2.1/
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.1$ ls
bin hadoop-ant-1.2.1.jar ivy sbin
build.xml hadoop-client-1.2.1.jar ivy.xml share
c++ hadoop-core-1.2.1.jar lib src
CHANGES.txt hadoop-examples-1.2.1.jar libexec webapps
conf hadoop-minicluster-1.2.1.jar LICENSE.txt
contrib hadoop-test-1.2.1.jar NOTICE.txt
docs hadoop-tools-1.2.1.jar README.txt
然后配置hadoop的几个配置文件,都是XML格式。
首先是core-default.xml。这里配置hadoop分布式文件系统的地址和端口,以及Hadoop临时文件目录(/tmp/hadoop-${user.name})。
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadooptmp</value>
</property>
</configuration>
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$
修改hadoop系统环境配置文件,告诉hadoop安装好的jdk的主目录路径
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.$ cd conf/
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ ls
capacity-scheduler.xml hadoop-policy.xml slaves
configuration.xsl hdfs-site.xml ssl-client.xml.example
core-site.xml log4j.properties ssl-server.xml.example
fair-scheduler.xml mapred-queue-acls.xml taskcontroller.cfg
hadoop-env.sh mapred-site.xml task-log4j.properties
hadoop-metrics2.properties masters
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ sudo vim hadoop-env.sh n
[sudo] password for jerry:
files to edit
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ sudo vim hadoop-env.sh
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ tail -n hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk
然后是hdfs-site.xml 。修改hdfs的文件备份数量为1,dfs命名节点的主目录,dfs数据节点的目录。
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs/data</value>
</property>
</configuration>
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$
最后配置mapreduce的job tracker的地址和端口
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.1/conf$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.1/conf$
配置masters文件和slaves文件,这里因为我们是伪分布式,命名节点和数据节点其实都是一样。
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ cat masters
localhost
192.168.2.100 jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ cat slaves
localhost
192.168.2.100
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$
编辑/etc/hosts文件,配置主机名和IP地址的映射关系
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 ubuntu # The following lines are desirable for IPv6 capable hosts
:: ip6-localhost ip6-loopback
fe00:: ip6-localnet
ff00:: ip6-mcastprefix
ff02:: ip6-allnodes
ff02:: ip6-allrouters
192.168.2.100 master
192.168.2.100 slave
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$
创建好core-default.xml,hdfs-site.xml,mapred-site.xml 三个配置文件里面写到的目录
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ mkdir -p /hadoop/hadooptmp
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ mkdir -p /hadoop/hdfs/name
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./conf$ mkdir -p /hadoop/hdfs/data
格式化HDFS
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./bin$ ./hadoop namenode -format
启动所有Hadoop服务,包括JobTracker,TaskTracker,Namenode
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./bin$ ./start-all.sh
starting namenode, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-namenode-ubuntu.out
192.168.68.130: starting datanode, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-datanode-ubuntu.out
localhost: starting datanode, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-datanode-ubuntu.out
localhost: ulimit -a for user jerry
localhost: core file size (blocks, -c)
localhost: data seg size (kbytes, -d) unlimited
localhost: scheduling priority (-e)
localhost: file size (blocks, -f) unlimited
localhost: pending signals (-i)
localhost: max locked memory (kbytes, -l)
localhost: max memory size (kbytes, -m) unlimited
localhost: open files (-n)
localhost: pipe size ( bytes, -p)
localhost: starting secondarynamenode, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-secondarynamenode-ubuntu.out
192.168.68.130: secondarynamenode running as process . Stop it first.
starting jobtracker, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-jobtracker-ubuntu.out
192.168.68.130: starting tasktracker, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-tasktracker-ubuntu.out
localhost: starting tasktracker, logging to /home/jerry/hadoop_1.2.1/hadoop-1.2./libexec/../logs/hadoop-jerry-tasktracker-ubuntu.out
localhost: ulimit -a for user jerry
localhost: core file size (blocks, -c)
localhost: data seg size (kbytes, -d) unlimited
localhost: scheduling priority (-e)
localhost: file size (blocks, -f) unlimited
localhost: pending signals (-i)
localhost: max locked memory (kbytes, -l)
localhost: max memory size (kbytes, -m) unlimited
localhost: open files (-n)
localhost: pipe size ( bytes, -p)
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./bin$
查看Hadoop服务是否启动成功
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.1/conf$ jps
3472 JobTracker
3604 TaskTracker
3084 NameNode
5550 Jps
3247 DataNode
3391 SecondaryNameNode
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2.1/conf$
查看hadoop群集的状态
jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./bin$ ./hadoop dfsadmin -report
Configured Capacity: (38.26 GB)
Present Capacity: (30.48 GB)
DFS Remaining: (30.48 GB)
DFS Used: ( KB)
DFS Used%: %
Under replicated blocks:
Blocks with corrupt replicas:
Missing blocks: -------------------------------------------------
Datanodes available: ( total, dead) Name: 127.0.0.1:
Decommission Status : Normal
Configured Capacity: (38.26 GB)
DFS Used: ( KB)
Non DFS Used: (7.79 GB)
DFS Remaining: (30.48 GB)
DFS Used%: %
DFS Remaining%: 79.65%
Last contact: Sat Dec :: PST jerry@ubuntu:~/hadoop_1.2.1/hadoop-1.2./bin$
过程中遇到不少问题,这里贴下一些有用的链接:
Hadoop 添加删除datanode及tasktracker
Linux ->> UBuntu 14.04 LTE下安装Hadoop 1.2.1(伪分布模式)的更多相关文章
- Linux ->> UBuntu 14.04 LTE下安装Hadoop 1.2.1(集群分布式模式)
安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用 ...
- Linux ->> Ubuntu 14.04 LTE下安装JDK 1.8
先到Oracle官网的下载中心下载JDK8的tar包到本地. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow ...
- Linux ->> UBuntu 14.04 LTE下主机名称和IP地址解析
UBuntu 14.04 LTE下主机名称和IP地址解析一些相关的配置文件: /etc/hosts: 主机文件.手工配置IP地址和主机名称间的映射.格式为每行一条映射条项: <machine_n ...
- Linux ->> UBuntu 14.04 LTE下设置静态IP地址
UBuntu 14.04 LTE设置IP地址和一些服务器版本的Linux还不太一样.以Centos 7.0为例,网卡IP地址的配置文件应该是/etc/sysconfig/network-scripts ...
- Git使用:Linux(Ubuntu 14.04 x64)下安装Git并配置连接GitHub
github是一个非常好的网络代码托管仓库,知晓许久,但是一直没有用起来,最近才开始使用git管理自己的文档和代码. Git是非常强大的版本管理工具,今天就告诉大家,如何在Linux下安装GIt,并且 ...
- Linux ->> Ubuntu 14.04 LTE下配置SSH免密码登录
首先用apt-get命令安装SSH jerry@ubuntu:~$ sudo apt-get install ssh [sudo] password for jerry: Reading packag ...
- Ubuntu 14.04 LTS下安装Google Chrome浏览器
在Ubuntu 14.04下安装Google Chrome浏览器非常简单,只要到Chrome的网站下载Deb安装包并进行安装即可.当然你也可以使用APT软件包管理器来安装Google Chrome浏览 ...
- Linux Ubuntu 14.04 LTS下VirtualBox连接USB
1.环境 主机:Ubuntu 14.04 LTS 虚拟机:Windows 7 专业版本 VirtualBox: 图形用户界面版本 5.1.8 r111374 (Qt5.6.1) 2.在主机上给Virt ...
- Linux:Ubuntu 14.04 Server 离线安装Jjava8(及在线安装)
(离线安装)首先,通过winscp上传本地下载好的jdk-8u102-linux-x64.gz (离线安装)将jdk-8u102-linux-x64.gz解压到到/usr/lib/jvm下,并把文件夹 ...
随机推荐
- TreeSet和TreeMap不能存放重复元素?能不能存放null?
问题一:本来认为TreeMap不能存放重复元素?其实并非如此: 其实一般情况下是不允许存放重复元素的,但是它并非这么死板,在一些情况下是可以存放重复元素的,存了又会有引入其他问题. 问题二:能不能存放 ...
- vue 初步了解provide/inject
provider/inject:简单的来说就是在父组件中通过provider来提供变量,然后在子组件中通过inject来注入变量. 需要注意的是 provide / inject这对选项需要一起使用, ...
- Java - 冒泡排序的基础算法(尚学堂第七章数组)
/** * 冒泡排序的基础算法 */ import java.util.Arrays; public class TestBubbleSort1 { public static void main(S ...
- 【TensorFlow】-精选Github开源项目
转至:http://www.matools.com/blog/1801988 留底做个记录,有空在做验证. TensorFlow源码 https://github.com/tensorflow/ten ...
- 关于Sql注入的那些事
登陆注册应该是每一个网站的必做的业务,但是在选择使用Django中的ORM还是说执行原生的Sql语句不同的人应该会有不同的建议,有经验的开发人员都喜欢原生的sql语句,因为相对于ORM来说,执行效率高 ...
- springboot实现服务器端消息推送(H5原生支持)
随着互联网的发展,传统的HTTP协议已经很难满足Web应用日益复杂的需求了.近年来,随着HTML5的诞生,WebSocket协议被提出,它实现了浏览器与服务器的全双工通信,扩展了浏览器与服务端的通信功 ...
- 【关于eclipse的一些自己常用的插件】
代码自动走查: sonarlnt:
- 我的Chrome插件---纪录
1.极简图床 写博客的时候用的上. 2.谷歌翻译 阅读英文文档直接选中翻译 3.OneTab 把当前网页集成一个tab,它有个好处就是,在写博客的时候,需要上不同的网站,写了一半有其他的事,这是可以集 ...
- 基于语法分析器GOLD Parser开发的数学表达式计算器
最近发现一款文法分析神器,看完官网(http://goldparser.org/)的介绍后感觉很犀利的样子,于是就拿来测试了一番,写了一个数学表达式分析的小程序,支持的数学运算符如下所示:常规运算:+ ...
- 一、快速构建Springboot应用
1.基本概念 Spring的出现对于企业级应用来说是一个福音,它让企业级应用开发更加地简单.但是随着Spring的不断发展,它也慢慢变得越来越重.即使apache出品的maven工具能够使得项目创建. ...