hadoop单机版安装及基本功能演示
本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core)
hadoop单机版安装
准备工作
创建用户
useradd -m hadoop
passwd hadoop
下载安装包
1.jdk
到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载jdk,我下载的版本为jdk-8u151-linux-x64.tar.gz。
2.hadoop安装包
到hadoop官网下载hadoop的二进制包,我使用的版本为:hadoop-2.7.5.tar.gz。
将jdk和hadoop的包上传到linux上,路径为:/home/hadoop。
hadoop安装及配置
安装
以hadoop用户登录,分别解压jdk和hadoop的包。
tar -zxvf jdk-8u151-linux-x64.tar.gz
tar -zxvf hadoop-2.7.5.tar.gz
重命名hadoop的目录
mv hadoop-2.7.5/ hadoop/
hadoop运行环境配置
进入到hadoop的目录/home/hadoop/hadoop
vi etc/hadoop/hadoop-env.sh
设置jdk的路径
# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_151
使用hadoop进行单词统计
创建输入文件目录及测试文件
mkdir input4test
vi input4test/1.txt
hadoop is an open-source software
vi input4test/2.txt
I want to learn hadoop
执行单词统计操作
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ./input4test ./output4test
查看统计结果
cat output4test/part-r-00000
I 1
an 1
hadoop 2
is 1
learn 1
open-source 1
software 1
to 1
want 1
hdfs相关配置及操作
配置hdfs
进入到hadoop的目录/home/hadoop/hadoop
修改配置文件etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改配置文件etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
设置免密码登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
hdfs格式化及启动
- hdfs格式化
bin/hdfs namenode -format
- hdfs启动
sbin/start-dfs.sh
- 查看hdfs状态
在浏览器中输入http://IP:50070,可以查看hdfs的状态。如果50070端口没有打开,输入下面命令打开50070端口。
iptables -I INPUT -p tcp --dport 50070 -j ACCEPT
hdfs基本操作
查看文件和文件夹
bin/hadoop dfs -ls -R /
该命令表示以递归方式查看根目录下的所有文件和文件夹。
创建目录
bin/hadoop dfs -mkdir /input
该命令表示在根目录下创建input目录。
上传文件到hdfs
bin/hadoop hdfs -put input4test/1.txt /input/
bin/hadoop hdfs -put input4test/2.txt /input/
该命令表示将本地input4test/1.txt和2.txt文件上传到hdfs中的/input目录下。
查看文件内容
bin/hadoop dfs -cat /input/1.txt
通过YARN调度
配置YARN
修改配置文件etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改配置文件etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
启动YARN
sbin/start-yarn.sh
查看YARN状态
在浏览器中输入http://IP:8088,可以查看YARN的状态。如果8088端口没有打开,输入下面命令打开8088端口。
iptables -I INPUT -p tcp --dport 8088 -j ACCEPT
再次执行单词统计操作
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input /output
本次执行的输入和输出目录,都是hdfs的目录。
查看统计结果
bin/hadoop dfs -cat /output/part-r-00000
和之前的结果一样。
I 1
an 1
hadoop 2
is 1
learn 1
open-source 1
software 1
to 1
want 1
hadoop单机版安装及基本功能演示的更多相关文章
- habase单机版安装及基本功能演示
本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装 ...
- Hadoop单机版安装,配置,运行
Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...
- Hadoop Cluster 安装
本篇源自Hadoop官网,先将中文翻译如下. 目标 本文章主要是描述如何安装和配置几个节点的Hadoop clusters,甚至于数以千计的节点数.为了了解详细的安装步骤,需要先了解如何安装在单台机器 ...
- Hadoop学习---安装部署
hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTracker,TaskTracke ...
- hadoop分布式安装教程(转)
from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...
- Hadoop的安装与配置说明
安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/. 目前,hadoop可以运 ...
- Oracle Primavera P6 R84单机版安装教程
本教程用于指导Oracle Primavera P6 R84版本的单机版安装过程.P6 R84版本于2014年9月30日发布.其功能较之前版本有较大提升.单机版的安装方式也发生了很大的变化.P6 R8 ...
- SQL Server 2008 (R2) 单机版安装的先决条件
原文:SQL Server 2008 (R2) 单机版安装的先决条件 出自:http://blogs.msdn.com/b/apgcdsd/archive/2012/03/07/sql-server- ...
- Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置. 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥: $ ...
随机推荐
- Android 开发笔记___DatePicker__日期选择器
虽然EditText提供了inputTtype="date",但用户往往不太喜欢自己输入时间. Android为这个提供了DatePicker,但有很多缺点,不是弹窗模式,而是直接 ...
- Android 开发笔记___EditText__文本编辑框
常用属性: inputType:(代码中:setiputtype)设置输入类型,多种类型中间用"|" maxlength:最大长度,无法通过代码设置 hint:提示文本内容,(代码 ...
- Android 开发笔记___滚动视图__scroll view
<?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android=&quo ...
- this指向(匿名函数问题)
1.匿名函数中 this一般指向window对象 2.闭包函数中的this,指向window var mod = { init: function(){ console.log('this',this ...
- VS2015企业版序列号
vs2015 企业版HM6NR-QXX7C-DFW2Y-8B82K-WTYJV2XNFG-KFHR8-QV3CP-3W6HT-683CH
- C#脏字过滤算法
public class DirtyWordOper { private static Dictionary<string, object> hash = new Di ...
- git 分支合并 强制合并
常用的提交流程git add *.XXXgit commit -m "备注....." # 提交到本地分支git fetch git merge #"合并远程分支情况,如 ...
- 使用MongoVUE
mongoDB版本号为3.4.10 在终端操作一顿后想看看它在可视化工具里面什么样子,于是就找了一个可视化工具,MongoVUE这个看起来还不错,因为我是windows系统所以就没有太多的挑选选择.在 ...
- 0e开头MD5值小结
s878926199a 0e545993274517709034328855841020 s155964671a 0e342768416822451524974117254469 s214587387 ...
- Python 函数返回值
本章详细介绍 返回值: 0x 00 返回值简介 0x 01 指定返回值与隐含返回值 0x 02 return 语句位置与多条 return 语句 0x 03 返回值类型 0x 04 函数嵌套 0x 0 ...