Hadoop安装-部署-测试
一:准备Linux环境[安装略]
a.修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=kevin1
b.修改IP(通过修改配置文件)
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.118"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
c.修改主机名和IP的映射关系
vim /etc/hosts 192.168.1.118 kevin1
d.关闭防火墙
防火墙状态 service iptables status
关闭防火墙 service iptables stop
查看防火墙开机启动状态 chkconfig iptables --list
关闭防火墙开机启动 chkconfig iptables off
e.重启linux reboot
二:安装JDK
a.上传
b.解压jdk
创建文件夹 mkdir /soft/
解压 tar -zxvf tar包 -C /soft/
c.将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/root/soft/jdk1.8.0_71
export PATH=$PATH:$JAVA_HOME/bin
d.让配置即可生效 source /etc/profile
三:安装配置hadoop-2.6.5
注意:hadoop2.x配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
a.配置hadoop
1.hadoop-env.sh
vim hadoop-env.sh 修改export JAVA_HOME=/root/soft/jdk1.8.0_71
2.core-site.xml
<property> <!—指定HDFS的主节点(NameNode)的地址->
<name>fs.defaultFS</name>
<value>hdfs://kevin1:9000</value>
</property>
<property> <!-指定hadoop运行时产生文件的存储目录 ->
<name>hadoop.tmp.dir</name>
<value>/root/soft/hadoop-2.6.5/tmp</value>
</property>
3.hdfs-site.xml
<property> <!-- 指定HDFS副本的数量 -->
<name>dfs.replication</name>
<value>1</value>
</property>
4.mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
vim mapred-site.xml
<property> <!-- 指定mr运行在yarn上 –->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.yarn-site.xml
<property> <!--指定YARN的ResourceManager地址-->
<name>yarn.resourcemanager.hostname</name>
<value>kevin1</value>
</property>
<property> <!--mapreduce获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
b.将hadoop添加到环境变量 vim /etc/proflie
export JAVA_HOME=/root/soft/jdk1.8.0_71
export HADOOP_HOME=/root/soft/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
c.让配置文件及时生效:source /etc/profile
d.格式化namenode(是对namenode进行初始化)
hdfs namenode -format
e.启动hadoop
先启动HDFS sbin/start-dfs.sh
再启动YARN sbin/start-yarn.sh
f.验证是否启动成功
使用jps命令验证,获取到以下进程证明启动成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
g.在浏览器中验证
http://192.168.135.129:50070 (HDFS管理界面)
http://192.168.135.129:8088 (MR管理界面)
h.通过上传下载进行测试HDFS功能
上传命令:hadoop fs –put 文件 hdfs:192.168.135.129:9000/tomcat7
下载命令:hadoop fs –get hdfs:192.168.135.129:9000/tomcat7 地址
第2种方式下载:通过浏览器直接点击(可能映射不到)
添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc\hosts添加
192.168.135.129 kevin1
i.测试MR
1.cd /root/soft/hadoop-2.6.5/share/hadoop/mapreduce
vim gs.txt 添加相关内容并保存退出
2.把该文件上传至hdfs上
Hadoop fs –put 文件路径 hdfs路径
hadoop fs -put goodStudy.txt hdfs://kevin1:9000/gs
查看是否上传成功:hadoop fs –ls hdfs路径
3.运行jar测试(命令)
Hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount hdfs:// computer1:9000/gs hdfs://kevin1:9000/gsCount
4.浏览器打开文件下载查看统计次数
Hadoop安装-部署-测试的更多相关文章
- 记一次Hadoop安装部署过程
实验名称:Hadoop安装部署 一.实验环境: 虚拟机数量:3个 (1个master,2个slave:slave01,slave02) 主节点master信息: 操作系统:CentOS7.5 软件包位 ...
- redis cluster安装部署(测试环境)
redis 应用于web前端,做缓存和数据存取的速度是挺可观的,最近看了一些资料,手痒了,就弄了一个测试环境,两台方案,试用一下. ##Redis 集群部署## 一,方案调研: 参考博客: http: ...
- zookeeper,hadoop安装部署其实与防火墙无关
网上查看了很多人关于hadoop,zookeeper的文章,大多都把关闭防火墙作为首要前提,个人觉得这大可不必. 首先你需要知道你部署的是什么东西,它需要哪些端口即可.把相关端口打开就可以了啊.然后把 ...
- Hive Server 2 安装部署测试
Hive 0.11 包含了Hive Server 1 和 Hive Server 2,还包含1的原因是为了做到向下兼容性.从长远来看都会以Hive Server 2作为首选 1. 配置hive ser ...
- presto-mysql/elasticsearch6.0.0安装部署测试,异种数据源关联查询入门实践
本文简单记录一次实践使用过程,涉及presto-mysql,presto-elasticsearch,文中参数未做注释,请参考官方文档,希望能帮到大家 1 下载安装 presto-0.228 < ...
- Hadoop安装部署
Hadoop伪分布式搭建 1.准备Linux环境 ①开启网络,ifconfig指令查看ip ②修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORK ...
- nfs服务安装部署测试
nfs:网络文件系统作用:某个文件或目录共享,使其它用户可以通过网络访问此共享目录或文件.***特别注意共享的目录权限1.使用nfs需要先安装 yum install -y nfs-utils rpc ...
- Hadoop+Hbas完全分布式安装部署
Hadoop安装部署基本步骤: 1.安装jdk,配置环境变量. jdk可以去网上自行下载,环境变量如下: 编辑 vim /etc/profile 文件,添加如下内容: export JAVA_HO ...
- 安装部署Apache Hadoop (本地模式和伪分布式)
本节内容: Hadoop版本 安装部署Hadoop 一.Hadoop版本 1. Hadoop版本种类 目前Hadoop发行版非常多,有华为发行版.Intel发行版.Cloudera发行版(CDH)等, ...
随机推荐
- MongoDB存储引擎(中)——WiredTiger
上一篇博文介绍了MongoDB的MMAPv1存储引擎,本文接着介绍MongoDB另一个存储引擎--WiredTiger,WiredTiger是在MongoDB3.0版本引入的,并且在MongoDB3. ...
- dva.js 用法详解:列表展示
本教程案例github:https://github.com/axel10/dva_demo-Counter-and-list/tree/master 这次主要通过在线获取用户数据并且渲染成列表这个案 ...
- opencv 学习入门篇
unbuntu 安装:http://blog.csdn.net/cocoaqin/article/details/78163171 windows 安装:https://jingyan.baidu.c ...
- 云计算之路-阿里云上:docker swarm 问题最新进展
今天中午我们在 docker swarm 集群上发布应用时遇到了一个奇怪的 docker swarm 内置负载均衡的问题,该应用的 2 个新容器成功启动后,在容器内访问正常,但通过服务名访问时一会正常 ...
- Python的Argparse模块是什么?(未完)
近日在阅读代码的过程中遇到了Argparse模块,记得前段时间已经看了,可是过了两周现在又忘了, 看来写代码一定要钻研到底搞清楚其中原委才行,本文主要参考Python3.6系列官方文档 ...
- SQL 存储过程 多条件 分页查询 性能优化
最优化查询代码 -- 注意:此处可能会出现 字符串过长问题,所以 必要的情况下请分段处理 set @sql1 =' SELECT * FROM ( select ROW_NUMBER() OVER(O ...
- C语言第三次博客作业---单层循环结构
一.PTA实验作业 题目1 1.实验代码 int N,i; //N为用户数,i记录循环变量 double height; //height放身高 char sex; //sex放性别F为女,M为男 s ...
- R语言-用户细分
案例:通过使用R语言的聚类算法将用户进行合理的划分,找出对超市贡献度,光临度最高的优质客户,对后期的推广有更深远的影响 1.导入包 library(dplyr) library(reshape2) l ...
- python安装第三方库
在编写爬虫程序时发现unsolved import 一时不解,以为是ide出问题了,其实是没有安装第三方库导致的. 于是到https://pypi.python.org/pypi/requests/去 ...
- 微信小程序学习笔记(阶段二)
二阶段学习过程: (一)看官方文档的框架.组件.API:https://mp.weixin.qq.com/debug/wxadoc/dev/ (二)看极客学院第3.4章视频:http://www.ph ...