Hadoop-2.7.3-本地模式安装-wordcount例子
- 准备虚拟机:linux-rhel-7.4-server,由于不使用虚拟机进行联网,所以选择host-only网络模式。此处,需要再VitralBox的管理菜单中的主机网络管理器新建一个虚拟网卡。安装完成虚拟机之后,默认网卡是关闭的,需要进行开启,指令如下:
[root@hadoop-01 network-scripts]# vi ifcfg-enp0s3 #默认网卡配置 TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=9e448496-ecd5-4122-a91f-91f91bd15f5e
DEVICE=enp0s3
ONBOOT=yes #修改为 yes,默认是no然后重启虚拟机 - 此时再来查看本机网络配置如下,就可以与宿主机的同网段的虚拟网卡进行通讯了,如果宿主机启用的网络共享,那么可以让虚拟机进行联网
[root@hadoop-01 network-scripts]# ifconfig
enp0s3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 #已经有IP分配进来
inet 192.168.56.101 netmask 255.255.255.0 broadcast 192.168.56.255
inet6 fe80::bcf9:1d0d:e75d:500f prefixlen 64 scopeid 0x20<link>
ether 08:00:27:fb:11:51 txqueuelen 1000 (Ethernet)
RX packets 5763894 bytes 8204104505 (7.6 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 310622 bytes 23522131 (22.4 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1 (Local Loopback)
RX packets 1698 bytes 134024 (130.8 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1698 bytes 134024 (130.8 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 - 上传准备好的程序包
ZBMAC-C03VQ091H:实验介质 hadoop$ ls
ZooInspector.zip mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar
ZooViewer.zip mysql-connector-java-5.1.43-bin.jar
apache-flume-1.7.0-bin.tar.gz pig-0.17.0.tar.gz
apache-hive-2.3.0-bin.tar.gz sqoop-1.4.5.bin__hadoop-0.23.tar.gz
hadoop-2.7.3.tar.gz virtualbox
hbase-1.3.1-bin.tar.gz winscp513setup.exe
hue-4.0.1.tgz zookeeper-3.4.10.tar.gz
jdk-8u144-linux-x64.tar.gz #使用SCP命令:
scp ./* hadoop-01@192.168.56.101:/home/hadoop-01/ - 安装JDK1.8并解压:
tar -zxvf jdk-8u144-linux-x64.tar.gz
- 设置当前用户的java_home 编辑~/.bash_profile
JAVA_HOME=/home/hadoop-02/sdk-home/jdk1.8.0_144
export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH
export PATH - java环境变量设置成功后,使用 :java -version查看版本是否正确
- 解压hadoop
tar -zxvf hadoop-2.7.3.tar.gz
- hadoop目录结构解释:
[hadoop-02@hadoop-02 ~]$ tree -L 3 /home/hadoop-02/sdk-home/hadoop-2.7.3/
/home/hadoop-02/sdk-home/hadoop-2.7.3/
|-- bin # 可执行命令
| |-- container-executor
| |-- hadoop| |-- yarn
| `-- yarn.cmd
|-- etc
| `-- hadoop # 配置文件目录
| |-- capacity-scheduler.xml
| |-- configuration.xsl
| | |-- yarn-env.sh
| `-- yarn-site.xml
|-- include
| |-- hdfs.h
| | `-- TemplateFactory.hh
|-- lib
| `-- native
| |-- libhadoop.a
| |-- libhadooppipes.a
|
| `-- libhdfs.so.0.0.0
|-- libexec
| |-- hadoop-config.cmd
| |-- hadoop-config.sh
| |-- LICENSE.txt
|-- logs
| |-- hadoop-hadoop-02-datanode-hadoop-02.log
| |-- hadoop-hadoop-02-datanode-hadoop-02.out
| |-- |-- NOTICE.txt
|-- README.txt
|-- sbin # 启停脚本
| |-- distribute-exclude.sh
| |-- hadoop-daemon.sh| `-- yarn-daemons.sh
`-- share
|-- doc #文档目录
| `-- hadoop
`-- hadoop #所有jar包
|-- common
|-- hdfs
|-- httpfs
|-- kms
|-- mapreduce #内含示例jar包
|-- tools
`-- yarn - 设置hadoop的环境变量:
# /hadoop-2.7.3/etc/hadoop/hadoop-env.sh #修改JAVA_HOME为实际对应目录:
# The java implementation to use.
export JAVA_HOME=/home/hadoop-02/sdk-home/jdk1.8.0_144/ - 至此本机环境已经准备好找到hadoop的sbin目录执行start-all.sh
[hadoop-02@hadoop-02 sbin]$ ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
Starting namenodes on []
hadoop-02@localhost's password:
localhost: starting namenode, logging to /home/hadoop-02/sdk-home/hadoop-2.7.3/logs/hadoop-hadoop-02-namenode-hadoop-02.out
hadoop-02@localhost's password:
localhost: starting datanode, logging to /home/hadoop-02/sdk-home/hadoop-2.7.3/logs/hadoop-hadoop-02-datanode-hadoop-02.out
Starting secondary namenodes [0.0.0.0]
hadoop-02@0.0.0.0's password:
0.0.0.0: starting secondarynamenode, logging to /home/hadoop-02/sdk-home/hadoop-2.7.3/logs/hadoop-hadoop-02-secondarynamenode-hadoop-02.out
0.0.0.0: Exception in thread "main" java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:472)
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:462)
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:455)
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:229)
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:192)
0.0.0.0: at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:671)
starting yarn daemons
starting resourcemanager, logging to /home/hadoop-02/sdk-home/hadoop-2.7.3/logs/yarn-hadoop-02-resourcemanager-hadoop-02.out
hadoop-02@localhost's password:
localhost: starting nodemanager, logging to /home/hadoop-02/sdk-home/hadoop-2.7.3/logs/yarn-hadoop-02-nodemanager-hadoop-02.out
[hadoop-02@hadoop-02 sbin]$ - 中间如果没有配置免密登录,会出现四次输入密码,注意观察日志在启动对应的服务。
- 检查服务是否正常,包含如下服务:
[hadoop-02@hadoop-02 sbin]$ jps
6305 Jps
6178 NodeManager
5883 ResourceManager
[hadoop-02@hadoop-02 sbin]$ - 运行wordcount 示例:
[hadoop-02@hadoop-02 sbin]$ hadoop jar /home/hadoop-02/sdk-home/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /home/hadoop-02/test_hadoop/wordcount.txt /home/hadoop-02/test_hadoop/wordcount_output/
- 到输出目录就能看到结果文件如下:
[hadoop-02@hadoop-02 sbin]$ cd /home/hadoop-02/test_hadoop/wordcount_output
[hadoop-02@hadoop-02 wordcount_output]$ ls
_SUCCESS part-r-00000 - 至此本地环境搭建就介绍到这里
Hadoop-2.7.3-本地模式安装-wordcount例子的更多相关文章
- hbase本地模式-安装及基本测试
解压缩hbase二进制安装文件到/opt目录下: #tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/ 编辑配置文件,这里仅配置数据目录 ...
- Zookeeper本地模式安装
本地模式安装部署 1.安装前准备 (1)安装Jdk (2)拷贝Zookeeper安装包到Linux系统下 (3)解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C ...
- Hadoop生态圈-Kafka的本地模式部署
Hadoop生态圈-Kafka的本地模式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka简介 1>.什么是JMS 答:在Java中有一个角消息系统的东西,我 ...
- Hadoop 本地模式安装
0. 说明 本地模式:使用的存储系统,是Linux系统 提前安装好 JDK 参考 CentOS7 安装 JDK 1. 将 Hadoop 的安装包通过 Xftp 发送到centos 用户的 home 目 ...
- 【Hadoop 分布式部署 八:分布式协作框架Zookeeper架构功能讲解 及本地模式安装部署和命令使用 】
What is Zookeeper 是一个开源的分布式的,为分布式应用提供协作服务的Apache项目 提供一个简单的原语集合,以便与分布式应用可以在他之上构建更高层次的同步服务 设计非常简单易于编 ...
- centos6.6安装hadoop-2.5.0(一、本地模式安装)
操作系统:centos6.6(一台服务器) 环境:selinux disabled:iptables off:java 1.8.0_131 安装包:hadoop-2.5.0.tar.gz hadoop ...
- hadoop单机and集群模式安装
最近在学习hadoop,第一步当然是亲手装一下hadoop了. 下面记录我hadoop安装的过程: 注意: 1,首先明确hadoop的安装是一个非常简单的过程,装hadoop的主要工作都在配置文件上, ...
- tachyon 本地模式安装
本地模式不用考虑hadoop的版本,所以直接下载 binary 包或者自己编译 1.配置主机名.JDK.关闭防火墙.关闭Selinux.配置hosts ... ... 2.设置本机SSH免密码登陆 . ...
- 【node.js】本地模式安装express:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件。
今天闲来无事想起了node.js,因此到网上下载了一个node.js的安装程序进行安装.其中: 安装程序:node-v0.11.13-x64.msi PC系统:Windows 7 自定义安装路径:D: ...
随机推荐
- poj 2115 求线性同余方程 C Looooops(好理解欧几里德扩展定理怎么应用)
C Looooops Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 29061 Accepted: 8360 Descr ...
- SpringBoot 参数校验的方法
Introduction 有参数传递的地方都少不了参数校验.在web开发中,前端的参数校验是为了用户体验,后端的参数校验是为了安全.试想一下,如果在controller层中没有经过任何校验的参数通过s ...
- top_down设计技巧
写在前面的话 之前梦翼师兄和大家一起学习了层次化设计方法,大家应该懂了,哦,原来所谓的层次化设计就是将一个大的系统不断地拆分成一些便于实现的最小逻辑单元.如果大家真的只是这么想的话,那么梦翼师兄真的是 ...
- 代理损失函数(surrogate loss function)
Surrogate loss function,中文可以译为代理损失函数.当原本的loss function不便计算的时候,我们就会考虑使用surrogate loss function. 在二元分类 ...
- AD 域服务简介(三)- Java 对 AD 域用户的增删改查操作
博客地址:http://www.moonxy.com 关于AD 域服务器搭建及其使用,请参阅:AD 域服务简介(一) - 基于 LDAP 的 AD 域服务器搭建及其使用 Java 获取 AD 域用户, ...
- 14 (OC)* UIView和UILayer
总接来说就是如下几点: 1:每个 UIView 内部都有一个 CALayer 在背后提供内容的绘制和显示,并且 UIView 的尺寸样式都由内部的 Layer 所提供.两者都有树状层级结构,layer ...
- 最近学习到的Lambda表达式
前言 只有光头才能变强. 文本已收录至我的GitHub仓库,欢迎Star:https://github.com/ZhongFuCheng3y/3y 中秋去了躺上海,在外滩上打了个卡: 紧接着学了一下J ...
- [AI] 深度数据 - Data
Data Engineering Data Pipeline Outline [DE] How to learn Big Data[了解大数据] [DE] Pipeline for Data Eng ...
- ECSHOP完美解决Deprecated: preg_replace()报错的问题
随着PHP5.5 的普及,ECSHOP系统又爆出了新的错误.PHP发展到PHP5.5版本以后,有了很多细微的变化.而ECSHOP官方更新又太慢,发现这些问题后也不及时升级,导致用户安装使用过程中错误百 ...
- TensorFlow2.0(二):数学运算
1 基本运算:加(+).减(-).点乘(*).除(/).地板除法(//).取余(%) 基本运算中所有实例都以下面的张量a.b为例进行: >>> a = tf.random.unifo ...