01初步启动Hadoop服务
1.rz命令将hadoop压缩包上传至Linux服务器中
2.tar -zxvf hadoop-2.7.7.tar.gz(解压即可用)
3.将解压出来的hadoop移到想要放的位置 mv hadoop-2.7.7 ../software
4.配置六个文件
配置文件在etc目录下
1.hadoop-env.sh cd /opt/software/hadoop-2.7.7 vim etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行 2.core-site.xml <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defalutFS</name> <value>hdfs://主机名:9000</value> </property> <!--指定hadoop运行是产生文件的存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-2.7.7/tmp</value> </property> </configuration> 3.hdfs-site.xml <configuration> <!--指定HDFS副本的数量--> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4.mapred-site.xml <configuration> <!--指定mr运行在yarn上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 5.yarn-site.xml <configuration> <!--指定yarn的ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>主机名</value> </property> <!--指定reduce获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 5.slaves 主机名
5.给hadoop配置环境变量
vim /etc/profile JAVA_HOME=/opt/software/jdk1.8 HADOOP_HOME=/opt/software/hadoop-2.7.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
6.修改主机映射
vim /etc/hosts 192.168.2.121 主机名
7.格式化文件系统
hadoop namenode -format
8.关闭安全相关
systemctl stop firewalld
systemctl disable firewalld //关闭防火墙 vim /etc/selinux/config
SELINUX=disabled systemctl stop NetworkManager
systemctl disable NetworkManager
9.启动hadoop服务
start-all.sh //启动所有 stop-all.sh(关闭hadoop) hadoop-daemon.sh start namenode //启动NameNode hadoop-daemon.sh start datanode //启动DataNode yarn-daemon.sh start resourcemanager //启动ResourceManager yarn-daemon.sh start nodemanager //启动NodeManager
10.WEB端查看
http://192.168.2.121:50070 //查看NameNode的状态
http://192.168.2.121:50075 //查看DataNode的状态
http://192168.2.121:50090 //查看SecondaryNameNode的状态
11.HDFS的一些方法
1.创建文件
hadoop fs -mkdir -p /user/upload
2.上传文件
hadoop fs -put 需上传的文件路径 /user/upload
3.下载文件
hadoop fs -get 需下载的文件路径
4.查看文件
hadoop fs -ls 路径
4.删除文件
hadoop fs -rm 路径
注意事项:
1.多次使用hadoop namenode -format格式化时会造成spaceID不一致,启动不了datanode节点
解决方案:
1.停止集群
stop-all.sh
2.删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件夹)下面的所有数据
rm -rf tmp
3.重新格式化namenode
hdfs namenode -format 或者 hadoop namenode -format
4.重新启动hadoop集群
start-all.sh
01初步启动Hadoop服务的更多相关文章
- 使用ansible控制Hadoop服务的启动和停止
一.环境: 服务器一台,已安装centos7.5系统,做ansible服务器: 客户机三台:hadoop-master(192.168.1.18).hadoop-slave1(192.168.1.19 ...
- 指导手册01:安装Hadoop
指导手册01:安装Hadoop Part 1:安装及配置虚拟机 1.安装Linux. (1)打开VMvirtualBox (2) 控制->新建虚拟机,输入虚拟机名称“marst+学号” 类型: ...
- Windows 共享无线上网 无法启动ICS服务解决方法(WIN7 ICS服务启动后停止)
Windows 共享无线上网 无法启动ICS服务解决方法(WIN7 ICS服务启动后停止) ICS 即Internet Connection Sharing,internet连接共享,可以使局域网上其 ...
- 启动Hadoop HA Hbase zookeeper spark
服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave ...
- mysql-5.7.10-winx64 MySQL服务无法启动,服务没有报告任何错误的解决办法
总结报错原因:在my.init文件下新增data目录(datadir = F:\mysqldata ) 最新解压版本的mysql 解压安装的时候报错D:\mysql\mysql-5.7.10-wi ...
- Windows下命令行下启动ORACLE服务
检查监听器状态:C:\>lsnrctl statusLSNRCTL for 32-bit Windows: Version 9.2.0.1.0 - Production on 30-6月 -20 ...
- hadoop集群搭建--CentOS部署Hadoop服务
在了解了Hadoop的相关知识后,接下来就是Hadoop环境的搭建,搭建Hadoop环境是正式学习大数据的开始,接下来就开始搭建环境!我们用到环境为:VMware 12+CentOS6.4 hadoo ...
- Hadoop服务库与事件库的使用及其工作流程
Hadoop服务库与事件库的使用及其工作流程 Hadoop服务库: YARN采用了基于服务的对象管理模型,主要特点有: 被服务化的对象分4个状态:NOTINITED,INITED,STARTED, ...
- CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务
参考 Cloudera Enterprise 5.16.x Installing Cloudera Manager, CDH, and Managed Services Installation Pa ...
随机推荐
- Atcoder Beginner Contest 147C(状态压缩)
最多15个人,用N个二进制的数字表示每个人的状态,然后检验.这串数字相当于已经把这些人的状态定了下来,如果和输入的情况不符则这串数字不正确,直接忽略,因为枚举了所有的情况,所以总有正确的,不必在错误的 ...
- iptables详解(3):增删改存
总结一下iptables规则管理的增删改存命令: 1.添加规则: 1)在指定表的指定链的末尾添加一条规则,-A选项表示在末尾添加,-j表示采取的动作,例如DROP.REJECT.ACCEPT 命令语法 ...
- NMAP输出结果中CPE的含义【转】
CPE全称是Common Platform Enumeration,意思是通用平台枚举项:它是NMAP对识别出来的软件.操作系统和硬件的一种命名方式:格式如下: cpe:/<part>:& ...
- Spring一些注解
spring @component的作用详细介绍 1.@controller 控制器(注入服务) 2.@service 服务(注入dao) 3.@repository dao(实现dao访问) 4.@ ...
- H5拖动事件复习
定义和用法 ondrag 事件在元素或者选取的文本被拖动时触发. 拖放是 HTML5 中非常常见的功能. 更多信息可以查看我们 HTML 教程中的 HTML5 拖放. 注意: 为了让元素可拖动,需要使 ...
- jQuery的ajax方法的属性以及jsonp的随机数问题
原文地址[ http://www.cnblogs.com/know/archive/2011/10/09/2204005.html ] <!DOCTYPE html PUBLIC "- ...
- 《实战Java高并发程序设计》读书笔记一
第一章 走入并行世界 1.基本概念 同步:同步方法一旦开始,调用者必须等到方法调用返回后,才能继续后续操作 异步:一旦开始,方法调用就会立即返回,调用就可以继续后续操作 并发:表示两个或者多个任务一起 ...
- redis(一)动态字符串
redis 动态字符串 概述 Sda(Simple Dynamic String) 简单动态字符串是 redis中用来表示字符串的结构,而不是传统 C 字符串. 主要的特点就是Sda要做到高效和 二进 ...
- POJ 3041 Asteroids(二分图 && 匈牙利算法 && 最小点覆盖)
嗯... 题目链接:http://poj.org/problem?id=3041 这道题的思想比较奇特: 把x坐标.y坐标分别看成是二分图两边的点,如果(x,y)上有行星,则将(x,y)之间连一条边, ...
- layui 延时加载
//延时关闭当前页面,并刷新父页面layer.msg('提交成功',{time: 1800},function () { parent.layer.close(index); window.paren ...