hadoop 伪分布启动-fs格式化
1.独立模式(standalone|local)
nothing!
本地文件系统。
不需要启用单独进程。
2.pesudo(伪分布模式)
等同于完全分布式,只有一个节点。
SSH: //(Socket),
//public + private
/server : sshd ps -Af | grep sshd
//clint : ssh
//ssh-keygen:生成公私秘钥。
//authorized_keys 需要使用644
//ssh 192.168.231.201 yes
[配置文件]
core-site.xml //fs.defaultFS=hdfs://localhost/ 默认8020
hdfs-site.xml //replication=1 伪分布就一个节点
mapred-site.xml //
yarn-site.xml //
3.full distributed(完全分布式)
=================================================================
分布式启动配置
在etc目录下将hadoop 赋值三份 本地 伪分布式 完全分布式
使用伪分布式模式
1 进入local-hadoop 修改core-site.xml文件
2. 把原来的hadoop文件夹删掉 创建符号链接到local-hadoop
创建符号链接: ln -s pesudo-hadoop hadoop
以下会具体启动
=================================================================
配置hadoop,使用符号连接的方式,让三种配置形态共存。
让命令行提示符显式完整路径
---------------------------
1.编辑profile文件,添加环境变量PS1
[/etc/profile]
export PS1='[\u@\h `pwd`]\$'
2.source
$>source /etc/profile
1.创建三个配置目录,内容等同于hadoop目录
${hadoop_home}/etc/local-hadoop
${hadoop_home}/etc/pesudo-hadoop
${hadoop_home}/etc/full-hadoop
2.创建符号连接
$>ln -s
3.对hdfs进行格式化 (任何目录下都可以)
$>hadoop namenode -format
4.修改hadoop配置文件,手动指定JAVA_HOME环境变量
注意如果不配置会出现以下情况
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
vi hadoop-env.sh
export JAVA_HOME=/opt/jdk8
...
5.启动hadoop的所有进程
$>start-all.sh
6.启动完成后,出现以下进程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode
29041 ResourceManager
34191 NodeManager
7.查看hdfs文件系统
$>hdfs dfs -ls /
8.创建目录
$>hdfs dfs -mkdir -p /user/local/hadoop
9. 查看端口是否启动
netstat -ano | grep 50070
10.通过webui查看hadoop的文件系统
http://localhost:50070/ (访问的时候注意端口号是否开放)
11.停止hadoop所有进程
$>stop-all.sh
12.centos防火墙操作
[cnetos 6.8]
配置防火墙放行50070端口,允许其它主机访问。
vim /etc/sysconfig/iptables
更改ip
cd /etc/sysconfig/network-scripts/
重启网络服务
service network restart
重启防火墙
service iptables restart
临时关闭/开启防火墙
service iptables stop/start
查看防火墙状态
service iptables status
查看端口
netstat -tunpl | grep50070
hadoop的端口
-----------------
50070 //namenode http port
50075 //datanode http port
50090 //2namenode http port 辅助名称节点端口
8020 //namenode rpc port
50010 //datanode rpc port
hadoop四大模块
-------------------
common
hdfs //namenode + datanode + secondarynamenode
mapred
yarn //resourcemanager + nodemanager
启动脚本
-------------------
1.start-all.sh //启动所有进程
2.stop-all.sh //停止所有进程
3.start-dfs.sh // (分布式文件系统)
4.start-yarn.sh
[hdfs] start-dfs.sh stop-dfs.sh
NN (namenode 名称节点)
DN (datanode数据节点)
2NN (2namenode赋值文名称节点)
[yarn] start-yarn.sh stop-yarn.sh
RM
NM
伪分布模式到此结束
hadoop 伪分布启动-fs格式化的更多相关文章
- centos 6.4-linux环境配置,安装hadoop-1.1.2(hadoop伪分布环境配置)
1 Hadoop环境搭建 hadoop 的6个核心配置文件的作用: core-site.xml:核心配置文件,主要定义了我们文件访问的格式hdfs://. hadoop-env.sh:主要配置我们的j ...
- Hadoop伪分布配置与基于Eclipse开发环境搭建
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私 ...
- hadoop伪分布安装
解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...
- hadoop学习;hadoop伪分布搭建
先前已经做了准备工作安装jdk什么的,以下開始ssh免password登陆.这里我们用的是PieTTY工具,当然你也能够直接在linux下直接操作 ssh(secure shell),运行命令 ssh ...
- Hadoop伪分布搭建
一.伪分布式的搭建 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改 ...
- Hadoop伪分布安装详解(三)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
- 转载 hadoop 伪分布安装
一. 概要 经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Ha ...
- hadoop 伪分布配置
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 ...
- Hadoop伪分布安装详解(五)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
随机推荐
- Laravel--文件管理及上传自定义目录及文件名
laravel 上传 php 需要开启 fileinfo 扩展 先看一个例子: $file = $request->file('shopimg'); $path = $file->stor ...
- Nginx日志按日切分及清理超期的日志文件
Nginx的日志配置如下: #定义日志打印的格式 log_format main '$remote_addr - $remote_user [$time_local] "$request&q ...
- socat管理haproxy配置 ssh-keygen -N '' -t rsa -q -b 2048
socat管理haproxy配置 haproxy是可以通过socat命令管理haproxy.cfg文件的:1.安装socat yum install socat -y 2.配置haproxy.cf ...
- AI学习网址记录
https://ai.yanxishe.com/ https://ai.yanxishe.com/page/blogDetail/14365 GAN网络 对抗式生成网络-图像超分辨及图像修复 完全可见 ...
- gfs下载文件较大,可以分区域分变量下载
一.下载 所有字段的GFS预报(大致有325个字段),1度的文件有1G多,0.5度的3.5G左右. 若每天下载0.6.12.18四个发布点的数据,那是很费时费力的.而且经常会被IDS/IPS设备 ...
- Influxdb修改数据保留策略
retention policy: 存储策略,用于设置数据保留的时间,每个数据库刚开始会自动创建一个默认的存储策略 autogen,数据保留时间为永久,之后用户可以自己设置,例如保留最近2小时的数据. ...
- WPF 插件开发(.NET Framework 3.5 System.Addin)
http://www.cnblogs.com/lc329857895/archive/2009/07/22/1528640.html http://www.cnblogs.com/huihui0630 ...
- vscode片段
参考资料 https://blog.csdn.net/maokelong95/article/details/54379046 "狂客注释": { "prefix&quo ...
- 【Tomcat】Tomcat 基本使用(二)
上一章介绍了Tomcat原理[Tomcat]Tomcat 原理架构(一),本章介绍Tomcat的基本使用 Tomcat端口设置 tomcat端口设置,在tomcat的配置文件目录下的server.xm ...
- cookie加载不正确的问题
华为系统更新后安装了一个谷歌6月安全补丁的东西,然后之前写的调h5页面的部分就出现了问题,后台查过发现是Android端调h5页面时cookie没能带过去,导致了登录失败.于是对setCookie部分 ...