1.独立模式(standalone|local)
  nothing!
  本地文件系统。
  不需要启用单独进程。
2.pesudo(伪分布模式)
  等同于完全分布式,只有一个节点。
  SSH: //(Socket),
  //public + private
  /server : sshd ps -Af | grep sshd
  //clint : ssh
  //ssh-keygen:生成公私秘钥。
  //authorized_keys 需要使用644
  //ssh 192.168.231.201 yes
[配置文件]
  core-site.xml //fs.defaultFS=hdfs://localhost/ 默认8020
  hdfs-site.xml //replication=1 伪分布就一个节点
  mapred-site.xml //
  yarn-site.xml //

  3.full distributed(完全分布式)

=================================================================

分布式启动配置

在etc目录下将hadoop 赋值三份 本地 伪分布式 完全分布式 

 使用伪分布式模式 

1 进入local-hadoop 修改core-site.xml文件

 2. 把原来的hadoop文件夹删掉 创建符号链接到local-hadoop

  创建符号链接: ln -s pesudo-hadoop hadoop

以下会具体启动

=================================================================

配置hadoop,使用符号连接的方式,让三种配置形态共存。

让命令行提示符显式完整路径
---------------------------
1.编辑profile文件,添加环境变量PS1
  [/etc/profile]
  export PS1='[\u@\h `pwd`]\$'

2.source
  $>source /etc/profile

1.创建三个配置目录,内容等同于hadoop目录
  ${hadoop_home}/etc/local-hadoop
  ${hadoop_home}/etc/pesudo-hadoop
  ${hadoop_home}/etc/full-hadoop

2.创建符号连接
$>ln -s

3.对hdfs进行格式化 (任何目录下都可以)
$>hadoop namenode -format

4.修改hadoop配置文件,手动指定JAVA_HOME环境变量

  注意如果不配置会出现以下情况

[${hadoop_home}/etc/hadoop/hadoop-env.sh]

...

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk8
...

5.启动hadoop的所有进程
$>start-all.sh

6.启动完成后,出现以下进程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode

29041 ResourceManager
34191 NodeManager

7.查看hdfs文件系统
$>hdfs dfs -ls /

8.创建目录
$>hdfs dfs -mkdir -p /user/local/hadoop

9. 查看端口是否启动

netstat -ano | grep 50070

10.通过webui查看hadoop的文件系统
http://localhost:50070/ (访问的时候注意端口号是否开放)

11.停止hadoop所有进程
$>stop-all.sh

12.centos防火墙操作
[cnetos 6.8]

配置防火墙放行50070端口,允许其它主机访问。
vim /etc/sysconfig/iptables
更改ip
cd /etc/sysconfig/network-scripts/
重启网络服务
service network restart
重启防火墙
service iptables restart
临时关闭/开启防火墙
service iptables stop/start
查看防火墙状态
service iptables status
查看端口
netstat -tunpl | grep50070

hadoop的端口
-----------------
50070 //namenode http port
50075 //datanode http port
50090 //2namenode http port  辅助名称节点端口

8020 //namenode rpc port   
50010 //datanode rpc port

hadoop四大模块
-------------------
common
hdfs //namenode + datanode + secondarynamenode

mapred
yarn //resourcemanager + nodemanager

启动脚本
-------------------
1.start-all.sh //启动所有进程
2.stop-all.sh //停止所有进程

3.start-dfs.sh //  (分布式文件系统)
4.start-yarn.sh

[hdfs] start-dfs.sh stop-dfs.sh
NN  (namenode 名称节点)

DN  (datanode数据节点)
2NN  (2namenode赋值文名称节点)

[yarn] start-yarn.sh stop-yarn.sh
RM
NM

 伪分布模式到此结束

hadoop 伪分布启动-fs格式化的更多相关文章

  1. centos 6.4-linux环境配置,安装hadoop-1.1.2(hadoop伪分布环境配置)

    1 Hadoop环境搭建 hadoop 的6个核心配置文件的作用: core-site.xml:核心配置文件,主要定义了我们文件访问的格式hdfs://. hadoop-env.sh:主要配置我们的j ...

  2. Hadoop伪分布配置与基于Eclipse开发环境搭建

    国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私 ...

  3. hadoop伪分布安装

    解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...

  4. hadoop学习;hadoop伪分布搭建

    先前已经做了准备工作安装jdk什么的,以下開始ssh免password登陆.这里我们用的是PieTTY工具,当然你也能够直接在linux下直接操作 ssh(secure shell),运行命令 ssh ...

  5. Hadoop伪分布搭建

    一.伪分布式的搭建 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改 ...

  6. Hadoop伪分布安装详解(三)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

  7. 转载 hadoop 伪分布安装

    一. 概要        经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Ha ...

  8. hadoop 伪分布配置

    配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 ...

  9. Hadoop伪分布安装详解(五)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

随机推荐

  1. Laravel--文件管理及上传自定义目录及文件名

    laravel 上传 php 需要开启 fileinfo 扩展 先看一个例子: $file = $request->file('shopimg'); $path = $file->stor ...

  2. Nginx日志按日切分及清理超期的日志文件

    Nginx的日志配置如下: #定义日志打印的格式 log_format main '$remote_addr - $remote_user [$time_local] "$request&q ...

  3. socat管理haproxy配置 ssh-keygen -N '' -t rsa -q -b 2048

    socat管理haproxy配置   haproxy是可以通过socat命令管理haproxy.cfg文件的:1.安装socat yum install socat -y 2.配置haproxy.cf ...

  4. AI学习网址记录

    https://ai.yanxishe.com/ https://ai.yanxishe.com/page/blogDetail/14365 GAN网络 对抗式生成网络-图像超分辨及图像修复 完全可见 ...

  5. gfs下载文件较大,可以分区域分变量下载

       一.下载 所有字段的GFS预报(大致有325个字段),1度的文件有1G多,0.5度的3.5G左右. 若每天下载0.6.12.18四个发布点的数据,那是很费时费力的.而且经常会被IDS/IPS设备 ...

  6. Influxdb修改数据保留策略

    retention policy: 存储策略,用于设置数据保留的时间,每个数据库刚开始会自动创建一个默认的存储策略 autogen,数据保留时间为永久,之后用户可以自己设置,例如保留最近2小时的数据. ...

  7. WPF 插件开发(.NET Framework 3.5 System.Addin)

    http://www.cnblogs.com/lc329857895/archive/2009/07/22/1528640.html http://www.cnblogs.com/huihui0630 ...

  8. vscode片段

    参考资料 https://blog.csdn.net/maokelong95/article/details/54379046 "狂客注释": { "prefix&quo ...

  9. 【Tomcat】Tomcat 基本使用(二)

    上一章介绍了Tomcat原理[Tomcat]Tomcat 原理架构(一),本章介绍Tomcat的基本使用 Tomcat端口设置 tomcat端口设置,在tomcat的配置文件目录下的server.xm ...

  10. cookie加载不正确的问题

    华为系统更新后安装了一个谷歌6月安全补丁的东西,然后之前写的调h5页面的部分就出现了问题,后台查过发现是Android端调h5页面时cookie没能带过去,导致了登录失败.于是对setCookie部分 ...