一、分布式HDFS的安装和启动
①在$HADOOP_HOME/etc/hadoop/core-site.xml文件
<property>
<name>fs.defaultFS</name>
<!-- 告知NN在哪个机器,NN使用哪个端口号接收客户端和DN的RPC请求. -->
<value>hdfs://mypc:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>

②格式化Namenode(只需要格式化一次)
命令: hadoop namenode -format
目的: ①生成/opt/module/hadoop-2.7.2/data/tmp目录
②在目录中生成fsimage_0000000000000000000文件

启动Namenode
hadoop-daemon.sh start namenode

启动datanode
hadoop-daemon.sh start datanode

群起/停止hdfs

start-dfs.sh

stop-dfs.sh

查看
Jps
通过浏览器访问 http://nn所在的主机名/ip:50070

如果NN和DN都在一台机器,且只有一个DN节点,称为伪分布式!

5、hdfs文件系统上传下载查看操作

  5.1、上传文件到hdfs的根目录

    hadoop fs -put hello.py /

    上传文件指定副本数

    hadoop fs -D dfs.replication=1 -put hello.py /

  5.2、查看hdfs文件系统文件

    hadoop fs -ls /

  5.3、下载hdfs文件系统中的文件

    hadoop fs -get /hello.py /

二、在本地运行MR

  hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount / /wc

  hadoop运行$HADOOP/share/hadoop/mapreduce中的示例jar包,运行wordcount 统计单词,统计hdfs文件系统中根目录下的文件内容的单词,写到/wc中

三、在YARN上运行MR
①修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

②启动YARN
配置RM到底在哪个机器启动
修改 $HADOOP_HOME/etc/hadoop/yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mypc</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

启动RM,NM
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

群起/关闭yarn

start-yarn.sh

stop-yarn.sh

④查看
jps
http://RM所运行的机器主机名/ip:8088

四、提交任务

hadoop jar jar包 主类名 参数{多个输入目录,一个输出目录}

输入目录中必须全部是文件!
输出目录必须不存在!

分布式HDFS的安装和启动(二)的更多相关文章

  1. Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0

    公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...

  2. 分布式消息队列RocketMQ(一)安装与启动

    分布式消息队列RocketMQ 一.RocketMQ简介 RocketMQ(火箭MQ) 出自于阿里,后开源给apache成为apache的顶级开源项目之一,顶住了淘宝10年的 双11压力 是电商产品的 ...

  3. 第四百零二节,Django+Xadmin打造上线标准的在线教育平台—生产环境部署,uwsgi安装和启动,nginx的安装与启动,uwsgi与nginx的配置文件+虚拟主机配置

    第四百零二节,Django+Xadmin打造上线标准的在线教育平台—生产环境部署,uwsgi安装和启动,nginx的安装与启动,uwsgi与nginx的配置文件+虚拟主机配置 软件版本  uwsgi- ...

  4. Apache Kafka(二)- Kakfa 安装与启动

    安装并启动Kafka 1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压: > wget http://mirror.bit.edu.cn/apache/kafka/2.3 ...

  5. Spark On YARN 分布式集群安装

    一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布 ...

  6. hbase 集群(完全分布式)方式安装

    一,环境 1,  主节点一台: ubuntu desktop 16.04 zhoujun      172.16.12.1 从节点(slave)两台:ubuntu server 16.04 hadoo ...

  7. Hbase入门教程--单节点伪分布式模式的安装与使用

    Hbase入门简介 HBase是一个分布式的.面向列的开源数据库,该技术来源于 FayChang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像 ...

  8. Linux Hadoop2.7.3 安装(单机模式) 二

    Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的Jo ...

  9. hadoop学习之hadoop完全分布式集群安装

    注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流.转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的 ...

随机推荐

  1. python-利用pymysql获取数据简单使用总结

    python-利用pymysql获取数据库中的数据 1.前言 pymysql是一个第三方的模块,使用前需要安装 2.安装 pip install pymysql 3.基本使用 import pymys ...

  2. 内网安全之横向移动(冰蝎&&msf&&IPC$)

    1.冰蝎介绍 冰蝎是一款目前比较流行的Webshell管理工具,在2021年更新的2021.4.20 v3.0 Beta 9 版本中去除了动态密钥协商机制,采用预共享密钥,载荷全程无明文.因其优秀的加 ...

  3. 分析CC攻击以及防御

    实验目的 了解DDoS攻击原理,及一个DDoS攻击的过程 实验内容 了解DDoS攻击原理,及一个DDoS攻击的过程 实验环境描述 1. 学生机与实验室网络直连: 2. VPC1与实验室网络直连: 3. ...

  4. [题解]RQNOJ PID86 智捅马蜂窝

    链接:http://www.rqnoj.cn/problem/86 思路:单源点最短路 建图:首先根据父子关系连双向边,边权是距离/速度:再根据跳跃关系连单向边,边权是自由落体的时间(注意自由下落是一 ...

  5. 3、如何查看window 下的cpu参数

    一.windows下查看CPU信息 windows系统使用systeminfo命令可以查看CPU信息,如: Intel64 Family 6 Model 158 Stepping 10 Genuine ...

  6. oj教程--贪心

    贪心算法(又称贪婪算法)是指,在对问题求解时,总是做出在当前看来是最好的选择.也就是说,不从整体最优上加以考虑,他所做出的是在某种意义上的局部最优解. 贪心算法不是对所有问题都能得到整体最优解,关键是 ...

  7. c# 自定义控件-提示框(弹框)

    分带取消按钮和不带取消按钮的 调用方法: frmMessageBox frm = new frmMessageBox("提示", "数据连接失败,请重试!", ...

  8. Go基础知识梳理(三)

    Go基础知识梳理(三) 结构 type Person struct { name string sex int } func main() { //推荐写法 person := Person{ nam ...

  9. python中max使用key参数

    arr = [1,2,2,2,2,3,3,3] arr = collections.Counter(arr) b = max(arr.keys(),key = arr.get) 这个时候b为arr中元 ...

  10. SQL从零到迅速精通【触发器】

    essay from:http://www.cnblogs.com/hoojo/archive/2011/07/20/2111316.html 触发器就类似一个小账本,记录了你在数据库做了哪些操作,可 ...