伪分布式配置：　

core-site.xml

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://localhost:9000</value>

        </property>

</configuration>

　　

hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>

        </property>

</configuration>

　　

mapred-site.xml   (可能需要重命名mapred-site.xml.template)

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

　　

yarn-site.xml

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

</configuration>

　　

　　

初始化

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

chown root:root -R /usr/local/hadoop # 更改目录所有者

hadoop name node -format # 格式化

　　

启动

start-all.sh # 同时启动HDFS，yarn

stop-all.sh # 关闭

报错The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established，

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

　　

　　

查看

[root@localhost ~]# jps

2458 NodeManager

1524 DataNode

1445 NameNode

2746 Jps

2358 ResourceManager

1890 SecondaryNameNode

启动成功。

HDFS： NameNode,SecondaryNameNode,DataNode

MapReduce2(Yarn): ResourceManager,NodeManager

打开Hadoop Resource-Manager Web界面

　　http://localhost:8088/

分布式集群配置：

master:

$ vim /etc/hostname

master

　　

$ mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

$ vim /etc/hosts

192.168.31.110 master

192.168.31.111 data1

192.168.31.112 data2

192.168.31.113 data3

$ vim /usr/local/hadoop//etc/hadoop/slaves

data1

data2

data3

$ vim /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

</configuration>

$ vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

# ResourceManager主机与NodeManager的连接地址为8025

# ResourceManager 与 ApplicationMaster的连接地址为8030

# ResourceManager 与客户端的连接地址为8050

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>master:8025</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address</name>

                <value>master:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.address</name>

                <value>master:8050</value>

        </property>

</configuration>

$ vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>

        <property>

                <name>mapred.job.tracker</name>

                <value>master:54311</value>

        </property>

</configuration>

$ vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>

        </property>

</configuration>

data1 ~ data3:

$ vim /etc/hostname

data1

　

$ vim /etc/hosts

192.168.31.110 master

192.168.31.111 data1

192.168.31.112 data2

192.168.31.113 data3

　

$ mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

$ vim /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

</configuration>

　　

$ vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>master:8025</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address</name>

                <value>master:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.address</name>

                <value>master:8050</value>

        </property>

</configuration>

　　

$ vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>

        <property>

                <name>mapred.job.tracker</name>

                <value>master:54311</value>

        </property>

</configuration>

　　

$ vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>

        </property>

</configuration>

　　

打开http://master:8088/

打开http://master:50070/

hadoop文件配置的更多相关文章

  1. hadoop基本文件配置

    [学习笔记] 5)hadoop基本文件配置:hadoop配置文件位于:/etc/hadoop下(etc即:“etcetera”(附加物))core-site.xml:<configuration ...

  2. hadoop 文件参数配置

    准备环境(省略) 上传实验所需的压缩包 配置网络信息 修改主机名 配置域名解析 关闭防火墙与SELinux(在所有节点上执行)代码如下: systemctl disable --now firewal ...

  3. CentOS 7 Hadoop安装配置

    前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hos ...

  4. ubuntu下hadoop环境配置

    软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...

  5. hadoop(四):配置参数

    hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...

  6. hadoop mapred-queue-acls 配置(转)

    hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...

  7. hadoop安装配置——伪分布模式

    1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...

  8. 伪分布式下的hadoop简单配置

    今天大概尝试了一下伪分布式下的hadoop部署,简单的来总结一下 首先我们需要下载hadoop的压缩包文件:http://hadoop.apache.org/releases.html这里是hadoo ...

  9. Hadoop平台配置总结

    hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...

随机推荐

  1. 微信小程序：java后台获取openId

    一.功能描述 openId是某个微信账户对应某个小程序或者公众号的唯一标识,但openId必须经过后台解密才能获取(之前实现过前台解密,可是由于微信小程序的种种限制,前台解密无法在小程序发布后使用) ...

  2. synchronized和Lock的异同

    JAVA语言使用两种机制来实现堆某种共享资源的同步,synchronized和Lock.其中,synchronized使用Object对象本身的notify.wait.notifyAll调度机制,而l ...

  3. nginx应用总结（1）-- 基础知识和应用配置梳理

    在linux系统下使用nginx作为web应用服务,用来提升网站访问速度的经验已五年多了,今天在此对nginx的使用做一简单总结. 一.nginx服务简介Nginx是一个高性能的HTTP和反向代理服务 ...

  4. oracle ocp视频教程笔记

    show parameter user user_dump_dest  string  /u01/app/oracle/diag/rdbms/orcl/orcl/trace oracle日志存放位置d ...

  5. PairProject——结对编程

    成员:12061162  王骜 12061225  钟毅恒 一.合作过程中的照片 . 二.结对编程的优缺点 优点: 1)在编程过程中,任何一段代码都不断地复审,同时避免了将写代码的责任抛给一个人的问题 ...

  6. 《Linux内核设计》第17章学习笔记

  7. [2017BUAA软工]第零次博客作业

    第一部分:结缘计算机 1. 你为什么选择计算机专业?你认为你的条件如何?和这些博主比呢?(必答) 当年高考前在专业这件事上纠结了好久,因为我对于大学各个专业具体学什么都不甚了解,于是就迟迟没有明确的目 ...

  8. PAT 1011 A+B和C

    https://pintia.cn/problem-sets/994805260223102976/problems/994805312417021952 给定区间[-2^31^, 2^31^]内的3 ...

  9. Docker Volume

    http://www.cnblogs.com/sammyliu/p/5932996.html http://dockone.io/article/128

  10. JavaScript解决一个带验证的Form两个Submit事件（一个页面保持不动【AJAX实现】，一个页面提交并跳转）的场景

    <form class="form-horizontal" action="/biz/patent/edit" method="post&quo ...