　　　　　　　　Hadoop---集群的搭建

　　我有一个虚拟机是用来克隆的，里面设置了java环境，开启不启动防火墙的配置。

　准备：

　1.我的3个虚拟机：

　　　　hu_hadoop1(主+从):nameNode+dataNode+ResouceManager

　　　　hu_hadoop2(从):dataNode+nodeManager+secondaryNameNode(秘书)

　　　　hu_hadoop3(从):dataNode+nodeManager

　　　这样的话就是有一主三从。

　2.开机启动，修改配置文件：

　　　　　完成后重启 init 6 (每台机器都做这样的配置)

　3.使用shell5连接三台机器：

　　　　　　https://www.cnblogs.com/meiLinYa/p/9125745.html（连接过程）

　 4.将压缩报放到Linux下：

开始配置集群：

　hadoop环境的配置：

　　解压tar文件：tar -xzvf hadoop-2.6.0.tar.gz

　　配置hadoop环境：vi /etc/profile

　　测试：

　修改hosts文件时主可以认识从机：

　生成密钥使主机无条件不用输入密码访问从：修改hosts文件后 service network restat

　　ssh-keygen -t rsa 生产密钥

　　ssh-copy-id 从机名称

　使用编辑器连接后修改Hadoop配置文件(修改6个配置文件)：

　　1.hadoop-env.sh

　　2.core-site.xml

<property>

	<name>fs.defaultFS</name>

	<value>hdfs://hu-hadoop1:8020</value>

</property>

<property>

	<name>io.file.buffer.size</name>

	<value>4096</value>

</property>

<property>

	<name>hadoop.tmp.dir</name>

	<value>/home/bigdata/tmp</value>

</property>

　　3.hdfs-site.xml

<property>

    <name>dfs.replication</name>

    <value></value>

    </property>

    <property>

    <name>dfs.block.size</name>

    <value></value>

    </property>

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///home/hadoopdata/dfs/name</value>

    </property>

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:///home/hadoopdata/dfs/data</value>

    </property>

    <property>

        <name>fs.checkpoint.dir</name>

        <value>file:///home/hadoopdata/checkpoint/dfs/cname</value>

    </property>

    <property>

        <name>fs.checkpoint.edits.dir</name>

        <value>file:///home/hadoopdata/checkpoint/dfs/cname</value>

    </property>

    <property>

       <name>dfs.http.address</name>

       <value>hu-hadoop1:</value>

    </property>

    <property>

       <name>dfs.secondary.http.address</name>

       <value>hu-hadoop2:</value>

    </property>

    <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.permissions</name>

    <value>false</value>

    </property>

　　4.将 mapred-site.xml.template改为mapred-site.xml

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    <final>true</final>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hu-hadoop1:10020</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hu-hadoop1:19888</value>

    </property>

　　5.yarn-site.cml

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hu-hadoop1</value>

    </property>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>hu-hadoop1:8032</value>

    </property>

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hu-hadoop1:8030</value>

    </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hu-hadoop1:8031</value>

    </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hu-hadoop1:8033</value>

    </property>

    <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hu-hadoop1:8088</value>

    </property>

      <property>

      <description></description>

    <name>yarn.timeline-service.hostname</name>

    <value>hu-hadoop1</value>

  </property>

  <property>

  <description>Address for the Timeline server to start the RPC server.</description>

  <name>yarn.timeline-service.address</name>

  <value>${yarn.timeline-service.hostname}:10200</value>

</property>

<property>

  <description>The http address of the Timeline service web application.</description>

  <name>yarn.timeline-service.webapp.address</name>

  <value>${yarn.timeline-service.hostname}:8188</value>

</property>

<property>

  <description>The https address of the Timeline service web application.</description>

  <name>yarn.timeline-service.webapp.https.address</name>

  <value>${yarn.timeline-service.hostname}:8190</value>

</property>

<property>

  <description>Handler thread count to serve the client RPC requests.</description>

  <name>yarn.timeline-service.handler-thread-count</name>

  <value>10</value>

</property>

<property>

  <description>Enables cross-origin support (CORS) for web services where

  cross-origin web response headers are needed. For example, javascript making

  a web services request to the timeline server.</description>

  <name>yarn.timeline-service.http-cross-origin.enabled</name>

  <value>false</value>

</property>

<property>

  <description>Comma separated list of origins that are allowed for web

  services needing cross-origin (CORS) support. Wildcards (*) and patterns

  allowed</description>

  <name>yarn.timeline-service.http-cross-origin.allowed-origins</name>

  <value>*</value>

</property>

<property>

  <description>Comma separated list of methods that are allowed for web

  services needing cross-origin (CORS) support.</description>

  <name>yarn.timeline-service.http-cross-origin.allowed-methods</name>

  <value>GET,POST,HEAD</value>

</property>

<property>

  <description>Comma separated list of headers that are allowed for web

  services needing cross-origin (CORS) support.</description>

  <name>yarn.timeline-service.http-cross-origin.allowed-headers</name>

  <value>X-Requested-With,Content-Type,Accept,Origin</value>

</property>

<property>

  <description>The number of seconds a pre-flighted request can be cached

  for web services needing cross-origin (CORS) support.</description>

  <name>yarn.timeline-service.http-cross-origin.max-age</name>

  <value>1800</value>

</property>

<property>

  <description>Indicate to ResourceManager as well as clients whether

  history-service is enabled or not. If enabled, ResourceManager starts

  recording historical data that Timelien service can consume. Similarly,

  clients can redirect to the history service when applications

  finish if this is enabled.</description>

  <name>yarn.timeline-service.generic-application-history.enabled</name>

  <value>true</value>

</property>

<property>

  <description>Store class name for history store, defaulting to file system

  store</description>

  <name>yarn.timeline-service.generic-application-history.store-class</name>

  <value>org.apache.hadoop.yarn.server.applicationhistoryservice.FileSystemApplicationHistoryStore</value>

</property>

<property>

  <description>Indicate to clients whether Timeline service is enabled or not.

  If enabled, the TimelineClient library used by end-users will post entities

  and events to the Timeline server.</description>

  <name>yarn.timeline-service.enabled</name>

  <value>true</value>

</property>

<property>

  <description>Store class name for timeline store.</description>

  <name>yarn.timeline-service.store-class</name>

  <value>org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore</value>

</property>

<property>

  <description>Enable age off of timeline store data.</description>

  <name>yarn.timeline-service.ttl-enable</name>

  <value>true</value>

</property>

<property>

  <description>Time to live for timeline store data in milliseconds.</description>

  <name>yarn.timeline-service.ttl-ms</name>

  <value>6048000000</value>

</property>

　　6.slaves

hu-hadoop1

hu-hadoop1

hu-hadoop2

hu-hadoop3

　format nameNode：

　将profile和hosts和hadoop-2.6.0发送给3个从机 scp hadoop2.6.0 从机名:/`pwd`

　　　　分别在从机上运行：source /etc/profile(刷新配置i文件)service network restart(从启网络服务)

　启动服务：start-all.sh 看网页效果（这里我报错了，原因时hostsname不能带有 “_” 所以我改个名字改为了hu-hadoop1）

　　　192.168.11.11：50070

　　　192.168.11.11：8088

　　　　网页也可以展示出来！！就可以了

　　　　huhu_k: 越是没有人爱越要爱自己。

Hadoop---集群的搭建(仅主机模式)的更多相关文章

hadoop集群的搭建
hadoop集群的搭建 1.ubuntu 14.04更换成阿里云源刚刚开始我选择了nat模式,所有可以连通网络,但是不能ping通,我就是想安装一下mysql,因为安装手动安装mysql太麻烦了,然 ...
Hadoop集群环境搭建步骤说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...
hadoop集群的搭建（分布式安装）
集群计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...
hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
Hadoop —— 集群环境搭建
一.集群规划这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManager服务,但只有hadoop001上部署NameNode和ResourceManager服务. ...
Hadoop 学习之路（五）—— Hadoop集群环境搭建
一.集群规划这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManager服务,但只有hadoop001上部署NameNode和ResourceManager服务. ...
Hadoop 系列（五）—— Hadoop 集群环境搭建
一.集群规划这里搭建一个 3 节点的 Hadoop 集群,其中三台主机均部署 DataNode 和 NodeManager 服务,但只有 hadoop001 上部署 NameNode 和 Resou ...
Hadoop集群初步搭建：
自己整理了一下Hadoop集群简易搭建的过程,感谢尚观科技贾老师的授课和指导! 基本环境要求:能联网电脑一台:装有Centos系统的VMware虚拟机:Xmanager Enterprise 5软件. ...
hadoop集群环境搭建之zookeeper集群的安装部署
关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...

随机推荐

C#题目及答案（1）
1. 简述 private. protected. public. internal 修饰符的访问权限. 答 . private : 私有成员, 在类的内部才可以访问. protected : 保护成 ...
python FAE
1.python 时间戳用localtime转换时间戳较大时报错 ValueError: timestamp out of range for platform time_t 2.python面向对象 ...
python线程有问题？
在用node安装某个全局模块的时候,没有权限修改node_modules
一.问题今天在安装公司内部的一个npm模块的时候,发现报错了⬇ 第一行错误: deprecated graceful-fs@1.2.3: please upgrade to graceful-fs ...
Pandas 基础(2) - Dataframe 基础
上一节我们已经对 Dataframe 的概念做了一个简单的介绍, 这一节将具体看下它的一些基本用法: 首先, 准备一个 excel 文件, 大致内容如下, 并保存成 .csv 格式. 然后, 在 ju ...
Jdbc -Statement
Java提供了 Statement.PreparedStatement 和 CallableStatement三种方式来执行查询语句: PreparedStatement是用于执行参数化查询预编译s ...
spring controller方法和jstl
1复杂类型查询:查询条件已经多于一个实体类中的属性 1)可以创建一个类用于组合查询条件基础类 public class Items { private Integer id; private Str ...
[原][osg]Geometry详解
//geometry成员变量 PrimitiveSetList _primitives; osg::ref_ptr<Array> _vertexArray; //顶点 osg::ref_p ...
力扣（LeetCode） 905. 按奇偶排序数组
给定一个非负整数数组 A,返回一个由 A 的所有偶数元素组成的数组,后面跟 A 的所有奇数元素. 你可以返回满足此条件的任何数组作为答案. 示例: 输入:[3,1,2,4] 输出:[2,4,3,1] ...
leecode第四十三题（字符串相乘）
class Solution { public: string multiply(string num1, string num2) { ";//特殊情况 ] == ] == ') retu ...

Hadoop---集群的搭建(仅主机模式)

准备：

1.我的3个虚拟机：

2.开机启动，修改配置文件：

3.使用shell5连接三台机器：

4.将压缩报放到Linux下：

开始配置集群：

hadoop环境的配置：

修改hosts文件时主可以认识从机：

生成密钥使主机无条件不用输入密码访问从：修改hosts文件后 service network restat

使用编辑器连接后修改Hadoop配置文件(修改6个配置文件)：

1.hadoop-env.sh

2.core-site.xml

3.hdfs-site.xml

4.将 mapred-site.xml.template改为mapred-site.xml

5.yarn-site.cml

6.slaves

将profile和hosts和hadoop-2.6.0发送给3个从机 scp hadoop2.6.0 从机名:/`pwd`

启动服务：start-all.sh 看网页效果（这里我报错了，原因时hostsname不能带有 “_” 所以我改个名字改为了hu-hadoop1）

Hadoop---集群的搭建(仅主机模式)的更多相关文章

随机推荐

热门专题

　准备：

　1.我的3个虚拟机：

　2.开机启动，修改配置文件：

　3.使用shell5连接三台机器：

　 4.将压缩报放到Linux下：

　hadoop环境的配置：

　修改hosts文件时主可以认识从机：

　生成密钥使主机无条件不用输入密码访问从：修改hosts文件后 service network restat

　使用编辑器连接后修改Hadoop配置文件(修改6个配置文件)：

　　1.hadoop-env.sh

　　2.core-site.xml

　　3.hdfs-site.xml

　　4.将 mapred-site.xml.template改为mapred-site.xml

　　5.yarn-site.cml

　　6.slaves

　将profile和hosts和hadoop-2.6.0发送给3个从机 scp hadoop2.6.0 从机名:/`pwd`

　启动服务：start-all.sh 看网页效果（这里我报错了，原因时hostsname不能带有 “_” 所以我改个名字改为了hu-hadoop1）