BG.Hadoop.Master

1. 安装JDK

　　JDK安装包复制到/opt文件夹

　　cd /opt

　　rpm -ivh jdk-8u121-linux-x64.rpm

　　vim /etc/profile

　　增加 JAVA_HOME=/usr/java/default

　　PATH=$JAVA_HOME/bin:$PATH

　　source /etc/profile

　　验证 echo $JAVA_HOME

　　java -version

2. 配置SSH（免密码登录）,Hadoop集群间登录使用。

　　a> 在客户端进行如下操作：

　　　　ssh-keygen -t rsa　　生成密钥

　　　　cat id_rsa.pub >> authorized_keys　　客户端注册公钥

　　　　cat id_rsa.pub | ssh root@bigdata.mysql "cat - >> ~/.ssh/authorized_keys"　　注册公钥到服务器

　　b> 在服务器段进行：　　

　　　　chmod 700 -R .ssh

　　　　chmod 600 .ssh/authorized_keys

　　或者：在客户端直接 ssh-copy-id ~/.ssh/id_rsa.pub root@bigdata.mysql

　　c> 测试

　　　　在客户端：ssh bigdata.mysql

3. Hadoop集群搭建-Master

　　tar zxf hadoop-2.7.3.tar.gz

　　vim /etc/profile

　　增加 HADOOP_HOME=/opt/hadoop-2.7.3

　　PATH增加$HADOOP_HOME/bin:段

　　source /etc/profile

　　检查 echo $HADOOP_HOME

　　cd /opt/hadoop-2.7.3/etc/hadoop/

　　配置：core-site.xml; hdfs-site.xml; yarn-site.xml; mapred-site.xml; slaves

　　core-site.xml

<property>

    <name>fs.default.name</name>

    <value>hdfs://bigdata.hadoop.master:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/hadoop-2.7.3/current/tmp</value>

  </property>

  <property>

    <name>fs.trash.interval</name>

    <value>4320</value>

  </property>

　　mkdir -p /opt/hadoop-2.7.3/current/tmp

　　hdfs-site.xml

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/opt/hadoop-2.7.3/current/data</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>/opt/hadoop-2.7.3/current/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/opt/hadoop-2.7.3/current/data</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>3</value>

  </property>

  <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>dfs.permission.superusergroup</name>

    <value>staff</value>

  </property>

  <property>

    <name>dfs.permission.enabled</name>

    <value>false</value>

  </property>

　　mkdir -p /opt/hadoop-2.7.3/current/name

　　mkdir -p /opt/hadoop-2.7.3/current/data

　　yarn-site.xml

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>bigdata.hadoop.master</value>

  </property>

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

    <name>yarn.resourcemanager.address</name>

    <value>bigdata.hadoop.master:18040</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>bigdata.haddop.master:18030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>bigdata.hadoop.master:18025</value>

  </property>

  <property>

    <name>yarn.resource.manager.admin.address</name>

    <value>bigdata.hadoop.master:18141</value>

  </property>

  <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>bigdata.hadoop.master:18088</value>

  </property>

  <property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

  </property>

  <property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>86400</value>

  </property>

  <property>

    <name>yarn.log-aggregation.retain-check-interval-seconds</name>

    <value>86400</value>

  </property>

  <property>

    <name>yarn.nodemanager.remote-app-log-dir</name>

    <value>/tmp/logs</value>

  </property>

  <property>

    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>

    <value>logs</value>

  </property>

　　mapred-site.xml

　　cp mapred-site.xml.template mapred-site.xml

　　vim mapred-site.xml

 <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobtracker.http.address</name>

    <value>bigdata.hadoop.master:50030</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>bigdata.hadoop.master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>bigdata.hadoop.master:19888</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.done-dir</name>

    <value>/jobhistory/done</value>

  </property>

  <property>

    <name>mapreduce.intermediate-done-dir</name>

    <value>/jobhistory/done_intermediate</value>

  </propery>

  <property>

    <name>mapreduce.job.ubertask.enable</name>

    <value>true</value>

  </property>

　　slaves

　　bigdata.hadoop.master

　　bigdata.hadoop.slave1

　　bigdata.hadoop.slave2

　　bigdata.hadoop.slave3

　　vim /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

　　export JAVA_HOME=/usr/java/default

4. 创建Slaves虚拟机

　 bigdata.hadoop.slave1

　　bigdata.hadoop.slave2

　　bigdata.hadoop.slave3

5. SSH免密码登录

　　在bigdata.hadoop.master上执行：

　　ssh-keygen -t rsa　　--生成密钥公钥，一路回车

　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave1

　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave2

　　cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

　　测试免密码登录

　　ssh bigdata.hadoop.slave1, ssh bigdata.hadoop.slave2, ssh bigdata.hadoop.slave3, ssh bigdata.hadoop.master

6. 关闭防火墙和SELIXNUX

　　service iptables stop　　--临时关闭防火墙

　　chkconfig iptables off　　--永久关闭

　　chkconfig --list|grep iptables

　　vi /etc/sysconfig/selinux

　　SELINUX=disabled

　　setenforce 0

　　getenforce

7. Copy文件到虚拟机

　　安装scp命令：yum install openssh-clients

　　scp -r /opt/hadoop-2.7.3 root@bigdata.hadoop.slave1:/opt/

　　配置Slaves的etc/profile

8. 格式化Hadoop

　　在Master上执行： hdfs namenode -format

9. 启动Hadoop

　　在Master上执行：/opt/hadoop-2.7.3/sbi/start-all.sh

10. 查看Hadoop状态

　　在Master执行：JPS

　　　　NodeManager; NameNode; SecondaryNameNode; ResourceManager; DataNode

　　在Slaves上执行：JPS

　　　　NodeManager; DataNode;

　　在外部访问：http://bigdata.hadoop.master:50070 和 http://bigdata.hadoop.master:18088

　　打开ServiceHistoryServer

　　/opt/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver

　　在外部访问：http://bigdata.hadoop.master:19888

11. 执行Map-Reduce任务

　　词频统计

　　1. 将1个txt文本上传到hdfs

　　　　hdfs dfs -put testfile.txt /task1/input/testfile

　　2. 执行Map-Reduce任务

　　　　hadoop jar /opt/hadoop-2.7.3/share/hadoop/mareduce/hadoop-mapreduce-examples-2.7.3 jar wordcound /task1/input/testfile /task1/output

　　3. 查看输出结果

　　　　hdfs dfs -cat /task1/output/part-r-00000

BG.Hadoop.Master的更多相关文章

Hadoop,master和slave简单的分布式搭建
搭建过程中配置免密钥登录为了以后方便使用 [提醒]安装Hadoop中会遇到新建文件夹,配置路径等问题,这个不能生搬硬套,要使用自己配置的路径,灵活使用. Hadoop的部署配置文件在http://bl ...
Hadoop分布式系统的安装部署
1.关于虚拟机的复制新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外 ...
安装hadoop+zookeeper ha
安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/pro ...
Hadoop学习笔记—6.Hadoop Eclipse插件的使用
开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...
HADOOP安装指南-Ubuntu15.10和hadoop2.7.2
Ubuntu15.10中安装hadoop2.7.2安装手册太初目录 1. Hadoop单点模式... 2 1.1 安装步骤... 2 0.环境和版本... 2 1.在ubu ...
大数据系列（4）——Hadoop集群VSFTP和SecureCRT安装配置
前言经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环 ...
hadoop伪分布式平台搭建（centos 6.3）
最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言二.环境搭建三.命令测试 ...
搭建ubuntu14.04的hadoop集群【docker容器充当服务器】
首先弄出来装有hadoop.java.ssh.vim的镜像起名badboyf/hadoop.做镜像有两种方法,一种是用Dockerfile来生成一个镜像,一种是基于ubuntu14.04的基础镜像生成 ...
Hadoop安装及配置
一.系统及软件环境 1.操作系统 CentOS release 6.5 (Final) 内核版本:2.6.32-431.el6.x86_64 master.fansik.com:192.168.83. ...

随机推荐

C# 委托和接口
能用委托解决的事情,接口也都可以解决.如下所示: public static void Main() { , , , }; Util.TransformAll(values, new Squarer( ...
NetCore入门篇：（三）Net Core项目Nuget及Bower包管理
一.创建项目 1.如何创建项目,参照上一篇文章二.程序包介绍 1.Net Core的程序包分前后端两种,后端用nuget,前端用bower. 2.与Net 不同,Net Core引用nuget包时, ...
Xml 序列化和反序列化
xml序列化帮助类 using System.IO; using System.Xml; using System.Xml.Serialization; public class XmlHelper ...
MVVM Light 新手入门（3）：ViewModel / Model 中定义“事件” ，并在View中调用 (无参数调用)
今天学习MVVM架构中“事件”的添加并调用,特记录如下,学习资料均来自于网络,特别感谢翁智华的利刃 MVVMLight 6:命令基础在MVVM Light框架中,事件是WPF应用程序中UI与后台 ...
一个Form表单多个Submit提交按钮!实现提交不同的参数!
给 submit 的按钮加onclick 方法来自定义预处理参数,比如<script type="text/javascript">function submitFun ...
《JavaScript高级程序设计》5.5 Function类型
5.5 Function类型函数实质上是对象, 每个函数都是Function类型的实例, 并且都和其他引用类型一样具有属性和方法. 因此函数名实际上也是一个指向函数对象的指针, 不会与某个函数绑定. ...
celery_消息队列
http://www.cnblogs.com/wupeiqi/articles/8796552.html 一. celery 简介 Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时 ...
PHPhotos
PHPhotoLibrary: @abstract A PHPhotoLibrary provides access to the metadata and image data for the ph ...
【NOIP2013】火柴排队贪心+splay
这题为啥我写得这么复杂. 首先我们不难发现,我们将序列$a$和序列$b$排序,考虑两序列内无相同元素,那么最小值显然为$\sum_{i=1}^{n} (a_i-b_i)^2$. 下面考虑做法首先,我 ...
Yarn 和 Npm 命令行切换摘录
原文作者: @Gant Laborde原文地址: https://shift.infinite.red/np...中文翻译: @文蔺译文地址:http://www.wemlion.com/2016/n ...

BG.Hadoop.Master

BG.Hadoop.Master的更多相关文章

随机推荐

热门专题