BG.Hadoop.Master
1. 安装JDK
JDK安装包复制到/opt文件夹
cd /opt
rpm -ivh jdk-8u121-linux-x64.rpm
vim /etc/profile
增加 JAVA_HOME=/usr/java/default
PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
验证 echo $JAVA_HOME
java -version
2. 配置SSH（免密码登录）,Hadoop集群间登录使用。
a> 在客户端进行如下操作：
ssh-keygen -t rsa 生成密钥
cat id_rsa.pub >> authorized_keys 客户端注册公钥
cat id_rsa.pub | ssh root@bigdata.mysql "cat - >> ~/.ssh/authorized_keys" 注册公钥到服务器
b> 在服务器段进行：
chmod 700 -R .ssh
chmod 600 .ssh/authorized_keys
或者：在客户端直接 ssh-copy-id ~/.ssh/id_rsa.pub root@bigdata.mysql
c> 测试
在客户端：ssh bigdata.mysql
3. Hadoop集群搭建-Master
tar zxf hadoop-2.7.3.tar.gz
vim /etc/profile
增加 HADOOP_HOME=/opt/hadoop-2.7.3
PATH增加$HADOOP_HOME/bin:段
source /etc/profile
检查 echo $HADOOP_HOME
cd /opt/hadoop-2.7.3/etc/hadoop/
配置：core-site.xml; hdfs-site.xml; yarn-site.xml; mapred-site.xml; slaves
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata.hadoop.master:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.3/current/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>
mkdir -p /opt/hadoop-2.7.3/current/tmp
hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.3/current/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.3/current/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.3/current/data</value>
</property> <property>
<name>dfs.replication</name>
<value>3</value>
</property> <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> <property>
<name>dfs.permission.superusergroup</name>
<value>staff</value>
</property> <property>
<name>dfs.permission.enabled</name>
<value>false</value>
</property>
mkdir -p /opt/hadoop-2.7.3/current/name
mkdir -p /opt/hadoop-2.7.3/current/data
yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata.hadoop.master</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> <property>
<name>yarn.resourcemanager.address</name>
<value>bigdata.hadoop.master:18040</value>
</property> <property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>bigdata.haddop.master:18030</value>
</property> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bigdata.hadoop.master:18025</value>
</property> <property>
<name>yarn.resource.manager.admin.address</name>
<value>bigdata.hadoop.master:18141</value>
</property> <property>
<name>yarn.resourcemanager.webapp.address</name>
<value>bigdata.hadoop.master:18088</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property> <property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>86400</value>
</property> <property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property> <property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobtracker.http.address</name>
<value>bigdata.hadoop.master:50030</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata.hadoop.master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata.hadoop.master:19888</value>
</property> <property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/jobhistory/done</value>
</property> <property>
<name>mapreduce.intermediate-done-dir</name>
<value>/jobhistory/done_intermediate</value>
</propery> <property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
slaves
bigdata.hadoop.master
bigdata.hadoop.slave1
bigdata.hadoop.slave2
bigdata.hadoop.slave3
vim /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/default
4. 创建Slaves虚拟机
bigdata.hadoop.slave1
bigdata.hadoop.slave2
bigdata.hadoop.slave3
5. SSH免密码登录
在bigdata.hadoop.master上执行：
ssh-keygen -t rsa --生成密钥公钥，一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave2
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
测试免密码登录
ssh bigdata.hadoop.slave1, ssh bigdata.hadoop.slave2, ssh bigdata.hadoop.slave3, ssh bigdata.hadoop.master
6. 关闭防火墙和SELIXNUX
service iptables stop --临时关闭防火墙
chkconfig iptables off --永久关闭
chkconfig --list|grep iptables
vi /etc/sysconfig/selinux
SELINUX=disabled
setenforce 0
getenforce
7. Copy文件到虚拟机
安装scp命令：yum install openssh-clients
scp -r /opt/hadoop-2.7.3 root@bigdata.hadoop.slave1:/opt/
配置Slaves的etc/profile
8. 格式化Hadoop
在Master上执行： hdfs namenode -format
9. 启动Hadoop
在Master上执行：/opt/hadoop-2.7.3/sbi/start-all.sh
10. 查看Hadoop状态
在Master执行：JPS
NodeManager; NameNode; SecondaryNameNode; ResourceManager; DataNode
在Slaves上执行：JPS
NodeManager; DataNode;
在外部访问：http://bigdata.hadoop.master:50070 和 http://bigdata.hadoop.master:18088
打开ServiceHistoryServer
/opt/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver
在外部访问：http://bigdata.hadoop.master:19888
11. 执行Map-Reduce任务
词频统计
1. 将1个txt文本上传到hdfs
hdfs dfs -put testfile.txt /task1/input/testfile
2. 执行Map-Reduce任务
hadoop jar /opt/hadoop-2.7.3/share/hadoop/mareduce/hadoop-mapreduce-examples-2.7.3 jar wordcound /task1/input/testfile /task1/output
3. 查看输出结果
hdfs dfs -cat /task1/output/part-r-00000
BG.Hadoop.Master的更多相关文章
- Hadoop,master和slave简单的分布式搭建
搭建过程中配置免密钥登录为了以后方便使用 [提醒]安装Hadoop中会遇到新建文件夹,配置路径等问题,这个不能生搬硬套,要使用自己配置的路径,灵活使用. Hadoop的部署配置文件在http://bl ...
- Hadoop分布式系统的安装部署
1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外 ...
- 安装hadoop+zookeeper ha
安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/pro ...
- Hadoop学习笔记—6.Hadoop Eclipse插件的使用
开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...
- HADOOP安装指南-Ubuntu15.10和hadoop2.7.2
Ubuntu15.10中安装hadoop2.7.2安装手册 太初 目录 1. Hadoop单点模式... 2 1.1 安装步骤... 2 0.环境和版本... 2 1.在ubu ...
- 大数据系列（4）——Hadoop集群VSFTP和SecureCRT安装配置
前言 经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环 ...
- hadoop伪分布式平台搭建（centos 6.3）
最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 ...
- 搭建ubuntu14.04的hadoop集群【docker容器充当服务器】
首先弄出来装有hadoop.java.ssh.vim的镜像起名badboyf/hadoop.做镜像有两种方法,一种是用Dockerfile来生成一个镜像,一种是基于ubuntu14.04的基础镜像生成 ...
- Hadoop安装及配置
一.系统及软件环境 1.操作系统 CentOS release 6.5 (Final) 内核版本:2.6.32-431.el6.x86_64 master.fansik.com:192.168.83. ...
随机推荐
- 【C#进阶】委托那些事儿（二）
二.传统的委托 接下来讲一讲方法参数.下面以“餐馆服务员为客户下单”[2]的事件作为描述.一般对事件的做法分3个部分: 1. 方法参数 EventArgs,一般用于传送数据.在本例场景中 public ...
- c# list修改某一个属性的值
public class info() { public string name{get;set;} public string age{get;set;} } list<info> li ...
- C# 对象引擎，以路径形式访问对象属性(data.Product[1].Name)
对象引擎,以路径形式访问对象属性,例data.Product[1].Name. 在做excel模板引擎的时候,为了能方便的调用对象属性,找了一些模板引擎,不是太大就是不太适用于excel, 因为exc ...
- netty网络通信中的tcp拆包问题
工作中的一个项目,我们的一个应用与银行系统进行tcp通信的时候,银行下送的报文有时会分多次返回.在tcp中这种数据包分多次小数据包发送的情况成为拆包问题. 其中一个,也是最常见的思路就是在报文的报文头 ...
- Day 27 类的进阶-反射
11. __new__ 和 __metaclass__ 阅读以下代码: 1 2 3 4 5 6 class Foo(object): def __init__(self): pass obj = Fo ...
- Java基础学习篇---------this、object的学习
一.this的学习方法 1.使用this调用构造方法市一定放在构造方法的首行 2.使用this调用构造方法时一定流出调用的出口 public class MyClass { public MyClas ...
- 2018-2019-2 20175306实验三敏捷开发与XP实践《Java开发环境的熟悉》实验报告
2018-2019-2 20175306实验三敏捷开发与XP实践<Java开发环境的熟悉>实验报告 实验内容 XP基础 XP核心实践 相关工具 实验要求 1.没有Linux基础的同学建议先 ...
- cassandra用户名和密码的设置
设置Cassandra使用用户名和密码验证的步骤如下: 1.修改${CASSANDRA_HOME}/conf/cassandra.yaml,把authenticator: AllowAllAuthen ...
- FlexMonkey实战
文章来源:http://www.cnblogs.com/raol/p/flexmonkey.html 我的有道云笔记:http://note.youdao.com/share/?id=22b79669 ...
- TestNG参数
dependsOnMethods可以使测试用例按某个特定的顺序执行 实例: @Test(dependsOnMethods=“s”) public void a() System.out.print ...