今天是8月19日,距离开学还有15天,假期作业完成还是遥遥无期,看来开学之前的恶补是躲不过了

  今天总结一下在Linux环境下安装Hadoop的过程,首先是对Linux环境的配置,设置主机名称,网络设置、关闭防火墙、安装JDK、配置环境变量

  免密钥登录配置:大数据集群中的Linux计算机之间需要频繁分通信,免密钥登录是指两台Linux计算机之间不需要用户名和密码的SSH链接,默认状态下,SSH链接是需要密码认证的,但是可以通过修改系统认证,使系统通信免除密码输入和SSH认证

  首先终端生成密钥:

ssh-keygen -t rsa

再将公钥文件复制到.ssh目录下,复制后可以修改文件的权限

chmod  ~/.ssh/authorized_keys

将authorized_keys复制到其他节点

scp ~/.ssh/authorized_keys lqy0@linux0:~/

以上是关于主节点的配置,接下来是子节点的配置

还是执行生成密钥的命令,将主节点转移过来的authrized_keys移动到.ssh目录下,并修改它的权限

同样先生成密钥

ssh-keygen -t rsa

将从主节点复制过来的authorized_keys复制到.ssh目录下

mv authorized_keys ~/.ssh/

再修改authorized_keys的权限

chmod  authorized_keys

1      Hadoop环境搭建

1)     设置DNS,这里是一主两从

Master的hosts文件修改,需要添加所有节点的ip及域名,包括master和所有的slave

Sudo vi /etc/hosts 添加以下内容:

127.0.0.1            localhost

192.168.1.100   namenode-master

192.168.1.101   datanode-slave1

192.168.1.103   datanode-slave2

Slave的hosts文件修改,仅需要添加master和本机的ip和域名

Sudo vi /etc/hosts 添加以下内容:

127.0.0.1            localhost

192.168.1.100   namenode-master

192.168.1.101   datanode-slave1

或

192.168.1.103   datanode-slave2

2)     修改hostname

vi /etc/hostname

分别把各个机器的hostname设置为hosts文件中设置的dns

namenode-master

datanode-slave1

datanode-slave2

3)     所有机器添加grid用户,并设置sudo权限

useradd -m grid  #添加用户

passwd grid  #为gird用户设置密码,这里设置为grid

root权限下,vi /etc/sudoers,添加以下内容:

grid ALL=(ALL)  NOPASSWD:ALL

4)     安装SSH

Hadoop运行过程中需要管理远端的Hadoop守护进程,所有的机器都安装ssh

Sudo apt-get install ssh

5)     所有机器都在grid的家目录下创建.ssh文件夹

mkdir ~/.ssh  或者  mkdir /home/grid/.ssh

6)     SSH配置

在master的家目录下运行,ssh-keygen -t rsa,一直按回车键,将会按照默认的选项生成秘钥对,保存在.ssh/id_rsa文件中

接着执行以下命令:

cp id_rsa.pub authorized_keys

scp authorized_keys datanode-slave1:/home/grid/.ssh

scp authorized_keys datanode-slave2:/home/grid/.ssh

然后设置所有节点authorized_keys文件的权限为644

Sudo chmod 644 authorized_keys

7)     安装JDK

在master上操作,把SDK安装包分别远程拷贝到所有从节点中

scp jdk-7u25-linux-x64.tar.gz datanode-slave1:/home/grid/下载/jdk-7u25-linux-x64.tar.gz

scp jdk-7u25-linux-x64.tar.gz datanode-slave2:/home/grid/下载/jdk-7u25-linux-x64.tar.gz

将jdk-7u25-linux-x64.tar.gz解压到/usr/local/java/中

tar -zxvf jdk-7u25-linux-x64.tar.gz

sudo mv ./jdk1.7.0_25 /usr/local/java/jdk1.7.0_25

8)     配置jdk环境变量(所有节点都需要配置)

编辑/etc/profile

vi /etc/profile

最后面加上

export JAVA_HOME=/usr/local/java/jdk1..0_25 #jdk的解压目录

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME CLASSPATH PATH

重启配置文件

source /etc/profile

9)     安装配置hadoop(所有节点都需配置)

解压tar -zxvf hadoop-2.6.0.tar.gz

剪切到/usr/local/下

配置环境变量 vi /etc/profile

添加export HADOOP_HOME=/usr/local/hadoop-2.6.0

重启配置文件生效 source /etc/profile

10)   配置hadoop(所有节点都配置)

创建以下目录:

sudo mkdir /usr/local/hadoopdata

sudo mkdir -p /usr/local/hadoopdata/dfs/name

sudo mkdir -p /usr/local/hadoopdata/dfs/data

改变这三个文件夹的owner

sudo chown –R grid:grid /usr/local/hadoopdata

11)   配置hadoop-env.sh

hadoop-2.6.0/etc/hadoop目录下

vi hadoop-env.sh修改jdk地址

export JAVA_HOME=/usr/local/java/jdk1.7.0_25

12)   配置core-site.xml

hadoop-2.6.0/etc/hadoop目录下

vi core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://namenode-master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoopdata</value>

</property>

</configuration>

13)   配置hdfs-site.xml

hadoop-2.6.0/etc/hadoop目录下

vi hdfs-site.xml

添加如下代码

<configuration>

<property>

    <name>dfs.name.dir</name>

    <value>file:/usr/local/hadoopdata/dfs/name</value>

    <description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

    <name>dfs.data.dir</name>

    <value>file:/usr/local/hadoopdata/dfs/data</value>

    <description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

    <name>dfs.replication</name>

    <value></value>

</property>

</configuration>

14)   配置mapred-site.xml

hadoop-2.6.0/etc/hadoop目录下

先复制

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>

<property>

<name>mapred.job.racker</name>

<value>namenode-master:</value>

</property>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>namenode-master:</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>namenode-master:</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<Value>namenode-master: </value>

</property>

</configuration>

15)   配置yarn-site.xml文件,增加yarn功能

hadoop-2.6.0/etc/hadoop目录下

vi yarn-site.xml

<Configuration>

      <property>

       <name>yarn.scheduler.maximum-allocation-mb</name>

       <value></value>

      </property>

           <property>

       <name>yarn.nodemanager.local-cache.max-files-per-directory</name>

       <value></value>

      </property>

          <property>

       <name>yarn.nodemanager.resource.memory-mb</name>

       <value></value>

      </property>

  <property>

       <name>yarn.resourcemanager.address</name>

       <value>namenode-master:</value>

      </property>

      <property>

       <name>yarn.resourcemanager.scheduler.address</name>

       <value>namenode-master:</value>

      </property>

      <property>

       <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>namenode-master:</value>

      </property>

      <property>

       <name>yarn.resourcemanager.admin.address</name>

       <value>namenode-master:</value>

      </property>

      <property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>namenode-master:</value>

      </property>

</configuration>

16)   配置masters与slaves

配置masters

sudo vi masters

添加如下内容:

namenode-master

配置slaves

sudo vi slaves

添加如下内容:

datanode-slave1

datanode-slave2

17)   配置从节点hadoop

复制到从节点

scp -r hadoop-2.6.0 datanode-slave1:/home/grid/hadoop-2.6.0

scp -r hadoop-2.6.0 datanode-slave2:/home/grid/hadoop-2.6.0

将hadoop-2.6.0移动到/usr/local下

sudo mv ../hadoop-2.6.0 /usr/local/

18)   格式化NameNode

/usr/local/hadoop-2.6.0/目录下

./bin/hdfs namenode –format

19)   开启与关闭hdfs和yarn

/usr/local/hadoop-2.6.0/目录下

./sbin/start-dfs.sh  #开启hdfs

./sbin/stop-dfs.sh  #关闭hdfs

./sbin/start-yarn.sh  #开启yarn服务

./sbin/stop-yarn.sh  #关闭yarn服务

20)   用jps命令测试是否安装成功

2      Hive的安装

仅需配置主节点

1)     创建Hive数据目录

#创建数据仓库目录

sudo mkdir -p /usr/local/hive/warehouse

#创建数据临时目录

sudo mkdir mkdir -p /usr/local/hive/tmp

#创建IO临时目录

sudo mkdir mkdir -p /usr/local/hive/iotmp  

2)     配置环境变量

sudo vi /etc/profile,添加如下内容

export HIVE_HOME=/usr/local/apache-hive-2.0.0-bin

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

source /etc/profile

3)     配置hive-site.xml

#设置仓库目录

 <property>

    <name>hive.metastore.warehouse.dir</name>

    <value>/usr/hive/warehouse</value>

    <description>location of default database for the warehouse</description>

  </property>

#Hive的数据临时文件目录

<property>

    <name>hive.exec.scratchdir</name>

    <value>/usr/local/hive/tmp</value>

    <description>HDFS root scratch dir for Hive jobs which gets created with write all () permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>

  </property>

Linux集群搭建与Hadoop环境搭建的更多相关文章

  1. Hadoop框架:集群模式下分布式环境搭建

    本文源码:GitHub·点这里 || GitEE·点这里 一.基础环境配置 1.三台服务 准备三台Centos7服务,基础环境从伪分布式环境克隆过来. 133 hop01,134 hop02,136 ...

  2. [原创]Postgres-XC集群笔记-概念与环境搭建

    文所描述的Postgres-XC版本:v1.2.1项目主页地址:http://sourceforge.net/projects/postgres-xc/ pdf文件下载: Postgres-XC集群搭 ...

  3. 使用Docker搭建Cloudera Hadoop 环境搭建

    单节点 单节点:https://hub.docker.com/r/cloudera/quickstart/ 相关命令 docker pull cloudera/quickstart:latest do ...

  4. Linux centosVMware Linux集群架构LVS DR模式搭建、keepalived + LVS

    一.LVS DR模式搭建 三台机器 分发器,也叫调度器(简写为dir) davery :1.101 rs1 davery01:1.106 rs2 davery02:11.107 vip 133.200 ...

  5. 【朝夕Net社区技术专刊】Core3.1 WebApi集群实战专题---WebApi环境搭建运行发布部署篇

    欢迎大家阅读<朝夕Net社区技术专刊>第1期 原文是我在知乎发表的,现在在这里分享! 我们致力于.NetCore的推广和落地,为更好的帮助大家学习,方便分享干货,特创此刊!很高兴你能成为首 ...

  6. 大数据系列(3)——Hadoop集群完全分布式坏境搭建

    前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本 ...

  7. Hadoop集群完全分布式坏境搭建

    前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本 ...

  8. 基于VMware的虚拟Linux集群搭建-lvs+keepalived

    基于VMware的虚拟Linux集群搭建-lvs+keepalived 本文通过keepalived实现lvsserver的的双机热备和真实server之间的负载均衡.这方面的blog挺多,可是每一个 ...

  9. 自己搭建的集群,启动hadoop时slave节点的datanode没有启起来怎么办?

    自己搭建的集群,启动hadoop 集群是,发现slave节点的datanode没有启动,查了资料发现是因为我在启动集群前,执行了这个命令: hadoop namenode -format 这个指令会重 ...

随机推荐

  1. javaee字符缓冲输出流

    package Zjshuchu; import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOExcepti ...

  2. S-HR二开基础

    检测是否某个类部署上去了:http://10.3.0.115:6888/easportal/tools/getclassurl.jsp?className=com.kingdee.eas.hr.ser ...

  3. html表单练习(讲义中的方法)

    用table作框体固定位置结构 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "ht ...

  4. MySQL7.5.15数据库配置主从服务器实现双机热备实例教程

    环境说明 程序在:Web服务器192.168.0.57上面 数据库在:MySQL服务器192.168.0.67上面 实现目的:增加一台MySQL备份服务器(192.168.0.68),做为MySQL服 ...

  5. 【ownCloud】添加信任域

    如果在安装ownCloud后,更换了访问方式,比如刚开始是http://127.0.0.1/owncloud,变成了http://1.1.1.1/owncloud,那么在访问时可能得到这样的页面: 您 ...

  6. Django-Python3-Celery 异步任务/定时任务

    1. 目录结构 2. setting设置: 3. project/project/celery.py 4. project/project/__init.py 5.任务分配 6. 代码实现 View ...

  7. 【hihocoder 1329】 平衡树·Splay(set做法)

    [题目链接]:http://hihocoder.com/problemset/problem/1329 [题意] [题解] 因为一开始是空的树,所以; n其实就代表了树中的最多元素个数; 则最坏的情况 ...

  8. poj 3006水题打素数表

    #include<stdio.h> #include<string.h> #define N 1100000 int isprim[N],prime[N]; void ispr ...

  9. hdu 3555数位dp基础入门题

    #include<stdio.h> #define N 20 long long  dp[N][3]; void init(){ long long  i; dp[0][0]=1; for ...

  10. 转载 - Pinyin4j的基本用法

    原文:http://blog.csdn.net/pathuang68/article/details/6692882 1.     简单介绍 有时候,需要将汉字编程对应的拼音,以方便数据的处理.比如在 ...