一、部分概念

1. 分布式:一个项目分为多个模块共同完成一个或多个任务,可部署在一个或多个机器
2. 集群:多个机器运行同一个项目或服务
3. 集群上可能运行着零个或多个分布式系统(比如Hadoop,Zookeeper...)
分布式系统可能运行或不运行在集群上

二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台节点运行一个Hadoop系统)
  1. 做好规划:
    1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置
       比如:我将要运行的服务有hdfs,yarn,mapreduce,secondaryserver,jobhistoryserver
    2> 做好节点服务分布

hostname        hadoop09-linux-01.ibeifeng.com	hadoop09-linux-02.ibeifeng.com	hadoop09-linux-03.ibeifeng.com
ip 192.168.0.108 192.168.0.109 192.168.0.110
服务与插件 namenode,histroyserver resourcemanager,nodemanager secondarynamenode,nodemanager
datanode,nodemanager datanode datanode

  2. 准备三台节点,这里使用VMware克隆出两台,简单搭建一个三台节点的Hadoop集群
    部分细节:
    1> 克隆系统使用完全克隆
    2> 分别启动各个节点
    3> 配置各自的IP(Mac地址),hostname(注意选择好网络连接方式:桥接/nat)

a.Mac地址修改
[liuwl@hadoop09-linux-01 ~]$ sudo vim /etc/udev/rules.d/70-persistent-net.rules

[liuwl@hadoop09-linux-01 ~]$ sudo dmesg | grep eth
# 删除上面的PCI device,并复制下面PCI device的ATTR{address}值(这个值就是新的Mac地址)
[liuwl@hadoop09-linux-01 ~]$ vim /etc/sysconfig/network-scripts/ifcfg-eth0
# 将新的Mac地址替换上去,并修改相应IP
# PS:若是修改了虚拟机网络连接方式还要配置相应DNS1(可以设置为8.8.8.8)
# 修改完毕后重启网络设置并测试
[liuwl@hadoop09-linux-01 ~]$ sudo service network restart
[liuwl@hadoop09-linux-01 ~]$ ping www.baidu.com
b.Hostname修改
[liuwl@hadoop09-linux-01 ~]$ sudo vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.108 hadoop09-linux-01.ibeifeng.com
10.0.0.109 hadoop09-linux-02.ibeifeng.com
10.0.0.110 hadoop09-linux-03.ibeifeng.com
[liuwl@hadoop09-linux-01 ~]$ cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop09-linux-01.ibeifeng.com
# 测试一下:
[liuwl@hadoop09-linux-01 ~]$ ping hadoop09-linux-02.ibeifeng.com
c.删除用户目录下.ssh目录下所有文件(用于重新配置无秘钥),配置完毕分发公钥到其他节点
[liuwl@hadoop09-linux-01 ~]$ ssh-keygen -t rsa
[liuwl@hadoop09-linux-01 ~]$ ssh-copy-id 10.0.0.108 hadoop09-linux-01.ibeifeng.com

  4> 将Hadoop上传至自定义文件夹,并修改其中的自定配置文件,删除share目录下的doc目录
  5> 分发Hadoop文件夹到其他相应目录(目录结构与自定义的目录接口一致)

[liuwl@hadoop09-linux-02 hadoop-2.5.0]$ scp -r etc/hadoop/ liuwl@hadoop09-linux-02.ibeifeng.com:xx/

  6> 检查分发后的Hadoop文件夹权限

使用chown [用户组]:[用户组] 文件名 -R 递归修改

  7> 格式化hdfs

[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ bin/hdfs namenode -format

  8> 启动

[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/start-dfs.sh
[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/start-yarn.sh
[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

  9> jps分别查看

[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ jps
2987 DataNode
6306 Jps
2894 NodeManager
2826 NameNode
3333 JobHistoryServer
#===========================================
[liuwl@hadoop09-linux-02 ~]$ jps
2598 ResourceManager
3961 Jps
2751 DataNode
2693 NodeManager
#===========================================
[liuwl@hadoop09-linux-03 ~]$ jps
2674 SecondaryNameNode
4129 Jps
2558 NodeManager
2606 DataNode

  10> 打开web网页分别查看datanode节点和nodemanager节点
  11> have a nice job!

Hadoop.2.x_集群初建的更多相关文章

  1. Hadoop伪分布式集群环境搭建

    本教程讲述在单机环境下搭建Hadoop伪分布式集群环境,帮助初学者方便学习Hadoop相关知识. 首先安装Hadoop之前需要准备安装环境. 安装Centos6.5(64位).(操作系统再次不做过多描 ...

  2. [推荐]Hadoop+HBase+Zookeeper集群的配置

    [推荐]Hadoop+HBase+Zookeeper集群的配置 Hadoop+HBase+Zookeeper集群的配置  http://wenku.baidu.com/view/991258e881c ...

  3. Hadoop的HA集群启动和停止流程

    假设我们有3台虚拟机,主机名分别是hadoop01.hadoop02和hadoop03. 这3台虚拟机的Hadoop的HA集群部署计划如下: 3台虚拟机的Hadoop的HA集群部署计划 hadoop0 ...

  4. hadoop 2.3 集群总结

    用了近两个礼拜的摸索终于搭建好了hadoop集群,测试性能也符合预期. centos6.4下hadoop2.3集群总结如下: 关于环境的设置: 1.关闭selinux (反复折腾了好多次) vi /e ...

  5. hadoop高可用集群搭建小结

    hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...

  6. Hadoop(三)手把手教你搭建Hadoop全分布式集群

    前言 上一篇介绍了伪分布式集群的搭建,其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的.接下来我将给大家分享一下全分布式集群的搭建! 其实搭建最基本的全分布式集群和伪分布式集群 ...

  7. Hadoop 2.8集群安装及配置记录

    第一部分:环境配置(含操作系统.防火墙.SSH.JAVA安装等) Hadoop 2.8集群安装模拟环境为: 主机:Hostname:Hadoop-host,IP:10.10.11.225 节点1:Ho ...

  8. Hadoop基础-HDFS集群中大数据开发常用的命令总结

    Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...

  9. Hadoop(三)搭建Hadoop全分布式集群

    原文地址:http://www.cnblogs.com/zhangyinhua/p/7652686.html 阅读目录(Content) 一.搭建Hadoop全分布式集群前提 1.1.网络 1.2.安 ...

随机推荐

  1. C 和 C++ 混合代码 cmath编译出错

    最近在网上下载了 Triangle 库,准备在程序中调用来三角化生成网格,但出现了很多错误,如下: 1>  triangle.c1>d:\program files\visualstudi ...

  2. Win 10 开发中Adaptive磁贴模板的XML文档结构,Win10 应用开发中自适应Toast通知的XML文档结构

    分享两篇Win 10应用开发的XML文档结构:Win 10 开发中Adaptive磁贴模板的XML文档结构,Win10 应用开发中自适应Toast通知的XML文档结构. Win 10 开发中Adapt ...

  3. hdu 4770(枚举 + dfs爆搜)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4770 思路:由于最多只有15个".",可以直接枚举放置的位置,然后判断是否能够全部 ...

  4. Java 程序 ——感想

    也许大家也有过这样的经历,我这的是受够了: 我们的专业选修课java课上老师留了一个作业,说做完了这个,就不用参加考试了,侥幸于懒惰的心理带领着我,光荣地接受了这个任务,而且按着老师的要求,不断地完善 ...

  5. 用PHP链接mysql数据库

    PHP提供了两套数据库可用于访问mysql数据库 1)MySQL扩展函数数据库 2)MySQLI扩展数据库(improved) 使用MySQLI函数访问MySQL数据库步骤 1)链接数据库管理系统 m ...

  6. 去除android手机滚动条

    方法1:::-webkit-scrollbar{display: none;} 方法2:::-webkit-scrollbar{height:0; width:0:}

  7. Coursera课程下载和存档计划[转载]

    上周三收到Coursera平台的群发邮件,大意是Coursera将在6月30号彻底关闭旧的课程平台,全面升级到新的课程平台上,一些旧的课程资源(课程视频.课程资料)将不再保存,如果你之前学习过相关的课 ...

  8. AspNetPager 样式以及使用(漂亮)

    自定义样式: <style type="text/css"> /*拍拍网风格*/ .paginator { font: 11px Arial, Helvetica, s ...

  9. 利用StringList对象来管理这些动态生成的对象

    如果程序需要动态创建大量的对象,那么我们可以利用StringList对象来管理这些动态生成的对象.1.创建StringList对象:OBJ := TStringList.Create; 2.保存动态生 ...

  10. JavaScript 笔记 ( Prototype )

    这阵子实在好忙 ( 这样说好像也不是一两个月了... ),然后因为工作伙伴都是 JavaScript 神之等级的工程师,从中也学到不少知识,毕竟就是要和强者工作才会成长呀!为了想好好瞭解他们写的程式码 ...