Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos、Hadoop、Hive、ZooKeeper、kafka的服务器环境搭建开始讲。其中Centos的搭建不具体说了,主要讲下集群的配置。

环境搭建软件包

  由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的,所以Centos的搭建就不说了,有需要的可以自行网上搜一下,也比较简单。当然以下有些工具也可以用你们已经顺手的工具包O(∩_∩)O~~

  • Centos 5.6(Linux服务器)
  • JDK 1.7(Java开发环境)
  • Xshell 5(windows连接Linux)
  • Xftp 4(windows上传Linux)
  • Hadoop 2.4.1
  • Hive 0.13
  • ZooKeeper 3.4.5
  • kafka 2.9.2-0.2.1
  • Spark 1.3.0

Centos服务器配置

  安装完三台Centos的操作系统之后,我们要对三台服务器进行免ssh登录。

  首先我们先临时性地给三台服务器设置个名字。以一台为例,另外两台依样画葫芦就OK。

  • 设置主机名(三台服务器)
[root@localhost ~]# hostname    //显示主机名localhost

[root@localhost ~]# sudo hostname spark1    设置主机名为spark1,另外两台服务器可以依次设为spark2、spark3

//若想永久性修改可以这样
[root@localhost ~]# vi /etc/sysconfig/network //编辑文件如下
HOSTNAME=spark1 #修改localhost.localdomain为spark1

设置完成之后继续修改/etc/hosts文件

[root@spark1 ~]# vi /etc/hosts

[ip地址] spark1

如果是永久性修改,要重启服务器;临时性修改就不用了,否则重启完由还原了。

设置完之后我们可以ping地址,看是否OK。

[root@spark1 ~]# ping spark1

  • 关闭防火墙(三台服务器)
[root@spark1 ~]# service iptables stop
[root@spark1 ~]# chkconfig iptables off [root@spark1 ~]# vi /etc/selinux/config //在配置文件中修改 SELINUX=disabled
  •  设置免密码ssh登陆(三台服务器)

我们设置完三台Centos服务器的hostname之后,继续进入三台服务器,把另外2台服务器的hostname映射都配置在/etc/hosts文件中。

[root@spark1 ~]# vi /etc/hosts
[ip地址一1] spark1    //之前配置的
[ip地址一2] spark2  
[ip地址一3] spark3

然后我们设置免密码ssh登录。

[root@spark1 ~]# ssh-keygen -t rsa    //设置ssh的登录密码

一路回车向下不设置密码。然后执行下面命令。

[root@spark1 ~]# cd /root/.ssh    //生成的密钥文件自动放在这个文件夹下
[root@spark1 ~]# cp id_rsa.pub authorized_keys
[root@spark1 ~]# ls authorized_keys id_rsa id_rsa.pub known_hosts //至此我们本机已经不用密码登陆了 [root@spark1 ~]# ssh spark1

然后我们把ssh密钥传给其他另外2台服务器使得可以互相免密码ssh登录。

[root@spark1 ~]# ssh-copy-id -i spark2    //将ssh密钥复制给spark2

//第一次需要输入spark2的登录密码,按提示完成

//完成后

[root@spark1 ~]# ssh spark2

发现可以免密码直接登录spark2服务器了,另外两台服务器依次22免密码ssh登录设置完成。

Spark入门到精通--(第七节)环境搭建(服务器搭建)的更多相关文章

  1. Spark入门到精通--(第九节)环境搭建(Hive搭建)

    上一节搭建完了Hadoop集群,这一节我们来搭建Hive集群,主要是后面的Spark SQL要用到Hive的环境. Hive下载安装 下载Hive 0.13的软件包,可以在百度网盘进行下载.链接: h ...

  2. Spark入门到精通--(第二节)Scala编程详解基础语法

    Scala是什么? Scala是以实现scaleable language为初衷设计出来的一门语言.官方中,称它是object-oriented language和functional languag ...

  3. Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL执行流程解析

    1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkCont ...

  4. Spark入门到精通--(第一节)Spark的前世今生

    最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast ...

  5. Spring Boot从入门到精通(七)集成Redis实现Session共享

    单点登录(SSO)是指在多个应用系统中,登录用户只需要登录验证一次就可以访问所有相互信任的应用系统,Redis Session共享是实现单点登录的一种方式.本文是通过Spring Boot框架集成Re ...

  6. Hibernate从入门到精通(七)多对一单向关联映射

    上次的博文Hibernate从入门到精通(六)一对一双向关联映射中我们介绍了一下一对一双向关联映射,本次博文我们讲解一下多对一关联映射 多对一单向关联映射 多对一关联映射与一对一关联映射类似,只是在多 ...

  7. [置顶] Hibernate从入门到精通(七)多对一单向关联映射

    上次的博文Hibernate从入门到精通(六)一对一双向关联映射中我们介绍了一下一对一双向关联映射,本次博文我们讲解一下多对一关联映射 多对一单向关联映射 多对一关联映射与一对一关联映射类似,只是在多 ...

  8. Python基础知识详解 从入门到精通(七)类与对象

    本篇主要是介绍python,内容可先看目录其他基础知识详解,欢迎查看本人的其他文章Python基础知识详解 从入门到精通(一)介绍Python基础知识详解 从入门到精通(二)基础Python基础知识详 ...

  9. Spark入门到精通--(第十节)环境搭建(ZooKeeper和kafka搭建)

    上一节搭建完了Hive,这一节我们来搭建ZooKeeper,主要是后面的kafka需要运行在上面. ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包,可以在百度网盘进行下载.链接 ...

随机推荐

  1. python学习第22天

    封装 properpty classmathod staticmathod

  2. Django-瀑布流

    1.通过ajax方式实现滚动条瀑布流(1)创建数据库:xixi\pubu\models.py from django.db import models #Img图片表 class Img(models ...

  3. django 实战篇之模板层

    模板层 ​ {{}} 变量相关 ​ {%%} 逻辑相关 ​ 前端获取容器类型的数据统一使用 句点符(.) ​ 两种给模板传递值的方式 return render(request,'index.html ...

  4. cf1154G 埃氏筛应用

    直接用埃氏筛也可以做,但是这题写起来有点恶臭.. 更加简单的写法是直接枚举gcd=k,然后里面再枚举一次i*k,即找到k两个最小的倍数,看起来复杂度很高,但其实也是埃氏筛的复杂度 因为每次枚举gcd, ...

  5. 修改linux终端命令行各字体颜色

    这里我用的是 CentOS 7.5,觉得linux终端命令行全部为白色,会经常导致命令与输出内容难以分辨.于是上网找到修改linux终端命令行颜色的方法,发现通过定义PS1环境变量即可实现,下面我以r ...

  6. pta编程总结1

    7-1 打印沙漏 (20 分) 本题要求你写个程序把给定的符号打印成沙漏的形状.例如给定17个"*",要求按下列格式打印 所谓"沙漏形状",是指每行输出奇数个符 ...

  7. 解决使用maven的java web项目导入后出现的有关问题 -cannot be read or is not a valid ZIP file

    解决使用maven的java web项目导入后出现的有关问题 -cannot be read or is not a valid ZIP file   错误问题:虽然查找repository目录下是有 ...

  8. Reveal.js一个用来做WEB演示文稿的框架

    reveal.js是一个能够帮助我们很轻易地使用HTML来创建漂亮的演示效果,也就是我们常见的PPT幻灯片.reveal.js不依赖其他任何javascript库,是一个独立的javascript插件 ...

  9. numpy的基础运算-【老鱼学numpy】

    概述 本节主要讲解numpy数组的加减乘除四则运算. np.array()返回的是numpy的数组,官方称为:ndarray,也就是N维数组对象(矩阵),N-dimensional array obj ...

  10. zTree 3-- jQuery 树插件笔记

    地址:http://www.treejs.cn/v3/demo.php#_507 数据结构json,里可以自定义属性. var zNodes =[ { name:"父节点1 - 展开&quo ...