Spark入门到精通--(第七节)环境搭建(服务器搭建)
Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos、Hadoop、Hive、ZooKeeper、kafka的服务器环境搭建开始讲。其中Centos的搭建不具体说了,主要讲下集群的配置。
环境搭建软件包
由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的,所以Centos的搭建就不说了,有需要的可以自行网上搜一下,也比较简单。当然以下有些工具也可以用你们已经顺手的工具包O(∩_∩)O~~
- Centos 5.6(Linux服务器)
- JDK 1.7(Java开发环境)
- Xshell 5(windows连接Linux)
- Xftp 4(windows上传Linux)
- Hadoop 2.4.1
- Hive 0.13
- ZooKeeper 3.4.5
- kafka 2.9.2-0.2.1
- Spark 1.3.0
Centos服务器配置
安装完三台Centos的操作系统之后,我们要对三台服务器进行免ssh登录。
首先我们先临时性地给三台服务器设置个名字。以一台为例,另外两台依样画葫芦就OK。
- 设置主机名(三台服务器)
[root@localhost ~]# hostname //显示主机名localhost [root@localhost ~]# sudo hostname spark1 设置主机名为spark1,另外两台服务器可以依次设为spark2、spark3 //若想永久性修改可以这样
[root@localhost ~]# vi /etc/sysconfig/network //编辑文件如下
HOSTNAME=spark1 #修改localhost.localdomain为spark1
设置完成之后继续修改/etc/hosts文件
[root@spark1 ~]# vi /etc/hosts [ip地址] spark1
如果是永久性修改,要重启服务器;临时性修改就不用了,否则重启完由还原了。
设置完之后我们可以ping地址,看是否OK。
[root@spark1 ~]# ping spark1
- 关闭防火墙(三台服务器)
[root@spark1 ~]# service iptables stop
[root@spark1 ~]# chkconfig iptables off [root@spark1 ~]# vi /etc/selinux/config //在配置文件中修改 SELINUX=disabled
- 设置免密码ssh登陆(三台服务器)
我们设置完三台Centos服务器的hostname之后,继续进入三台服务器,把另外2台服务器的hostname映射都配置在/etc/hosts文件中。
[root@spark1 ~]# vi /etc/hosts
[ip地址一1] spark1 //之前配置的
[ip地址一2] spark2
[ip地址一3] spark3
然后我们设置免密码ssh登录。
[root@spark1 ~]# ssh-keygen -t rsa //设置ssh的登录密码
一路回车向下不设置密码。然后执行下面命令。
[root@spark1 ~]# cd /root/.ssh //生成的密钥文件自动放在这个文件夹下
[root@spark1 ~]# cp id_rsa.pub authorized_keys
[root@spark1 ~]# ls authorized_keys id_rsa id_rsa.pub known_hosts //至此我们本机已经不用密码登陆了 [root@spark1 ~]# ssh spark1
然后我们把ssh密钥传给其他另外2台服务器使得可以互相免密码ssh登录。
[root@spark1 ~]# ssh-copy-id -i spark2 //将ssh密钥复制给spark2 //第一次需要输入spark2的登录密码,按提示完成 //完成后 [root@spark1 ~]# ssh spark2
发现可以免密码直接登录spark2服务器了,另外两台服务器依次22免密码ssh登录设置完成。
Spark入门到精通--(第七节)环境搭建(服务器搭建)的更多相关文章
- Spark入门到精通--(第九节)环境搭建(Hive搭建)
上一节搭建完了Hadoop集群,这一节我们来搭建Hive集群,主要是后面的Spark SQL要用到Hive的环境. Hive下载安装 下载Hive 0.13的软件包,可以在百度网盘进行下载.链接: h ...
- Spark入门到精通--(第二节)Scala编程详解基础语法
Scala是什么? Scala是以实现scaleable language为初衷设计出来的一门语言.官方中,称它是object-oriented language和functional languag ...
- Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL执行流程解析
1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkCont ...
- Spark入门到精通--(第一节)Spark的前世今生
最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast ...
- Spring Boot从入门到精通(七)集成Redis实现Session共享
单点登录(SSO)是指在多个应用系统中,登录用户只需要登录验证一次就可以访问所有相互信任的应用系统,Redis Session共享是实现单点登录的一种方式.本文是通过Spring Boot框架集成Re ...
- Hibernate从入门到精通(七)多对一单向关联映射
上次的博文Hibernate从入门到精通(六)一对一双向关联映射中我们介绍了一下一对一双向关联映射,本次博文我们讲解一下多对一关联映射 多对一单向关联映射 多对一关联映射与一对一关联映射类似,只是在多 ...
- [置顶] Hibernate从入门到精通(七)多对一单向关联映射
上次的博文Hibernate从入门到精通(六)一对一双向关联映射中我们介绍了一下一对一双向关联映射,本次博文我们讲解一下多对一关联映射 多对一单向关联映射 多对一关联映射与一对一关联映射类似,只是在多 ...
- Python基础知识详解 从入门到精通(七)类与对象
本篇主要是介绍python,内容可先看目录其他基础知识详解,欢迎查看本人的其他文章Python基础知识详解 从入门到精通(一)介绍Python基础知识详解 从入门到精通(二)基础Python基础知识详 ...
- Spark入门到精通--(第十节)环境搭建(ZooKeeper和kafka搭建)
上一节搭建完了Hive,这一节我们来搭建ZooKeeper,主要是后面的kafka需要运行在上面. ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包,可以在百度网盘进行下载.链接 ...
随机推荐
- python学习第22天
封装 properpty classmathod staticmathod
- Django-瀑布流
1.通过ajax方式实现滚动条瀑布流(1)创建数据库:xixi\pubu\models.py from django.db import models #Img图片表 class Img(models ...
- django 实战篇之模板层
模板层 {{}} 变量相关 {%%} 逻辑相关 前端获取容器类型的数据统一使用 句点符(.) 两种给模板传递值的方式 return render(request,'index.html ...
- cf1154G 埃氏筛应用
直接用埃氏筛也可以做,但是这题写起来有点恶臭.. 更加简单的写法是直接枚举gcd=k,然后里面再枚举一次i*k,即找到k两个最小的倍数,看起来复杂度很高,但其实也是埃氏筛的复杂度 因为每次枚举gcd, ...
- 修改linux终端命令行各字体颜色
这里我用的是 CentOS 7.5,觉得linux终端命令行全部为白色,会经常导致命令与输出内容难以分辨.于是上网找到修改linux终端命令行颜色的方法,发现通过定义PS1环境变量即可实现,下面我以r ...
- pta编程总结1
7-1 打印沙漏 (20 分) 本题要求你写个程序把给定的符号打印成沙漏的形状.例如给定17个"*",要求按下列格式打印 所谓"沙漏形状",是指每行输出奇数个符 ...
- 解决使用maven的java web项目导入后出现的有关问题 -cannot be read or is not a valid ZIP file
解决使用maven的java web项目导入后出现的有关问题 -cannot be read or is not a valid ZIP file 错误问题:虽然查找repository目录下是有 ...
- Reveal.js一个用来做WEB演示文稿的框架
reveal.js是一个能够帮助我们很轻易地使用HTML来创建漂亮的演示效果,也就是我们常见的PPT幻灯片.reveal.js不依赖其他任何javascript库,是一个独立的javascript插件 ...
- numpy的基础运算-【老鱼学numpy】
概述 本节主要讲解numpy数组的加减乘除四则运算. np.array()返回的是numpy的数组,官方称为:ndarray,也就是N维数组对象(矩阵),N-dimensional array obj ...
- zTree 3-- jQuery 树插件笔记
地址:http://www.treejs.cn/v3/demo.php#_507 数据结构json,里可以自定义属性. var zNodes =[ { name:"父节点1 - 展开&quo ...