Spark--local模式环境搭建 一.Spark运行模式介绍 1.本地模式(loca模式):spark单机运行,一般用户测试和开发使用 2.Standalone模式:构建一个主从结构(Master+Slave)的spark集群,spark运行在集群中. 3.Spark on yarn 模式:Spark客户端直接连接Yarn,不用构建Spark集群 4.Spark on Mesos 模式:Spark客户端直接连接Mesos.不需要额外构建Spark集群 二.local模式 1.将编译好的spa…

spark JAVA 开发环境搭建及远程调试 以后要在项目中使用Spark 用户昵称文本做一下聚类分析,找出一些违规的昵称信息.以前折腾过Hadoop,于是看了下Spark官网的文档以及 github 上 官方提供的examples,看完了之后决定动手跑一个文本聚类的demo,于是有了下文. 1. 环境介绍 本地开发环境是:IDEA2018.JDK8.windows 10.远程服务器 Ubuntu 16.04.3 LTS上安装了spark-2.3.1-bin-hadoop2.7 看spark官网…

1. IDEA中配置Spark运行环境 请参考博文:http://www.cnblogs.com/jackchen-Net/p/6867838.html 3.1.Project Struct查看项目的配置信息 3.2.IDEA中如果没有默认安装Scala,可在本地安装即可 如果需要安装多版本的scala请注意: 如果您在本地已经安装了msi结尾的scala,还需要安装第二个版本,建议下载zip包,优点是直接解压在IDEA中配置即可.如第3步所示. 注意:scala下载地址:http://www.…

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h…

在上一章< Docker下kafka学习,三部曲之一:极速体验kafka>中我们快速体验了kafka的消息分发和订阅功能,但是对环境搭建的印象仅仅是执行了几个命令和脚本,本章我们通过实战来学习如何编写这些脚本,搭建本地kafka环境: 本次实践会制作docker镜像,所用的材料请在此获取:https://github.com/zq2599/docker_kafka 整个环境涉及到多个容器,我们先把它们全部列出来,再梳理一下之间的关系,如下图: kafka sever提供消息服务; messag…

Spark其实是Hadoop生态圈的一部分,需要用到Hadoop的HDFS.YARN等组件. 为了方便我们的使用,Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包,解压开箱即可使用,给我们提供了很大的方便. 如果我们只是本地学习的spark,又不想搭建复杂的hadoop集群,就可以使用该安装包. spark-3.2.0-bin-hadoop3.2-scala2.13.tgz 但是,如果是生产环境,想要搭建集群,或者后面想要自定义一些hadoop配置,就可以单独搭建…

一个新项目准备上线提测了,为了在提测之前做一下代码走查,同时了解项目目前的质量情况,就在本地搭建了一套sonar环境.搭建的过程中遇到了很多问题,sonar官方已不再维护Eclipse的svn插件,所以之前很多网上的教程都存在问题了.通过自己的摸索,最后还是成功搭建好了环境.下面我们开始搭建吧. 1 准备阶段 (1)下载MySQL,地址:http://dev.mysql.com/downloads/installer/ (2)下载SonarQube,地址:http://www.sonarqube…

思路: ①先在主机s0上安装Scala和Spark,然后复制到其它两台主机s1.s2 ②分别配置三台主机环境变量,并使用source命令使之立即生效 主机映射信息如下: 192.168.32.100 s0 192.168.32.101 s1 192.168.32.102 s2 搭建目标: s0 :  Master s1 :  Worker s2 :  Worker 1.准备 Hadoop 版本:2.7.7 Scala版本:2.12.8 Spark版本:2.4.3 2.安装Hadoop 下载地址:…

在前面我们已经准备了三台服务器,并做好初始化,配置好jdk与免密登录等.并且已经安装好了hadoop集群. 如果还没有配置好的,参考我前面两篇博客: Spark集群环境搭建--服务器环境初始化:https://www.cnblogs.com/doublexi/p/15623436.html Spark集群环境搭建--Hadoop集群环境搭建:https://www.cnblogs.com/doublexi/p/15624246.html 集群规划: 搭建Spark集群 1.下载: 官网地址:ht…

1.基础环境搭建 1.1运行环境说明 1.1.1硬软件环境 主机操作系统:Windows 64位,四核8线程,主频3.2G,8G内存 虚拟软件:VMware Workstation Pro 虚拟机操作系统:CentOS7 64位,单核,2G内存 1.1.2集群网络环境 集群包含三个节点,节点之间可以免密码SSH访问,节点IP地址和主机名分布如下: 序号 IP地址 机器名 核数/内存 用户名 1 192.168.1.61 hadoop1 1核/2G hadoop 2 192.168.1.62 ha…