第一种方式: def operatorHive: Unit = { Class.forName("org.apache.hive.jdbc.HiveDriver") val url = "jdbc:hive2://192.168.2.xxx:10000" val connection: Connection = DriverManager.getConnection(url, "root", "diagbotkwz@123")

使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.com/89446/ 1.    spark是什么? Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架.一般配合hadoop使用,可以增强hadoop的计算性能. 2.    Spark的优点有哪些? Sp

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中,我们已经部署好了一个Spark的开发环境. 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中,我们已经写好了一个Spark的应用. 本文的目标是写一个基于akka的scala工程,在一个spark standalone的集群环境中运行. akka是什么? akka的作用 akka的名字是action kernel的回文.根据官方定义:akk

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. 创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件 这个程序会进行MapReduc

目标 配置一个spark standalone集群 + akka + kafka + scala的开发环境. 创建一个基于spark的scala工程,并在spark standalone的集群环境中运行. 创建一个基于spark+akka的scala工程,并在spark standalone的集群环境中运行. 创建一个基于spark+kafka的scala工程,并在spark standalone的集群环境中运行. 集群框架图 本图主要是说明各个组件可以发布到不同的逻辑机器上. GSpark C

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中,我们已经部署好了一个Spark的开发环境. 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中,我们已经写好了一个Spark的应用. 本文的目标是写一个基于kafka的scala工程,在一个spark standalone的集群环境中运行. 项目结构和文件说明 说明 这个工程包含了两个应用. 一个Consumer应用:CusomerApp -

JDK安装 JDK安装包下载 到Oracle官网下载JDK. 传送门 下载之前要记得勾选上同意协议然后选择相应的版本(Windows/Linux, 32/64) JDK安装及验证 按提示完成安装,安装完成后打开CMD输入命令 java -version 测试是否已正确安装JDK Scala IDE for Eclipse Scala IDE 下载 到Scala官网下载最新的Scala IDE for Eclipse. 传送门 Scala IDE 安装 下载回来之后发现并不是安装包,而是一个zip

从2011年開始写Android ApiDemos 以来.Android的版本号也更新了非常多,眼下的版本号已经是4.04. ApiDemos中的样例也添加了不少,有必要更新Android ApiDemo演示样例解析系列文章(当然之前的文章还是实用的,依旧能够作为參考). 为了不反复之前的内容,我们准备使用Scala语言开发Android应用,随着样例的逐步解析,我们会把ApiDemos的样例的代码依次改动为Scala代码,并使用Robujuice 来注入View.关于Scala编程能够參考博客

Ubuntu14.04下Scala开发环境搭建. 1:安装JDK,jdk-6u45-linux-x64.bin 将其安装到/usr/lib/jvm/jdk1.6.0_45/. 2:安装Scala,下载scala-2.11.4.tgz 将其解压到/usr/lib/jvm/scala-2.11.4/. 3:配置环境变量: y@y:~$ vim /etc/profile #JAVA Environment JAVA_HOME=/usr/lib/jvm/jdk1..0_45 #scala export

Scala开发环境搭建与资源推荐 本文介绍了Scala的开发环境,包括SDK.IDE的设置.常用资源列表等.Scala是一门静态语言,很有可能就是Java的继承者. AD: 2014WOT全球软件技术峰会北京站 课程视频发布 Scala基于Java平台,所以Scala开发环境很容易搭建.看了下面的介绍,你会对Scala开发环境的搭建以及一些常用资源了解一二. Scala号称Java的继承者,优美地结合了大家所熟悉的面向对象技术以及随着动态语言的流行而逐渐为广大开发者所认知的函数式编程技术:同时,

一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安装scala插件,具体安装办法如下. 1.打开idea,点击configure下拉菜单中的plugins选项: 2.在弹出对话框中点击红框按钮: 3.在弹出最新对话框的搜索栏输入scala,在筛选出的内容中选择红框部分,点击右侧install按钮开始下载插件: 本人在测试过程中通过install自动下载插件失败,最后选择手动下载scala插件,然后通过步骤2中

通过IDEA搭建scala开发环境开发spark应用程序   一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安装scala插件,具体安装办法如下. 1.打开idea,点击configure下拉菜单中的plugins选项: 2.在弹出对话框中点击红框按钮: 3.在弹出最新对话框的搜索栏输入scala,在筛选出的内容中选择红框部分,点击右侧install按钮开始下载插件: 本人在测试过程中通过install自动

安装JDK 因为Scala是运行在JVM平台上的,所以安装Scala之前要安装JDK. 安装Scala Windows安装Scala编译器 访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包,目前最新版本是2.12.x,这里下载scala-2.11.8.msi后点击下一步就可以了(自动配置上环境变量).也可以下载scala-2.11.8.zip,解压后配置上环境变量就可以了.配置如下图所示 Linux安装Scala编译器 下载Scala地址https

1. Intellij IDEA Scala开发环境搭建 Intellij IDEA 15.0.3 默认配置里面没有Scala插件,需要手动安装,在Intellij IDEA 15.0.3 第一次运行时选择configure plugins,选择默认后在软件主界面去配置,但是本人测试发现,这种设置方式经常会因为网络问题配置失败,建议直接到 http://www.jetbrains.net/confluence/display/SCA/Scala+Plugin+for+IntelliJ+IDEA,

Idea搭建Scala开发环境的注意事项 1.下载ideaIC-2017.3.tar.gz 2.解压安装idea 3.File->setting->plugins 下载2个插件scala.scala-imports-organizer 4.下载Scala(scala-2.12.4.tgz)和Sbt(sbt-1.0.0.tgz),解压.配置环境变量 5.Centos下为idea建立桌面快捷方式 桌面->右键->create launcher,type下拉选择框中选applicatio

1.Intellij idea配置scala开发环境 解决Plugin Scala was not installed: No route to host Plugin Scala was not installed: connect timed out Plugin Scala was not installed: Cannot download 'http://plugins.jetbrains.com/files/1347/27110/scala-intellij-bin-2016.2.1

作者:戚明峰 最近接触了shadowsocks的Android客户端项目源码(https://github.com/shadowsocks/shadowsocks-android),刚好这个项目是使用Scala开发的.至于为什么使用Scala开发Android项目,大概原因如下: Android 开发一直有两个无法回避的问题:基于 JVM 的设计使得系统的性能受到拖累:Java 冗繁的语法令人绝望.Scala 作为一门 state-of-the-art 的编程语言,兼具面向对象以及函数式语言的特

Eclipse是一款非常使用的开发工具,熟悉它的童鞋应该都知道,它不仅是最常用的android开发工具,还是最常用的Java开发工具.既然eclipse如此重要,本文小编就和大家一起来扒一扒在eclipse中构建scala开发环境的相关知识,有兴趣的童鞋可以一起来看看. 1.scala是什么 其实,scala是 一种语法,类似Java,而sbt是 一个构建工具,类似maven,gradle,ant等.在eclipse中只有scala开发环境的插件,可以构建scala project,但是没有sb

场景 好的,假设项目数据调研与需求分析已接近尾声,马上进入Coding阶段了,辣么在Coding之前需要干马呢?是的,“统一开发工具.开发环境的搭建与本地测试.测试环境的搭建与测试” - 本文详细记录实际Spark项目开发环境的搭建. 分析 开发工具 操作系统:win 10 JDK 版本 :jdk1.8.0_91 Scala版本:2.10.6 MAVEN版本:apache-maven-3.3.9 集成开发工具:IntelliJ IDEA 2016.1.3 开发主要语言:scala 开发环境的搭建

Scala开发环境搭建 先讲几点我学习scala的目的或者原因吧: JVM在企业中的霸主地位,Scala也是JVM上的语言,很有可能未来会从Java过度到Scala也不是不可能. 先进的函数式编程和面向对象的结合. 我个人对大数据方面的知识特别感兴趣,发现Kafka和Spark的源码都是scala编写的,而如果我想深入的学习,学习源码可能要用到scala. Spark的生产环境使用Java或者Scala编程似乎是主流,然而开发Spark程序的话使用Java没有使用Scala开发相率高. Scal

IDEA支持scala开发,需要安装scala插件,并且pom.xml也需要添加对应依赖. 1. 安装scala插件 下载地址:https://plugins.jetbrains.com/plugin/1347-scala/versions 找到与你intellij idea对应的版本下载,我的是2017.3.5,我就下载这个版本的插件scala-intellij-bin-2017.3.5.zip. File -> Settings -> Plugins -> Install plugi