scala语言
1. val和var
val和var当前区别在于前者只能被赋值一次,就像java中的final,但是后者则可以随意覆盖;
2. Unit
Unit返回代表空返回,类似于vo

3. 类型推测
一时手抖,写下:
val spanTime = endTime - spanTime
报错:recursive value spanTime needs type
这是因为编译器无法推测出变量(spanTime)类型。
其实应该是:
val spanTime = endTime - startTime
 
与之类似的,变量的初始化:
var writer = null
var write = writerMap.apply(Bytes.toString(kv._1.family))
这种变量初始化是不可以被接受的(第二行将会报错),因为在声明writer的时候并没有带上类型信息;这时候,赋值就无法判断是否正确
var writer : StoreFile.Writer = null
声明了类型,这种处理模式是可以接受的。
 
4 toList数据丢失
var data = file.getLines().map(line => {new Dto("1", line)})
var lst = data.toList
之后为什么会成为lst.size=0???可见,集合转List是不成功,虽然不报错,但是元素都丢失了。
 
5. 关于spark的DataFrame
1. select 字段的as写法,不行,需要通过withColumnReplaceName函数进行字段重命名;
2. 主表和join表一调歌就搞定了?如果不指定selectExpr默认只是会获取主表的字段,join表的字段无法获取,所以主表是啥很重要,或者就是每次都显式指定要select出来的字段。
3. agg的字段也是在selectExpr中体现出来,不需要前缀,直接上名称即可。
4. 对于日期的比如通过DateTimeTool.sysDate,切记放入到select语句的时候,前后要添加上”‘“
5. 对于主表和从表中共有的同名的join字段,在select,group的时候只能用主表的
6. 快速写法:表上来就先as别名,别名和表(变量)名一致;
7 异常:Schema for type com.cmiot.bulkload.Dto is not supported

类型(Dto)是case class才可以
 
7. scala的脚手架
Case Class,定义之后,将会自动生成伴侣方法:
copy,equals,apply等;多用于VO等实体类。
copy函数实现的深度拷贝,将会对于属性赋值一个新的实例返回到新类中。
Seq:定义了一个序列,可以重复;
Set:定义了一个集合,元素没有顺序,不可以重复;
7. spark版本问题

java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
  网上查了一下,发现是因为用户代码中scala的版本和调用接口的spark编译的scala版本不一致造成。因为编译的时候spark是打包一起的我一直以为是jar中scala的版本和用户代码不一致(intelliJ的代码是2.12.3,spark是2.11的)
  但是怎么调都没有进展;后来发现原来是因为用户代码在执行的时候其实并不走jar包里面的spark,而是走的worknode节点运行的spark版本;worknode上面部署的是cloudera的spark,2.10.5:1.6.0;后来修改一下问题解决。
 
8. implicit

如果是用在参数上面,代表参数是可选参数;放在参数列表的最后面;单独采用()包裹起来;
如果是用在函数上面,代表着如果在当前类中调用某个没有被定义的函数,将会从其他的对象里面找到被implicit修饰的函数,进入到该类的函数中进行执行;

 
 

scala新人佑门的更多相关文章

  1. Scala确实是门好语言

    看完了一本Scala的书,整体感觉很不错,语法很简洁,对用惯了脚本语言的人来说语言特性稍微有点复杂,不过对Java用户应该没有压力. 最牛叉的有两点:并发.面向领域编程    

  2. scala函数式编程(二) scala基础语法介绍

    上次我们介绍了函数式编程的好处,并使用scala写了一个小小的例子帮助大家理解,从这里开始我将真正开始介绍scala编程的一些内容. 这里会先重点介绍scala的一些语法.当然,这里是假设你有一些ja ...

  3. Hello,Akka

    版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明http://www.blogbus.com/dreamhead-logs/235916459.html 只要稍微了解过一些Scala, ...

  4. Scala HandBook

    目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6 ...

  5. Effective Scala

    Effective Scala Marius Eriksen, Twitter Inc.marius@twitter.com (@marius)[translated by hongjiang(@ho ...

  6. 对想进入Unity开发新人的一些建议

    提前声明:本文只是写给那些非职业游戏开发人士,只面向那些在校本科生,或已就业但无unity背景的同学们,当然是面对程序员方向的.本人刚工作也没多久,资历尚浅,之前在网上有一位同学让我谈谈一些想法,所以 ...

  7. 使用SBT构建Scala应用(转自git)

    # 使用SBT构建Scala应用 ## SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣, ...

  8. Scala的Actor模式 & Akka框架

    今天学Spark的时候,看到Scala的actor模式是一个加分点.所以搜了一下,看了.主要参考下面两篇文章,还没有实验,有些地方领会的不深刻: http://nxlhero.blog.51cto.c ...

  9. 【原】SBT构建Scala应用

    [转帖] 原文地址:https://github.com/CSUG/real_world_scala/blob/master/02_sbt.markdown 尊重版权,尊重他人劳动成果,转帖请注明原文 ...

随机推荐

  1. (webstorm的css编写插件)Emmet:HTML/CSS代码快速编写神器

    Emmet的前身是大名鼎鼎的Zen coding,如果你从事Web前端开发的话,对该插件一定不会陌生.它使用仿CSS选择器的语法来生成代码,大大提高了HTML/CSS代码编写的速度,比如下面的演示: ...

  2. golang截取字符串

    对于字符串操作,截取字符串是一个常用的, 而当你需要截取字符串中的一部分时,可以使用像截取数组某部分那样来操作,示例代码如下: package main import "fmt" ...

  3. 三分钟教你学Git(十二) 之 fast-forward

    什么是fast forward, 顾名思义,就是高速向前进,Git怎么做到高速的呢? 原来假设Git判定能够fast forward的时候,直接改动当前HEAD指针的指向然后再改动当前HEAD指针.说 ...

  4. 有状态的EJB对象和无状态的EJB对象

    一,定义有状态Bean和无状态Bean 有状态Bean: @Stateful @Remote public class StatefulEjbBean implements StatefulEjb{ ...

  5. C#判断WebService接口是否可用

    using MSXML2; public bool InterfaceEnble() { string url = "http://localhost:81/WebServiceLogin. ...

  6. LA 3882 And Then There Was One[约瑟夫问题的变形]

    And Then There Was One UVALive - 3882 Sample Input   Sample Output //设f[i]为(原约瑟夫问题)第i次要删除的标号 #includ ...

  7. C#中GroupBox控件的使用(转)

    GroupBox(框架)控件是C#中用来组织其他控件形成一个控件组,它的使用方法为[工具箱]->[所有Windows窗体](或者是[容器]列表中)->[GroupBox],拖拽到窗体界面中 ...

  8. 九度OJ 1055:数组逆置 (基础题)

    时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:7324 解决:3429 题目描述: 输入一个字符串,长度小于等于200,然后将数组逆置输出. 输入: 测试数据有多组,每组输入一个字符串. ...

  9. SHA-1算法c语言实现

    安全哈希算法(Secure Hash Algorithm)主要适用于数字签名标准 (Digital Signature Standard DSS)里面定义的数字签名算法(Digital Signatu ...

  10. python cookbook第三版学习笔记九:函数

    接受任意数量参数的函数. 当传入函数的参数个数很多的时候,在函数定义的时候不需要为每一个参数定义一个变量,可以用*rest的方式来包含多余的参数. 如下面的代码,*rest包含了2,3,4这3个参数. ...