Spark样本类与模式匹配
一、前言
样本类(case class)与模式匹配(pattern matching)是Scala中一个比较复杂的概念,往往让人感觉深陷泥沼。我在这里对Scala中的样本类与模式匹配进行了一些整理,希望让大家有些收获。
要学习样本类与模式匹配,先要理解这两个基本概念 。样本类是Scala提出的新概念,简单可以理解成希望用来做模式匹配的类加上case关键词就是样本类。模式匹配可以拆开来理解。这里模式不同于设计模式的模式,而是数据结构上的模式。这里的模式(pattern)是一个只包含变量、 有点类似于Java正则表达式中的模式,不过正则中模式只是用于匹配字符串而已,而这里的模式是针对某种类型或数据结构进行抽象出的表达式。
Scala的模式匹配机制,可以应用在switch语句、类型检查以及”析构“等场合。样本类是对模式匹配进行了优化。
二、样本类
样本类与普通类的区别除了在前面添加case关键词之外,Scala还自动给样本类添加了一些方法。下面通过例子进行讲解。
| 1 2 3 4 5 | abstractclassExprcaseclassFibonacciExpr(n:Int) extendsExpr {             // 样本类  require(n >=0)} | 
首先,样本类会添加与类名一致的工厂方法,可以使用该工厂方法创建对象
| 1 2 | scala> valfb =FibonacciExpr(12)fb:FibonacciExpr =FibonacciExpr(12) | 
其次,样本类参数类表中的参数获得val前缀,所以它被当作字段维护
| 1 2 | scala> fb.nres0:Int =12 | 
最后,编译器为样本类添加了hashcode,equals和toString等方法的“自然”实现
| 1 2 | scala> fb.toString()res2:String =FibonacciExpr(12) | 
三、模式匹配
更好的switch
| 1 2 3 4 5 | ch match{  case'+'=> sign =1  case'-'=> sign =-1  case_=> sign =0} | 
上面的代码中为match表达式,"case _"对应于Java的default情况,match对应与Java中switch,不过位置与Java不同
Scala: 选择器 match {备选项} Java: switch (选择器) {备选器}
一个模式匹配中包含一系类的备选项,而每个备选项开始于case关键词 ,并且都包含一个模式(pattern)及一到多个表达式。Java风格的switch能够自然地表达为match表达式, 但两者还是有一定区别。首先,match是Scala的表达式,不是语句,即它始终以值作为返回结果。其次,Scala的备选项表达式永远进行下一个case,无需break。第三、如果没有模式匹配,会跑出MatchError异常,所以必须考虑到所有的情况。
模式的种类
我们已经知道模式是一种针对每种类型或数据结构抽象出表达式,但是模式有多种类型。
通配模式与常量模式
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | defdescribe(x:Any) =x match{    case5=> "five"    casetrue=> "truth"    case"hello"=> "hi!"    caseNil => "the empyt list"    case_=> "somethint else"}// 运行结果scala> describe(5)res3:String =fivescala> describe(true)res4:String =truthscala> describe("hello")res5:String =hi!scala> describe(3.23)res6:String =somethint else | 
常量模式仅匹配自身 。任何字面量都可以作为常量,例如:5,true,”hello“都是常量模式。任何val变量或单例对象也可作为常量。而通配模式"_"可以匹配任意对象,经常作为最后的匹配或用来忽略对象的类型。
变量模式
单纯的变量模式没有匹配判断的过程,只是为将传入的对象重命名新的变量名 然后在匹配完成后中表达式中使用该传入的对象
| 1 | scala> site match{ casewhateverName => println(whateverName) } | 
上面的例子中匹配的site对象用whateverName进行指代,但是变量名有命名规则: 用小写字母开始的名称为变量,否则认为是常量 。
然而变量模式不会单独使用,而是在多种模式中组合使用,如下所示
| 1 | List(1,2) match{ caseList(x,2) => println(x) } | 
上面的例子中x就是将匹配到的第一个元素用变量x标记
构造器模式
构造器模式是真正能体现模式匹配强大的地方!构造器模式能够支持深度匹配(deep match),这是它强大的原因,匹配模式不仅匹配外层的构造器,而且匹配构造器参数是否匹配,这样的话,可以检查到构造器对象内部的任意深度 。实例如下
| 1 2 3 4 5 6 7 | scala> :paste//抽象节点traitNode //具体的节点实现,有两个子节点caseclassTreeNode(v:String, left:Node, right:Node) extendsNode //Tree,构造参数是根节点caseclassTree(root:TreeNode) | 
构造一个根节点包含2个子节点的树
| 1 | scala>valtree =Tree(TreeNode("root",TreeNode("left",null,null),TreeNode("right",null,null))) | 
如果我们期望一个树的构成是根节点的左子节点值为”left”,右子节点值为”right”并且右子节点没有子节点
那么可以用下面的方式匹配
| 1 2 3 4 | scala> tree.root match{         caseTreeNode(_, TreeNode("left",_,_), TreeNode("right",null,null)) =>             println("bingo")     } | 
在上面的匹配中,模式检查顶层对象TreeNode,以及第二次对象TreeNode("left",_,_), TreeNode("right",null,null),_,和最后第三层对象的参数值”left“,"right","_",这个模式仅有一行但却能检查三层深度。
类型模式
类型模式,就是判断对象的类型,相较于isInstanceOf而言类型模式更加优秀。
| 1 2 3 4 5 6 | obj match{  casex:Int => x  cases:String => Integer.parseInt(s)  case_:BigInt => Int.MaxValue  case_=> 0} | 
类型匹配是发生在运行期的,因此JVM中泛型的类型信息会被擦除,所以不能匹配泛型的特定类型
| 1 2 | casem:Map[String, Int] => ...  // 不行casem:Map[_, _] => ...  // 匹配通用的Map,OK | 
但对于数组而言,因为在Java与Scala中数组被特殊处理了,数组的元素类型与数组值保存在一起,因此它可以做模式匹配
| 1 | casea:Array[String] => "yes" | 
抽取器模式(extractor pattern)
抽取器模式使用unapply来提取固定数量的对象,使用unapplySeq来提取一个序列。先看一个例子
| 1 2 3 4 5 6 | arr match{  caseArray(0) => "0"// 匹配包含0的数组  caseArray(x, y) => x + " " + y  // 匹配任何带有两个元素的数组,并将元素绑定到x和y  caseArray(0, _*) => "0 ..."// 匹配任何以0开始的数组  case_=> "something else"} | 
在前面的代码 case Array(0, x) => ...中, Array(0, x)部分实际上是使用了伴生对象中的提取器,实际调用形式是: Array.unapplySeq(arr)。根据Javadoc,提取器方法接受一个Array参数,返回一个Option。
使用抽取器模式能够数组、列表和元组,还可以使用在正则表达式
| 1 2 3 4 | valpattern ="([0-9]+) ([a-z]+)".r"99 bottles"match{  casepattern(num, item) => ...} | 
变量绑定模式
变量绑定模式可以对其它模式添加变量,代码实例如下:
| 1 2 3 | scala> tree.root match{          caseTreeNode(_, leftNode@TreeNode("left",_,_), _) => leftNode         } | 
上面代码中,leftNode变量 使用@符号绑定到匹配的左节点上,正如代码中写的,匹配成功后返回左节点
四、模式守卫(pattern guard)
模式守卫能够重新制定匹配规则, 代码实例如下:
| 1 2 3 4 5 6 7 | abstractclassExpr    caseclassNumber(num:Double) extendsExpr    caseclassBinOp(operator:String,left:Expr, right:Expr) extendsExprdefsimplifyTop(expr:Expr):Expr =expr match{  caseBinOp("+",x,y) ifx==y => BinOp("*",x,Number(2))} | 
上面的代码中,对模式进行了简化,对表达式(x+x)转换成(x*2)。
五、封闭类
当使用样本类做模式匹配时,必须确信考虑到所有可能的情况,有时候可以通过添加默认处理做到这点,这里还有一种方法,那就是封闭类。
将样本类的超类声明为sealed,则该类为封闭类,则除了封闭类所在的文件之外不能添加任何新的子类,即子类与密封类在一个文件中定义。定义为封闭类之后,编译器能够确保已经列出所有可能的选择。
| 1 2 3 4 5 | sealedabstractclassExpr   caseclassVar(name:String) extendsExpr  caseclassNumber(num:Double) extendsExpr  caseclassUnOp(operator:String, arg:Expr) extendsExpr  caseclassBinOp(operator:String,left:Expr, right:Expr) extendsExpr | 
六、Option类型
Option类型用来表示可能存在也可能不存在的值,用于取代null值得使用。
Option有两种形式:Some(x),x是实际值,None表示没有值
| 1 2 3 4 | scores.get("Alice") match{  caseSome(score) => println(score)  caseNone => println("No score")} | 
七、偏函数(Partial function)
偏函数到底是什么呢? 概括来说,偏函数是继承特质 PartialFunction的一个一元函数,它只在部分输入上有定义, 并且允许使用者去检查其在一个给定的输入上是否有定义。为此,特质 PartialFunction 提供了一个 isDefinedAt 方法。 事实上,类型 PartialFunction[-A, +B] 扩展了类型 (A) => B (一元函数,也可以写成 Function1[A, B] )。 模式匹配型的匿名函数的类型就是 PartialFunction 。
偏函数有两种定义方法
| 1 2 3 4 5 6 7 | defp1:PartialFunction[Int, Int] ={      casex ifx > 1=> 1  }  defp2=(x:Int) => x match{      casex ifx > 1=> 1  } | 
Spark样本类与模式匹配的更多相关文章
- scala学习笔记(四)样本类与模式匹配
		访问修饰符 格式:private[x]或protected[x],x指某个所属包.类或单例对象,表示被修饰的类(或方法.单例对象),在X域中公开,在x域范围内都可以访问: private[包名]:在该 ... 
- Scala学习文档-样本类与模式匹配(match,case,Option)
		样本类:添加了case的类便是样本类.这种修饰符可以让Scala编译器自动为这个类添加一些语法上的便捷设定. //样本类case class //层级包括一个抽象基类Expr和四个子类,每个代表一种表 ... 
- Scala学习笔记——样本类和模式匹配
		1.样本类 在申明的类前面加上一个case修饰符,带有这种修饰符的类被称为样本类(case class). 被申明为样本类的类的特点:1.会添加和类名一致的工厂方法:2.样本类参数列表中的所有参数隐式 ... 
- scala模式匹配及样本类
		样本类 1.带有case关键字的类被称为样本类: 例如:abstract class Expr case class Var(name: String) extends Expr case class ... 
- org.apache.spark.logging类报错
		一,1 在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行. 但是在后期使用 ... 
- Spark核心类:弹性分布式数据集RDD及其转换和操作pyspark.RDD
		http://blog.csdn.net/pipisorry/article/details/53257188 弹性分布式数据集RDD(Resilient Distributed Dataset) 术 ... 
- Spark RDD类源码阅读
		每天进步一点点~开搞~ abstract class RDD[T: ClassTag]( //@transient 注解表示将字段标记为瞬态的 @transient private var _sc: ... 
- Spark核心类:SQLContext和DataFrame
		http://blog.csdn.net/pipisorry/article/details/53320669 pyspark.sql.SQLContext Main entry point for ... 
- spark reduce类操作
		reduce类函数分析: ---------------------------------------------------------------------------- 待补全 ------ ... 
随机推荐
- web移动端开发经验总结
			整理web移动端开发经验,部分内容借鉴于网上的博文. 1.meta标签 <meta name="viewport" content="width=device-wi ... 
- Docker基本命令与使用 —— Docker容器(一)
			一.容器的基本操作 1. 启动容器 docker run IMAGE [COMMAND] [ARG...] run 在新容器中执行命令 eg: docker run ubuntu echo 'Hell ... 
- 网络解析(一):LeNet-5详解
			https://cuijiahua.com/blog/2018/01/dl_3.html 一.前言 LeNet-5出自论文Gradient-Based Learning Applied to Docu ... 
- 2015 湘潭大学程序设计比赛(Internet)H题-括号匹配
			括号匹配 Accepted : 30 Submit : 234 Time Limit : 10000 MS Memory Limit : 65536 KB 题目描述 有一串括号(只包含&quo ... 
- javascript打开制定窗口大小的页面
			<a onclick="window.open ('页面链接', 'newwindow', 'height=680, width=400, top=0, left=0, toolba ... 
- Django +uwsgi+python3+nginx + mysql 部署
			环境: 服务器ip:192.168.0.110 centos服务器 6.4 + mysql 5.6 + django1.11 +nginx 1.13.7 + uwsgi 2.0.18 uwsgi介绍 ... 
- pandas中的axis=0,axis=1,傻傻分不清楚
			简单的来记就是axis=0代表往跨行(down),而axis=1代表跨列(across) 轴用来为超过一维的数组定义的属性,二维数据拥有两个轴: 第0轴沿着行的垂直往下,第1轴沿着列的方向水平延伸. ... 
- MySQL--教程
			登入登出 首先启动服务,然后 mysql -u root -p 命令输入密码登入. mysql退出三种方法:mysql > exit;mysql > quit;mysql > \q; 
- jenkins maven testng selenium自动化持续集成
			准备环境 首先我们新建一个maven的工程,并且在pom.xml中配置好我们依赖的一些jar包 <dependencies> <dependency> <groupId& ... 
- Javascript-闰年javascript的判断
			<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ... 
