Scala Collection Method
接收一元函数
map转换元素,主要应用于不可变集合(1 to 10).map(i => i * i)
(1 to 10).flatMap(i => (1 to i).map(j => i * j))
transform与map相同,不过用于可变集合,直接转换ArrayBuffer("Peter", "Paul", "Mary").transform(_.toUpperCase)
collect接收偏函数(PartialFunction)作为参数;模式匹配也是一种偏函数"-3+4".collect {
case '+' => 1 ;
case '-' => -1
} // Vector(-1, 1)
groupBy按指定函数分组,返回Mapval words = Array("Abc", "ab")
val map = words.groupBy(_.substring(0, 1).toUpperCase)
// Map(A -> Array(Abc, ab))
接收二元函数
reduceLeft从左向右规约f(f(f(a, b), c), d)
List(1, 7, 2, 9).reduceLeft(_ - _)
// ((1 - 7) - 2) - 9 = 1 - 7 - 2 - 9 = -17
reduceRight从右向左规约f(a, f(b, f(c, d)))List(1, 7, 2, 9).reduceRight(_ - _)
// 1 - (7 - (2 - 9)) = 1 - 7 + 2 - 9 = -13
foldLeft提供初始值+二元函数,从左向右折叠,每次计算结果在左侧- 可用
/:(表示树形左侧)操作符表示,(init /: collection)(function)
- 可用
foldRight提供初始值+二元函数,从右向左折叠,每次计算结果在右侧- 可用
:\(表示树形右侧)操作符表示,(collection :\ init)(function)
List(1, 7, 2, 9).foldLeft(0)(_ - _)
(0 /: List(1, 7, 2, 9))(_ - _)
// 0 - 1 - 7 - 2 - 9 = -19
- 可用
scanLeft和scanRight结合了 folding 和 mapping,结果为所有的中间过程值(1 to 10).scanLeft(0)(_ + _) // Vector(0, 1, 3, 6, 10, 15, 21, 28, 36, 45, 55)
zip拉链,即将两个集合各个元素像拉链一样交叉结合在一起List(1,2,3) zip List("a","b","c") // List((1,a), (2,b), (3,c))
- 长度不一致的集合则以较小的长度为准
zipAll为长度较短的集合设置默认值,this.zipAll(that, thisDefault, thatDefault)
zipWithIndex返回元素及对应的下标"Scala".zipWithIndex
// Vector((S,0), (c,1), (a,2), (l,3), (a,4))
view为集合创建延迟视图val lazyView = (1 to 1000000).view
lazyView.take(100).last //100
- 对视图的操作都不会立即计算(包括第一个元素也不会)
- 与
Stream不同,不会缓存任何值 apply方法会强制计算整个视图,使用lazyView.take(i).last代替lazyView(i)
par并行化集合,后续应用的方法都会并发计算for (i <- (0 until 100).par) print(s" $i")
// 1-99
很好的解决并发编程问题
将集合变为对于的并行化实现
对于产生的结果,与串行方式的结果一致 (如
for...yield...)可使用
seq,toArray等方法将集合还原部分方法不能并发操作
- 使用
reduce替代reduceLeft,先对各部分集合操作,然后聚合结果,但操作必须满足结合律 - 使用
aggregate替代foldLeft,先对各部分集合操作,然后用另一个操作将结果聚合
str.par.aggregate(Set[Char]())(_ + _, _ ++ _)
// 等价于
str.foldLeft(Set[Char]())(_ + _)
```- 使用
Scala Collection Method的更多相关文章
- spark1.5 scala.collection.mutable.WrappedArray$ofRef cannot be cast to ...解决办法
下面是我在spark user list的求助贴,很快就得到了正确回答,有遇到问题的同学解决不了也可以去上面提问. I can use it under spark1.4.1,but error on ...
- Scala Collection简介
Traversable vs Iterable Traversable, Iterable 都是trait. Iterable 继承 Traversable. Traversable: 支持forea ...
- idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
idea中使用scala运行spark出现: Exception in thread "main" java.lang.NoClassDefFoundError: scala/co ...
- spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map;
spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot b ...
- Apache Spark Exception in thread “main” java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
问题: 今天用Maven搭建了一个Spark的Scala项目,运行后遇到下面异常: Apache Spark Exception in thread “main” java.lang.NoClassD ...
- scala之method和function的区别
在我没有学习scala的时候,主要用java和python做日常工作开发,印象中,没有特别的刻意的去区分method和function的区别,这个关系,正如我们日常生活中,没有刻意的去区分质量和重量. ...
- mongodb collection method
https://docs.mongodb.com/manual/reference/method/db.collection.bulkWrite/ db.coll_test.getIndexes()# ...
- scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet
最近重新搭了spark环境.在Master上使用了IDEA来写代码.确实很方便.我用的是hadoop2.6.spark1.5.1forhadoop2.6. scala之前用的是2.11.0老是报这个错 ...
- Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
注意spark的Scala版本和java版本 修改后为官方指定的版本正常运行 Error:scalac: Error: object FloatRef does not have a member c ...
随机推荐
- tp5.0在控制器中和在模板中调用配置文件中的常量
框架配置文件config.php中定义 'view_replace_str' => [ '__MEMBER__'=> '/static/member', '__uplo ...
- 5G:为人工智能与智能制造赋能
近几年,全球有两大科技领域越来越热:一个是人工智能,另一个是5G.两者都是能够改变时代.改变社会.改变经济的颠覆性技术.目前,我国已经发放了四张5G牌照,5G产业处在爆发前夜的阶段:人工智能方面,业界 ...
- 面试官问我,为什么老司机建议MySQL列属性尽量用 NOT NULL ?
本文阅读时间大约6分钟. 其实写这篇文章,也是来自一个知识星球读者的提问,他在二面的过程中被问到了,由于他简历中写道有 MySQL 调优经验,但这个问题没有回答好,二面被刷了. 其实我们刚学习 C 语 ...
- 【学习笔记】大数据技术原理与应用(MOOC视频、厦门大学林子雨)
1 大数据概述 大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可 ...
- 国内不fq安装K8S三: 使用helm安装kubernet-dashboard
目录 3 使用helm安装kubernet-dashboard 3.1 Helm的安装 3.2 使用Helm部署Nginx Ingress 3.3 使用Helm部署dashboard 3.4 使用He ...
- 模型选择---KFold,StratifiedKFold k折交叉切分
StratifiedKFold用法类似Kfold,但是他是分层采样,确保训练集,测试集中各类别样本的比例与原始数据集中相同. 例子: import numpy as np from sklearn.m ...
- jQuery对象和DOM对象转换,解决jQuery对象不能使用js方法的问题
有时候想要jQuery对象使用js方法,但是jQuery对象是什么js方法都不能用,怎么办呢?方法其实很简单,只要转换jQuery和DOM对象就可以了. 方法一: var $cr = $(" ...
- zzulioj - 2597: 角谷猜想2
题目链接: http://acm.zzuli.edu.cn/problem.php?id=2597 题目描述 大家想必都知道角谷猜想,即任何一个自然数,如果是偶数,就除以2,如果是奇数,就乘以3再加1 ...
- zy的日志报表执行有问题。crontab显示执行了任务,代码中应该有问题
crontab定时任务在日志记录中是执行了 但是在执行脚本的过程中报错了, 找不到问题原因,以后也要在脚本中加入日志记录, 但是奇怪的是在中午和晚上是正常的, 应该是那个时间段的判断逻辑有问题,导致程 ...
- haproxy 配置文件详解 之 global
配置示例: global log 127.0.0.1 local0 info maxconn user nobody group nobody daemon nbproc pidfile /usr/l ...