split()函数: def split(arg0: String): Array[String] def split(arg0: String, arg1: Int): Array[String] scala> "a-b-c-d-e".split("-",3)res0: Array[String] = Array(a, b, c-d-e) scala> "a-b-c-d-e".split("-",4)res1:

在最开始处引入 log 相关的 包 import org.apache.log4j.{Logger,Level} 在需要屏蔽日志输出的地方加上这两行代码 // 屏蔽不必要的日志显示在终端上 Logger.getLogger("org.apache.spark").setLevel(Level.ERROR) Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) // scala io Case

zip拉链操作 def zip[U](other: org.apache.spark.rdd.RDD[U])(implicit evidence$10: scala.reflect.ClassTag[U]): org.apache.spark.rdd.RDD[(String, U)] scala> val rdd1=sc.makeRDD(Array("apple","pear","grape","egg","e

      变量 String yourPast = "Good Java Programmer"; val yourPast : String = "Good Java Programmer" val yourPast = "Good Java Programmer" var yourFuture = "Good Java Programmer" 自动类型推断:可变.不可变变量 class Money(amount:Int)

1. Scala is a contraction of "scalable" and "language". It's a fusion of objected-oritended and functional programming. 2. Compare Book class between Java and Scala Java: class Book{ private String title; private int numberOfPages; pub

spark用的是cdh spark-2.0.1 package main.scala import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /* Created by tomtang on 2016/12/16. */ object tomhelloworld { def FILE_NAME:String = "word_count_results_" def main(arg

背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: 需要解析host: api.map.baidu.com 需要解析的规则:"result":{"location":{"lng":120.25088311933617,"lat":30.310684375444877}, "confidence&quo

目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6.     够复杂 1.7.     够有趣 1.8.     开发社区 2.   lang 2.1.     和Java的异同 2.1.1.  语法 2.1.2.  库 2.2.     变量 2.2.1.  保留字 2.2.2.  变量标识 2.2.3.  变量定义 2.2.3.1     va

Runnable/Callable 线程 Executors/ExecutorService Futures 线程安全问题 例子:搜索引擎 解决方案 Runnable/Callable Runnable接口只有一个没有返回值的方法. trait Runnable { def run(): Unit } Callable与之类似,除了它有一个返回值 trait Callable[V] { def call(): V } 线程 Scala并发是建立在Java并发模型基础上的. 在Sun JVM上,对

数据清洗时数据科学项目的第一步,往往也是最重要的一步. 本章主要做数据统计(总数.最大值.最小值.平均值.标准偏差)和判断记录匹配程度. Spark编程模型 编写Spark程序通常包括一系列相关步骤: 1. 在输入数据集上定义一组转换. 2. 调用action,用以将转换后的数据集保存到持久存储上,或者把结果返回到驱动程序的本地内存. 3. 运行本地计算,本地计算处理分布式计算的结果.本地计算有助于你确定下一步的转换和action. 2.4 小试牛刀:Spark shell和SparkConte

使用类型参数化数组(Array) 创建java.math.BigInteger实例: var big = new java .math.BigInteget("12345678") 对数组进行访问:圆括号形式 val greetingStrings :Array[String] = new Array[String] (3) greetingStrings(0) = "hello" 注:val定义变量,变量不能被重新赋值,单变量内部指向的内部对象仍可以改变. gre

package com.dtapp.base import scala.io.Source object WCntApp { def main(args: Array[String]) { val file = Source.fromFile("E:\\abc.txt", "UTF-8") var map = Map.empty[String, Int] for (line <- file.getLines){ val words = line.split(&

今天学习了下scala中的链式调用风格的实现,在spark编程中,我们经常会看到如下一段代码: sc.textFile("hdfs://......").flatMap(_.split(" ")).map(_,1).reduceByKey(_ + _)........ 这种风格的编程方法叫做链式调用,它的实现方法见下面的代码: class Animal {def breathe : this.type = this}class Cat extends Animal

Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可 以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习. 本文将介绍3个Scala Spark编程实例,分别是WordCount.TopK和SparkJoin,分别代表了Spark的三种典型应用. 1. WordCount编程实例 WordCount是一个最简单的分布式应用实例,主要功能是统计输

package com.dtspark.scala.basics /** * Scala中的基本控制结构有顺序.条件和循环三种方式,这个其它的JVM语言是一致的,但是Scala也有一些高级的流程控制结构类模式匹配: * 在这里我们主要if.for.while等三种控制结构及其企业级最佳实践,并且在最后用Spark源码说明 * */ object ControlStructures { def main(args: Array[String]): Unit = { println("Scala&q

大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: 1.数据集合:会涉及数据的搜集.存储等,搜集会有很多技术,存储技术现在比较经典方案是使用Hadoop,不过也很多方案采用Kafka.  2.对数据集合的操作技术,目前全球最火爆的是Spark.  Spark的框架实现是语言是Scala,首选应用程序开发语言也是Scala,所以Scala对集合以及集合操作的支持就非常重要且非常强大,因此Spark中对很多数据操作算子和Scala中对集合的操作是一样的.  Scala中数据的创建与操作

I'm converting a json-like string into json, and the following code works in the scala repl import org.json4s._ import org.json4s.JsonDSL._ import org.json4s.JsonDSL.WithDouble._ import org.json4s.native.JsonMethods._ val value = "{100:1.50;500:1.00;

在<正则表达式基础知识>中概括了正则表达式的基础知识, 本文讲解如何使用正则表达式解析方法参数,从而可以根据 DAO 自动生成 Service. 在做 Java 项目时,常常要根据 DAO 生成 Service , 而 Service 有时是简单的调用 DAO 方法.比如根据 public CreativeDO findByCreativeId(Long creativeId)  生成如下代码: public CreativeDO findByCreativeId(Long creativeI

其实我想找一门“具有Python的简洁写法和融合Java平台的优势, 同时又足够有挑战性和灵活性”的编程语言. Scala 就是一个不错的选择. Scala 有很多语言特性, 建议先掌握基础常用的: 变量.控制结构 .正则与模式匹配.集合.文件读写/目录遍历.高阶函数.并发 Actor 模型: 然后是面向对象特性:类.Trait.泛型.注解 .操作符重载;  最后再细细学习那些复杂不常用的特性:类型转换.编译解析等:注重挖掘根源性的思想,能够推导出其它的特性. 本文使用 Scala 实现 Jav

最近在学习spark相关知识.准备搭建eclipse开发环境.在安装过程中遇到的问题记录下来. 首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html 下载完成后,新建scala项目,在项目上右键, 选择properties, 添加spark的jar包. 编写wordcount 程序, package example import org.apache.spark._ import SparkContext._