安装scala.msi https://blog.csdn.net/sinat_32867867/article/details/80305302 notepad++ object HelloScala{ def main(args:Array[String]){ println("hello scala,i love you!") } }…

package com /** * Created by ZX on 2015/11/6. */ object VariableDemo { def main(args: Array[String]) { //1定义变量----------------------------------------- //使用val定义的变量值是不可变的,相当于java里用final修饰的变量 val i = 1 //使用var定义的变量是可变得,在Scala中鼓励使用val var s = "hello&qu…

1 类的定义 package com /** * Created by Administrator on 2019/6/3. */ //类并不用声明为public. class Person { //用val修饰的变量是只读属性,有getter但没有setter //(相当与Java中用final修饰的变量) val id = "9527" //用var修饰的变量既有getter又有setter var age = 18 //类私有字段,只能在类的内部使用 private var na…

下载地址 https://pan.baidu.com/s/1qWDl29L9I_KVU54c0ioNfQ fvfh 3.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HIVE.HBASE等数据存储系统: 导出数据:从Hadoop的文件系统中导出数据到关系数据库 3.2 工作机制 将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对input…

package com import scala.collection.mutable.ArrayBuffer /** * Created by Administrator on 2019/4/8. */ object TestMap { def main(args: Array[String]) { //**定长数组和变长数组************************************************* //数组常用方法 val arr = Array(1, 2, 3, 4…

1 需求 从外部购买数据,数据提供方会实时将数据推送到6台FTP服务器上,我方部署6台接口采集机来对接采集数据,并上传到HDFS中 提供商在FTP上生成数据的规则是以小时为单位建立文件夹(2016-03-11-10),每分钟生成一个文件(00.dat,01.data,02.dat,........) 提供方不提供数据备份,推送到FTP服务器的数据如果丢失,不再重新提供,且FTP服务器磁盘空间有限,最多存储最近10小时内的数据 由于每一个文件比较小,只有150M左右,因此,我方在上传到HDFS过程…

package com /** * Created by ZX on 2016/4/5. */ object ListTest { def main(args: Array[String]) { //创建一个List val lst0 = List(1,7,9,8,0,3,5,4,6,2) //将lst0中每个元素乘以10后生成一个新的集合 val lst01=lst0.map(_ * 10) println("lst01"+lst01) val lst1 = lst0.map(x =…

val lines=List("hello tom hello jerry","hello tom hello kitty hello china") //方法一: val wc=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).toList.sortBy(_._2).reverse //方法二: val wc2=lines.flatM…

package com /** * Created by Administrator on 2019/4/8. */ object TestMap { def ttt(f: Int => Int): Unit = { val r = f(10) println(r) } val f0 = (x: Int) => x * x def m0(x: Int): Int = { x * 11 } def main(args: Array[String]) { // val arr=Array(1,2,…

https://blog.csdn.net/u012637358/article/details/82593492 下载的kettle是汉化的 改成英文的 工具——选项——选择英文…