一.scala类 . 在java中程序的入口是main方法->定义在class中 在scala中程序的入口是main方法->定义在object对象中 案例一: class People { //定义属性 var name:String="" val age: //定义方法 def sleep():String={ name+" is sleeping" } def wachTV(TVName:String)={ println(name +"…

课程内容涵盖了Java互操作性. Javap 类 异常 特质 单例对象 闭包和函数 变化性 Javap javap的是JDK附带的一个工具.不是JRE,这里是有区别的. javap反编译类定义,给你展示里面有什么.用法很简单 [local ~/projects/interop/target/scala_2.8.1/classes/com/twitter/interop]$ javap MyTrait Compiled from "Scalaisms.scala" public inte…

以前一直是用maven去管理java项目,现在开始写scala项目了但是在scala-ide中去编译scala项目和sbt的区别一直没弄清楚受到文章:http://my.oschina.net/yjwxh/blog/601566的启发,查了相关的资料 sbt官网是http://www.scala-sbt.org/官网的文档对中文特别友好,有中文版本的,但是看了一遍感觉很难接受这么复杂的配置方法sbt是一种构建工具,在eclipse-ide中并没有集成下载安装msi之后,在默认路径出现了/bin和…

本文翻自官方博客,略有添加:https://github.com/mesos/spark/wiki/Spark-Programming-Guide Spark发指南 从高的面看,其实每一个Spark的用,都是一个Driver类,通运行用户定义的main函,在集群上行各种并发操作和算 Spark提供的最主要的抽象,是一个性分布式据集(RDD),它是一种特殊集合,可以分布在集群的点上,以函式程操作集合的方式,行各种各样的并发操作.它可以由hdfs上的一个文件建而,或者是Driver程序中,从一个已经…

http://www.iteblog.com/archives/1084 Kafka Web Console是一款开源的系统,源码的地址在https://github.com/claudemamo/kafka-web-console中.Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka.这个系统的功能和KafkaOffsetMonitor很类似,但是我们从源码角度来看,这款系统实现比KafkaOffsetMonitor要复杂很多,而且…

学习路上的新起点:大数据Scala + Spark +(HDFS + HBase),本文主要介绍下Scala的基本语法和用法吧.最后再简单介绍一种Java开发工具IntelliJ IDEA的使用. Scala Scala语言是一种面向对象语言,结合了命令式(imperative)和函数式(functional)编程风格,其设计理念是创造一种更好地支持组件的语言. Object-Oriented Meets Functional 特性 多范式(Multi-Paradigm)编程语言,类似Java.…

Kafka Web Console:是一款开源的系统,源码的地址在https://github.com/claudemamo/kafka-web-console中.Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka.这个系统的功能和KafkaOffsetMonitor很类似,但是我们从源码角度来看,这款系统实现比KafkaOffsetMonitor要复杂很多,而且编译配置比KafkaOffsetMonitor较麻烦. 要想运行这套系统…

原文出处:http://www.ibm.com/developerworks/library/os-spark/ Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载. Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架.与 Hadoop 不同,Spark 和 Sca…

目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错 解决方案: 1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.6 2. 编译打包成功后, 进入当前kafka目录的 core/target/scala_2.8.0/, 找到kafka-0.7.2, 将此jar包通过maven install -file 或者 maven deploy -file 添加到本地或…

spark一些入门资料 A Scala Tutorial for Java Programmers http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html 学习资源(视频教程,书,样例等) spark.apache.org/documentation.html 入门指南 spark.apache.org/docs/latest/quick-start.html 编程指南 spark.apache.org/docs/…

https://www.cnblogs.com/1ssqq1lxr/p/10417005.html 由于公司业务需求,需要搭建一套实时处理数据平台,基于多方面调研选择了Flink. 初始化Swarm环境(也可以选择k8s) 部署zookeeper集群 基于docker-compose ,使用 docker stack 部署在容器中,由于zookeeper存在数据持久化存储,这块后面可以考虑共享存储方案. services: zoo1: image: zookeeper restart: alwa…

错误截图如下: Error while importing sbt project: List([info] Loading global plugins from C:\Users\RYJ\.sbt\1.0\plugins [warn] insecure HTTP request is deprecated 'http://maven.aliyun.com/nexus/content/groups/public'; switch to HTTPS or opt-in as ("aliyun&q…

文章更新于:2020-04-05 注:本次实验使用的操作系统及各个程序版本号 类别 版本号 说明 操作系统 Ubuntu 16.04.6 LTS 代号 xenial jdk java version 1.8.0_241 spark spark version 2.4.5 scala Scala version 2.11.12 spark 自带 sbt sbtVersion 1.3.8 scala-SDK scala-SDK-4.7.0 Scala IDE for eclipse 使用Eclips…