Spark核心API----------------- [SparkContext] 连接到spark集群,入口点. [HadoopRDD] 读取hadoop上的数据, [MapPartitionsRDD] 针对父RDD的每个分区提供了函数构成的新类型RDD. [PairRDDFunctions] 对偶RDD函数类. 可用于KV类型RDD的附加函数.可以通过隐式转化得到. [ShuffleRDD] 从Shuffle中计算结果的RDD. [RDD] 是分区的集合. 弹性分布式数据集. 不可变的数据…

官网对Spark的介绍 http://spark.apache.org/ Apache Spark™ is a unified analytics engine for large-scale data processing Lightning-fast cluster computing. 快如闪电的集群计算. 大规模快速通用的计算引擎. 速度: 比hadoop 100x,磁盘计算快10x 使用: java / Scala /R /python 提供80+算子(操作符),容易构建并行应用. 通…

概述     SQLite提供了一系列接口供用户访问数据库,主要包括连接数据库,处理SQL,迭代查询结果等.本文会针对我们使用SQLite的主要场景,列出核心的API,详细介绍API的用法并给出代码用例.1.打开关闭数据库sqlite3_open_v2原型: int sqlite3_open_v2( const char *filename, /* Database filename (UTF-8) */ sqlite3 **ppDb, /* OUT: SQLite db handle */ i…

ConfigurationSessionFactorySessionTransactionQueryCriteria Configuration Configuration对象用于封装Hibernate的配置信息,在Hibernate框架启动后,需要装载对应的配置文件.Hibernate的配置文件有两种格式hibernate.properties文件(早期格式)hibernate.cfg.xml文件(常用格式) 使用hibernate.properties加载配置 Configuration c…

Node采用V8引擎处理JavaScript脚本,最大特点就是单线程运行,一次只能运行一个任务.这导致Node大量采用异步操作(asynchronous opertion),即任务不是马上执行,而是插在任务队列的尾部,等到前面的任务运行完后再执行.由于这种特性,某一个任务的后续操作,往往采用回调函数(callback)的形式进行定义.so也不适用于try catch捕获错误,约定回调函数的第一个参数为为error对象. Node约定,如果某个函数需要回调函数作为参数,则回调函数是最后一个参数.另…

添加针对scala文件的编译插件 ------------------------------ <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca…

Hadoop与Spark的关系: ------------------- Spark 与mapReduce的区别: mapReduce和spark的内存结构: ------------------- spark替代hive区别: spark替代hive的查询引擎 ------------------- Spark Steaming 与 Storm 的区别: Spark Steaming 与 Storm模型对比…

Apache Spark吸引广大社区开发者的一个重要原因是:Apache Spark提供极其简单.易用的APIs,支持跨多种语言(比如:Scala.Java.Python和R)来操作大数据. 本文主要讲解Apache Spark 2.0中RDD,DataFrame和Dataset三种API:它们各自适合的使用场景:它们的性能和优化:列举使用DataFrame和DataSet代替RDD的场景.文章大部分聚焦DataFrame和Dataset,因为这是Apache Spark 2.0的API统一的重…

概述 分类决策树模型是一种描述对实例进行分类的树形结构. 决策树可以看为一个if-then规则集合,具有“互斥完备”性质 .决策树基本上都是 采用的是贪心(即非回溯)的算法,自顶向下递归分治构造. 生成决策树一般包含三个步骤:  特征选择 决策树生成 剪枝 决策树算法种类 决策树主要有 ID3, C4.5, C5.0 and CART几种, ID3, C4.5, 和CART实际都采用的是贪心(即非回溯)的算法,自顶向下递归分治构造.对于每一个决策要求分成的组之间的“差异”最大.各种决策树算法之间…

在本教程中,我们将介绍学习Meteor核心API. 如果你想限制代码只在服务器或客户端可以使用下面的代码运行 - meteorApp.js if (Meteor.isClient) { // Code running on client... } if (Meteor.isServer) { // Code running on server... } 您可以限制代码运行,只有在应用程序使用Cordova捆绑时可使用. if (Meteor.isCordova) { // Code runnin…