年9月9日发布了1.5版本,该版本由230+开发人员和80+机构参与,修复了1400多个补丁,该版本可以通过 http://spark.apache.org/downloads.html进行下载.Spark1.5中最主要的修改内容是为了提升Spark性能.可用性和操作稳定性,特别在该版本中引入了Project Tungsten(钨丝项目),该项目通过对几个底层框架构建的优化进一步Spark性能.另外在该版本中添加了Streaming组件.机器学习算法和新的SparkR接口等.具体内容如下: 性能…

一.DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成.主要的变化是由Spark自己来管理内存而不是使用JVM,这样可以避免JVM GC带来的性能损失.内存中的Java对象被存储成Spark自己的二进制格式,计算直接发生在二进制格式上,省去了序列化和反序列化时间.同时这种格式也更加紧凑,节省内存空间,而且能更好的估计数据量大小和内存使用情况.如果大家对这部…

引言 大家好,我是蔡一凡,是Cassandra的贡献者之一.(虽然我不便透露我的公司名称),但目前我们公司Cassandra的部署是全世界最大的之一,Cassandra在我们公司也有很多的应用. Cassandra是一个拥有high-scalability(高伸缩性).high-availability(高可用性)的数据库.接下来,我们来看一下Cassandra 4.0将会为我们带来什么新的令人激动的特性. 首先,不久之前,Cassandra 4.0-beta1已经发布了,在发布这个版本之前,总…

Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据.其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果. 1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4…

Java 11 已于 2018 年 9 月 25 日正式发布,之前在Java 10 新特性介绍中介绍过,为了加快的版本迭代.跟进社区反馈,Java 的版本发布周期调整为每六个月一次——即每半年发布一个大版本,每个季度发布一个中间特性版本,并且做出不会跳票的承诺.通过这样的方式,Java 开发团队能够将一些重要特性尽早的合并到 Java Release 版本中,以便快速得到开发者的反馈,避免出现类似 Java 9 发布时的两次延期的情况. 按照官方介绍,新的版本发布周期将会严格按照时间节点,于每年…

jdk7和8的一些新特性介绍 本文是我学习了解了jdk7和jdk8的一些新特性的一些资料,有兴趣的大家可以浏览下下面的内容. 官方文档:http://www.oracle.com/technetwork/java/javase/jdk7-relnotes-418459.html 在jdk7的新特性方面主要有下面几方面的增强: 1.jdk7语法上 1.1二进制变量的表示,支持将整数类型用二进制来表示,用0b开头. // 所有整数 int, short,long,byte都可以用二进制表示 // A…

webpack 可以看做是模块打包机.它做的事情是:分析你的项目结构,找到JavaScript模块以及其它的一些浏览器不能直接运行的拓展语言(Scss,TypeScript等),并将其打包为合适的格式以供浏览器使用.目前,webpack 总共发布了三个稳定版本.从17年八月底开始,经历了长达五个月的开发周期,webpack 团队通过增加大量新特性.bug修复.问题改善并于近期发布了 webpack 4.0.0 的 beta 版本.如果你对 webpack 感兴趣,下面我们就来学习一下 webpa…

1.MyBatis 最新版本 3.5.2 发布 MyBatis最新版本是:3.5.2,发布时间是:2019年7月15日 2.MyBatis 3.5.2 新特征介绍 我们知道,MyBatis 是支持定制化 SQL.存储过程以及高级映射的优秀的持久层框架.在定制化SQL方面,MyBatis做出了很多的改进和优化.下面我们看看新版本的MyBatis有哪些改进呢? (1)支持LIMIT 在select/update/delete的应用.(2)支持OFFSET在select中的使用.(3)支持FETCH…

GrapeCity Documents for Excel 文档API组件 V2.2 正式发布,本次新版本包含诸多重量级产品功能,如:将带有形状的电子表格导出为 PDF.控制分页和电子表格内容.将Excel电子表格的特定页面打印为PDF.在工作簿之间剪切和复制工作表等. 作为一款适用于 .NET 和 Java 6.0+ 标准的文档API组件,GrapeCity Documents for Excel 通过编码的方式,无需依赖 Microsoft Excel ,即可超快批量操作 Excel 文件,…

dubbx是当当网对原阿里dubbo2.x的升级,并且兼容原有的dubbox.其中升级了zookeeper和spring版本,并且支持restfull风格的远程调用. dubbox git地址:  https://github.com/dangdangdotcom/dubbox  dubbox 关于restfull的介绍:http://dangdangdotcom.github.io/dubbox/rest.html  --------------------------------------…