Spark Tungsten揭秘 Day1 jvm下的性能优化 今天开始谈下Tungsten,首先我们需要了解下其背后是符合了什么样的规律. jvm对分布式天生支持 整个Spark分布式系统是建立在分布式jvm基础上的,jvm非常伟大的一点在于把不同机器的计算能力联合起来了,jvm也把不同机器的存储能力连接起来了. jvm是怎么做到这一点的,jvm本身就是一个软件,有自己的通讯方式以及自己的一套协议,在进行java或者scala开发的时候,就支持了一个最重要的设计模式:代理模式,基于代理模式可以…

持久代:不会被 gc 给轻易回收的,创建后一直存在,持久代在堆内存里面,但是不归 java 程序使用.持久代是 动态 load 的那些 class,局部变量,去 gc 其实也 gc 不了啥 1.8 之前是 Perm Gen之后 ,1.8 之后 ,非堆就变成了 mate space,叫元组区,就放 load 的那些 class.mate space用的是本地内存,1.8之前用的是虚拟内存.(metaspace是非堆内存里面) # jstat -gcutil S0 S1 E O M CCS YGC…

转载于知乎 作者:Ted Mosby链接:https://www.zhihu.com/question/21535747/answer/144884632来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. Hotspot JVM实现包括了Serial GC, Parallel GC, CMS, G1 GC 4套算法组合.下面来讲一讲这些算法组合分别包括了哪些算法. 1. Serial GC算法:Serial Young GC + Serial Old GC (实际上它…

前言 ​ 前面我们了解了JVM相关的理论知识,这章节主要从实战方面,去解读JVM. 类加载机制 ​ Java源代码经过编译器编译成字节码之后,最终都需要加载到虚拟机之后才能运行.虚拟机把描述类的数据从 Class 文件加载到内存,并对数据进行校验.转换解析和初始化,最终形成可以被虚拟机直接使用的Java 类型,这就是虚拟机的类加载机制. 类加载时机 ​ 一个类型从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期将会经历加载(Loading).验证(Verification).准备(P…

Windows环境下修改“%TOMCAT_HOME%\bin\catalina.bat”文件,在文件开头增加如下设置:set JAVA_OPTS=-Xms256m -Xmx512m Linux环境下修改“%TOMCAT_HOME%\bin\catalina.sh”文件,在文件开头增加如下设置:JAVA_OPTS=’-Xms256m -Xmx512m’ 其中,-Xms设置初始化内存大小,-Xmx设置可以使用的最大内存. --------------------------------------…

网上搜索了下,知道了大概,不能用apt装了,oracle也不再提供deb包了.只能下tar.gz包自己装. 先下载下来jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 下载tar.gz. tar -xzvf jdk-7u80-linux-x64.tar.gz然后把得到的jdk1.7.0_80 文件夹整个移动到/usr/lib/jvm 下. 接下来执行: sudo upda…

最近在做一个dcos(数据中心操作系统)的东西,需要用marathon来做进程管理.遗憾的是0.6版本的marathon在API方面很是缺少,换成了0.15版本之后,运行时提示“Unsupported major.minor version 52.0”,这是提示java版本太低,需要使用java1.8.由于对linux不是很熟,找了一些资料,解决了这个问题. 我用的是ubuntu系统,系统自带1.6和1.7的java包.这个可以在/usr/lib/jvm/目录下可以看到.接下来进入步骤: a.先…

概述 一个对象本身的内在结构需要一种描述方式,这个描述信息是以字节码的方法存储在方法区中的.Class本身就是一个对象,都以KB为单位,如果new Integer()为了表示一个数据就占用KB级别的内存就有点不值了,下面讲解JVM是如何做的.为了表示对象的属性.方法等信息,不得不需要结构描述.Hotspot VM使用对象头部的一个指针指向Class区域的方式来找到对象的Class描述,以及内部的方法.属性入口.如下图所示: 在HotSpot虚拟机中,对象在内存中存储布局分为2块区域:对象头(He…

一.Tomcat的JVM提示内存溢出 查看%TOMCAT_HOME%\logs文件夹下,日志文件是否有内存溢出错误 二.修改Tomcat的JVM 1.错误提示:java.lang.OutOfMemoryError: Java heap space Tomcat默认可以使用的内存为128MB,在较大型的应用项目中,这点内存是不够的,有可能导致系统无法运行.常见的问题是报Tomcat内存溢出错误,Out of Memory(系统内存不足)的异常,从而导致客户端显示500错误,一般调整Tomcat的使…

目录 1.前言 2.单JVM锁 3.分布式锁 4.总结 =========正文分割线================= 1.前言 锁就像一把钥匙,需要加锁的代码就像一个房间.出现互斥操作的场景:多人同时想进同一个房间争抢这个房间的钥匙(只有一把),一人抢到钥匙,其他人都等待这个人出来归还钥匙,此时大家再次争抢钥匙循环下去. 本篇用java语言分析锁的原理(简单描述)和应用(详细代码),根据锁的作用范围分为:JVM锁和分布式锁.如理解有误之处,还请指出. 2.单JVM锁(进程级别) 程序部署在一台…