一.问题背景 一个朋友在使用 XGBoost 框架进行机器学习编码,他们的一个demo, 在笔记本的虚拟机(4核)运行的时候,只要8s, 但是在一个64核128G 的物理机上面的虚拟机去跑的时候,发现时间需要更长. 笔记本执行: 二.问题定位和解决 首先看到负载是比较高的,内存占用比较少.因为是计算型的,所以这种状态是正常的. 一开始我觉得是GIL 锁,后面询问是使用了 XGBoost 框架,想去官网看看能不能找到相关内容 XGBoost 多线程支持 文档的一段话提醒了我: 我们可以在具有更多核

原文转载自美团从实际案例聊聊Java应用的GC优化,感谢原作者的贡献 当Java程序性能达不到既定目标,且其他优化手段都已经穷尽时,通常需要调整垃圾回收器来进一步提高性能,称为GC优化.但GC算法复杂,影响GC性能的参数众多,且参数调整又依赖于应用各自的特点,这些因素很大程度上增加了GC优化的难度. 即便如此,GC调优也不是无章可循,仍然有一些通用的思考方法.本篇会介绍这些通用的GC优化策略和相关实践案例,主要包括如下内容: 优化前准备: 简单回顾JVM相关知识.介绍GC优化的一些通用策略.优化

Java多线程--锁的优化 提高锁的性能 减少锁的持有时间 一个线程如果持有锁太长时间,其他线程就必须等待相应的时间,如果有多个线程都在等待该资源,整体性能必然下降.所有有必要减少单个线程持有锁的时间.比如下面的代码: public synchronized void someMethods() { fun1(); fun2(); // other code funNeedToSync(); // other code fun3(); fun4(); } 如果fun1~fun4都是耗时任务的话,

Java虚拟机性能管理神器 - VisualVM(8) 查找JAVA应用程序耗时的方法函数[转] 标签: javajvm监控工具性能优化 2015-04-07 16:47 1846人阅读 评论(0) 收藏 举报  分类: VisualVM(8)  版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[+]   Java虚拟机性能管理神器 - VisualVM(8) 查找JAVA应用程序耗时的方法函数 1.为什么要监控? JAVA程序在开发前,根据设计文档的性能需求,是要对程序的性

Java后台服务慢优化杂谈 前言 你是否遇到过这样的场景,当我们点击页面某个按钮后,页面一直loading,要等待好几分钟才出结果的画面,有时直接502或504,作为一个后台开发,看到自己开发的系统是这个样子,就问你惭愧吗.这种问题其实是性能问题,当用户量少数据少的时候,处理还是很快的,数据量一旦大起来,后台处理时间就会延长,前端大部分直接超时或无限等待直接死掉. 方案 解决数据量大的性能问题,要根据实际业务场景来针对分析.但归根结底,只有一条最终方案,即减少与数据库交互次数,尤其是在for循环

MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案,实现当前业界最快运行速度.本文从推理侧的数据排布(Inference Layout)讲起,接着介绍MegEngine的Im2col+MatMul.Winograd.Fast-Run工程优化实践.经典的轻量卷积神经网络实验表明,经过MegEngine加速,ResNet18和ResNet50最高加速比

一.上文回顾 上回我们主要从图片的合并.压缩等方面介绍前端性能优化问题(详见Java Web 前端高性能优化(一)) 本次我们主要从图像BASE64 编码.GZIP压缩.懒加载与预加载以及 OneAPM Browser Insight 的定位分析功能四个方面介绍前端优化方法 二.图像的 BASE64 编码 不管如何,图片的下载始终都要向服务器发出请求,要是图片的下载不用向服务器发出请求,而可以随着 HTML 的下载同时下载到本地那就太好了.而目前,浏览器已经支持了该特性,我们可以将图片数据编码成

Java 进阶7 并发优化 5 并发控制板方法 20131114 前言:          Java 中多线程并发程序中存在线程安全的问题,之前学习 Java的同步机制,掌握的同步方法只有一种就是使用 synchronized关键字,解决线程之间的同步问题.同时在操作系统 C++多线程中也了解到其他的多线程同步机制:比如信号量.临界区.互斥锁等等           在这里系统的整理一下在 Java中实现线程同步的机制:内部锁,重入锁,读写锁,信号量等等. volatile 关键字,保证读写的共

Java进阶7并发优化4——JDK并发数据结构20131114 由于并发程序和串行程序的不同特点,在串行程序中使用的数据结构可能无法在并行程序中直接的正常使用,因为这些数据结构可能不是线程安全的,所以这一次并发程序的优化介绍的是并发程序中的数据结构,比如并发List,并发Set,并发Map等. 1.并发List Vector实现的List接口,CopyOnWriteArrayList也是实现的List接口,这两个List的实现是线程安全的,但是对于ArrayList不是线程安全的,所以在多线程中

Java 进阶7 并行优化 JDK多任务执行框架技术 20131114          Java 语言本身就是支持多线程机制的,他提供了 Thread 类 Runnable 接口等简单的多线程支持工具,同时为了进一步改善并发程序的性能,在 JDK中还提供了用于多线程管理的线程池概念.并行优化中,一个重要的知识点就是 线程池技术. ExecutorService exe = Executors.newCachedThreadPool(); 1. 无限制线程的缺陷           多线程设计的

Java进阶7 并发优化2 并行程序设计模式20131114 1.Master-worker模式 前面讲解了Future模式,并且使用了简单的FutureTask来实现并发中的Future模式.下面介绍的是Master-Worker模式. 这个模式也是经常使用的并发模式之一,核心思想就是系统有两类线程协同工作:Master线程和Worker线程.Master线程负责接收和分配任务,Worker线程负责处理这些子任务.当每一个worker线程处理完成之后,将结果返回给Master线程,有Maste

技术栈 前端:Thymeleaf.Bootstrap.JQuery 后端:SpringBoot.JSR303.MyBatis 中间件:RabbitMQ.Redis.Druid 功能模块 分布式会话,商品列表页,商品详情页,订单详情页,系统压测,缓存优化,消息队列,接口安全. 一.项目框架搭建 1.Spring Boot环境搭建 2.集成Thymeleaf,Result结果封装 3.集成Mybatis+Druid 4.集成Jedis+Redis安装+通用缓存Key封装 二.实现登录功能 1.数据库

<Java程序性能优化>说性能优化包含五个层次:设计调优.代码调优.JVM调优.数据库调优.操作系统调优. 常用的几个代码优化方案: 使用单例 对于IO处理.数据库连接.配置文件解析加载等一些非常耗费系统资源的操作,我们必须对这些实例的创建进行限制,或者是始终使用一个公用的实例,以节约系统开销,这种情况下就需要用到单例模式. 使用Future模式 假设一个任务执行起来需要花费一些时间,为了省去不必要的等待时间,可以先获取一个"提货单",即Future,然后继续处理别的任务,

基于自动驾驶车辆的NVIDIA-TensorRT推理实时优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehicles 自动驾驶系统使用各种神经网络模型,这些模型需要在gpu上进行非常精确和高效的计算.Zoox是一家全新开发robotaxis的初创公司,利用NVIDIA DRIVE的高性能.节能计算.最近,Zoox在旧金山发布了一个小时的完全自主的游戏,详细展示了他们的人工智能堆栈.

转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6561264.html  锁的优化策略 编码过程中可采取的锁优化的思路有以下几种: 1:减少锁持有时间 例如:对一个方法加锁,不如对方法中需要同步的几行代码加锁: 2:减小锁粒度 例如:ConcurrentHashMap采取对segment加锁而不是整个map加锁,提高并发性: 3:锁分离 根据同步操作的性质,把锁划分为的读锁和写锁,读锁之间不互斥,提高了并发性. 4:锁粗化 这看起来与思路1有冲突,其实不然

   本章重点介绍的是基于 Java并行程序开发以及优化的方法,对于多核的 CPU,传统的串行程序已经很好的发回了 CPU性能,此时如果想进一步提高程序的性能,就应该使用多线程并行的方式挖掘 CPU的潜能.本章知识点:           常用的多线程设计模式,比如 Future模式,Master-Worker 模式,Guarded Suspeionsion模式.不变模式.生产者消费者模式等等.          JDK 内置的多线程框架和各种线程池技术:          JDK 内置的并发数

转自美团点评技术博客:https://tech.meituan.com/jvm_optimize.html 当Java程序性能达不到既定目标,且其他优化手段都已经穷尽时,通常需要调整垃圾回收器来进一步提高性能,称为GC优化.但GC算法复杂,影响GC性能的参数众多,且参数调整又依赖于应用各自的特点,这些因素很大程度上增加了GC优化的难度.即便如此,GC调优也不是无章可循,仍然有一些通用的思考方法.本篇会介绍这些通用的GC优化策略和相关实践案例,主要包括如下内容: 优化前准备: 简单回顾JVM相关知

https://tech.meituan.com/jvm_optimize.html 当Java程序性能达不到既定目标,且其他优化手段都已经穷尽时,通常需要调整垃圾回收器来进一步提高性能,称为GC优化.但GC算法复杂,影响GC性能的参数众多,且参数调整又依赖于应用各自的特点,这些因素很大程度上增加了GC优化的难度.即便如此,GC调优也不是无章可循,仍然有一些通用的思考方法.本篇会介绍这些通用的GC优化策略和相关实践案例,主要包括如下内容: 优化前准备: 简单回顾JVM相关知识.介绍GC优化的一些

java编译期优化 java语言的编译期其实是一段不确定的操作过程,因为它可以分为三类编译过程:1.前端编译:把.java文件转变为.class文件2.后端编译:把字节码转变为机器码3.静态提前编译:直接把*.java文件编译成本地机器代码从JDK1.3开始,虚拟机设计团队就把对性能的优化集中到了后端的即时编译中,这样可以让那些不是由Javac产生的Class文件(如JRuby.Groovy等语言的Class文件)也能享受到编译期优化所带来的好处Java中即时编译在运行期的优化过程对于程序运行来

程序员:为什么程序总是那么慢?时间都花到哪里去了? 面试官:若你写的 Java 程序,出现了性能问题,该怎么去排查呢? 工欲善其事必先利其器,为你呈上一箩筐性能优化工具,必有一款满足你,废话不多说,直奔主题. 1. hprof 工具 hprof 工具是通过织入监控代码,来对 Java 程序进行监控的一款工具.可以监控 Java 程序在运行时占用的 CPU,及统计堆内存使用等. 例如:每隔 10 毫秒采样 CPU 消耗信息,并把信息保存到 hprof.txt 文件中. java -agentlib

常用的excel导出方案,详情见Spring Boot 入门(十二):报表导出,对比poi.jxl和esayExcel的效率,其中jxl.esayEscel 底层都是基于 poi,它们仅仅是对 poi 进行了封装,使导出 excel 的代码更加简洁(封装 poi,导出 excel 的工具类有很多,jxl 和 esayExcel 使用的比较多).所以,如果遇到 excel 导出效率低下,直接基于 poi 导出 Excel,效率肯定是最高的,只是代码比较繁琐与杂乱. 我主要是基于 esayExcel