得到一个模型之后如何评价其性能? training error & generalization error & test error 如何理解generalization error(泛化误差)分为 noise 噪声.Variance 方差. bias偏差 误差 和 模型复杂度 的关系 实际训练模型过程中该如何做 training error & generalization error & test error (1)training error 模型在训练数据集上的误…

本文共三部分: 笔记之前的废话是和书结缘的过程: Systems Performance笔记是正文,记录了读书笔记以及一些实践: 一些优化记录将之前做的一些优化归纳起来,同时也能反思做的如何,加入跟Gregg的思路做会是什么样子? 1. 笔记之前的废话 读这本书之前,说实话是被几张图片给震惊. 把这几张图放到一起,可以看出变与不变.不变的是系统框架图,变的是根据主题改变,相应改变的工具集. 第1.5.6张是观察工具,将sar和perf-tools单列:第2张performance相关静态信息:第…

——深度学习的建模.调参思路整合. 写在前面 最近偶尔从师兄那里获取到了吴恩达教授的新书<Machine Learning Yearing>(手稿),该书主要分享了神经网络建模.训练.调节参数时所需要的一些技巧和经验.我在之前的一些深度学习项目中也遇到过模型优化,参数调节之类的问题,由于当时缺少系统化的解决方案,仅仅依靠感觉瞎蒙乱碰.虽然有时也能获得效果不错的网络模型,但对于该模型是否已到达最佳性能.该模型是否能适配更泛化的数据等问题心理没底.通过阅读这本教材,对于数据集的获取.划分:训练模型…

老李分享:<Java Performance>笔记1——性能分析基础   1.性能分析两种方法: (1).自顶向下: 应用开发人员通过着眼于软件栈顶层的应用,从上往下寻找性能优化的机会. (2).自底向上: 性能专家从软件栈底层的CPU统计数据(例如CPU高速缓存未命中率.CPU指令效率)开始,逐渐上升到应用自身的结构或应用常见的使用方式. 2.CPU使用率: 大多数操作系统的CPU使用率分为用户态CPU使用率和系统态CPU使用率. 用户态CPU使用率:执行应用程序代码的时间占总CPU时间的百…

ASP.NET Core 2 High Performance 大概的翻看了一下这本书,这本C# 7 and .NET Core 2.0 High Performance内容要好很多,这里先放出对应目录,有兴趣的朋友,可以到中国最大IT盗版书网站里找这本书. 读书笔记:2~5章 读书笔记:6~7章 读书笔记:8~12章 目录章节翻译: ASP.NET Core 2 新特性 为什么性能会是一个新特性 为什么性能会是一个特性 常见的性能问题 了解硬件 工具和成本 设置你的开发环境 Windows M…

Table of Contents Analyze MySQL PerformanceTuningSlow queries and Slowlog Brought to you by Rick James Analyze MySQL Performance When asked to analyze the performance of a MySQL server, there are two main tasks (tuning and slowlog) I like to start wi…

OLTP系统的问题很难排查和定位,这就是为什么要花那么多钱去请DBA 因为TP系统的请求很多都是毫秒级别,而且同时有大量的并发,所以由于资源,或随机的原因导致的问题,很难去定位根因 哪怕数据库系统尤其是商业数据库系统,已经采集了上千维的对系统和数据库的监控指标,但是仍然很难提高有效的root cause工具,帮助到DBA DBSherlock就是为了帮助DBA进行异常发现和根因诊断所设计的performance explanation framework. 用户在UI上选取一个异常,DBSher…

一.Creating a trace or workload 注意点: In the Trace Properties dialog box, there is a checkbox option in the General tab with the caption Server processes trace data, to specify whethertrace data should be processed on the server. If not checked, trace…

4.内存使用率: 内存使用率的相关属性包括页面调度或页面交换.加锁.线程迁移中的让步式和抢占式上下文切换. 当应用运行所需的内存超过可用物理内存时,就会发生内存页面交换,系统在进行页面交换或使用虚拟内存时,应用会表现出明显的性能问题.为了应对这种可能出现的情况,通常要为系统配置swap空间,swap空间一般会在一个独立的磁盘分区上,当应用耗尽物理内存时,操作系统会将应用中最少运行的部分置换到磁盘上的swap空间,当访问应用被置换出去的数据时,就必须将它从磁盘置换进物理内存,而这种置换活动会对性能…

在SQL中使用count()好像是非常自然的事情: SELECT COUNT(*) FROM TABLE_NAME; 有时候确实会想过,count(*)和单独的count(column_name)有什么区别,会不会后者效率更好(太拿衣服...),不过一直没有去追究. Chapter 6:Query Perfomance Optimization中专门有一节讲了count count(column_name):只会计算该column上非NULL的行数,这个行为和其他聚集函数一样(SUM会忽略NUL…