总结:不平衡数据的分类,(1)数据层面:使用过采样是主流,过采样通常使用smote,或者少数使用数据复制.过采样后模型选择RF.xgboost.神经网络能够取得非常不错的效果.(2)模型层面:使用模型集成,样本不做处理,将各个模型进行特征选择.参数调优后进行集成,通常也能够取得不错的结果.(3)其他方法:偶尔可以使用异常检测技术,主要有IsolationForest,OneClassSVM,LocalOutlierFactor,KMeans,其中IsolationForest效果最好.但是不及前…

1.评价指标的局限性 问题1 准确性的局限性 准确率是分类问题中最简单也是最直观的评价指标,但存在明显的缺陷.比如,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率.所以,当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素. 例子:Hulu的奢侈品广告主希望把广告定向投放给奢侈品用户.Hulu通过第三方的数据管理平台拿到了一部分奢侈品用户的数据,并以此为训练集和测试集,训练和测试奢侈品用户的分类模型,该模型的分类准确率超过了95%,但在实际广告…

一.前述 调优对于模型训练速度,准确率方面至关重要,所以本文对神经网络中的调优做一个总结. 二.神经网络超参数调优 1.适当调整隐藏层数对于许多问题,你可以开始只用一个隐藏层,就可以获得不错的结果,比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了, 很长一段时间人们满足了就没有去探索深度神经网络, 但是深度神经网络有更高的参数效率,神经元个数可以指数倍减少,并且训练起来也更快!(因为每个隐藏层上面神经元个数减少了可以完成相同的功能,则连接的参数就少了) 就好像直接画一个森林会很慢,但…

XGBoost算法在实际运行的过程中,可以通过以下要点进行参数调优: (1)添加正则项: 在模型参数中添加正则项,或加大正则项的惩罚力度,即通过调整加权参数,从而避免模型出现过拟合的情况. (2)控制决策树的层数: 通过叶子结点数目控制决策树的层数,视乎样本量大小决定,对于10万以下 的样本,一般在1到4之间,而针对更大的样本量,可以尝试更深的决策树层数发掘隐藏在数据里的一些规律或模式.(3)设定叶子结点包含的最少样本数目: 从而防止出现过小的叶子结点,降低预测(4)增加算法迭代次数: 可有效提…

史上最强MySQL参数调优及数据库锁实践 1. 应用优化 1.2 减少对MySQL的访问 1.2.1 避免对数据进行重复检索 1.2.2 增加cache层 1.3 负载均衡 1.3.1 利用MySQL复制分流查询 1.3.2 采用分布式数据架构 2. MySQL中查询缓存优化 2.1 概述 2.2 操作流程 2.3 查询缓存配置 2.4 开启查询缓存 2.5 查询缓存SELECT选项 2.6 查询缓存失效的情况 3. MySQl内存管理及优化 3.1 内存优化原则 3.2 MyISAM内存优化…

堆.栈.方法区概念区别 1.堆 堆内存用于存放由new创建的对象和数组.在堆中分配的内存,由java虚拟机自动垃圾回收器来管理.根据垃圾回收机制的不同, Java堆有可能拥有不同的结构,最为常见的就是将整个Java堆分为新生代和老年代.其中新声带存放新生的对象或者年龄不大的 对象,老年代则存放老年对象.新生代分为edn区.s0区.s1区,s0和s1也被称为from和to区域,他们是两块大小相等并且可以 互相角色的空间.绝大多数情况下,对象首先分配在eden区,在新生代回收后,如果对象还存活,则进…

spark 模型选择与超参调优 机器学习可以简单的归纳为 通过数据训练y = f(x) 的过程,因此定义完训练模型之后,就需要考虑如何选择最终我们认为最优的模型. 如何选择最优的模型,就是本篇的主要内容: 模型验证的方法 超参数的选择 评估函数的选择 模型验证的方法 在<统计学习方法>这本书中,曾经讲过模型验证的方法有三种,分别是简单的交叉验证,S折交叉验证,留一交叉验证 简单的交叉验证 即把全部数据按照比例分割成两部分,分别是训练集和测试集.在训练集训练模型,在测试集测试效果,最终选择一个代…

Spark中的CrossValidation Spark中采用是k折交叉验证 (k-fold cross validation).举个例子,例如10折交叉验证(10-fold cross validation),将数据集分成10份,轮流将其中9份做训练1份做验证,10次的结果的均值作为对算法精度的估计. 10折交叉检验最常见,是因为通过利用大量数据集.使用不同学习技术进行的大量试验,表明10折是获得最好误差估计的恰当选择,而且也有一些理论根据可以证明这一点.但这并非最终结论,争议仍然存在.而且似…

[Spark内存模型] Spark在一个executor中的内存分为3块:storage内存.execution内存.other内存. 1. storage内存:存储broadcast,cache,persist数据的地方. 2. execution内存:执行内存,join.aggregate.map等shuffle中间结果都缓存在这部分内存中,满了再写入磁盘,能够减少IO.其实map过程也是在这个内存中执行的. 3. other内存:程序代码执行时预留给自己的内存. 其中,execution和…

怎么配置MySQL服务器,但考虑到服务器硬件配置的不同,具体应用的差别,那些文章的做法只能作为初步设置参考,我们需要根据自己的情况进行配置优化,好的做法是MySQL服务器稳定运行了一段时间后运行,根据服务器的”状态”进行优化. 注:参数的调整可以通过修改 /etc/my.cnf 文件并重启 MySQL 实现.这是一个比较谨慎的工作,你可以根据你自己主机的硬件情况(特别是内存大小)进一步修改. mysql> show global status;  可以列出MySQL服务器运行各种状态值,另外,查…