随想:目标识别中,自适应样本均衡设计,自适应模型结构(参数可变自适应,模型结构自适应,数据类别or分布自适应)
在现在的机器学习中,很多人都在研究自适应的参数,不需要人工调参,但是仅仅是自动调参就不能根本上解决
ai识别准确度达不到实际生产的要求和落地困难的问题吗?结论可想而知。如果不改变参数,那就得从算法的结构入手,
比如,现有的谷歌的MnasNet系列,这种是在人工的指导下进行的,但是,仅仅是这样就够了吗?我个人觉得还不够
1、在做机器学习的时候,我们模型的指标提不上去的时候,通常原因是因为边缘样本,也就是我们所说的hard-example,
如果和解决边缘样本呢?目前是人工发现这些样本并增加hard-example数量达到改善模型指标的方式。还有一种方式,就是
将边缘样本细分,将边缘样本单独作为一类别,从而成为非边缘样本。(样本边缘性是相对的,当你将某一个样本作为主要类别,
则与该样本模式相差较大但是划分为同一类别的就是边缘样本。)
2、目前算法是很笨的,他不具备潜意识,只是学习你喂的数据,因此从表现上改变数据的结构,分类,细化问题,可能获得更好的模型体现。
3、但是,问题来了,上面只是从样本上面去做改变,如何从算法方面作出改变呢?
梯度提升树(boost)的优势就是他会将识别错误的样本的基础上,重新训练获得新的决策,(第二颗树训练的目标是基于第一棵树的识别结构的),
而,目前损失函数,就是计算训练样本的和label的之间的loss,并不关注,每个样本loss大小变换与不同的问题。实际上,对于边缘样本,脏样本,
在训练迭代到后期,这些样本的地loss是比较大的,就是他们存在,算法不能收敛完全(比如,后期好的样本的loss已经很低了,每来一次干扰样本,
导致训练,训偏了,这种偏差将需要好几个正常样本的来“修复”)。这时候就想出了,是否除了参数可变自适应,模型结构自适应,数据类别or分布自适应呢?
数据分布自适应:
数据分布自适应,我觉得类似k-means,自适应寻找模型内部的分布,并挖掘这个样本数据集合到底要怎么分类,分几个类别,当然,要结和业务角度出发,
不能破坏我们原有的需求。比如自适应的感受野,在识别卡车和行人问题上,我们能不能根据卡车大小统计和人的大小统计从而归纳出识别人需要几层网络,识别卡车需要几层网络,
然后,在一个网络中,比如,卡车需要M层,人需要N层,则算法自动选取ob=max(M,N)层,当达到M层时自动设计一个针对卡车的输出,N层时,自动设计针对人的输出等等。
也许目前人工智能是因为人工标注学习的结果,也许目前算法还不够智能,也是局限于人工的标注(人工智能成也人工,败也人工?),而不能超越人工的框框架架下面。
随想:目标识别中,自适应样本均衡设计,自适应模型结构(参数可变自适应,模型结构自适应,数据类别or分布自适应)的更多相关文章
- 如何去设计一个自适应的网页设计或HTMl5
如何去设计一个自适应的网页设计或HTMl5 如今移动互联网随着3G的普及,越来越火爆,更多需求跟随而来!APP应用市场和APP应用数量成倍成倍的增长!从而给移动互联网带来新的挑战! 移动设备正超过桌面 ...
- 重复造轮子系列——基于FastReport设计打印模板实现桌面端WPF套打和商超POS高度自适应小票打印
重复造轮子系列——基于FastReport设计打印模板实现桌面端WPF套打和商超POS高度自适应小票打印 一.引言 桌面端系统经常需要对接各种硬件设备,比如扫描器.读卡器.打印机等. 这里介绍下桌面端 ...
- Java生鲜电商平台-生鲜系统中微服务架构设计与分析实战
Java生鲜电商平台-生鲜系统中微服务架构设计与分析实战 说明: Java生鲜系统中微服务的拆分应该如何架构设计与分析呢?以下是我的实战中的设计与经验分析. 目录 1. 微服务简介2. 当前现状3. ...
- 以项目谈WebGIS中Web制图的设计和实现
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景介绍 一般WebGIS项目中,前端展示数据的流程基本是先做数据入 ...
- (十二) WebGIS中矢量图层的设计
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/. 1.前言 在前几章中我们已经了解了什么是矢量查询.屏幕坐标与地理坐标之 ...
- 关于ASP.NET中的负载均衡
ASP.NET站点中做负载均衡: 基于HTTP协议我们可能发现我们要解决两点问题: 第一做到负载均衡,我们需要一个负载均衡器. 可以通过DNS轮询来做,在DNS服务器上配置为每次对我们做负载均衡的同一 ...
- Cloud Foundry中warden的网络设计实现——iptable规则配置
在Cloud Foundry v2版本号中,该平台使用warden技术来实现用户应用实例执行的资源控制与隔离. 简要的介绍下warden,就是dea_ng假设须要执行用户应用实例(本文暂不考虑ward ...
- MEF插件系统中通信机制的设计和实现
MEF插件系统中通信机制的设计和实现 1.背景 一般的WinForm中通过C#自带的Event机制便能很好的实现事件的注册和分发,但是,在插件系统中却不能这么简单的直接用已有的类来完成.一个插件本不包 ...
- VxWorks中的中断应用设计要点
硬件中断处理是实时系统设计中的关键性问题,设计人员有必要对其作深入研究,以更好地满足开发工作需要.文中以VxWorks操作系统为软件平台,讨论了在实时系统中进行中断应用设计时要注意的一些问题.由于软硬 ...
随机推荐
- C# winform使用combobox遍历文件夹内所有文件
参考:https://www.cnblogs.com/hxh88/p/5814291.html 相关函数解析: 1.指定目录包含的文件和子目录 DirectoryInfo.GetFiles():获取目 ...
- 【linux】之查看磁盘占用情况
查看整个硬盘使用情况: 1.df -h 2.du -bs xx 具体目录占用情况 3.查看当前目录大于100M的文件 find . -size +100M
- POI 生成、导出Excel(包含多个sheet)带 图片
1.导入依赖 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</ar ...
- 为什么HTML中的多个空格或是回车在浏览器上只能显示出一个?
我们在学习HTML的时候可能书本或是老师会告诉我们一件事,就是在HTML中不管我们在两个文本之间加上多少连续的空格或是回车,到了浏览器里面只能显示出一个来.但是我们从来不知道为什么. 原因很简单,因为 ...
- CentOS下puppet安装
简介 Puppet是开源的基于Ruby的系统配置管理工具,puppet是一个C/S结构, 当然,这里的C可以有很多,因此,也可以说是一个星型结构. 所有的puppet客户端同一个服务器端的puppet ...
- go语言学习--内核态和用户态(协程)
go中的一个特点就是引入了相比于线程更加轻量级的协程(用户态的线程),那么什么是用户态和内核态呢? 一.什么是用户态和内核态 当一个任务(进程)执行系统调用而陷入内核代码中执行时,我们就称进程处于内核 ...
- 在做MVC和WebApi写返回数据时,可以这样定义
public class Messages { /// <summary> /// 返回包含是否成功以及消息字符结果 /// </summary> /// <param ...
- Scala编程 摘录
有件你会注意到的事情是,几乎所有的 Scala 的控制结构都会产生某个值.这是函数式语言所采用的方式,程序被看成是计算值的活动,因此程序的控件也应当这么做.你也可以把这种方式看做早已存在于指令式语言中 ...
- 自动生成构造方法、getter、setter
前言 一直很想知道IDE是如何自动去生成类的构造和getter.setter方法,大概是有个想法,获取当前的类,利用反射去获取属性名和类型,然后生成,所以我想自己试试. 写个模板类 package ...
- this 的指向
使用 JavaScript 开发的时候,很多开发者多多少少会被 this 的指向搞蒙圈,但是实际上,关于 this 的指向,记住最核心的一句话:哪个对象调用函数,函数里面的this指向哪个对象. 下面 ...