如何评价PID optimizer？

论文链接：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_PID.pdf
作者github：https://github.com/tensorboy/PIDOptimizer
论文中只跟Momentum作了比较，没有跟其他优化器做过比较。不知道有没有大佬试过？

作者：知乎用户
链接：https://www.zhihu.com/question/322746326/answer/671758212
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我觉得这篇文章相比于算法PID本身，他在自动控制和深度学习之间建立起的connection更有意思一点。

在控制理论中建立起的对应：

虽然他没有严格理论证明，不过从直观上来看，还是挺make sense的。这样就说明，我们可以大胆地吧自动控制里面的公式拿进来疯狂水文章了hh

就算法本身来讲，个人认为他的新算法是不是真的比旧有的算法好还是有待商榷的。

他在本文中建立起了一个挺大的筐，等式右边第一项是proportional (P)，第二项integral (I)和第三项derivative (D)：

并且说明旧有的算法（SGD、Momentum、Nesterov0s Momentum）都是可以被这个框架含括的。看起来很美好。

但是，您测试的时候，敢不敢稍微认真点啊！能不能别专挑弱鸡打啊！

  1. 数据集：MNIST、CIFAR10、Tiny-ImageNet，这都是演示用的数据集吧，是男人就上ImageNet和coco！
  2. 优化器：前人已经搞出不少专门针对SGD和momentum优化的优化器了，比如AdaGrad、RMSProp和Adam，你为什么不跟他们比呢？这不是有欺负老头老太太的嫌疑么？
  3. 引用文献：虽然这个颇有鸡蛋里面挑骨头的意味，但是都9102年了，您的论文引用连一篇2018年的文章都没有。对于像深度学习这样比较火，比较讲究前沿的学科，不太合适吧？

PID optimizer的更多相关文章

  1. 80 端口被占用 pid=4

    80端口被pid=4的系统进程给占用的解决方法: 一般开发的时候我们都会安装sqlserver ,也会把Sql server Reporting Services 安装上去.原因就是这个服务占用了80 ...

  2. System进程(pid=4)占用80端口的解决方案

    问题 Mail服务器在安装TFS服务(含SQLServer2016)后启动不了网页服务. 排查问题 使用命令查看端口占用情况 netstat -nao | find ":80" n ...

  3. PID控制

    PID解释: 位置式:      可以看出,比例部分只与当前的偏差有关,而积分部分则是系统过去所有偏差的累积.位置式PI调节器的结构清晰,P和I两部分作用分明,参数调整简单明了.但直观上看,要计算第拍 ...

  4. MySql提示:The server quit without updating PID file(…)失败

    一般有一下集中可能 1.可能是/usr/local/mysql/data/rekfan.pid文件没有写的权限解决方法 :给予权限,执行 "chown -R mysql:mysql /var ...

  5. apche启动错误|httpd.pid overwritten — Unclean shutdown of previous Apache run?

    APACHE启动成功,但无法接受任何请求,查看ERROR.LOG文件[warn] pid file /opt/apache/logs/httpd.pid overwritten - Unclean s ...

  6. php php-5.6.4.tar.bz2 apache 兼容问题 child pid 27858 exit signal Segmentation fault

    环境 [root envirotar]# uname -a Linux i2..el6.x86_64 # SMP Thu Jul :: UTC x86_64 x86_64 x86_64 GNU/Lin ...

  7. 增量式PID推导及C语言实现

    PID控制器表达式为: \[ u(t) = K_pe(t) + K_i\int_0^t e(\tau)d\tau + K_d\frac{de(t)}{dt} \] 离散化: 令 $ t = nT,~T ...

  8. Linux /proc/$pid部分内容详解

    auxv /proc/[pid]/auxv包含传递给进程的ELF解释器信息,格式是每一项都是一个unsigned long长度的ID加上一个unsigned long长度的值.最后一项以连续的两个0x ...

  9. 一、PID控制原理

    在模拟控制系统中,控制器最常用的控制规律是PID控制.模拟PID控制系统原理框图如下图.系统由模拟PID控制器和被控对象组成. PID控制器是一种线性控制器,它根据给定值Yd(t)与实际输出值Y(t) ...

随机推荐

  1. golang ---timeb

    golang 提供了以下两种基础类型 - 时间点(Time) - 时间段(Duration) 除此之外 golang 也提供了以下类型,做一些特定的业务 - 时区(Location) - Ticker ...

  2. 【linux】CentOS 6 使用cron定时任务，报错：Redirecting to /bin/systemctl restart crond.service

    在centos7上,执行cron定时任务的相关命令,反馈如下: 定时任务执行,反馈是: Redirecting to /bin/systemctl restart crond.service 原因: ...

  3. java自带日志框架打印info以下级别日志

    本文为CSDN博主「LanTingShuXu」的原创文章,原文链接:https://blog.csdn.net/LanTingShuXu/article/details/80528558 java.u ...

  4. c# 类实例序列化反序列化json文件 （原发布 csdn 2017-10-01 20:02:12）

    前言 前段时间使用了net.json保存对象数据.添加完成后,测试发现300多实例数据保存加载json文件,速度比原方式(BinaryFormatter)慢.但是功能加上后也懒再删掉代码了,索性就采用 ...

  5. 一次性删除master数据库中的所有用户添加的表

    执行查询命令 use master; go sp_msforeachtable @command1="drop table ?" go

  6. MVC里模型常用的一些操作

    学习也是做买卖,归根到底还是学习成本的问题. 下面把微软集合类型的增删改查稍微罗列一下,大家看看它能带来的便利,和你要学的新东西,还有风险(纯粹的数据操作,不用框架,风险其实不大)相比,是否值得.来决 ...

  7. 2019-08-26 linux

    1.question:什么是linux? answer:Linux由林纳斯·托瓦兹开发的一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和Unix的多用户.多任务.支持多线程和多CPU ...

  8. C#常用集合类的实现以及基本操作复杂度

    List 集合类是顺序线性表,Add操作是O(1)或是O(n)的,由于List的容量是动态扩容的,在未扩容之前,其Add操作是O(1),而在需要扩容的时候,会拷贝已存在的那些元素同时添加新的元素,此时 ...

  9. js中数组的迭代方法

    1.forEach 让数组的每一项做一件事 var arr = [1,2,3,4,5] arr.forEach(function(item,index){ console.log(item) }) 2 ...

  10. stdin，stdout 和 STDOUT_FILENO，STDIN_FILENO

    stdin,stdout 等类型为 FILE *. STDIN_FILENO,STDOUT_FILENO,STDERR_FILENO 等类型为 int. 使用 FILE * 的函数主要有:fopen. ...