什么是 baseline 和 benchmark

　　baseline

• • 一个算法被称为 baseline 算法说明这个比目前这个算法还差的已经不能接受了，方法有革命性的创新点可以挖掘，且存在巨大提升空间和超越benchmark的潜力，只是由于发展初期导致性能有限。所以baseline有一个自带的含义就是“性能起点”。在算法优化过程中，一般 version1.0 是作为baseline的，即这是你的算法能达到的一个基本性能，在算法继续优化和调参数的过程中，你的目标是比这个性能更好，因此需要在这个baseline的基础上往上继续提升。当性能超过benchmark时，可以发表了，当性能甚至超过state-of-the-art（SOTA）时，可以考虑投顶会顶刊。

　　benchmark

• • 一个算法之所以被称为 benchmark，是因为它的性能已经被广泛研究，人们对它性能的表现形式、测量方法都非常熟悉，因此可以作为标准方法来衡量其他方法的好坏。这里需要区别SOTA，能够称为SOTA 的算法表明其性能在当前属于最佳性能。如果一个新算法以SOTA作为benchmark，这当然是最好的了，但如果比不过SOTA，能比 benchmark 要好，且方法有一定创新，也是可以发表的。