这位更是重量级.这篇论文对于概率论学的一塌糊涂的我简直是灾难. 由于 prompt 的分布与预训练的分布不匹配(预训练的语料是自然语言,而 prompt 是由人为挑选的几个样本拼接而成,是不自然的自然语言),作者设预训练的分布为 $p$ 而 prompt 的分布设为 $p_{prompt}$,因此作者认为这两种分布的不符可能是造成 inference 效果不佳的重要原因($S_n$ 为 context): $$argmax_{y}\;p(y|S_n,\;x_{test})\;\neq argma…

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

好久不写论文笔记了,不是没看,而是很少看到好的或者说值得记的了,今天被xinlei这篇paper炸了出来,这篇被据老大说xinlei自称idea of the year,所以看的时候还是很认真的,然后最后确实也发现了不少干货. 一.introduction 这篇文章主要还是解决detection中如何有效的利用context信息的问题,这里作者提出了有两种context信息:1.image-level的信息,也就是当前场景的信息,例如一张床出现在卧室里面,一个篮球出现在篮球场里面,都是极其合理的…

A Review on Deep Learning Techniques Applied to Semantic Segmentation 2018-02-22  10:38:12   1. Introduction: 语义分割是计算机视觉当中非常重要的一个课题,其广泛的应用于各种类型的数据,如:2D image,video,and even 3D or volumetric data. 最近基于 deep learning 的方法,取得了非常巨大的进展,在语义分割上也是遥遥领先于传统算法. 本…

论文:https://github.com/ei1994/my_reference_library/tree/master/papers 本文的贡献点如下: 1. 提出了一个新的利用深度网络架构基于patch的匹配来明显的改善了效果: 2. 利用更少的描述符,得到了比state-of-the-art更好的结果: 3. 实验研究了该系统的各个成分的有效作用,表明,MatchNet改善了手工设计 和 学习到的描述符加上对比函数: 4. 最后,作者 release 了训练的 MatchNet模型. 网…

目录 摘要 1.引言 2.相关工作 3.方法 3.1局部特征聚合的再思考 3.2 曲线分组 3.3 曲线聚合和CurveNet 4.实验 4.1 应用细节 4.2 基准 4.3 消融研究 5.总结 Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis 漫步在云中:学习点云形状分析的曲线 论文地址:https://arxiv.org/abs/2105.01288 代码:https://curvenet.github.i…

在我们设计无监督学习模型时,应尽量做到 网络结构与有监督模型兼容 有效利用有监督模型的基本模块,如dropout.relu等 无监督学习的目标是为有监督模型提供初始化的参数,理想情况是"这些初始化的参数能够极大提高后续有监督模型准确率,即使有监督任务的训练样本数很少".类别理解就是,我们在Imagenet上通过有监督的方式训练得到了表达能力很强的网络,在我们迁移至新的任务时(该任务带有训练标签的样本有限),我们一般固定在Imagenet上训练好模型的前N层(N可以根据实际需要调整),然…

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation 2017-06-12  21:29:06   引言部分: 本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation.现有的图像之间转换的方法,大部分都是需要图像对的方法,但是实际上有的场景下,很难得到这样的图像对.如何利用多个 domain 之间的关系,不需要图像对就可以进行图像之间的转换,那将会是一个很 cool…

1. 前言 多任务学习(Multi-task learning)是和单任务学习(single-task learning)相对的一种机器学习方法.在机器学习领域,标准的算法理论是一次学习一个任务,也就是系统的输出为实数的情况.复杂的学习问题先被分解成理论上独立的子问题,然后分别对每个子问题进行学习,最后通过对子问题学习结果的组合建立复杂问题的数学模型.多任务学习是一种联合学习,多个任务并行学习,结果相互影响. 拿大家经常使用的school data做个简单的对比,school data是用来预测…

论文地址:https://arxiv.org/abs/1611.01578 1. 论文思想 强化学习,用一个RNN学一个网络参数的序列,然后将其转换成网络,然后训练,得到一个反馈,这个反馈作用于RNN网络,用于生成新的序列. 2. 整体架构 3. RNN网络 4. 具体实现 因为每生成一个网络,都会训练一遍,Google用了800个GPU,训练了12800个网络,它采用的是分布式训练的方法. 5. 结论…