DARTS: Differentiable Architecture Search 2019-03-19 10:04:26accepted by ICLR 2019 Paper:https://arxiv.org/pdf/1806.09055.pdf Code:https://github.com/quark0/darts 1. Motivation and Background:  前人的网络搜索方法,要么是基于 RL 的,要么是基于进化算法的,都是非常耗时的,最近的几个算法表示他们的计算时间…

Summary 我的理解就是原本节点和节点之间操作是离散的,因为就是从若干个操作中选择某一个,而作者试图使用softmax和relaxation(松弛化)将操作连续化,所以模型结构搜索的任务就转变成了对连续变量\(α={α^{(i,j)}}\)以及\(w\)的学习.(这里\(α\)可以理解成the encoding of the architecture). 之后就是迭代计算\(w\)和\(α\),这是一个双优化问题,具体处理细节参见3.Approximation Research Object…

Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and Evaluation 2019-04-30 11:46:21 Paper:https://arxiv.org/pdf/1904.12760.pdf Code:https://github.com/chenxin061/pdarts 本文是 DARTS 的改善,关于 DARTS 的细节,可以参考其原文(代码,博文). 本文…

P-DARTS 2019-ICCV-Progressive Differentiable Architecture Search Bridging the Depth Gap Between Search and Evaluation Tongji University && Huawei GitHub: 200+ stars Citation:49 Motivation Question: DARTS has to search the architecture in a shallow…

DARTS 2019-ICLR-DARTS Differentiable Architecture Search Hanxiao Liu.Karen Simonyan.Yiming Yang GitHub:2.8k stars Citation:557 Motivation Current NAS method: Computationally expensive: 2000/3000 GPU days Discrete search space, leads to a large number…

Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS算法都侧重于搜索cell的结构,即当搜索得到一种cell结构后只是简单地将固定数量的cell按链式结构连接起来组成最终的网络模型.AutoDeeplab则将如何cell的连接方式也纳入了搜索空间中,进一步扩大了网络结构的范围. dense image prediction 之前的大多数NAS算法都是…

Research Guide for Neural Architecture Search 2019-09-19 09:29:04 This blog is from: https://heartbeat.fritz.ai/research-guide-for-neural-architecture-search-b250c5b1b2e5 From training to experimenting with different parameters, the process of design…

本篇是基于 NAS 的图像超分辨率的文章,知名学术性自媒体 Paperweekly 在该文公布后迅速跟进,发表分析称「属于目前很火的 AutoML / Neural Architecture Search,论文基于弹性搜索(宏观+微观)在超分辨率问题上取得了非常好的结果.这种架构搜索在相当的 FLOPS 下生成了多个模型,结果完胜 ECCV 2018 明星模型 CARNM,这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA(涵盖 ICCV 2017 和 CVPR 2018). 而达…

摘要 神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用 递归网络去省城神经网络的模型描述,并且使用 增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation2019-03-18 14:45:44 Paper:https://arxiv.org/pdf/1901.02985 Offical TensorFlow Code: https://github.com/tensorflow/models/blob/master/research/deeplab/core/nas_networ…

摘要 本文提出了一种新方法,可以基于简单的爬山过程自动搜索性能良好的CNN架构,该算法运算符应用网络态射,然后通过余弦退火进行短期优化运行. 令人惊讶的是,这种简单的方法产生了有竞争力的结果,尽管只需要与训练单个网络相同数量级的资源.例如使用该算法,在单个GPU上训练12个小时就可以将CIFAR-10数据集的错误率降低到6%一下,训练一整天后能够降低到5%左右. 1.介绍 背景不再详述,我们可以知道的是传统的优化算法并不能实现神经网络架构的自动搜索是因为其架构搜索空间是 离散的(例如层数.层类型…

想着CSDN还是不适合做论文类的笔记,那里就当做技术/系统笔记区,博客园就专心搞看论文的笔记和一些想法好了,[]以后中框号中间的都算作是自己的内心OS 有时候可能是问题,有时候可能是自问自答,毕竟是笔记嘛 心路历程记录:然后可能有很多时候都是中英文夹杂,是因为我觉得有些方法并没有很好地中文翻译的意思(比如configuration space),再加上英文能更好的搜索.希望大家能接受这种夹杂写法,或者接受不了的话直接关掉这个看原文 前言:这是一篇02年的关于Motion Planning - P…

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 == 目标问题 == 下一代的Hadoop框架,支持10,000+节点规模的Hadoop集群,支持更灵活的编程模型 == 核心思想 == 固定的编程模型,单点的资源调度和任务管理方式,使得Hadoop 1…

Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04-24 14:49:10 Paper:https://arxiv.org/pdf/1810.10804.pdf 在过去的许多年,大家一直认为网络结构的设计是人类的事情.但是,近些年 NAS 的发展,打破了这种观念,用自动化的方法在给定的数据上设计合适的网络结构,变的势不可挡.本文在语义分割的任务上,尝…

ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 2019-03-19 16:13:18 Paper:https://openreview.net/forum?id=HylVB3AqYm Code:https://github.com/MIT-HAN-LAB/ProxylessNAS 1. Background and Motivation:  先来看看算法的名字:ProxylessNAS,将其…

Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Chenxi_Liu_Progressive_Neural_Architecture_ECCV_2018_paper.pdf Code (PyTorch version):https://github.com/chenxi116/PNASNet.pytorch…

NAS with RL 2017-ICLR-Neural Architecture Search with Reinforcement Learning Google Brain Quoc V . Le etc GitHub: stars Citation:1499 Abstract we use a recurrent network to generate the model descriptions of neural networks and train this RNN with re…

近期阅读的几篇关于车道线检测的论文总结. 1. 车道线检测任务需求分析 1.1 问题分析 针对车道线检测任务,需要明确的问题包括: (1)如何对车道线建模,即用什么方式来表示车道线. 从应用的角度来说,最终需要的是车道线在世界坐标系下的方程.而神经网络更适合提取图像层面的特征,直接回归方程参数不是不可能,但限制太多. 由此,网络推理输出和最终结果之间存在一个Gap,需要相对复杂的后处理去解决. (2)网络推理做到哪一步. 人在开车时观察车道线,会同时关注两方面信息: 绘制在路面上的车道线标识本身…

Illustrated: Efficient Neural Architecture Search --- Guide on macro and micro search strategies in ENAS 2019-03-27 09:41:07 This blog is copied from: https://towardsdatascience.com/illustrated-efficient-neural-architecture-search-5f7387f9fb6 Designi…

The Evolved Transformer - Enhancing Transformer with Neural Architecture Search 2019-03-26 19:14:33   Paper:"The Evolved Transformer." So, David R., Chen Liang, and Quoc V. Le.  arXiv preprint arXiv:1901.11117 (2019).  Code: https://github.com/t…

论文阅读——FoveaBox: Beyond Anchor-based Object Detector 概述 这是一篇ArXiv 2019的文章,作者提出了一种新的anchor-free的目标检测框架FoveaBox,直接学习目标存在的可能性(预测类别敏感的语义map)和bbox的坐标(为可能存在目标的每个位置生成无类别的bbox).该算法的单模型(基于ResNeXt-101-FPN )在COCO数据集上的AP达到42.1%.代码尚未开源. 介绍 anchor弊端:额外的超参数设计很复杂:设计的…

Video Architecture Search 2019-10-20 06:48:26 This blog is from: https://ai.googleblog.com/2019/10/video-architecture-search.html Posted by Michael S. Ryoo, Research Scientist and AJ Piergiovanni, Student Researcher, Robotics at Google Video understa…

Neural Architecture Search — Limitations and Extensions 2019-09-16 07:46:09 This blog is from: https://towardsdatascience.com/neural-architecture-search-limitations-and-extensions-8141bec7681f For the past couple of years, researchers and companies h…

论文阅读:Adaptive NMS: Refining Pedestrian Detection in a Crowd 2019年04月11日 23:08:02 Kivee123 阅读数 836   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_37014750/article/details/89222334 Adaptive-NMS(CVPR 2019) 文章  又是一篇在NM…

论文为Google Brain在16年推出的使用强化学习的Neural Architecture Search方法,该方法能够针对数据集搜索构建特定的网络,但需要800卡训练一个月时间.虽然论文的思路有很多改进的地方,但该论文为AutoML的经典之作,为后面很多的研究提供了思路,属于里程碑式的论文,十分值得认真研读,后面读者会持续更新AutoML的论文,有兴趣的可以持续关注   来源:晓飞的算法工程笔记 公众号 论文:Neural Architecture Search with Reinfor…

[论文阅读笔记] GEMSEC: Graph Embedding with Self Clustering 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 已经有一些工作在使用学习到的节点表示来做社区发现,但是仅仅局限在得到节点表示之后使用聚类算法来得到社区划分,简单说就是节点表示和目标任务分离了,学习到的节点表示并不能很有效地应用于聚类算法(因为可能节点表示向量所在的低维空间中并不存在容易容易划分的簇,从而使用聚类算法也不能得到很好的社区划分结果). (2) 主要贡献 Co…

[论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 0x02 解读思路 2.1 Memorization 和 Generalization 2.1.1 Memorization 2.1.2 Generalization 2.2 发展脉络 0x03 DNN 3.1 深度模型思路 3.2 DNN模型 3.3 工作机制 3.4 模型特点 0x04 DIN…

[论文阅读]阿里DIEN深度兴趣进化网络之总体解读 目录 [论文阅读]阿里DIEN深度兴趣进化网络之总体解读 0x00 摘要 0x01论文概要 1.1 文章信息 1.2 基本观点 1.2.1 DIN的问题 1.2.2 DIEN创新 1.3 名词解释 0x02 总体概要 2.1 模型架构 0x03 兴趣抽取层 3.1 之前工作 3.2 GRU 3.3 辅助损失 3.3.1 辅助损失 3.3.2 全局损失 3.3.3 辅助损失作用 3.4 总结 0x04 兴趣进化层 4.1 演化规律 4.2 AUG…

[论文阅读笔记] LouvainNE: Hierarchical Louvain Method for High Quality and Scalable Network Embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 本篇论文是针对现有表征算法计算开销比较大,不能够很好应用到大规模网络上的问题. (2) 主要贡献 Contribution: 提出一种快速且可扩展网络表征框架,LouvainNE,能够为包含数百亿边的网络生成高质量的表征向量. (3) 算法…

[论文阅读笔记] Adversarial Learning on Heterogeneous Information Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的异构网络(HIN)嵌入方法本质上可以归结为两个步骤(1)正样本生成和负样本生成(2)在这些样本上训练模型优化目标函数以得到更合适的节点嵌入.目前主流的异构网络嵌入方法存在以下几个问题: Problem 1: 首先,这些算法一般从原始网络中随机选择节点与中心节点组合生成正样本或者负样本,即,…