[深度学习] R-CNN系论文略读

[转] 用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

转自知乎上看到的一篇很棒的文章:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路.做法和部分实践的经验. 业务问题描述: 淘宝商品的一个典型的例子见下图,图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”.淘宝网后台是通过树形的多层的类目体系管理商品的,覆盖…

【深度学习】CNN 中 1x1 卷积核的作用

[深度学习]CNN 中 1x1 卷积核的作用最近研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,起初的时候,对这个做法很是迷惑,这是因为之前接触过的教材的例子中最小的卷积核是 3x3 ,那么,1x1 的卷积核有什么意义呢? 最初应用 1x1 卷积核的神经网络是 Network In Network,然后 GoogLeNet 和 VGG 也不约而同的更正了. 他们在论文中解释,大概有下面 2 个意义. 1.增加网络的深度这个就比较好理解…

深度学习之 cnn 进行 CIFAR10 分类

深度学习之 cnn 进行 CIFAR10 分类 import torchvision as tv import torchvision.transforms as transforms from torchvision.transforms import ToPILImage show = ToPILImage() import torch as t import torch.nn as nn import torch.nn.functional as F transform = transfo…

[置顶] 人工智能（深度学习）加速芯片论文阅读笔记（已添加ISSCC17，FPGA17...ISCA17...）

这是一个导读,可以快速找到我记录的关于人工智能(深度学习)加速芯片论文阅读笔记. ISSCC 2017 Session14 Deep Learning Processors: ISSCC 2017关于Deep Learning Processors的Slides笔记,主要参考了[1]中的笔记,自己根据paper和slides读一遍,这里记一下笔记,方便以后查阅. 14.1 A 2.9TOPS/W Deep Convolutional Neural Network SoC in FD-SOI 28…

深度学习入门: CNN与LSTM(RNN)

1. 理解深度学习与CNN: 台湾李宏毅教授的入门视频<一天搞懂深度学习>:https://www.bilibili.com/video/av16543434/ 其中对CNN算法的矩阵卷积运算:矩阵1与矩阵2相同位置上的元素进行相乘,再将所有乘积求和,得到卷积矩阵的对应元素值. https://blog.csdn.net/deepdsp/article/details/6922612 https://blog.csdn.net/gavin__zhou/article/details/72723…

用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路.做法和部分实践的经验. 业务问题描述: 淘宝商品的一个典型的例子见下图,图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”.淘宝网后台是通过树形的多层的类目体系管理商品的,覆盖叶子类目数量达上万个,商品量也是10亿量级,…

arXiv 2015深度学习年度十大论文

由康奈尔大学运营维护着的arXiv网站,是一个在学术论文还未被出版时就将之向所有人开放的地方.这里汇聚了无数科学领域中最前沿的研究,机器学习也包括在内.它反映了学术界当前的整体趋势,我们看到,近来发布的机器学习研究有许多都与深度学习有关. Huho Larochelle博士是加拿大舍布鲁克大学(Université de Sherbrooke)机器学习教授,Twitter的研究员,有名的神经网络研究者,以及深度学习狂热爱好者.从2015年夏天开始,他就一直在撰写并发布他对于arXiv上他感兴趣的…

PyTorch中使用深度学习（CNN和LSTM）的自动图像标题

介绍深度学习现在是一个非常猖獗的领域 - 有如此多的应用程序日复一日地出现.深入了解深度学习的最佳方法是亲自动手.尽可能多地参与项目,并尝试自己完成.这将帮助您更深入地掌握主题,并帮助您成为更好的深度学习实践者. 在本文中,我们将看一个有趣的多模态主题,我们将结合图像和文本处理来构建一个有用的深度学习应用程序,即图像字幕.图像字幕是指从图像生成文本描述的过程 - 基于图像中的对象和动作.例如: 这个过程在现实生活中有很多潜在的应用.值得注意的是保存图像的标题,以便仅在此描述的基础上可以在稍后阶…

[深度学习] R-CNN系论文略读

总结: 一.R-CNN 摘要: 在对象检测方面,其性能在前几年就达到了一个比较稳定的状态.性能最好的方法是一种复杂的整体系统,它将多个图片的低级特征通过上下文组合起来. 本文提出了一种简单.可扩展的算法,它在mAP上比VOC2012的最佳算法的结果高30%,达到53.3%. 这个方法包含两个方面: 1.利用大容量的CNN来提供自底向上的区域建议. 2.当带标签的训练数据不足时,使用附加任务提供监督的预训练,后面跟上特定区域的微调,这样产生一个显著的性能提升. 我们将R-CNN于OverFeat做…

DLRS(近三年深度学习应用于推荐系统论文汇总)

Recommender Systems with Deep Learning Improving Scalability of Personalized Recommendation Systems for Enterprise Knowledge Workers – Authors: C Verma, M Hart, S Bhatkar, A Parker (2016) Multi-modal learning for video recommendation based on mobile…

DLRS(深度学习应用于推荐系统论文汇总--2017年8月整理)

Recommender Systems with Deep Learning Alessandro:ADAAlessandro Suglia, Claudio Greco, Cataldo Musto, Marco de Gemmis, Pasquale Lops, Giovanni Semeraro:A Deep Architecture for Content-based Recommendations Exploiting Recurrent Neural Networks. UMAP 2…

【深度学习Deep Learning】资料大全

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University…

从DeepNet到HRNet，这有一份深度学习“人体姿势估计”全指南

从DeepNet到HRNet,这有一份深度学习"人体姿势估计"全指南几十年来,人体姿态估计(Human Pose estimation)在计算机视觉界备受关注.它是理解图像和视频中人物行为的关键一步. 在近年深度学习兴起后,人体姿态估计领域也发生了翻天覆地的变化. 今天,文摘菌就从深度学习+二维人体姿态估计的开山之作DeepPose开始讲起,为大家盘点近几年这一领域的最重要的论文. 什么是人体姿势估计? 人体姿态估计(Human Pose Estimation,以下简称为HPE)被定…

NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)

NLP大赛冠军总结:300万知乎多标签文本分类任务(附深度学习源码) 七月,酷暑难耐,认识的几位同学参加知乎看山杯,均取得不错的排名.当时天池AI医疗大赛初赛结束,官方正在为复赛进行平台调试,复赛时间一拖再拖.看着几位同学在比赛中排名都还很不错,于是决定抽空试一试.结果一发不可收拾,又找了两个同学一起组队(队伍init)以至于整个暑假都投入到这个比赛之中,并最终以一定的优势夺得第一名. 1. 比赛介绍这是一个文本多分类的问题:目标是“参赛者根据知乎给出的问题及话题标签的绑定关系的训…

深度学习教程 | Seq2Seq序列模型和注意力机制

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/35 本文地址:http://www.showmeai.tech/article-detail/227 声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容本系列为吴恩达老师<深度学习专业课程>学习与总结整理所得,对应的课程视频可以在这里查看. 引言在ShowMeAI前一篇文章自然语言处理与词嵌入中我们对以下内容进行了介绍: 词嵌入与迁移学习/…

深度学习笔记（三）Constitutional Neural Networks

一. 预备知识包括 Linear Regression, Logistic Regression和 Multi-Layer Neural Network.参考 http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ 或者coursera看Andrew Ng 的机器学习课程.二者只是在某些公式表达上有细微的差距. 二. 卷积神经网络CONVNET 此部分来自 http://m.blog.csdn.net/ar…

AI在汽车中的应用：实用深度学习

https://mp.weixin.qq.com/s/NIza8E5clC18eMF_4GMwDw 深度学习的“深度”层面源于输入层和输出层之间实现的隐含层数目,隐含层利用数学方法处理(筛选/卷积)各层之间的数据,从而得出最终结果.在视觉系统中,深度(vs.宽度)网络倾向于利用已识别的特征,通过构建更深的网络最终来实现更通用的识别.这些多层的优点是各种抽象层次的学习特征. 在未来的某个时候,人们必定能够相对自如地运用人工智能,安全地驾车出行.这个时刻何时到来我无法预见:但我相信,彼时“智能”会显…

关于NLP和深度学习，准备好好看看这个github，还有这篇介绍

这个github感觉很不错,把一些比较新的实现都尝试了: https://github.com/brightmart/text_classification fastText TextCNN TextRNN RCNN Hierarchical Attention Network seq2seq with attention Transformer("Attend Is All You Need") Dynamic Memory Network EntityNetwork:trackin…

AI安全初探——利用深度学习检测DNS隐蔽通道

AI安全初探——利用深度学习检测DNS隐蔽通道目录 AI安全初探——利用深度学习检测DNS隐蔽通道 1.DNS 隐蔽通道简介 2. 算法前的准备工作——数据采集 3. 利用深度学习进行DNS隐蔽通道检测 4. 验证XShell的检测效果 5. 结语 1.DNS 隐蔽通道简介 DNS 通道是隐蔽通道的一种,通过将其他协议封装在DNS协议中进行数据传输.由于大部分防火墙和入侵检测设备很少会过滤DNS流量,这就给DNS作为隐蔽通道提供了条件,从而可以利用它实现诸如远程控制.文件传输等操作,DNS隐蔽…

【深度学习系列3】 Mariana CNN并行框架与图像识别

[深度学习系列3] Mariana CNN并行框架与图像识别本文是腾讯深度学习系列文章的第三篇,聚焦于腾讯深度学习平台Mariana中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架. 将深度卷积神经网络(Convolutional Neural Networks, 简称CNNs)用于图像识别在研究领域吸引着越来越多目光.由于卷积神经网络结构非常适合模型并行的训练,因此以模型并行+数据并行的方式来加速Deep CNNs训练,可预期取得较大收获.Deep CNNs的单机多GPU…

深度学习之卷积神经网络(CNN)的应用-验证码的生成与识别

验证码的生成与识别本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10755361.html 目录 1.验证码的制作 2.卷积神经网络结构 3.训练参数保存与使用 4.注意事项 5.代码实现(python3.5) 6.运行结果以及分析 1.验证码的制作深度学习一个必要的前提就是需要大量的训练样本数据,毫不夸张的说,训练样本数据的多少直接决定模型的预测准确度.而本节的训练样本数据(验证码:字母和数字组成)通过调…

深度学习之卷积神经网络(CNN)详解与代码实现（一）

卷积神经网络(CNN)详解与代码实现本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10430073.html 目录 1.应用场景 2.卷积神经网络结构 2.1 卷积(convelution) 2.2 Relu激活函数 2.3 池化(pool) 2.4 全连接(full connection) 2.5 损失函数(softmax_loss) 2.6 前向传播(forward propagation) 2.7 反向…

深度学习论文翻译解析（四）：Faster R-CNN: Down the rabbit hole of modern object detection

论文标题:Faster R-CNN: Down the rabbit hole of modern object detection 论文作者:Zhi Tian , Weilin Huang, Tong He , Pan He , and Yu Qiao 论文地址:https://tryolabs.com/blog/2018/01/18/faster-r-cnn-down-the-rabbit-hole-of-modern-object-detection/ 论文地址:Object detect…

Hinton“深度学习之父”和“神经网络先驱”，新论文Capsule将推翻自己积累了30年的学术成果时

Hinton“深度学习之父”和“神经网络先驱”,新论文Capsule将推翻自己积累了30年的学术成果时在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数.他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前最先进的性能,并且在识别高度重叠数字的效果要远好于CNN. 该论文无疑将是今年12月初NIPS大会的重头戏. 一个月前,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头…

(zhuan) 126 篇殿堂级深度学习论文分类整理从入门到应用

126 篇殿堂级深度学习论文分类整理从入门到应用 | 干货雷锋网作者: 三川 2017-03-02 18:40:00 查看源网址阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:“论文那么多,从哪一篇读起?” 本文将试图解决这个问题——文章标题本来是:“从入门到绝望,无止境的深度学习论文”.请诸位备好道具,开启头悬梁锥刺股的学霸姿势. 开个玩笑. 但对非科班出身的开发者而言,读论文的确可以成为一件很…

深度学习之父低调开源 CapsNet，欲取代 CNN

“卷积神经网络(CNN)的时代已经过去了!” ——Geoffrey Hinton 酝酿许久,深度学习之父Geoffrey Hinton在10月份发表了备受瞩目的Capsule Networks(CapsNet). Hinton本次挟CapsNet而来,大有要用它取代CNN的气势. 今天,有科技媒体发布Capsule Networks(CapsNet)开源的消息,去寻找Github链接后,发现本次开源非常低调且隐蔽,隐藏在谷歌tensorflow的专题之下,没有相关报道,谷歌也搜不到,不熟悉Git…

【[深度学习] R-CNN系论文略读】的更多相关文章

[转] 用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

【深度学习】CNN 中 1x1 卷积核的作用

深度学习之 cnn 进行 CIFAR10 分类

[置顶] 人工智能（深度学习）加速芯片论文阅读笔记（已添加ISSCC17，FPGA17...ISCA17...）

深度学习入门: CNN与LSTM(RNN)

用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

arXiv 2015深度学习年度十大论文

PyTorch中使用深度学习（CNN和LSTM）的自动图像标题

[深度学习] R-CNN系论文略读

DLRS(近三年深度学习应用于推荐系统论文汇总)

DLRS(深度学习应用于推荐系统论文汇总--2017年8月整理)

【深度学习Deep Learning】资料大全

从DeepNet到HRNet，这有一份深度学习“人体姿势估计”全指南

NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)

深度学习教程 | Seq2Seq序列模型和注意力机制

深度学习笔记（三）Constitutional Neural Networks

AI在汽车中的应用：实用深度学习

关于NLP和深度学习，准备好好看看这个github，还有这篇介绍

AI安全初探——利用深度学习检测DNS隐蔽通道

【深度学习系列3】 Mariana CNN并行框架与图像识别

深度学习之卷积神经网络(CNN)的应用-验证码的生成与识别

深度学习之卷积神经网络(CNN)详解与代码实现（一）

深度学习论文翻译解析（四）：Faster R-CNN: Down the rabbit hole of modern object detection

Hinton“深度学习之父”和“神经网络先驱”，新论文Capsule将推翻自己积累了30年的学术成果时

(zhuan) 126 篇殿堂级深度学习论文分类整理从入门到应用

深度学习之父低调开源 CapsNet，欲取代 CNN

深度学习论文翻译解析（九）：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

深度学习论文翻译解析（十三）：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

深度学习数据特征提取：ICCV2019论文解析

深度学习论文笔记-Deep Learning Face Representation from Predicting 10,000 Classes