【论文笔记】DeepOrigin: End-to-End Deep Learning for Detection of New Malware Families

DeepOrigin: End-to-End Deep Learning for Detection of New Malware Families 标签(空格分隔): 论文论文基本信息会议: IEEE(2018 International Joint Conference on Neural Networks [IJCNN]A类会议) 单位:公司Deep Instinct Ltd(以色列的一家网络安全公司) 方法概述数据:训练集7759 + 测试集2163=9922个恶意样本文件,测试集…

Deep Learning论文笔记之（八）Deep Learning最新综述

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

论文笔记：A Review on Deep Learning Techniques Applied to Semantic Segmentation

A Review on Deep Learning Techniques Applied to Semantic Segmentation 2018-02-22 10:38:12 1. Introduction: 语义分割是计算机视觉当中非常重要的一个课题,其广泛的应用于各种类型的数据,如:2D image,video,and even 3D or volumetric data. 最近基于 deep learning 的方法,取得了非常巨大的进展,在语义分割上也是遥遥领先于传统算法. 本…

学习笔记之深度学习（Deep Learning）

深度学习 - 维基百科,自由的百科全书 https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0 深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法. 深度学习是机器学习中一种基于对数据进行表征学习的算法.观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边.特定形状的区域等.而使用某些特…

论文笔记：Person Re-identification with Deep Similarity-Guided Graph Neural Network

Person Re-identification with Deep Similarity-Guided Graph Neural Network 2018-07-27 17:41:45 Paper: https://128.84.21.199/pdf/1807.09975.pdf 本文将 Graph Neural Network (GNN) 应用到 person re-ID 的任务中,用于 model 不同 prob-gallery 之间的关系,将该信息也用于 feature learning…

论文阅读 TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS

14 TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS link:https://scholar.google.com.hk/scholar_url?url=https://arxiv.org/pdf/2006.10637.pdf%3Fref%3Dhttps://githubhelp.com&hl=zh-TW&sa=X&ei=oVakYtvtIo74yASQ1Jj4AQ&scisig=AAGBfm0bNv…

论文笔记：Rich feature hierarchies for accurate object detection and semantic segmentation

在上计算机视觉这门课的时候,老师曾经留过一个作业:识别一张 A4 纸上的手写数字.按照传统的做法,这种手写体或者验证码识别的项目,都是按照定位+分割+识别的套路.但凡上网搜一下,就能找到一堆识别的教程,分割的文章次之,而定位的文章就少之又少了.这其中的缘由也很简单:识别目前来说已经不是什么难事了,所以容易写,但分割和定位却仍然是一个头疼不已的问题,不同场景方法不同,甚至同一场景也要结合多种图像处理方法,因此很难有通用的解决策略.在深度学习火起来之后,很多研究人员开始尝试用深度学习的特征提取能力来…

【论文笔记】多任务学习（Multi-Task Learning）

1. 前言多任务学习(Multi-task learning)是和单任务学习(single-task learning)相对的一种机器学习方法.在机器学习领域,标准的算法理论是一次学习一个任务,也就是系统的输出为实数的情况.复杂的学习问题先被分解成理论上独立的子问题,然后分别对每个子问题进行学习,最后通过对子问题学习结果的组合建立复杂问题的数学模型.多任务学习是一种联合学习,多个任务并行学习,结果相互影响. 拿大家经常使用的school data做个简单的对比,school data是用来预测…

论文笔记：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

ICML, 2015 S. Ioffe and C. Szegedy 解决什么问题(What) 分布不一致导致训练慢:每一层的分布会受到前层的影响,当前层分布发生变化时,后层网络需要去适应这个分布,训练时参数的变化会导致各层分布的不断变化,这个问题被定义为"internal covariate shift",由于每一层的分布不一样,就会导致训练很慢梯度消失和梯度爆炸:深度网络中微小的参数变动引起梯度上的剧变,导致训练陷入sigmoid的饱和区需要使用较小的学习率:大的学习率可能会导…

论文笔记 — MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching

论文:https://github.com/ei1994/my_reference_library/tree/master/papers 本文的贡献点如下: 1. 提出了一个新的利用深度网络架构基于patch的匹配来明显的改善了效果: 2. 利用更少的描述符,得到了比state-of-the-art更好的结果: 3. 实验研究了该系统的各个成分的有效作用,表明,MatchNet改善了手工设计和学习到的描述符加上对比函数: 4. 最后,作者 release 了训练的 MatchNet模型. 网…

(论文笔记Arxiv2021)Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis

目录摘要 1.引言 2.相关工作 3.方法 3.1局部特征聚合的再思考 3.2 曲线分组 3.3 曲线聚合和CurveNet 4.实验 4.1 应用细节 4.2 基准 4.3 消融研究 5.总结 Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis 漫步在云中:学习点云形状分析的曲线论文地址:https://arxiv.org/abs/2105.01288 代码:https://curvenet.github.i…

论文笔记：（ICML2020）On Learning Sets of Symmetric Elements

目录摘要一.引言二.先前的工作三.基础 3.1 符号和基本定义 3.2 G-不变网络 3.3 描述等变层 3.4 Deep sets 四.DSS层 4.1 对称元素集合 4.2 等变层的表征五.通用逼近定理 5.1 不变函数 5.2 等变函数 5.3 例子六.实验 6.1 多种测量分类 6.2 选择任务 6.3 颜色通道匹配 6.4 图像去模糊 6.5 实验总结七.总结 Deep Sets Haggai Maron Or Litan Gal Chechik…

论文笔记（2）：Deep Crisp Boundaries: From Boundaries to Higher-level Tasks

------------------------------------------------------------------------------------------------------------------------------------------------------------------- 译文摘要:在深度卷积网络(ConvNet)的帮助下,边缘检测已经取得了重大进展.基于ConvNet的边缘检测器在标准基准测试中达到了人类水平.我们提供了对于这些检测器输出…

论文笔记【三】A Deep Dive into Word Sense Disambiguation with LSTM

深入理解LSTM词义消歧 Minh Le,Marten Postma,Jacopo Urbani和Piek Vossen 阿姆斯特丹自由大学语言,文学和传播系阿姆斯特丹自由大学计算机科学系摘要基于LSTM的语言模型已经在Word Sense Disambiguation(WSD)中显示出有效性. 尤其是Yuan等人提出的技术(2016)在几个基准测试中返回了最先进的性能,但是没有发布训练数据和源代码.本文介绍了仅使用公开可用的数据集进行复制研究和分析该技术的结果(Giga Word,Sem…

论文笔记之：DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation 2017-06-12 21:29:06 引言部分: 本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation.现有的图像之间转换的方法,大部分都是需要图像对的方法,但是实际上有的场景下,很难得到这样的图像对.如何利用多个 domain 之间的关系,不需要图像对就可以进行图像之间的转换,那将会是一个很 cool…

论文笔记——Data-free Parameter Pruning for Deep Neural Networks

论文地址:https://arxiv.org/abs/1507.06149 1. 主要思想权值矩阵对应的两列i,j,如果差异很小或者说没有差异的话,就把j列与i列上(合并,也就是去掉j列),然后在下一层中把第j行的权值累加在第i像. 这个过程就想象一下隐藏层中少一个单元,对权值矩阵的影响. 整体思想还是考虑权值矩阵中列的相似性,有点类似于聚类. 然后作者给出了一种计算相似性的方法. 2. 原理假设一个隐藏层,一个输出单元,那么网络表达式如下: 我们可以看到下面这个图:如果两个权值集合W1和W…

论文笔记——NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

论文地址:https://arxiv.org/abs/1611.01578 1. 论文思想强化学习,用一个RNN学一个网络参数的序列,然后将其转换成网络,然后训练,得到一个反馈,这个反馈作用于RNN网络,用于生成新的序列. 2. 整体架构 3. RNN网络 4. 具体实现因为每生成一个网络,都会训练一遍,Google用了800个GPU,训练了12800个网络,它采用的是分布式训练的方法. 5. 结论…

论文笔记《ImageNet Classification with Deep Convolutional Neural Network》

一.摘要了解CNN必读的一篇论文,有些东西还是可以了解的. 二.结构 1. Relu的好处: 1.在训练时间上,比tanh和sigmod快,而且BP的时候求导也很容易 2.因为是非饱和函数,所以基本不会出现梯度消失的情况 Relu只要控制好learing rate,可以说是完胜之前的激活函数,也因此可以帮助我们训练更深层次的网络. 现在对Relu的进一步增强还有研究,有兴趣可以了解. 2.GPU并行计算在当时是个很好思路,不过作者的trick就有点...虽然说是通过cross-validati…

[转]综述论文翻译：A Review on Deep Learning Techniques Applied to Semantic Segmentation

近期主要在学习语义分割相关方法,计划将arXiv上的这篇综述好好翻译下,目前已完成了一部分,但仅仅是尊重原文的直译,后续将继续完成剩余的部分,并对文中提及的多个方法给出自己的理解. _论文地址:https://arxiv.org/abs/1704.06857_ 应用于语义分割问题的深度学习技术综述摘要计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣.越来越多的应用场景需要精确且高效的分割技术,如自动驾驶.室内导航.甚至虚拟现实与增强现实等.这个需求与视觉相关的各个领域及应用场景下的深…

综述论文翻译：A Review on Deep Learning Techniques Applied to Semantic Segmentation

近期主要在学习语义分割相关方法,计划将arXiv上的这篇综述好好翻译下,目前已完成了一部分,但仅仅是尊重原文的直译,后续将继续完成剩余的部分,并对文中提及的多个方法给出自己的理解. 论文地址:https://arxiv.org/abs/1704.06857 应用于语义分割问题的深度学习技术综述摘要计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣.越来越多的应用场景需要精确且高效的分割技术,如自动驾驶.室内导航.甚至虚拟现实与增强现实等.这个需求与视觉相关的各个领域及应用场景下的深度学…

[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning

- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等,而我们通过提供大量的training data给这个函数集合,对集合里的各种函数组合的输出进行比对,最后选出一个能输出最佳结果(结果是猫)的组合,那么因为这个组合已经很能够很准确的识别猫,所以这个组合就能用来检测图片里是否是猫. - 具体来说,下面第一张图,某一个点为一个函数,而整个网络机构为函数集…

【笔记】机器学习 - 李宏毅 - 7 - Deep Learning

深度学习发展历史: 感知机和逻辑回归很像,只是没有\(sigmoid\)激活函数. 深度学习训练的三个步骤: Step1:神经网络(Neural network) Step2:模型评估(Goodness of function) Step3:选择最优函数(Pick best function) Step1: 完全连接前馈神经网络 Fully Connect Feedforward Network: 概念:输入层.隐藏层.输出层.神经元 Deep = Many hidden layers 全连接:…

【论文笔记】Recommendations as Treatments: Debiasing Learning and Evaluation

Recommendations as Treatments: Debiasing Learning and Evaluation Authors: Tobias Schnabel, Adith Swaminathan, Ashudeep Singh, Navin Chandak, Thorsten Joachims ICML'16 Cornell University 目录 Recommendations as Treatments: Debiasing Learning and Evaluat…

【论文笔记】A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond（综述）

A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond Author Sawsan AbdulRahman, Hanine Tout, Hakima Ould-Slimane, Azzam Mourad, Chamseddine Talhi, Mohsen Guizani Keywords AI; DL; distributed intellig…