Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 原文链接 摘要 当前神经网络层之前的神经网络层的参数变化,引起神经网络每一层输入数据的分布产生了变化,这使得训练一个深度神经网络变得复杂.这样就要求使用更小的学习率,参数初始化也需要更为谨慎的设置.并且由于非线性饱和(注:如sigmoid激活函数的非线性饱和问题),训练一个深度神经网络会非常困难.我们称这个现象为…

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 原文链接 摘要 向传统体系结构中引入残差连接使网络的性能变得更好,这提出了一个问题,即将Inception架构与残差连接结合起来是否能带来一些好处.在此,研究者通过实验表明使用残差连接显著地加速了Inception网络的训练.也有一些证据表明,相比没有残差连接的消耗相似的Inception网络,残差Inception网络在性能上具有微…

Rethinking the Inception Architecture for Computer Vision 原文链接 摘要 卷积网络是目前最新的计算机视觉解决方案的核心,对于大多数任务而言,虽然增加的模型大小和计算成本都趋向于转化为直接的质量收益(只要提供足够的标注数据去训练),但计算效率和低参数计数仍是各种应用场景的限制因素.目前,我们正在探索增大网络的方法,目标是通过适当的分解卷积和积极的正则化来尽可能地有效利用增加的计算 引言 深度卷积架构上的架构改进可以用来改善大多数越来越多地依…

Going deeper with convolutions 原文链接 摘要 研究提出了一个名为"Inception"的深度卷积神经网结构,其目标是将分类.识别ILSVRC14数据集的技术水平提高一个层次.这一结构的主要特征是对网络内部计算资源的利用进行了优化.这一目标的实现是通过细致的设计,使得在保持计算消耗稳定不变的同时增加网络的宽度与深度 引言 在物体识别方面,最大的收获其实并不来自于深度网络或是大型模型的单独使用,而是来自深度结构和传统机器视觉的协同作用,比如R-CNN算法 此…

Deep Residual Learning for Image Recognition 原文链接 摘要 深度神经网络很难去训练,本文提出了一个残差学习框架来简化那些非常深的网络的训练,该框架使得层能根据其输入来学习残差函数而非原始函数.本文提出证据表明,这些残差网络的优化更简单,而且通过增加深度来获得更高的准确率 引言 深度网络很好的将一个端到端的多层模型中的低/中/高级特征以及分类器整合起来,特征的等级可以通过所堆叠层的数量来丰富.有结果显示,模型的深度发挥着至关重要的作用 在深度的重要性的…

Alexnet - 论文研读个人笔记 一.论文架构 摘要: 简要说明了获得成绩.网络架构.技巧特点 1.introduction 领域方向概述 前人模型成绩 本文具体贡献 2.The Dataset 数据集来源,训练数据进行的一些预处理 3.The Architecture 网络模型大体组成 ReLU Training on Multiple GPUs LRN (Local Response Normalization) Overlapping Pooling 网络模型整个具体架构 4.Redu…

<DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks>研读笔记 论文标题:DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks 来源:ICCV 2017 摘要: 尽管手机中的嵌入式照相机的性能在快速地发展,但是它们所受到的物理限制——较小的感光器件,精简的镜头和缺少特定的硬件——制约着手机的相机拍出与DSLR(单反)同…

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 == 目标问题 == 下一代的Hadoop框架,支持10,000+节点规模的Hadoop集群,支持更灵活的编程模型 == 核心思想 == 固定的编程模型,单点的资源调度和任务管理方式,使得Hadoop 1…

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 == 目标问题 == 为了提高资源的利用率以及满足不同应用的需求,在同一集群内会部署各种不同的分布式运算框架(cluster computing framework),他们有着各自的调度逻辑. Mesos…

论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, built using word co-occurrence statistics as per the distributional hypothesis. 分布式假说(distributional hypothesis) word with similar contexts have the…

EARLY PREDICTION OF ALZHEIMER'S DISEASE DEMENTIA BASED ON BASELINE HIPPOCAMPAL MRI AND 1-YEAR FOLLOW-UP COGNITIVE MEASURES USING DEEP RECURRENT NEURAL NETWORKS (基于基础海马MRI和1年随访认知测量的阿尔茨海默病痴呆早期预测) 原文链接 摘要 多模生物学.影像学和神经心理学标记物已经展示了区分阿尔茨海默病(AD)患者和认知正常的老年人的良…

A Deep Learning Model to Predict a Diagnosis of Alzheimer Disease by Using 18F-FDG PET of the Brain 原文链接 提要 目的 开发并验证一种深度学习算法,该算法可以基于脑部18F FDG PET来预测AD.轻度认知障碍或者二者均不是的诊断结果,并将其性能与放射学阅读器的性能进行比较 材料和方法 来自ADNI的18F-FDG PET脑图(含2109张图片,包括1002个病人)用于训练.验证,40张来自4…

论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于知网资源的词嵌入学习模型,在通用的中文词嵌入评测数据集上进行了评测,取得了较好的结果. 作者简介 该论文选自 ACL 2017,是清华大学孙茂松刘知远老师组的成果.论文的两名共同第一作者分别是牛艺霖和谢若冰. 牛艺霖,清华本科生. 谢若冰,清华研究生(2014-2017),清华本科生(2010-20…

这是一个导读,可以快速找到我记录的关于人工智能(深度学习)加速芯片论文阅读笔记. ISSCC 2017 Session14 Deep Learning Processors: ISSCC 2017关于Deep Learning Processors的Slides笔记,主要参考了[1]中的笔记,自己根据paper和slides读一遍,这里记一下笔记,方便以后查阅. 14.1 A 2.9TOPS/W Deep Convolutional Neural Network SoC in FD-SOI 28…

Nature/Science 论文阅读笔记 Unsupervised word embeddings capture latent knowledge from materials science literature The overwhelming majority of scientific knowledge is published as text, which is difficult to analyse by either traditional statistical anal…

Introduction (1)Motivation: 当前CNN无法提取图像序列的关系特征:RNN较为忽视视频序列前期的帧信息,也缺乏对于步态等具体信息的提取:Siamese损失和Triplet损失缺乏对label信息的考虑(???). (2)Contribution: 提出一个新的端到端网络框架,称为 CNN and RNN Fusion(CRF),结合了Siamese.Softmax 联合损失函数.分别对全身和身体局部进行模型训练,获得更有区分度的特征表示. Method (1)框架: (…

论文阅读笔记(十七)ICCV2017的扩刊(会议论文[传送门]) 改进部分: (1)惩罚函数:原本由两部分组成的惩罚函数,改为只包含 Sequence Cost 函数: (2)对重新权重改进: ① Positive Re-Weighting: 其中 若太大,则选择的样本标签的可信度小:若太小,则样本数量不足以进行矩阵学习,因此设置如下的: 其中,σ为 [0, 1],如果 σ = 1,则说明充分相信样本估计的可信度,反之设置为 σ = 0. ② Negative Re-Weighting: 对于所…

MapReduce 论文研读 说明:本文为论文 <MapReduce: Simplified Data Processing on Large Clusters> 的个人理解,难免有理解不到位之处,欢迎交流与指正 . 论文地址:MapReduce Paper 1. MapReduce 编程模型 MapReduce 是 Google 提出的一种用于处理和生成大数据集的 编程模型 ,具象地可以理解成一个 框架 . 该框架含有两个由用户来实现的接口:map 和 reduce ,map 函数接收一个键…

VM-FT 论文研读 说明:本文为论文 <The Design of a Practical System for Fault-Tolerant Virtual Machines> 的个人理解,难免有理解不到位之处,欢迎交流与指正 . 论文地址:VM-FT 论文 本文的总结包括论文内容以及 MIT6.824 Lec4 中的授课内容,其中包含了论文中没有提及的一些细节 . 1. 前言 本论文主要介绍了一个用于提供 容错虚拟机 (fault-tolerant virtual machine) 的企…

[论文阅读笔记] GEMSEC: Graph Embedding with Self Clustering 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 已经有一些工作在使用学习到的节点表示来做社区发现,但是仅仅局限在得到节点表示之后使用聚类算法来得到社区划分,简单说就是节点表示和目标任务分离了,学习到的节点表示并不能很有效地应用于聚类算法(因为可能节点表示向量所在的低维空间中并不存在容易容易划分的簇,从而使用聚类算法也不能得到很好的社区划分结果). (2) 主要贡献 Co…

A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification 有效利用信息多个数据源的问题已成为遥感领域一个相关但具有挑战性的研究课题.在本文中,我们提出了一种新的方法来利用两个数据源的互补性:高光谱图像(HSI)和光检测与测距(LiDAR)数据.具体来说,我们开发了一种新的双通道空间,频谱和多尺度注意力卷积…

[论文阅读笔记] metapath2vec: Scalable Representation Learning for Heterogeneous Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 解决异构网络上的节点嵌入问题. 论文中指出了异构网络嵌入的两个关键问题: 在异构网络中,如何定义和建模节点邻域的概念? 如何优化嵌入模型,使得其能够有效的保留多种类型的节点和边的结构和语义信息. (2) 主要贡献 Contribution 1: 定义了异构网络表示学…

特别声明:本文来源于掘金,"预留"发表的[Apache Calcite 论文学习笔记](https://juejin.im/post/5d2ed6a96fb9a07eea32a6ff) 最近在关注大数据处理的技术和开源产品的实现,发现很多项目中都提到了一个叫 Apache Calcite 的东西.同样的东西一两次见不足为奇,可再三被数据处理领域的各个不同时期的产品提到就必须引起注意了.为此也搜了些资料,关于这个东西的介绍2018 年发表在 SIGMOD 的一篇论文我觉得是拿来入门最合适…

[论文阅读笔记] node2vec:Scalable Feature Learning for Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 由于DeepWalk的随机游走是完全无指导的随机采样,即随机游走不可控.本文从该问题出发,设计了一种有偏向的随机游走策略,使得随机游走可以在DFS和BFS两种极端搜索方式中取得平衡. (2) 主要贡献 Contribution: 本篇论文主要的创新点在于改进了随机游走的策略,定义了两个参数p和q,使得随机游走在BFS…

[论文阅读笔记] Fast Network Embedding Enhancement via High Order Proximity Approximation 本文结构 解决问题 主要贡献 主要内容 参考文献 (1) 解决问题 大多数先前的工作,要么是没有考虑到网络的高阶相似度(如谱聚类,DeepWalk,LINE,Node2Vec),要么是考虑了但却使得算法效率很低,不能拓展到大规模网络(如GraRep). (2) 主要贡献 Contribution 1. 将许多现有的NRL算法架构总结…

[论文阅读笔记] Community aware random walk for network embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 先前许多算法都只考虑了网络的局部拓扑结构信息,忽略了原始网络中潜藏的社区信息. (2) 主要贡献 Contribution: 为了结合聚类将表示学习应用于基于图结构的社区发现任务上,本文在随机游走过程中结合了社区信息,使得同社区节点具有相近的表示向量,方便聚类任务. (3) 算法原理 CARE算法框架主要包含两个…

[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 传统的异构网络中的随机游走常常偏向于采样节点数比较多的节点类型.为了克服该问题,metapath2vec提出了基于元路径的随机游走,然而使用元路径策略要么要求先验知识,要么需要通过额外的操作来结合所有短的元路径到一个预定义的序列长度(如多元路径的情况,如何取舍,哪个更重要?).…

[论文阅读笔记] LouvainNE: Hierarchical Louvain Method for High Quality and Scalable Network Embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 本篇论文是针对现有表征算法计算开销比较大,不能够很好应用到大规模网络上的问题. (2) 主要贡献 Contribution: 提出一种快速且可扩展网络表征框架,LouvainNE,能够为包含数百亿边的网络生成高质量的表征向量. (3) 算法…

[论文阅读笔记] Structural Deep Network Embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的表示学习方法大多采用浅层模型,这可能不能捕获具有高度非线性的网络结构,导致学习到一个局部最优的节点向量表示. (2) 主要贡献 Contribution: 提出一个半监督的深度模型SDNE,包含多个非线性层,同时优化一阶和二阶相似度的目标函数来保留原始网络的局部和全局网络结构,因此可能能够捕获高度非线性的网络结构. (3) 算法原理 简单…

[论文阅读笔记] Adversarial Learning on Heterogeneous Information Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的异构网络(HIN)嵌入方法本质上可以归结为两个步骤(1)正样本生成和负样本生成(2)在这些样本上训练模型优化目标函数以得到更合适的节点嵌入.目前主流的异构网络嵌入方法存在以下几个问题: Problem 1: 首先,这些算法一般从原始网络中随机选择节点与中心节点组合生成正样本或者负样本,即,…