两种形式的LSTM变体 Child-Sum Tree-LSTMs N-ary Tree-LSTMs https://paperswithcode.com/paper/improved-semantic-representations-from-tree

目录 Visualizing and Understanding Convolutional Networks 论文复现笔记 Abstract Introduction Approach Visualization with a Deconvnet 关于Deconvnet的实现 Convnet Visualization 对于一个给定的Feature map,论文中展示了最高的9个激活,并把每个激活投影到像素空间,同时对于可视化的像素空间,论文同样展示了相关的图片区域. 这个地方挺有意思的,也可

近日,PyTorch 社区发布了一个深度学习工具包 PyTorchHub, 帮助机器学习工作者更快实现重要论文的复现工作.PyTorchHub 由一个预训练模型仓库组成,专门用于提高研究工作的复现性以及新的研究.同时它还内置了对Google Colab的支持,并与Papers With Code集成.目前 PyTorchHub 包括了一系列与图像分类.分割.生成以及转换相关的模型. 可复现性是许多研究领域的基本要求,这其中当然包括基于机器学习技术的研究领域.然而, 许多机器学习相关论文要么无法复

小白的经典CNN复现系列(一):LeNet-1989 之前的浙大AI作业的那个系列,因为后面的NLP的东西我最近大概是不会接触到,所以我们先换一个系列开始更新博客,就是现在这个经典的CNN复现啦(｡･ω･｡) 在开始正式内容之前,还是有些小事情提一下,免得到时候评论区的dalao们对我进行严格的批评教育······ 首先呢,我会尽可能地按照论文里面的模型参数进行复现,论文里面说的什么我就写什么.但是由于我本人还是个小白,对于有些算法(比如什么拟牛顿法什么的)实在是有点苦手,而且CNN也基本上就只

继续上一篇的内容,上一篇讲解了Bootstrap Your Onw Latent自监督模型的论文和结构: https://juejin.cn/post/6922347006144970760 现在我们看看如何用pytorch来实现这个结构,并且在学习的过程中加深对论文的理解. github:https://github.com/lucidrains/byol-pytorch [前沿]:这个代码我没有实际跑过,毕竟我只是一个没有GPU的小可怜. 主要模型代码 class BYOL(nn.Modul

. 过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含“伪代码”.这是今年 AAAI 会议上一个严峻的报告. 人工智能这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学.医学以及其他领域一样.最根本的问题是研究人员通常不共享他们的源代码. 可验证的知识是科学的基础,它事关理解.随着人工智能领域的发展,打破不可复现性将是必要的. Learning Feature Py

LFFD: A Light and Fast Face Detector for Edge Devices 摘要 从微信推文中得知此人脸识别算法可以在跑2K图片90fps,仔细一看是在RTX2070下使用tensorrt下才能达到.最近刚好有个目标检测的任务,检测的目的其实差不多,我们篮球组比赛中需要检测篮球和排球,传统方法的鲁棒性不好,因此拟打算用自己写个神经网络结构在nuc x86 cpu下能够取得不错的推理速度和准确率.所以准备参考这篇论文复现并修改实现篮球.排球的实时目标检测任务. 本文

小白的经典CNN复现(三):AlexNet 锵锵--本系列的第三弹AlexNet终于是来啦(≧∀≦),到了这里,我们的CNN的结构就基本上和现在我们经常使用或者接触的一些基本结构差不多了,并且从这一个经典模型开始,后面的模型的深度越来越高,使用的数据集也越来越大,训练难度也越来越高,模型的正确率也变得比较高,然后各个dalao们对于卷积的理解实际上也在不断加强. 然鹅······你叫我回家以后咋训练嘛(╯‵□′)╯︵┻━┻.因为家里面就只有一个笔记本,显卡也就一个1050Ti的垃圾,虽然CPU还

一.前言 1.Skip-Thought-Vector论文 https://github.com/ryankiros/skip-thoughts 2.本文假设读者已了解Skip-Gram-Vector和RNN相关基础 3.quick_thought 论文:Lajanugen Logeswaran, Honglak Lee, An efficient framework for learning sentence representations. In ICLR, 2018. 二.实战 1.对数据进

(续)LED局部背光算法MATLAB仿真 在上一篇博客<Local dimming algorithm in matlab>中,我们实现了对一篇论文的算法用matlab仿真.在本篇论文中,对另一篇论文进行了MATLAB仿真. 这篇论文<<A Novel Two-Dimensional Adaptive Dimming Technique of X-Y Channel Drivers for LED Backlight System in LCD TVs >>和前一篇一样

​ 前言 公众号在前面发过三篇分别对BatchNorm解读.分析和总结的文章(文章链接在文末),阅读过这三篇文章的读者对BatchNorm和归一化方法应该已经有了较深的认识和理解.在本文将介绍一篇关于BatchNorm举足轻重的论文,这篇论文对进行了很多实验,非常全面地考虑了BatchNorm中的Batch. 欢迎关注公众号 CV技术指南 ,专注于计算机视觉的技术总结.最新技术跟踪.经典论文解读. Motivation BatchNorm 区别于其他深度学习算子的关键因素是它对批量数据而不是单个

代码复现自论文<3-D Deep Learning Approach for Remote Sensing Image Classification> 先对部分基础知识做一些整理: 一.局部连接与参数共享(都减少了参数计算量) 局部连接:基于图像局部相关的原理,保留了图像局部结构,同时减少了网络的权值个数,加快了学习速率,同时也在一定程度上减少了过拟合的可能. 参数共享:下面用图例解释参数共享与不共享的区别. 如图是一个3*3大小的卷积核在进行特征提取,channel=1, 在每个位置进行特征

一.PipeLine 要点 TopDown + GlobalNet + RefineNet 二.Motivation 通过提高对难以识别的关键点的识别准确率,来提升总体识别准确率. 方法:1.refineNet中提升感受野 2. 在线难例挖掘 三.关键点 1. 软非最大值抑制(Soft NMS) Hard NMS是将IOU超过阈值之后的,分数比较差的框直接过滤掉,保留框相对较少.软非最大值抑制将分数较差的框的得分进一步抑制降低但保留(前提是IOU达到阈值以上),提升了一定的物体检测的召回率,从而

文章转自微信公众号:[机器学习炼丹术] 参考目录: 目录 0 概述 1 主要内容 1.1 Non local的优势 1.2 pytorch复现 1.3 代码解读 1.4 论文解读 2 总结 论文名称:"Non-local Neural Networks" 论文地址:https://arxiv.org/abs/1711.07971 0 概述 首先,这个论文中的模块,叫做non-local block,然后这个思想是基于NLP中的self-attention自注意力机制的.所以在提到CV中

原文转载自:https://blog.csdn.net/robert_chen1988/article/details/52431594 论文来源: https://www.sciencedirect.com/science/article/pii/S0045782599003898 function [xm,fv]=GAEOQ1 %%初始目标函数与约束条件 %求解变量t, k, 目标函数 f,约束条件 g1 syms t k z; f=100/t+25*(25*t+k*10*sqrt(1+1.

这次的任务是复现该文章的图2(C),过程如下. ①翻译了整篇文章,断断续续,花了3-4天时间. ②阅读文章,并且记录下每个符号的意义,记在单独的1个word文档里. ③开始编程,用的matlab2018b. clc;clear %%这个文件,是最终版本, %% 此版块内,n=,N由1到10,间隔为1, %%(i+0.5)*deierka)这一行,中的i有问题,已经用平移量解决. %% kesai=0.1; %过量噪声 seigema=sqrt(+kesai); b_lim=*seigema; %

主要思想 这篇文章主要是利用多个标准进行中文分词,和之前复旦的那篇文章比,它的方法更简洁,不需要复杂的结构,但比之前的方法更有效. 方法 堆叠的LSTM,最上层是CRF. 最底层是字符集的Bi-LSTM.输入:字符集embedding,输出:每个字符的上下文特征表示. 得到ht之后, CRF作为推理层. 打分: local score: 其中 ,,这一项是Bi-LSTM隐层ht和bigram 特征embedding的拼接. global score: A是转移矩阵tag yi to tag yj

结果展示 其中绿线是我绘制的图像划分网格. 这里的loss是我训练的 0.77 ,由于损失函数是我自己写的,所以可能跟大家的不太一样,这个不重要,重要的是学习思路. 重点提示 yolov1是一个目标检测的算法,他是一阶段的检测算法. 一阶段(one-stage):检测物体的同时进行分类.(代表论文:yolov1 - yolov5) 二阶段(two-stage):先检测出物体,再进行分类.(代表论文:rcnn,fast-rcnn) 重点要理解yolov1的数据特征标注方式. 只有理解了数据特征的标

Federated Learning for Wireless Communications: Motivation, Opportunities, and Challenges Authors Solmaz Niknam, Harpreet S. Dhillon, Jeffrey H. Reed Keywords Abstract 本文介绍了FL的总体思路,讨论了在5G网络中可能的应用,描述了无线通信环境中的关键技术挑战与关于未来研究的开放性问题. Publication DATA SCIEN

AlexNet卷积神经网络是由Alex Krizhevsky等人在2012年的ImagNet图像识别大赛获得冠军的一个卷积神经网络,该网络放到现在相对简单,但也是深度学习不错的卷积神经网络.论文:<ImageNet Classification with Deep Convolutional Neural Networks> 论文结构 Abstruct:简单介绍了AlexNet的结构及其成果 Introduction:神经网络要是有更快的GPU和更大的数据集我们的结果就会得到改善 The Da

目录 1. zip argument #1 must support iteration 2. torch.nn.DataParallel 3. model.state_dict() 1. zip argument #1 must support iteration 在多gpu训练的时候,自动把你的batch_size分成n_gpu份,每个gpu跑一些数据, 最后再合起来.我之所以出现这个bug是因为返回的时候 返回了一个常量.. 2. torch.nn.DataParallel 在使用torc