NLP+VS︱深度学习数据集标注工具、方法摘录，欢迎补充~~

~~因为不太会使用opencv.matlab工具,所以在找一些比较简单的工具. . . 一.NLP标注工具BRAT BRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的标注结果能够把无结构化的原始文本结构化,供计算机处理.利用该工具可以方便的获得各项NLP任务需要的标注语料.以下是利用该工具进行命名实体识别任务的标注例子. WeTest舆情团队在使用:http://wetest.qq.com/bee/ 使用案例:http://blog.csdn.net/oweng…

深度学习图像标注工具VGG Image Annotator (VIA)使用教程

VGG Image Annotator (VIA)是一款开源的图像标注工具,由Visual Geometry Group开发. 可以在线和离线使用,可标注矩形.圆.椭圆.多边形.点和线.标注完成后,可以导出为csv和json文件格式. 地址:http://www.robots.ox.ac.uk/~vgg/software/via/. 中文使用教程: 原文:https://blog.csdn.net/heiheiya/article/details/81530952 Mask_RCNN训练自己的数…

NLP与深度学习（一）NLP任务流程

1. 自然语言处理简介根据工业界的估计,仅有21% 的数据是以结构化的形式展现的[1].在日常生活中,大量的数据是以文本.语音的方式产生(例如短信.微博.录音.聊天记录等等),这种方式是高度无结构化的.如何去对这些文本数据进行系统化分析.理解.以及做信息提取,就是自然语言处理(Natural Language Processing,NLP)需要做的事情. 在NLP中,常见的任务包括:自动摘要.机器翻译.命名体识别(NER).关系提取.情感分析.语音识别.主题分割,等等-- 在NLP与深度学习系…

在NLP中深度学习模型何时需要树形结构？

在NLP中深度学习模型何时需要树形结构? 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文<When Are Tree Structures Necessary for Deep Learning of Representations?>,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network),在4类NLP任务上进行实验,来讨论深度学习模型何时需要树形结…

『深度应用』NLP机器翻译深度学习实战课程·壹（RNN base）

深度学习用的有一年多了,最近开始NLP自然处理方面的研发.刚好趁着这个机会写一系列NLP机器翻译深度学习实战课程. 本系列课程将从原理讲解与数据处理深入到如何动手实践与应用部署,将包括以下内容:(更新ing) NLP机器翻译深度学习实战课程·零(基础概念) NLP机器翻译深度学习实战课程·壹(RNN base) NLP机器翻译深度学习实战课程·贰(RNN+Attention base) NLP机器翻译深度学习实战课程·叁(CNN base) NLP机器翻译深度学习实战课程·肆(Self-Atte…

深度学习数据集MNIST ImageNet COCO PASCAL VOC介绍

参考文档深度学习数据集汇总介绍 1. MNIST 深度学习领域的“Hello World!”,入门必备!MNIST是一个手写数字数据库,它有60000个训练样本集和10000个测试样本集,每个样本图像的宽高为28*28.此数据集是以二进制存储的,不能直接以图像格式查看,不过很容易找到将其转换成图像格式的工具. 最早的深度卷积网络LeNet便是针对此数据集的,当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程,其中Tensorflow关于MNIST的教程非常详细.数…

NLP与深度学习（四）Transformer模型

1. Transformer模型在Attention机制被提出后的第3年,2017年又有一篇影响力巨大的论文由Google提出,它就是著名的Attention Is All You Need[1].这篇论文中提出的Transformer模型,对自然语言处理领域带来了巨大的影响,使得NLP任务的性能再次提升一个台阶. Transformer是一个Seq2Seq架构的模型,所以它也由Encoder与Decoder这2部分组成.与原始Seq2Seq 模型不同的是:Transformer模型中没有RN…

NLP与深度学习（五）BERT预训练模型

1. BERT简介 Transformer架构的出现,是NLP界的一个重要的里程碑.它激发了很多基于此架构的模型,其中一个非常重要的模型就是BERT. BERT的全称是Bidirectional Encoder Representation from Transformer,如名称所示,BERT仅使用了Transformer架构的Encoder部分.BERT自2018年由谷歌发布后,在多种NLP任务中(例如QA.文本生成.情感分析等等)都实现了更好的结果. BERT的效果如此优异,其中一个主要原…

『深度应用』NLP机器翻译深度学习实战课程·零（基础概念）

0.前言深度学习用的有一年多了,最近开始NLP自然处理方面的研发.刚好趁着这个机会写一系列NLP机器翻译深度学习实战课程. 本系列课程将从原理讲解与数据处理深入到如何动手实践与应用部署,将包括以下内容:(更新ing) NLP机器翻译深度学习实战课程·零(基础概念) NLP机器翻译深度学习实战课程·壹(RNN base) NLP机器翻译深度学习实战课程·贰(RNN+Attention base) NLP机器翻译深度学习实战课程·叁(CNN base) NLP机器翻译深度学习实战课程·肆(Self…

深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)

深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam) 深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经网络的概念,结构和代码注释深度学习笔记(五):LSTM 深度学习笔记(六):Encoder-Decoder模型和Attention模型…

深度学习常见的优化方法(Optimizer)总结:Adam,SGD,Momentum,AdaGard等

机器学习的常见优化方法在最近的学习中经常遇到,但是还是不够精通．将自己的学习记录下来,以备不时之需基础知识: 机器学习几乎所有的算法都要利用损失函数 lossfunction 来检验算法模型的优劣,同时利用损失函数来提升算法模型．这个提升的过程就叫做优化(Optimizer) 下面这个内容主要就是介绍可以用来优化损失函数的常用方法常用的优化方法(Optimizer): 1.SGD&BGD&Mini-BGD: SGD(stochastic gradient descent):随机梯度下…

深度学习模型调优方法（Deep Learning学习记录）

深度学习模型的调优,首先需要对各方面进行评估,主要包括定义函数.模型在训练集和测试集拟合效果.交叉验证.激活函数和优化算法的选择等. 那如何对我们自己的模型进行判断呢?——通过模型训练跑代码,我们可以分别从训练集和测试集上看到这个模型造成的损失大小(loss),还有它的精确率(accuracy). 目录前言 1.定义模型函数 2.交叉验证(Cross-validation) 3.优化算法 4.激活函数(activation) 5.dropout 6.early stopping 模型训练实战案…

深度学习的Xavier初始化方法

在tensorflow中,有一个初始化函数:tf.contrib.layers.variance_scaling_initializer.Tensorflow 官网的介绍为: variance_scaling_initializer( factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32)1234567Returns an initializer that generates tensors without s…

JavaScript 深入学习及常用工具方法整理 ---- 01.浮点数

在JavaScript中是不区分整数值和浮点数值的,其中所有的数字均用浮点数值表示.JavaScript采用IEEE 754标准(有兴趣可以浏览网络规范分类下的IEEE 754标准,需要原文件请在留言处联系我)定义的64位浮点格式表示数字. 目前只针对浮点数的计算.其他的内容会在后续时间进行完善,也希望大家积极提供资源,让你学到的更多. 浮点数直接量可以用以下语法表示: [digits][.digits][(E|e)[(+|-)]digits] IEEE754是一种二进制表示法,可以精确的表示(…

关于NLP和深度学习，准备好好看看这个github，还有这篇介绍

这个github感觉很不错,把一些比较新的实现都尝试了: https://github.com/brightmart/text_classification fastText TextCNN TextRNN RCNN Hierarchical Attention Network seq2seq with attention Transformer("Attend Is All You Need") Dynamic Memory Network EntityNetwork:trackin…

[深度学习] 各种下载深度学习数据集方法（In python）

一.使用urllib下载cifar-10数据集,并读取再存为图片(TensorFlow v1.14.0) # -*- coding:utf-8 -*- __author__ = 'Leo.Z' import sys import os # 给定url下载文件 def download_from_url(url, dir=''): _file_name = url.split('/')[-1] _file_path = os.path.join(dir, _file_name) # 打印下载进度…

NLP与深度学习（六）BERT模型的使用

1. 预训练的BERT模型从头开始训练一个BERT模型是一个成本非常高的工作,所以现在一般是直接去下载已经预训练好的BERT模型.结合迁移学习,实现所要完成的NLP任务.谷歌在github上已经开放了预训练好的不同大小的BERT模型,可以在谷歌官方的github repo中下载[1]. 以下是官方提供的可下载版本: 其中L表示的是encoder的层数,H表示的是隐藏层的大小(也就是最后的前馈网络中的神经元个数,等同于特征输出维度). 除此之外,谷歌还提供了BERT-uncased与BERT-c…

NLP与深度学习（二）循环神经网络

1. 循环神经网络在介绍循环神经网络之前,我们先考虑一个大家阅读文章的场景.一般在阅读一个句子时,我们是一个字或是一个词的阅读,而在阅读的同时,我们能够记住前几个词或是前几句的内容.这样我们便能理解整个句子或是段落所表达的内容.循环神经网络便是采用的与此同样的原理. 循环神经网络(RNN,Recurrent Neural Network)与其他如全连接神经网络.卷积神经网络最大的特点在于:它的内部保存了一个状态,其中包含了与已经查看过的内容的相关信息. 下面便先以SimpleRNN为例,介绍这…

深度学习网络压缩模型方法总结(model compression)

两派 1. 新的卷机计算方法这种是直接提出新的卷机计算方式,从而减少参数,达到压缩模型的效果,例如SqueezedNet,mobileNet SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 修改网络结构,类似于mobileNet MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Appli…

Vue深度学习（4）-方法与事件处理器

方法处理器可以用 v-on 指令监听 DOM 事件: <div id="app"> <button v-on:click = "greet">Greet</button> </div> Js代码 new Vue({ el: '#app', data: { message: '菜鸟教程!' }, methods:{ greet:function () { alert("OP"); } } }) 内联…

深度学习数据集Deep Learning Datasets

Datasets These datasets can be used for benchmarking deep learning algorithms: Symbolic Music Datasets Piano-midi.de: classical piano pieces (http://www.piano-midi.de/) Nottingham : over 1000 folk tunes (http://abc.sourceforge.net/NMD/) MuseData: ele…

深度学习框架gpu安装方法

1.tensorflow pip install tensorflow-gpu==1.14.0,具体安装哪一个版本,可以把1.14.0随便填写一个数字,系统会提示可以有哪些版本可以安装 2.pytorch conda install pytorch torchvision cudatoolkit=9.0 -c pytorch,这样会安装cuda版本是9.0对应的pytorch 注意事项: 通过pip安装python包时,确定不同的python对应的pip,比如:python3.5 需要使用pip…

回望2017，基于深度学习的NLP研究大盘点

回望2017,基于深度学习的NLP研究大盘点雷锋网百家号01-0110:31 雷锋网 AI 科技评论按:本文是一篇发布于 tryolabs 的文章,作者 Javier Couto 针对 2017 年基于深度学习的自然语言处理研究进行了大盘点.雷锋网 AI 科技评论根据原文进行了编译. 在过去的几年里,深度学习(DL)架构和算法在诸如图像识别和语音处理等领域取得了世人瞩目的进步.然而在最开始的时候,深度学习在自然语言处理(Natural Language Processing, NLP)领域的…

图像标注工具labelImg使用方法

最近在做打标签的工作,为了与大家参考学习,总结了在windows的环境下,基于anaconda的图像标注工具labellmg的一种使用方法! 1 搭建anaconda 以前写过怎么搭建anaconda的文章,可以参考一下:https://www.cnblogs.com/Terrypython/p/9324575.html 2 打开spyder(anaconda会默认安装),如下图: 3 打开labelImg-master中的labellmg文件(见后边的百度云链接) 4 运行labellmg文件…

【深度学习Deep Learning】资料大全

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University…

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)

##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新------#####希望转载的朋友**一定要保留原文链接**,因为这个项目还在继续也在不定期更新．希望看到…