tensorflow基于 Grammar as a Foreign Language实现,这篇论文给出的公式也比较清楚. 这里关注seq2seq.attention_decode函数, 主要输入 decoder_inputs, initial_state, attention_states,     这里可以主要参考 models/textsum的应用,textsum采用的多层双向lstm, 假设只有一层,texsum将正向 最后输出的state作为 attention_decode的输入ini…

神经网络.<Make Your Own Neural Network>,用非常通俗易懂描述讲解人工神经网络原理用代码实现,试验效果非常好. 循环神经网络和LSTM.Christopher Olah http://colah.github.io/posts/2015-08-Understanding-LSTMs/ . seq2seq模型基于循环神经网络序列到序列模型,语言翻译.自动问答等序列到序列场景,都可用seq2seq模型,用seq2seq实现聊天机器人的原理 http://suriyade…

1.seq2seq:分为encoder和decoder a.在decoder中,第一时刻输入的是上encoder最后一时刻的状态,如果用了双向的rnn,那么一般使用逆序的最后一个时刻的输出(网上说实验结果比较好) b.每一时刻都有一个输出,即:[batch_size,  decoder_output_size],经过一个MLP后,都跟词汇表中的每一个词都对应了一个概率,即: [batch_size, vocab_size]. c.将每一个时刻的输出拼接起来,那么就是[batch_size, de…

[说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![认真看图][认真看图] [补充说明]深度学习中的序列模型已经广泛应用于自然语言处理(例如机器翻译等).语音识别.序列生成.序列分析等众多领域! [再说一句]本文主要介绍深度学习中序列模型的演变路径,和往常一样,不会详细介绍各算法的具体实现,望理解! 一.循环神经网络RNN 1. RNN标准结构 传统神经网络的前一个输入和后一个输入是完全没有关系的,不能处理序列信息(即前一个输入和后一个输入是…

两周以前读了些文档自动摘要的论文,并针对其中两篇( [2] 和 [3] )做了presentation.下面把相关内容简单整理一下. 文本自动摘要(Automatic Text Summarization)就是说在不改变文档原意的情况下,利用计算机程序自动地总结出文档的主要内容.自动摘要的应用场景非常多,例如新闻标题生成.科技文献摘要生成.搜索结果片段(snippets)生成.商品评论摘要等.在信息爆炸的互联网大数据时代,如果能用简短的文本来表达信息的主要内涵,无疑将有利于缓解信息过载问题. 一…

ChatGirl 一个基于 TensorFlow Seq2Seq 模型的聊天机器人[中文文档] 简介 简单地说就是该有的都有了,但是总体跑起来效果还不好. 还在开发中,它工作的效果还不好.但是你可以直接训练,并且运行. 包含预处理过的 twitter 英文数据集,训练,运行,工具代码,可以运行但是效果有待提高. 数据集 Twitter 数据集: https://github.com/suriyadeepan/datasets 训练 你需要新建一个 model 文件夹来保存训练完的模型 运行这个文…

Introduction [Under developing,it is not working well yet.But you can just train,and run it.] ChatGirl is an AI ChatBot based on TensorFlow Seq2Seq Model. TensorFlowNews TensorFlow CNN Model Project:https://github.com/fendouai/FaceRank TensorFlow LST…

之前的博客我们已经对RNN模型有了个粗略的了解.作为一个时序性模型,RNN的强大不需要我在这里重复了.今天,让我们来看看除了RNN外另一个特殊的,同时也是广为人知的强大的神经网络模型,即CNN模型.今天的讨论主要是基于Tensorflow的CIFAR10教程,不过作为对比,我们也会对Tensorflow的MINST教程作解析以及对比.很快大家就会发现,逻辑上考虑,其实内容都是大同小异的.由于所对应的目标不一样,在数据处理方面可能存在着些许差异,这里我们以CIFAR10的为基准,有兴趣的朋友欢迎去…

以简单英文问答问题为例测试tensorflow1.4 tf.contrib.legacy_seq2seq中seq2seq文件的几个seq2seq接口 github:https://github.com/buyizhiyou/tf_seq2seq 测试 basic_rnn_seq2seq 的使用 #-*-coding:utf8-*- __author="buyizhiyou" __date = "2018-7-30" import os import pdb impo…

1什么是注意力机制? Attention是一种用于提升Encoder + Decoder模型的效果的机制. 2.Attention Mechanism原理 要介绍Attention Mechanism结构和原理,首先需要介绍下Seq2Seq模型的结构.Seq2Seq模型,想要解决的主要问题是,如何把机器翻译中,变长的输入X映射到一个变长输出Y的问题,其主要结构如图3所示. 图3 传统的Seq2Seq结构 从图中可以看出,seq2seq模型分为两个阶段:编码阶段和解码阶段. 编码阶段: 把一个变长…

简单demo的代码路径在tensorflow\tensorflow\g3doc\tutorials\word2vec\word2vec_basic.py Sikp gram方式的model思路 http://tensorflow.org/tutorials/word2vec/index.md 另外可以参考cs224d课程的课件.     窗口设置为左右1个词 对应skip gram模型 就是一个单词预测其周围单词(cbow模型是 输入一系列context词,预测一个中心词)     Quick…

整体流程介绍: 我们从main函数走,在train函数中,首先new了一个network;然后初始化后开始训练,训练时设定设备和迭代的次数,训练完后关闭流程图. 下面看network这个类,这个类有许多方法,inference方法定义整个网络的结构,包括每一层的规格和连接的顺序.__init__方法是把权值和偏置初始化.其他两个方法一个是optimer,定义优化器,一个是sorfmax_loss定义损失函数. 程序最开始的两个函数read_and_decode和get_batch.一个是读取tf…

Attention Model,简称AM模型,本文只谈文本领域的AM模型,其实图片领域AM的机制也是相同的. 目前绝大多数文献中出现的AM模型是附着在Encoder-Decoder框架下的,但是其实AM模型可以看作一种通用的思想,本身并不依赖于Encoder-Decoder模型. Encoder-Decoder框架 文本处理领域里常用的Encoder-Decoder框架,可以把它看作适合处理由一个句子(或篇章)生成另外一个句子(或篇章)的通用处理模型. 对于句子对<X,Y>:我们的目标是给定输…

老猿前期执行如下代码时报"'utf-8' codec can't decode byte"错,代码及错误信息如下: >>> import urllib.request >>> def mkhead(): header = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-…

…

#-*-coding:utf8-*- __author = "buyizhiyou" __date = "2017-11-21" import random, time, os, decoder from PIL import Image import numpy as np import tensorflow as tf import pdb import decoder import random ''' 在汉字ocr项目中,利用基于attention的enco…

1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中,输⼊和输出都可以是不定⻓序列.以机器翻译为例,输⼊可以是⼀段不定⻓的英语⽂本序列,输出可以是⼀段不定⻓的法语⽂本序列,例如: 英语输⼊:"They"."are"."watching"."." 法语输出:"Ils"."regardent"."." 当输⼊和输出都是不定⻓序列时,我们可以使⽤编码器-解码器(encod…

前一章Doc2Vec里提到,其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息,并没有真正考虑语序以及上下文语义,n-gram只能在局部解决这一问题,那么还有别的解决方案么?依旧是通用文本向量,skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子向量.魔改后的实现可以看这里( ´▽｀) github-DSXiangLi-Embedding-skip_thought Skip-Thought模型分析 Skip-Thought顾名思义是沿用了sk…

Awesome-TensorFlow-Chinese TensorFlow 中文资源全集,学习路径推荐: 官方网站,初步了解. 安装教程,安装之后跑起来. 入门教程,简单的模型学习和运行. 实战项目,根据自己的需求进行开发. 很多内容下面这个英文项目: Inspired by https://github.com/jtoy/awesome-tensorflow 官方网站 官网:https://www.tensorflow.org/ 中文:https://tensorflow.google.cn/…

Awesome-TensorFlow-Chinese TensorFlow 中文资源全集,学习路径推荐: 官方网站,初步了解. 安装教程,安装之后跑起来. 入门教程,简单的模型学习和运行. 实战项目,根据自己的需求进行开发. 很多内容下面这个英文项目: Inspired by https://github.com/jtoy/awesome-tensorflow 官方网站 官网:https://www.tensorflow.org/ 中文:https://tensorflow.google.cn/…

Attention & Transformer seq2seq; attention; self-attention; transformer; 1 注意力机制在NLP上的发展 Seq2Seq,Encoder,Decoder 引入Attention,Decoder上对输入的各个词施加不同的注意力 https://wx1.sbimg.cn/2020/09/15/9FZGo.png Self-attention,Transformer,完全基于自注意力机制 Bert,双向Transformer,ma…

小米JS地址: http://p.www.xiaomi.com/zt/20130313/huodong/pm.min.js 上面这个JS是小米抢手机页面的代码.和抢手机有直接关联.. 虽然我3次都没抢到红米手机,但是今天偶尔发现这么一个js文件,对文件内容比较好奇,但是这个js开头有个数组,部分截图如下: 开始这么一大堆的16进制字符串,这种类型的数据经常会在properties文件中看到,为了看到实际的内容,写了如下代码进行翻译. 最简单的方式,只要把上面的代码,贴到浏览器(如chrome的c…

TensorFlow LSTM Attention 机制图解 深度学习的最新趋势是注意力机制.在接受采访时,现任OpenAI研究主管的Ilya Sutskever提到,注意力机制是最令人兴奋的进步之一,他们在这里进行投入.听起来令人兴奋但是什么是注意机制? 基于人类视觉注意机制,神经网络中的注意机制非常松散.人的视觉注意力得到了很好的研究,虽然存在着不同的模式,但它们基本上都是以"低分辨率"感知周围的图像,以"高分辨率"的方式集中在图像的某个区域,然后随着时间的推移…

1 - Tensorflow源码目录结构 基于2018年5月28日github的tensorflow源码,即1.8版本 第一层: tensorflow: 核心代码目录. third_party:第三方库,包括:eigen3,fft2d,hadoop,mkl,probuf ,kafka,mpi,tensorRT,nccl,grpc等等. tools:只有两个文件 bazel.rc 和 tf_env_collect.sh. util/python:存放用到的 python 工具,不过当前版本其中只有…

一.概述 自动摘要可以从很多角度进行分类,例如单文档摘要/多文档摘要.单语言摘要/跨语言摘要等.从技术上说,普遍可以分为三类: i. 抽取式摘要(extractive),直接从原文中抽取一些句子组成摘要.本质上就是个排序问题,给每个句子打分,将高分句子摘出来,再做一些去冗余(方法是MMR)等.这种方式应用最广泛,因为比较简单,比如博客园的博客摘要就是前面几句话.经典方法有LexRank和整数线性规划(ILP). LexRank是将文档中的每个句子都看作节点,句子之间的相似度看作节点之间的边的权重…

TensorFlow基础笔记(3) cifar10 分类学习 CIFAR-10 is a common benchmark in machine learning for image recognition. http://www.cs.toronto.edu/~kriz/cifar.html Code in this directory demonstrates how to use TensorFlow to train and evaluate a convolutional neural…

个人理解:就是TF的一种输入语法. 跟C语言的scanf(),C++的 cin>> 意思差不多,只是长相奇怪了点而已. 做完下面几个例子,基本也就适应了. 首先占位符申请空间:使用的时候,通过占位符“喂(feed)”给程序.然后程序就可以run了... 理解的不一定对,也不够深入,仅供参考. import tensorflow as tf tf.placeholder 占位符 tf.Session 会话 1. 输出 Hello World Str = tf.placeholder(tf.str…

之前我们学习使用TensorFlow对图像数据进行预处理的方法.虽然使用这些图像数据预处理的方法可以减少无关因素对图像识别模型效果的影响,但这些复杂的预处理过程也会减慢整个训练过程.为了避免图像预处理成为神经网络模型训练效率的瓶颈,TensorFlow提供了一套多线程处理输入数据的框架. 下面总结了一个经典的输入数据处理的流程: 下面我们首先学习TensorFlow中队列的概念.在TensorFlow中,队列不仅是一种数据结构,它更提供了多线程机制.队列也是TensorFlow多线程输入数据处理…

Seq2seq Attention Normal Attention 1.  在decoder端,encoder state要进行一个线性变换,得到r1,可以用全连接,可以用conv,取决于自己,这里不需要加激活函数. 2. decoder端t时刻的输入和上一时刻的context vector(相当于在这个时刻,用上一时刻的state求context vector,然后再输入LSTM求出cell output)做一个线性变换(先拼接再输入到一个全连接网络),得到LSTM的输入:LSTM输出out…

目录 前言 BERT模型概览 Seq2Seq Attention Transformer encoder部分 Decoder部分 BERT Embedding 预训练 文本分类试验 参考文献 前言 在18年末时,NLP各大公众号.新闻媒体都被BERT(<BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding>)刷屏了,刷新了自然语言处理11项纪录,也被称为了2018年最强自然语言处理模型.…