136、TensorFlow的Embedding lookup

import tensorflow as tf; import numpy as np; c = np.random.random([10, 1]) b = tf.nn.embedding_lookup(c, [1, 3]) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print(sess.run(b)) 下面是上面代码的输出结果: 2018-02-17 11:27:56.146080: I C:\…

CS224d 单隐层全连接网络处理英文命名实体识别tensorflow

什么是NER? 命名实体识别(NER)是指识别文本中具有特定意义的实体,主要包括人名.地名.机构名.专有名词等.命名实体识别是信息提取.问答系统.句法分析.机器翻译等应用领域的重要基础工具,作为结构化信息提取的重要步骤. NER具体任务 1.确定实体位置 2.确定实体类别给一个单词,我们需要根据上下文判断,它属于下面四类的哪一个,如果都不属于,则类别为0,即不是实体,所以这是一个需要分成 5 类的问题: • Person (PER) • Organization (ORG) • Locatio…

[Tensorflow] RNN - 01. Spam Prediction with BasicRNNCell

Ref: http://blog.csdn.net/mebiuw/article/details/60780813 Ref: https://medium.com/@erikhallstrm/hello-world-rnn-83cd7105b767 [Nice] Ref: https://medium.com/@erikhallstrm/tensorflow-rnn-api-2bb31821b185 [Nice] Code Analysis Download and pre-preprocess…

tensorflow如何正确加载预训练词向量

使用预训练词向量和随机初始化词向量的差异还是挺大的,现在说一说我使用预训练词向量的流程. 一.构建本语料的词汇表,作为我的基础词汇二.遍历该词汇表,从预训练词向量中提取出该词对应的词向量三.初始化embeddings遍历,将数据赋值给tensor 样例代码: #-*- coding: UTF-8 -*- import numpy as np import tensorflow as tf '''本程序只是对word2vec进行了简单的预处理,应用到复杂模型中还需要根据实际情况做必要的改动''…

cs224d 作业 problem set2 (二) TensorFlow 实现命名实体识别

神经网络在命名实体识别中的应用所有的这些包括之前的两篇都可以通过tensorflow 模型的托管部署到 google cloud 上面,发布成restful接口,从而与任何的ERP,CRM系统集成. 天呀,这就是赤果果的钱呀.好血腥.感觉tensorflow的革命性意义就是能够将学校学到的各种数学算法成功地与各种系统结合起来. 实现了matlab一直不能与其他系统结合的功能,并且提供GPU并行计算的功能,简直屌爆了理论上来讲像啥运输问题,规划问题,极值问题.都可以通过tensorflow来…

tensorflow在文本处理中的使用——Doc2Vec情感分析

代码来源于:tensorflow机器学习实战指南(曾益强译,2017年9月)——第七章:自然语言处理代码地址:https://github.com/nfmcclure/tensorflow-cookbook 数据:http://www.cs.cornell.edu/people/pabo/movie-review-data/rt-polaritydata.tar.gz 在word2vec的方法中,处理的是单词之间的上下文关系,但是没有考虑单词和单词所在文档之间的关系 word2vec方法的拓…

Tensorflow 变量的共享

https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/ tensorflow-exp/example/sparse-tensor-classification/train-validate.py 当你需要train的过程中validate的时候,如果用placeholder来接收输入数据那么一个compute graph可以完成这个任务.如果你用的是TFRec…

Word2vec 模型载入(tensorflow)

opts = Options() with tf.Graph().as_default(), tf.Session() as session: model = Word2Vec(opts, session) if FLAGS.interactive: #print('load model from file %s %s', opts.save_path, os.path.join(opts.save_path, "/model.ckpt")) #model.saver.restore(…

Tensorflow word2vec编译运行

Word2vec 更完整版本(非demo)的代码在 tensorflow/models/embedding/ 首先需要安装bazel 来进行编译 bazel可以下载最新的binary安装文件,这里下载0.1.0版本的bazel https://github.com/bazelbuild/bazel/releases/download/0.1.0/bazel-0.1.0-installer-linux-x86_64.sh 貌似需要root安装 sh bazel-0.1.0-installe…

TensorFlow入门学习(让机器/算法帮助我们作出选择)

catalogue . 个人理解 . 基本使用 . MNIST(multiclass classification)入门 . 深入MNIST . 卷积神经网络:CIFAR- 数据集分类 . 单词的向量表示(Vector Representations of Words) . 循环神经网络(RNN).LSTM(Long-Short Term Memory, LSTM) . 用深度学习网络搭建一个聊天机器人 0. 个人理解在学习的最开始,我在这里写一个个人对deep leanring和神经网络的粗…

转如何阅读TensorFlow源码

通过bazel学习之后,大概了解了TensorFlow的项目的源文件和描述文件. 下面是一篇不错的介绍,搬砖here. 在静下心来默默看了大半年机器学习的资料并做了些实践后,打算学习下现在热门的TensorFlow的实现,毕竟系统这块和自己关系较大.本文会简单的说明一下如何阅读TensorFlow的源码.最重要的是了解其构建工具bazel以及脚本语言调用c或cpp的包裹工具swig.这里假设大家对bazel及swig以及有所了解(不了解的可以google下).要看代码首先要知道代码怎么构建,…

google tensorflow bert代码分析

参考网上博客阅读了bert的代码,记个笔记.代码是 bert_modeling.py 参考的博客地址: https://blog.csdn.net/weixin_39470744/article/details/84401339 https://www.jianshu.com/p/2a3872148766 主要分为三部分: 1.输入数据处理,将词(中文的字)转换为对应的embeddging,增加positional embeddding 和token type embedding. positi…

机器学习-NLP之Word embedding 原理及应用

概述自然语言是非常复杂多变的,计算机也不认识咱们的语言,那么咱们如何让咱们的计算机学习咱们的语言呢?首先肯定得对咱们的所有文字进行编码吧,那咱们很多小伙伴肯定立马就想出了这还不简单嘛,咱们的计算机不都是ASCII编码的嘛,咱直接拿来用不就好啦?我只能说too young too simple.咱们的计算机只是对咱们的“字母”进行ASCII编码,并没有对咱们的“Word”编码.world应该是咱们处理自然语言的最基本的元素,而不是字母.那么世界上有千千万万的Word,咱们具体怎么表示呢?就算找出…

谷歌BERT预训练源码解析（二）：模型构建

目录前言源码解析模型配置参数BertModelword embeddingembedding_postprocessorTransformerself_attention模型应用前言BERT的模型主要是基于Transformer架构(论文:Attention is all you need).它抛开了RNN等固有模式,直接用注意力机制处理Seq2Seq问题,体现了大道至简的思想.网上对此模型解析的资料有很多,但大都千篇一律.这里推荐知乎的一篇<Attention is all you need>…

第十四章——循环神经网络（Recurrent Neural Networks）（第二部分）

本章共两部分,这是第二部分: 第十四章--循环神经网络(Recurrent Neural Networks)(第一部分) 第十四章--循环神经网络(Recurrent Neural Networks)(第二部分) 14.4 深度RNN 堆叠多层cell是很常见的,如图14-12所示,这就是一个深度RNN. 图14-12 深度RNN(左),随时间展开(右) 在TensorFlow中实现深度RNN,需要创建多个cell并将它们堆叠到一个MultiRNNCell中.下面的代码创建了三个完全相同的cel…

mask-code-python

tf.sqeeze: 给定张量输入,此操作返回相同类型的张量,并删除所有尺寸为1的尺寸. 如果不想删除所有尺寸1尺寸,可以通过指定squeeze_dims来删除特定尺寸1尺寸.如果不想删除所有大小是1的维度,可以通过squeeze_dims指定. # 't' is a tensor of shape [1, 2, 1, 3, 1, 1] shape(squeeze(t)) ==> [2, 3] Or, to remove specific size 1 dimensions # 't' is a…

Tensorflow-3-使用RNN生成中文小说

https://blog.csdn.net/heisejiuhuche/article/details/73010638 这篇文章不涉及RNN的基本原理,只是从选择数据集开始,到最后生成文本,展示一个RNN使用实例的过程. 对于深度学习的应用者,最应该关注的除了算法和模型,还应该关注如何预处理好自己的数据,合理降噪,以及如何在数据量不同的情况下选择合理的超参,来达到最理想的训练结果. 在经过近三个月的学习之后,我打算使用Tensorflow,创建一个LSTM RNN模型,使用中文小说作为数据源,…

TF随笔-8

#!/usr/bin/env python2 # -*- coding: utf-8 -*- """ Created on Mon Jul 10 09:35:04 2017 @author: myhaspl@myhaspl.com,http://blog.csdn.net/myhaspl """ #逻辑或 import tensorflow as tf batch_size=10 w1=tf.Variable(tf.random_normal([…

[NLP] 相对位置编码(一) Relative Position Representatitons (RPR) - Transformer

对于Transformer模型的positional encoding,最初在Attention is all you need的文章中提出的是进行绝对位置编码,之后Shaw在2018年的文章中提出了相对位置编码,就是本篇blog所介绍的算法RPR:2019年的Transformer-XL针对其segment的特定,引入了全局偏置信息,改进了相对位置编码的算法,将在相对位置编码(二)的blog中介绍. 本文参考链接: 1. 翻译:https://medium.com/@_init_/how-se…

这可能是国内最全面的char RNN注释

char RNN代码来源于https://github.com/hzy46/Char-RNN-TensorFlow 前言本人在学习char RNN的过程中,遇到了很多的问题,但是依然选择一行代码一行代码的啃下来,并且注释好,我在啃代码的过程中,就想要是有一位大神在我旁边就好了,我在看代码的过程中,不懂那里,就问那里,可是现实中并没有,所有问题都要自己解决,今日我终于把代码全部弄懂了,也把代码分享给下一位想要学习char RNN的人.开源才能进步,中国加油.觉有有用希望大家可以点个赞,关注我,这…

[阿里DIN] 深度兴趣网络源码分析之整体代码结构

[阿里DIN] 深度兴趣网络源码分析之整体代码结构目录 [阿里DIN] 深度兴趣网络源码分析之整体代码结构 0x00 摘要 0x01 文件简介 0x02 总体架构 0x03 总体代码 0x04 模型基类 4.1 基本逻辑 4.2 模块分析 4.2.1 构建变量 4.2.2 构建embedding 4.2.3 拼接embedding 0x05 Model_DIN 5.1 Attention机制 5.2 Attention实现 5.2.1 调用 5.2.2 mask的作用 Padding…

[阿里DIN]从论文源码学习之 embedding_lookup

[阿里DIN]从论文源码学习之 embedding_lookup 目录 [阿里DIN]从论文源码学习之 embedding_lookup 0x00 摘要 0x01 DIN代码 1.1 Embedding概念 1.2 在DIN中的使用 1.3 问题 0x02 相关概念 2.1 one-hot编码 2.2 转换 2.3 Embedding层 2.3.1 意义 2.3.2 常规作用 2.3.3 如何生成 2.4 Embedding与深度学习推荐系统的结合 2.4.1 重要性 2.4.2 预训练方法…

[论文解读] 阿里DIEN整体代码结构

[论文解读] 阿里DIEN整体代码结构目录 [论文解读] 阿里DIEN整体代码结构 0x00 摘要 0x01 文件简介 0x02 总体架构 0x03 总体代码 0x04 模型基类 4.1 基本逻辑 4.2 模块分析 4.2.1 构建变量 4.2.2 构建embedding 4.2.3 拼接embedding 0x05 Model_DIN_V2_Gru_Vec_attGru_Neg 5.1 第一层 'rnn_1' 5.1.1 GRU 5.1.2 辅助损失 5.1.3 mask的作用 Paddin…

阿里巴巴稀疏模型训练引擎-DeepRec

导读:DeepRec从2016年起深耕至今,支持了淘宝搜索.推荐.广告等核心业务,沉淀了大量优化的算子.图优化.Runtime优化.编译优化以及高性能分布式训练框架,在稀疏模型的训练方面有着优异性能的表现.并且沉淀了稀疏场景下的动态弹性特征.动态维度弹性特征.多Hash弹性特征等功能,能够不同程度的提高稀疏模型的效果.作为阿里巴巴集团内稀疏场景的统一训练引擎,是AOP团队.XDL团队.PAI团队.AIS团队合作共建的项目.除此之外,DeepRec得到了Intel.NV相关团队的支持,针对稀疏场景…