#!/usr/bin/python# -*- coding: utf-8 -*- import tensorflow as tf class TRNNConfig(object): """RNN配置参数""" # 模型参数 embedding_dim = 64 # 词向量维度 seq_length = 600 # 序列长度 num_classes = 10 # 类别数 vocab_size = 5000 # 词汇表达小 num_layers= 2…

基于双向BiLstm神经网络的中文分词详解及源码 基于双向BiLstm神经网络的中文分词详解及源码 1 标注序列 2 训练网络 3 Viterbi算法求解最优路径 4 keras代码讲解 最后 源代码地址 在自然语言处理中(NLP,Natural Language ProcessingNLP,Natural Language Processing),分词是一个较为简单也基础的基本技术.常用的分词方法包括这两种:基于字典的机械分词 和 基于统计序列标注的分词.对于基于字典的机械分词本文不再赘述,可…

Using the latest advancements in AI to predict stock market movements 2019-01-13 21:31:18 This blog is copied from: https://github.com/borisbanushev/stockpredictionai In this notebook I will create a complete process for predicting stock price moveme…

前言   在文章:NLP入门(四)命名实体识别(NER)中,笔者介绍了两个实现命名实体识别的工具--NLTK和Stanford NLP.在本文中,我们将会学习到如何使用深度学习工具来自己一步步地实现NER,只要你坚持看完,就一定会很有收获的.   OK,话不多说,让我们进入正题.   几乎所有的NLP都依赖一个强大的语料库,本项目实现NER的语料库如下(文件名为train.txt,一共42000行,这里只展示前15行,可以在文章最后的Github地址下载该语料库): played on Mond…

目录 三.TensorFlow入门 1. TensorFlow计算模型--计算图 I. 计算图的概念 II. 计算图的使用 2.TensorFlow数据类型--张量 I. 张量的概念 II. 张量的使用 3.会话 4.TensorFlow实现神经网络 I. 前向传播算法 II. 神经网络参数与TensorFlow变量 III. 用TF训练神经网络 四.深层神经网络 1. 深度学习与深度神经网络 I. 线性模型的局限性 II. Activation去线性化 III. 多层网络解决异或运算 2. L…

0.背景 通过对<tensorflow machine learning cookbook>第9章第3节"implementing_lstm"进行阅读,发现如下形式可以很方便的进行训练和预测,通过类进行定义,并利用了tf中的变量重用的能力,使得在训练阶段模型的许多变量,比如权重等,能够直接用在预测阶段.十分方便,不需要自己去做一些权重复制等事情.这里只是简单记录下这一小节的源码中几个概念性的地方. # 定义LSTM模型 class LSTM_Model(): def __i…

本篇文章介绍使用TensorFlow的递归神经网络(LSTM)进行序列预测.作者在网上找到的使用LSTM模型的案例都是解决自然语言处理的问题,而没有一个是来预测连续值的. 所以呢,这里是基于历史观察数据进行实数序列的预测.传统的神经网络模型并不能解决这种问题,进而开发出递归神经网络模型,递归神经网络模型可以存储历史数据来预测未来的事情. 在这个例子里将预测几个函数: 正弦函数:sin 同时存在正弦函数和余弦函数:sin和cos x*sin(x) 首先,建立LSTM模型,lstm_model,这个…

Tensorflow[LSTM]   0.背景 通过对<tensorflow machine learning cookbook>第9章第3节"implementing_lstm"进行阅读,发现如下形式可以很方便的进行训练和预测,通过类进行定义,并利用了tf中的变量重用的能力,使得在训练阶段模型的许多变量,比如权重等,能够直接用在预测阶段.十分方便,不需要自己去做一些权重复制等事情.这里只是简单记录下这一小节的源码中几个概念性的地方. # 定义LSTM模型 class LS…

在TensorFlow中基于lstm构建分词系统笔记(一) https://www.jianshu.com/p/ccb805b9f014 前言 我打算基于lstm构建一个分词系统,通过这个例子来学习下TensorFlow中如何训练循环递归神经网络.我们将从最粗糙的版本开始搭建这个小系统,然后一步步优化其中的每一部分,包括网络架构的优化,数据处理的优化,甚至整个代码架构的优化.希望想我一样的入门选手看到其中的每一步实现以及如何去优化. 关于LSTM网络的介绍,可以看官网推荐的一篇博客,写的实在是太…

往期RNN相关工程实践文章 『TensotFlow』基础RNN网络分类问题 『TensotFlow』RNN中文文本_上 『TensotFlow』基础RNN网络回归问题 『TensotFlow』RNN中文文本_下_暨研究生开学感想 张量分析 预处理结果是二维数据,相当于batch条一维数据,每个数据对应一首诗,每个字是一个scalar: embedding之后,将每个字映射为一个rnn_size大小的向量,数据变为三维: 经过递归神经网络,输出维度不变: 将之调整为二维数据,这里面第二维度(即每一…

目录:android/vendor/google/apps .├── AndroidPay│   ├── Android.mk│   ├── AndroidPay_arm64.apk│   ├── AndroidPay_arm64_hdpi.apk│   ├── AndroidPay_arm64_mdpi.apk│   ├── AndroidPay_arm64_xhdpi.apk│   ├── AndroidPay_arm64_xxhdpi.apk│   ├── AndroidPay_arm64…

一.循环神经网络简介 循环神经网络的主要用途是处理和预测序列数据.循环神经网络刻画了一个序列当前的输出与之前信息的关系.从网络结构上,循环神经网络会记忆之前的信息,并利用之前的信息影响后面节点的输出. 下图展示了一个典型的循环神经网络. 循环神经网络的一个重要的概念就是时刻.上图中循环神经网络的主体结构A的输入除了来自输入层的Xt,还有一个自身当前时刻的状态St. 在每一个时刻,A会读取t时刻的输入Xt,并且得到一个输出Ht.同时还会得到一个当前时刻的状态St,传递给下一时刻t+1. 因此,循环…

一.简介 上一篇中我们较为详细地铺垫了关于RNN及其变种LSTM的一些基本知识,也提到了LSTM在时间序列预测上优越的性能,本篇就将对如何利用tensorflow,在实际时间序列预测任务中搭建模型来完成任务,若你对RNN及LSTM不甚了解,请移步上一篇数据科学学习手札39; 二.数据说明及预处理 2.1 数据说明 我们本文使用到的第一个数据来自R中自带的数据集AirPassengers,这个数据集记录了Box & Jenkins航空公司1949-1960年共144个观测值(对应每个月的国际航线乘…

情感分析简介   文本情感分析(Sentiment Analysis)是自然语言处理(NLP)方法中常见的应用,也是一个有趣的基本任务,尤其是以提炼文本情绪内容为目的的分类.它是对带有情感色彩的主观性文本进行分析.处理.归纳和推理的过程.   本文将介绍情感分析中的情感极性(倾向)分析.所谓情感极性分析,指的是对文本进行褒义.贬义.中性的判断.在大多应用场景下,只分为两类.例如对于"喜爱"和"厌恶"这两个词,就属于不同的情感倾向.   本文将详细介绍如何使用深度学习…

''' Created on 2017年5月21日 @author: weizhen ''' # 以下程序为预测离散化之后的sin函数 import numpy as np import tensorflow as tf from tensorflow.contrib import rnn # 加载matplotlib工具包,使用该工具包可以对预测的sin函数曲线进行绘图 import matplotlib as mpl from tensorflow.contrib.learn.python.…

import numpy as np import tensorflow as tf import matplotlib.pyplot as plt # 定义RNN的参数. HIDDEN_SIZE = 30 # LSTM中隐藏节点的个数. NUM_LAYERS = 2 # LSTM的层数. TIMESTEPS = 10 # 循环神经网络的训练序列长度. TRAINING_STEPS = 10000 # 训练轮数. BATCH_SIZE = 32 # batch大小. TRAINING_EXAMP…