一.介绍 内容 "基于神经网络的机器翻译"出现了"编码器+解码器+注意力"的构架,让机器翻译的准确度达到了一个新的高度.所以本次主题就是"基于深度神经网络的机器翻译技术". 我们首先会尝试使用"编码器+简单解码器"的构架,来观察普通编码器-解码器构架能够取得的效果.然后会尝试"编码器+带有注意力机制的解码器"构架,看看加上注意力能让模型获得怎样的提高. 实验知识点 机器翻译"平行语料"的…

一.介绍 实验内容 内容包括用 PyTorch 来实现一个卷积神经网络,从而实现手写数字识别任务. 除此之外,还对卷积神经网络的卷积核.特征图等进行了分析,引出了过滤器的概念,并简单示了卷积神经网络的工作原理. 知识点 使用 PyTorch 数据集三件套的方法 卷积神经网络的搭建与训练 可视化卷积核.特征图的方法 二.数据准备 引入相关包 import torch import torch.nn as nn from torch.autograd import Variable import t…

PyTorch基础 摘抄自<深度学习之Pytorch>. Tensor(张量) PyTorch里面处理的最基本的操作对象就是Tensor,表示的是一个多维矩阵,比如零维矩阵就是一个点,一维就是向量,二维就是一般的矩阵,多维就相当于一个多维数组,这和numpy是对应,而且PyTorch的Tensor可以和numpy的ndarray相互转换,唯一不同的是PyTorch可以在GPU上运行,而numpy的ndarray只能在CPU上运行. 常用的不同数据类型的Tensor有32位浮点型torch.Fl…

DEADLINE: 2020-07-25 22:00 写在最前面: 本课程的主要思路还是要求大家大量练习 pytorch 代码,在写代码的过程中掌握深度学习的各类算法,希望大家能够坚持练习,相信经度过这个酷暑,不知不觉中,你会感觉自己有显著提高.代码教程在 github 上,如遇到图片不显示的情况,可参考博客解决问题:https://blog.csdn.net/qq_38232598/article/details/91346392 目录 1. 视频学习 1.1 绪论 1.2 深度学习概述 1.…

一.介绍 知识点 使用 Python 从网络上爬取信息的基本方法 处理语料"洗数据"的基本方法 词袋模型搭建方法 简单 RNN 的搭建方法 简单 LSTM 的搭建方法 二.从网络中抓取并处理数据 引入相关包 下载数据 网盘链接:https://pan.baidu.com/s/1Jg5NPxc9L-M8Tdgh70Tvig 提取码:dpqq # 导入程序所需要的程序包 #PyTorch用的包 import torch import torch.nn as nn import torch.…

在神经网络训练时,还涉及到一些tricks,如网络权重的初始化方法,优化器种类(权重更新),图片预处理等,继续填坑. 1. 神经网络初始化(Network Initialization ) 1.1 初始化原因 我们构建好网络,开始训练前,不能默认的将所有权重系数都初始化为零,因为所有卷积核的系数都相等时,提取特征就会一样,反向传播时的梯度也会存在对称性,网络会退化会线性模型.另外网络层数较深时,初始化权重过大,会出现梯度爆炸,而过小又会出现梯度消失.一般权重初始化时需要考虑两个问题: (1)权重…

一.介绍 内容 将接触现代 NLP 技术的基础:词向量技术. 第一个是构建一个简单的 N-Gram 语言模型,它可以根据 N 个历史词汇预测下一个单词,从而得到每一个单词的向量表示. 第二个将接触到现代词向量技术常用的模型 Word2Vec.在实验中将以小说<三体>为例,展示了小语料在 Word2Vec 模型中能够取得的效果. 在最后一个将加载已经训练好的一个大规模词向量,并利用这些词向量来做一些简单的运算和测试,以探索词向量中包含的语义信息. 知识点 N-Gram(NPLM) 语言模型 Wo…

""" 利用numpy实现一个两层的全连接网络 网络结构是:input ->(w1) fc_h -> relu ->(w2) output 数据是随机出的 """ import numpy as np #维度和大小参数定义 batch_size = 64 input_dim = 1000 output_dim = 10 hidden_dim = 100 # 数据虚拟 (x,y) # 每行是一条数据 输入是64*1000,1000…

当您学完Python,你学到了什么? 开发网站! 或者, 基础语法要点.函数.面向对象编程.调试.IO编程.进程与线程.正则表达式... 当你学完Python,你可以干什么? 当程序员! 或者, 手写数据结构和算法.手写神经网络项目. 用Python来爬取一些美女照片 OR 笑话段子开心开心. 好了,切入正题,Python从入门到精通,需要多长时间?从精通到找到一份月薪过万的开发工作,需要几个月? 尚学堂继java300集之后又一力作--Python400集,如果你学完这部Python宝典就知道…

在神经网络中,激活函数决定来自给定输入集的节点的输出,其中非线性激活函数允许网络复制复杂的非线性行为.正如绝大多数神经网络借助某种形式的梯度下降进行优化,激活函数需要是可微分(或者至少是几乎完全可微分的).此外,复杂的激活函数也许产生一些梯度消失或爆炸的问题.因此,神经网络倾向于部署若干个特定的激活函数(identity.sigmoid.ReLU 及其变体). 下面是 26 个激活函数的图示及其一阶导数,图的右侧是一些与神经网络相关的属性. 1. Step 激活函数 Step 更倾向于理论而不是…