上节回顾深度学习与人类语言处理-语音识别(part2)，这节课我们接着看seq2seq模型怎么做语音识别

上节课我们知道LAS做语音识别需要看完一个完整的序列才能输出，把我们希望语音识别模型可以在听到声音的时候就进行输出，一个直观的想法就是用单向的RNN，我们来看看CTC是怎么做的

CTC

根据上面说的，在线语音识别，模型在听到声音的时候就需要输出，我们看下使用RNN的基本架构

input: 长度为T的声学特征

Encoder：单向RNN

ouput：长度为T的token,每一个输出位置对应词典中每个词的概率

但是对每一个输入的声学特征不总是会有对应的输出token，每一声学特征所包含的信息是非常少的，所以CTC在输出的词汇表中加入了一个标记\(\phi\)，表示什么也没有，词典大小变为V+1

ouput：长度为T的token,其中包括 												


											
深度学习与人类语言处理-语音识别(part3)的更多相关文章
	

    
								
  1. 深度学习与人类语言处理-语音识别(part1)
		
    语音识别 语音识别该何去何从? 1969年,J.R. PIERCE:"语音识别就像把水变成汽油.从大海中淘金.治疗癌症.人类登陆月球" 当然,这是50年前的想法,那么语音识别该如何 ...
    
		
    2. 
						
  2. 深度学习与人类语言处理-语音识别(part2)
		
    上节回顾深度学习与人类语言处理-语音识别(part1),这节课我们将学习如何将seq2seq模型用在语音识别 LAS 那我们来看看LAS的Encoder,Attend,Decoder分别是什么 Lis ...
    
		
    3. 
						
  3. 李宏毅深度学习与人类语言处理-introduction
		
    深度学习与人类语言处理(Deep learning for Human Language Processing) 李宏毅老师深度学习与人类语言处理课程笔记,请看正文 这门课会学到什么? 为什么叫人类语 ...
    
		
    4. 
						
  4. 【PyTorch深度学习60分钟快速入门 】Part3：神经网络
		
      神经网络可以通过使用torch.nn包来构建. 既然你已经了解了autograd,而nn依赖于autograd来定义模型并对其求微分.一个nn.Module包含多个网络层,以及一个返回输出的方法f ...
    
		
    5. 
						
  5. R语言︱H2o深度学习的一些R语言实践——H2o包
		
    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- R语言H2o包的几个应用案例 笔者寄语:受启发 ...
    
		
    6. 
						
  6. 碎片︱R语言与深度学习
		
    笔者:受alphago影响,想看看深度学习,但是其在R语言中的应用包可谓少之又少,更多的是在matlab和python中或者是调用.整理一下目前我看到的R语言的材料: ---------------- ...
    
		
    7. 
						
  7. [翻译]深度学习的机器（The learning machines）
		
    学习的机器 用大量的数据识别图像和语音,深度学习的计算机(deep-learning computers) 向真正意义上的人工智能迈出了一大步. Nicola Jones Computer Scien ...
    
		
    8. 
						
  8. Bengio最新博文：深度学习展望
		
    Bengio最新博文:深度学习展望 人类一直梦想着创造有智能的机器.早在第一台可编程计算机问世前100多年,发明家就对如何能让由连杆和齿轮组成的设备也变得更加智能这一命题充满好奇.后来,20世纪40年 ...
    
		
    9. 
						
  9. TensorFlow系列专题（三）：深度学习简介
		
    一.深度学习的发展历程 深度学习的起源阶段 深度学习的发展阶段 深度学习的爆发阶段 二.深度学习的应用 自然语言处理 语音识别与合成 图像领域 三．参考文献   一.深度学习的发展历程 作为机器学习最 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 吴裕雄--天生自然python学习笔记：Python3 面向对象
			
    Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的. 面向对象技术简介 类(Class): 用来描述具有相同的属性和方法的对象的集合.它定义了该集 ...
    
			
    2. 
						
  2. radar chart
			
    多变量数据 雷达图radar chart 如上图可知,雷达图的缺点是看不清,此时可采用线性变换(相差小)or对数变换(相差大)的方法使得图像展开. 但是第一幅图用于比价种类比较鲜明,而第二幅图虽然比较 ...
    
			
    3. 
						
  3. drf中的jwt使用与手动签发效验
			
    jwt认证 1)session存储token,需要数据库参与,耗服务器资源.低效 2)缓存存token,需要缓存参与,高效,不易集群 3)客户端存token,服务器存签发与交易token的算法,高效, ...
    
			
    4. 
						
  4. AFNetworking基本模块
			
    AFNetworking主要分为5个模块 通信模块(AFURLSessionManager, AFHTTPSessionManager) 网络状态监听 安全模块 通信序列化/反序列化模块 UIKit相 ...
    
			
    5. 
						
  5. Image图片
			
    # View more python tutorials on my Youtube and Youku channel!!! # Youtube video tutorial: https://ww ...
    
			
    6. 
						
  6. Centos7上查看ext4文件系统的实际创建时间
			
    前提:今日查看nginx日志时发现有报错,说是一些js,css文件找不到,于是想到去实际路径下查看文件是否确实不存在.结果出现下图中报错: 经过别人提醒查看文件的时间,于是看了一下登上服务器是9:52 ...
    
			
    7. 
						
  7. 添砖加瓦：Linux /proc目录简介
			
    Linux 内核提供了一种通过 /proc 文件系统,在运行时访问内核内部数据结构.改变内核设置的机制.proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间.它以文件系统的方式为访问系 ...
    
			
    8. 
						
  8. 利用FinalData恢复shift+delete误删的文件
			
    当前位置 : 首页 » 文章分类 :  生活  »  利用FinalData恢复shift+delete误删的文件 上一篇 有关可变形部件模型(Deformable Part Model)的一些说明  ...
    
			
    9. 
						
  9. 教你如何去除电脑QQ聊天窗口上的广告？
			
    当打开QQ聊天窗口时,就如下图一样各种广告不停地闪啊闪的,我没强迫症但是我也不喜欢看. 像咱们这些没有钱开会员又不喜欢整天看电脑QQ聊天窗口上的广告的"穷人们".那该咋办呢?好了, ...
    
			
    10. 
						
  10. web资源预加载-生产环境实践
			
    此文记录资源预加载在我们项目的实践,技术难度不算高,重在介绍一套技术方案的诞生与实施,其中都进行了哪些思考,依据什么来做决策,如何进行效果评估,等等.为读者在制定技术方案时提供一定启示. 背景 资源预 ...
    
			
    11.