分布式表示(Distributed Representation)
NLP模型笔记 — 分布式表示
NLP模型笔记 — 分布式表示 [总结]
概念
| 名称 | 分布式表示 |
|---|---|
| 别名 | Distributed representation |
| 介绍 | 若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 |
原理
非分布式表示
| 图形 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 |
分布式表示
| 图形 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
表示新种类
| 非分布式表示 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 | 圆 |
|---|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 | 0 |
| 圆 | 0 | 0 | 0 | 0 | 1 |
| 分布式表示 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
| 圆 | 1 | 1 | 0 | 1 |
对比
| 对比 | 独热编码 | 分布式表示 |
|---|---|---|
| 稀疏/稠密 | 稀疏 | 稠密 |
| 语义表示 | 高纬向量中只有一个维度描述了词的含义 | 语义分布式地存储在向量的各个维度中 |
| 新种类 | 需要添加一个新的维度 | 可能不需要添加新维度就能够表示 |
参考
分布式表示(Distributed Representation)的更多相关文章
- 【word2vec】Distributed Representation——词向量
Distributed Representation 这种表示,它最早是 Hinton 于 1986 年提出的,可以克服 one-hot representation 的缺点. 其基本想法是: 通过训 ...
- 词向量（ Distributed Representation）工作原理是什么
原文:http://www.zhihu.com/question/21714667 4 个回答 83赞同反对,不会显示你的姓名 皮果提 刘鑫.莫教授要养猫.Starling Niohuru 等人赞同 ...
- Flink分布式缓存Distributed Cache
1 分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取. 此缓存的工作机制如下:程 ...
- 共享内存Distributed Memory 与分布式内存Distributed Memory
我们经常说到的多核处理器,是指一个处理器(CPU)上有多个处理核心(CORE),共享内存多核系统我们可以将CPU想象为一个密封的包,在这个包内有多个互相连接的CORES,每个CORE共享一个主存,所有 ...
- DeepNLP的核心关键/NLP词的表示方法类型/NLP语言模型 /词的分布式表示/word embedding/word2vec
DeepNLP的核心关键/NLP语言模型 /word embedding/word2vec Indexing: 〇.序 一.DeepNLP的核心关键:语言表示(Representation) 二.NL ...
- 【Todo】【转载】深度学习&神经网络 科普及八卦 学习笔记 & GPU & SIMD
上一篇文章提到了数据挖掘.机器学习.深度学习的区别:http://www.cnblogs.com/charlesblc/p/6159355.html 深度学习具体的内容可以看这里: 参考了这篇文章:h ...
- DL4NLP——词表示模型（二）基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）
本文简述了以下内容: 神经概率语言模型NPLM,训练语言模型并同时得到词表示 word2vec:CBOW / Skip-gram,直接以得到词表示为目标的模型 (一)原始CBOW(Continuous ...
- DL4NLP——词表示模型（一）表示学习；syntagmatic与paradigmatic两类模型；基于矩阵的LSA和GloVe
本文简述了以下内容: 什么是词表示,什么是表示学习,什么是分布式表示 one-hot representation与distributed representation(分布式表示) 基于distri ...
- 学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击
神经科学,依靠单一深度学习算法解决不同任务.视觉信号传送到听觉区域,大脑听学习处理区域学会“看”(Von Melchner et al., 2000).计算单元互相作用变智能.新认知机(Fukushi ...
随机推荐
- appium+python运行自动化测试提示“find_element() takes from 1 to 3 positional arguments but 14 were given”错误
1.运行后提示"find_element() takes from 1 to 3 positional arguments but 14 were given",在网上找了很多解决 ...
- Kubernetes的安装部署
前言:简述kubernetes(k8s)集群 k8s集群基本功能组件由master和node组成. master节点上主要有kube-apiserver.kube-scheduler.kube-con ...
- Redis的读写分离
1.概述 随着企业业务的不断扩大,请求的并发量不断增长,Redis可能终会出现无法负载的情况,此时我们就需要想办法去提升Redis的负载能力. 读写分离(主从复制)是一个比较简单的扩展方案,使用多台机 ...
- ICCV2021 | MicroNet：以极低的 FLOPs 改进图像识别
前言:这篇论文旨在以极低的计算成本解决性能大幅下降的问题.提出了微分解卷积,将卷积矩阵分解为低秩矩阵,将稀疏连接整合到卷积中.提出了一个新的动态激活函数-- Dynamic Shift Max,通过 ...
- IKEv2协议关键知识点总结整理
文章目录 @[toc] 1. IKEv2基本原理 2. IKEv2协议重点注意事项 2.1 情景一:==IKEv2协商密钥逻辑== ①密钥协商流程 ②函数调用关系 ③流程简述 2.2 情景二:==使用 ...
- jmeter 参数化学习之CSV Data Set Config随机读取一行参数
需要使用到循环控制器,if控制器,CSV Data Set Config,Random Variable 4个组件 如图 先在线程组下面放一个随机数生成器 然后在同一层级设置一个永久的循环控制器,记住 ...
- 学习PHP中的信息格式化操作
在国际化组件的学习过程中,我们已经接触过了 NumberFormatter 这种数字的格式化操作,它可以让我们将数字转换成标准格式.货币.本地语言等形式.今天我们来学习的是另一种专门用于信息格式化的类 ...
- PHP中类的自动加载
在之前,我们已经学习过Composer自动加载的原理,其实就是利用了PHP中的类自动加载的特性.在文末有该系列文章的链接. PHP中类的自动加载主要依靠的是__autoload()和spl_autol ...
- js相同的正则多次调用test()返回的值却不同的问题
js代码: var name = '测试中文';// 姓名 var nameRgexp = new RegExp("[a-zA-Z\u4e00-\u9fa5]{2,}"," ...
- ATR吊灯止损策略 （含有tbquant源码）
ATR吊灯止损策略定义: 做多,止损放在最高价之下N个ATR. 做空,止损放在最低价之上N个ATR. 该策略生成的止损点就像是从市场最高价的"天花板"上悬挂下来的吊灯.所以命名为A ...