分布式表示(Distributed Representation)
NLP模型笔记 — 分布式表示
NLP模型笔记 — 分布式表示 [总结]
概念
| 名称 | 分布式表示 |
|---|---|
| 别名 | Distributed representation |
| 介绍 | 若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 |
原理
非分布式表示
| 图形 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 |
分布式表示
| 图形 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
表示新种类
| 非分布式表示 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 | 圆 |
|---|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 | 0 |
| 圆 | 0 | 0 | 0 | 0 | 1 |
| 分布式表示 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
| 圆 | 1 | 1 | 0 | 1 |
对比
| 对比 | 独热编码 | 分布式表示 |
|---|---|---|
| 稀疏/稠密 | 稀疏 | 稠密 |
| 语义表示 | 高纬向量中只有一个维度描述了词的含义 | 语义分布式地存储在向量的各个维度中 |
| 新种类 | 需要添加一个新的维度 | 可能不需要添加新维度就能够表示 |
参考
分布式表示(Distributed Representation)的更多相关文章
- 【word2vec】Distributed Representation——词向量
Distributed Representation 这种表示,它最早是 Hinton 于 1986 年提出的,可以克服 one-hot representation 的缺点. 其基本想法是: 通过训 ...
- 词向量（ Distributed Representation）工作原理是什么
原文:http://www.zhihu.com/question/21714667 4 个回答 83赞同反对,不会显示你的姓名 皮果提 刘鑫.莫教授要养猫.Starling Niohuru 等人赞同 ...
- Flink分布式缓存Distributed Cache
1 分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取. 此缓存的工作机制如下:程 ...
- 共享内存Distributed Memory 与分布式内存Distributed Memory
我们经常说到的多核处理器,是指一个处理器(CPU)上有多个处理核心(CORE),共享内存多核系统我们可以将CPU想象为一个密封的包,在这个包内有多个互相连接的CORES,每个CORE共享一个主存,所有 ...
- DeepNLP的核心关键/NLP词的表示方法类型/NLP语言模型 /词的分布式表示/word embedding/word2vec
DeepNLP的核心关键/NLP语言模型 /word embedding/word2vec Indexing: 〇.序 一.DeepNLP的核心关键:语言表示(Representation) 二.NL ...
- 【Todo】【转载】深度学习&神经网络 科普及八卦 学习笔记 & GPU & SIMD
上一篇文章提到了数据挖掘.机器学习.深度学习的区别:http://www.cnblogs.com/charlesblc/p/6159355.html 深度学习具体的内容可以看这里: 参考了这篇文章:h ...
- DL4NLP——词表示模型（二）基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）
本文简述了以下内容: 神经概率语言模型NPLM,训练语言模型并同时得到词表示 word2vec:CBOW / Skip-gram,直接以得到词表示为目标的模型 (一)原始CBOW(Continuous ...
- DL4NLP——词表示模型（一）表示学习；syntagmatic与paradigmatic两类模型；基于矩阵的LSA和GloVe
本文简述了以下内容: 什么是词表示,什么是表示学习,什么是分布式表示 one-hot representation与distributed representation(分布式表示) 基于distri ...
- 学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击
神经科学,依靠单一深度学习算法解决不同任务.视觉信号传送到听觉区域,大脑听学习处理区域学会“看”(Von Melchner et al., 2000).计算单元互相作用变智能.新认知机(Fukushi ...
随机推荐
- Docker下制作一个容器镜像
操作过程描述: (1)先基于centos的镜像启动一个centos容器 (2)在这个容器中安装nginx (3)然后把这个已经安装了nginx的容器制作成一个docker的镜像 操作:docker c ...
- Linux下用Sed查找IP地址
ip addr|sed -n '9p'|egrep '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}'|sed -nr 's#^.*inet (.*) b ...
- [考试总结]noip模拟44
这个真的是一个 \(nb\) 题. 考试快要结束的时候,在机房中只能听到此起彼伏的撕吼. 啊---------- 然后人们预测这自己的得分. \(\color{red}{\huge{0}}\) \(\ ...
- Linux内核编译配置脚本
环境 宿主机平台:Ubuntu 16.04.6 目标机:iMX6ULL Linux内核编译配置脚本 在linux开发过程中熟练使用脚本可以大大简化命令行操作,同时对于需要经常重复操作的指令也是一种备忘 ...
- PHP网上商城
页面展示: 代码参考:Php实现简易购物商城系统 - 邵文 - 博客园 (cnblogs.com)
- 【PHP数据结构】散列表查找
上篇文章的查找是不是有意犹未尽的感觉呢?因为我们是真真正正地接触到了时间复杂度的优化.从线性查找的 O(n) 直接优化到了折半查找的 O(logN) ,绝对是一个质的飞跃.但是,我们的折半查找最核心的 ...
- 【PHP数据结构】二叉树的遍历及逻辑操作
上篇文章我们讲了许多理论方面的知识,虽说很枯燥,但那些都是我们今天学习的前提,一会看代码的时候你就会发现这些理论知识是多么地重要了.首先,我们还是要说明一下,我们学习的主要内容是二叉树,因为二叉树是最 ...
- dedecms编辑器不能复制word格式的处理方法
在word文档中编辑一篇文章,格式段落都整理好后,粘贴到dede编辑器里面却发现,格式都无效了,可能dede有自己的打算,比如这样可以文章字体大小统一,样色统一,整体比较整洁.但是用惯了word编辑文 ...
- Dapr实战（三）状态管理
状态管理解决了什么 分布式应用程序中的状态可能很有挑战性. 例如: 应用程序可能需要不同类型的数据存储. 访问和更新数据可能需要不同的一致性级别. 多个用户可以同时更新数据,这需要解决冲突. 服务必须 ...
- 如何解决SVN Upgrade working copy问题
电脑还原系统后,安装了最新版本的SVN,发现原来在svn检出的文件夹出现了SVN Upgrade working copy,没有commit ,没有update. 在网上查询到:出现这个的原因是因为你 ...