分布式表示(Distributed Representation)
NLP模型笔记 — 分布式表示
NLP模型笔记 — 分布式表示 [总结]
概念
| 名称 | 分布式表示 |
|---|---|
| 别名 | Distributed representation |
| 介绍 | 若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 |
原理
非分布式表示
| 图形 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 |
分布式表示
| 图形 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
表示新种类
| 非分布式表示 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 | 圆 |
|---|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 | 0 |
| 圆 | 0 | 0 | 0 | 0 | 1 |
| 分布式表示 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
| 圆 | 1 | 1 | 0 | 1 |
对比
| 对比 | 独热编码 | 分布式表示 |
|---|---|---|
| 稀疏/稠密 | 稀疏 | 稠密 |
| 语义表示 | 高纬向量中只有一个维度描述了词的含义 | 语义分布式地存储在向量的各个维度中 |
| 新种类 | 需要添加一个新的维度 | 可能不需要添加新维度就能够表示 |
参考
分布式表示(Distributed Representation)的更多相关文章
- 【word2vec】Distributed Representation——词向量
Distributed Representation 这种表示,它最早是 Hinton 于 1986 年提出的,可以克服 one-hot representation 的缺点. 其基本想法是: 通过训 ...
- 词向量（ Distributed Representation）工作原理是什么
原文:http://www.zhihu.com/question/21714667 4 个回答 83赞同反对,不会显示你的姓名 皮果提 刘鑫.莫教授要养猫.Starling Niohuru 等人赞同 ...
- Flink分布式缓存Distributed Cache
1 分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取. 此缓存的工作机制如下:程 ...
- 共享内存Distributed Memory 与分布式内存Distributed Memory
我们经常说到的多核处理器,是指一个处理器(CPU)上有多个处理核心(CORE),共享内存多核系统我们可以将CPU想象为一个密封的包,在这个包内有多个互相连接的CORES,每个CORE共享一个主存,所有 ...
- DeepNLP的核心关键/NLP词的表示方法类型/NLP语言模型 /词的分布式表示/word embedding/word2vec
DeepNLP的核心关键/NLP语言模型 /word embedding/word2vec Indexing: 〇.序 一.DeepNLP的核心关键:语言表示(Representation) 二.NL ...
- 【Todo】【转载】深度学习&神经网络 科普及八卦 学习笔记 & GPU & SIMD
上一篇文章提到了数据挖掘.机器学习.深度学习的区别:http://www.cnblogs.com/charlesblc/p/6159355.html 深度学习具体的内容可以看这里: 参考了这篇文章:h ...
- DL4NLP——词表示模型（二）基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）
本文简述了以下内容: 神经概率语言模型NPLM,训练语言模型并同时得到词表示 word2vec:CBOW / Skip-gram,直接以得到词表示为目标的模型 (一)原始CBOW(Continuous ...
- DL4NLP——词表示模型（一）表示学习；syntagmatic与paradigmatic两类模型；基于矩阵的LSA和GloVe
本文简述了以下内容: 什么是词表示,什么是表示学习,什么是分布式表示 one-hot representation与distributed representation(分布式表示) 基于distri ...
- 学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击
神经科学,依靠单一深度学习算法解决不同任务.视觉信号传送到听觉区域,大脑听学习处理区域学会“看”(Von Melchner et al., 2000).计算单元互相作用变智能.新认知机(Fukushi ...
随机推荐
- springmvc图片上传、json
springmvc的图片上传 1.导入相应的pom依赖 <dependency> <groupId>commons-fileupload</groupId> < ...
- K8S的核心概念
1.Pod -- 是最小部署单元 -- 是一组容器的集合 -- Pod中的容器共享网络 -- 生命周期是短暂的 2.controller -- 确保预期的pod副本的数量 -- 确保所有的node运行 ...
- Pytest 系列（28）- 参数化 parametrize + @allure.title() 动态生成标题
如果你还想从头学起Pytest,可以看看这个系列的文章哦! https://www.cnblogs.com/poloyy/category/1690628.html 前言 参数化 @pytest.ma ...
- WEB安全性测试之文件上传漏洞
1.漏洞描述:文件上传漏洞,是指可以利用WEB上传一些特定的文件包含特定代码如(<?php phpnfo;?> 可以用于读取服务器配置信息.上传成功后可以点击) 上传漏洞是指用户上传了一个 ...
- Activiti 学习（二）—— Activiti 流程定义和部署
概述 在这一节,我们将创建一个 Activit 工作流,并启动这个流程,主要包含以下几个步骤: 定义流程,按照 BPMN 的规范,使用流程定义工具,用流程符号把整个流程描述出来 部署流程,把画好的流程 ...
- Vue CSS模拟菜单点击变色
<!DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8&quo ...
- linux 下 I/O 多路复用初探
本文内容整理自B站up主 free-coder 发布的视频:[并发]IO多路复用select/poll/epoll介绍 引入 一般来讲,服务器在处理IO请求(一般指的是socket编程)时,需要对so ...
- 使用@EnableConfigurationProperties注册配置Bean时的命名规则
Spring和Spring Boot开发中,常使用@ConfigurationProperties注解某个类,使其实例接受一组具有相同前缀的配置项. 可以使用@Component或Java Confi ...
- vue-cli 项目中使用 v-chart 及导出 chart 图片
安装: npm i v-charts echarts -S 组件中使用: 1 <template> 2 <div class="app-chart"> 3 ...
- 【OWASP TOP10】2021年常见web安全漏洞TOP10排行
[2021]常见web安全漏洞TOP10排行 应用程序安全风险 攻击者可以通过应用程序中许多的不同的路径方式去危害企业业务.每种路径方法都代表了一种风险,这些风险都值得关注. 什么是 OWASP TO ...