过年放了七天假,每年第一件事就是立一个flag——希望今年除了能够将技术学扎实之外,还希望能够将所学能够用来造福社会,好像flag立得有点大了.没关系,套用一句电影台词为自己开脱一下——人没有梦想,和咸鱼有什么区别.闲话至此,进入今天主题:Transformer.谷歌于2017年提出Transformer网络架构,此网络一经推出就引爆学术界.目前,在NLP领域,Transformer模型被认为是比CNN,RNN都要更强的特征提取器. Transformer算法简介 Transformer引入了s…

Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构 目录 Alink漫谈(二) : 从源码看机器学习平台Alink设计和架构 0x00 摘要 0x01 Alink设计原则 0x02 Alink实例代码 算法调用 算法主函数 算法模块举例 0x03 顶层 -- 流水线 1. 机器学习重要概念 2. Alink中概念实现 3. 结合实例看流水线 0x04 中间层 -- 算法组件 1. Algorithm operators 2. Mapper(提前说明) 3. 系统内置算法组件 Mo…

1. 语言模型 2. Attention Is All You Need(Transformer)算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 从Encoder-Decoder(Seq2Seq)理解Attention的本质 1. 前言 谷歌在2017年发表了一篇论文名字教Attention Is All You Need,提出了一个只基于attention的结构来处理序列模型相关的问题,比如机器翻译.传统的神经机器翻译大都是利…

经过了一段时间的学习,我们了解了一系列泛函数据类型.我们知道,在所有编程语言中,数据类型是支持软件编程的基础.同样,泛函数据类型Foldable,Monoid,Functor,Applicative,Traversable,Monad也是我们将来进入实际泛函编程的必需.在前面对这些数据类型的探讨中我们发现: 1.Monoid的主要用途是在进行折叠(Foldable)算法时对可折叠结构内元素进行函数施用(function application). 2.Functor可以对任何高阶数据类型F[_]…

1. Naive Bayes算法 朴素贝叶斯算法算是生成模型中一个最经典的分类算法之一了,常用的有Bernoulli和Multinomial两种.在文本分类上经常会用到这两种方法.在词袋模型中,对于一篇文档$d$中出现的词$w_0,w_1,...,w_n$, 这篇文章被分类为$c$的概率为$$p(c|w_0,w_1,...,w_n) = \frac{p(c,w_0,w_1,...,w_n)}{p(w_0,w_1,...,w_n)} = \frac{p(w_0,w_1,...,w_n|c)*p(c…

Transformer 最近看了Attention Is All You Need这篇经典论文.论文里有很多地方描述都很模糊,后来是看了参考文献里其他人的源码分析文章才算是打通整个流程.记录一下. Transformer整体结构 数据流梳理 符号含义速查 N: batch size T: 一个句子的长度 E: embedding size C: attention_size(num_units) h: 多头header的数量 1. 训练 1.1 输入数据预处理 翻译前文本,翻译后文本,做长度截断…

目录 引言 动机 解决方案 概览 注释 实现 高效实现 结果 结论 参考文献 本文翻译自How Self-Attention with Relative Position Representations works, 介绍 Google的研究成果. 引言 ​ 本文基于Shaw 等人发表的论文 <Self-Attention with Relative Position Representations> 展开.论文介绍了一种在一个Transformer内部编码输入序列的位置信息的方法.特别的是,…

目录 NLP中的预训练 语境表示 语境表示相关研究 存在的问题 BERT的解决方案 任务一:Masked LM 任务二:预测下一句 BERT 输入表示 模型结构--Transformer编码器 Transformer vs. LSTM 模型细节 在不同任务上进行微调 GLUE SQuAD 1.1 SQuAD 2.0 SWAG 分析 预训练的影响 方向与训练时间的影响 模型规模的影响 遮罩策略的影响 多语言BERT(机器翻译) 生成训练数据(机器阅读理解) 常见问题 结论 翻译自Jacob Dev…

目录 从宏观上看Transformer 把张量画出来 开始编码! 从宏观上看自注意力 自注意力的细节 自注意力的矩阵计算 "多头"自注意力 用位置编码表示序列的顺序 残差 解码器 最后的线性和Softmax层 损失函数 下一步 本文翻译自Jay Alammar的博文The Illustrated Transformer 注意力是一个有助于提高神经机器翻译模型性能的机制.在这篇文章中,我们将着眼于Transformer--一个利用注意力来提高模型训练速度的模型.Transformer在特…

分类算法:对目标值进行分类的算法    1.sklearn转换器(特征工程)和预估器(机器学习)    2.KNN算法(根据邻居确定类别 + 欧氏距离 + k的确定),时间复杂度高,适合小数据    3.模型选择与调优    4.朴素贝叶斯算法(假定特征互独立 + 贝叶斯公式(概率计算) + 拉普拉斯平滑系数),假定独立,对缺失数据不敏感,用于文本分类    5.决策树(找到最高效的决策顺序--信息增益(关键特征=信息熵-条件熵) + 可以可视化)    6.随机森林(bootstarp(又放回…