Markdown 尝试

目录

• 简介
  • 参数模型 vs. 非参数模型
  • 创新点
    • at the modeling level
    • at the training procedure
• 模型结构
  • attention kernel
  • Full Context Embeddings
• 训练策略
  • 训练流程
• 参考资料

简介

参数模型 vs. 非参数模型

• 参数模型
  
  training examples need to be slowly learnt by the model into its parameters.

• 非参数模型
  
  allow novel examples to be rapidly assimilated, whilst not suffering from catastrophic forgetting.

创新点

at the modeling level

模型设计中, 借鉴了当下流行的注意力LSTM, 考虑了整个参考集合的贡献.

We propose Matching Nets (MN), a neural network which uses recent advances in attention and memory that enable rapid learning.

at the training procedure

训练过程中，尽量模拟测试流程，使用小样本构造minibatch

our training procedure is based on a simple machine learning principle: test and train conditions must match.

模型结构

给定一个参考集, $ S = \left \{ (x_{i}, y_{i}) \right \}_{i=1}^{k} $, 定义一个映射$ S \rightarrow C_{S}(x)=p(y|x) $, 其中$ P $由网络参数确定.

在预测阶段, 给定未知的样本$ {x}' $和参考集$ {S}' $, 预测的标签为 $ argmax_{y} P(y|{x}', {S}') $

最简单的形式y为: $ y = \sum_{i=1}^{k}a(x, x_{i})y_{i} $, 其中$ a $是attention机制.

然而与通常的attention memory机制不同, 这里的本质上是非参数的. 当参考集变大时, memory也变大. 这种定义的分类器很灵活, 可以很容易适应新的参考集.

attention kernel

匹配函数, 相当于前述函数 $ a(x, x_{i}) $, 即如何考察测试样本特征 $ x $ 和参考集样本特征 $ x_{i} $ 之间的匹配程度.

可以有以下选择:

• cosine : $$ a(x, x_{i}) = c(x, x_{i}) $$

• Softmax : $ a(x, x_{i}) = exp[c(x, x_{i})] / \sum_{j}exp[c(x, x_{j})] $

• cosine(FCE) : $ a(x, x_{i}) = c(f(x), g(x_{i})) $

• Softmax(FCE) : $ a(x, x_{i}) = exp[c(f(x), g(x_{i}))] / \sum_{j}exp[c(f(x), g(x_{j}))] $

其中c表示余弦距离, FCE表示Full Conditional Embedding.

Full Context Embeddings

在通常的image或者是sentence的表示的基础上(如CNN的表示, embedding的表示等), 可以进一步加上 FCE, 使得到的 representation 依赖于support set.

$ g(x_{i}) $ 应该依赖于参考集 $ S $, 另外 $ S $ 也应该影响 $ y(x) $.

• $ g(x_{i}, S) $
  
  使用 bilstm, 在 $ S $ 的上下文中(将其视为一个序列)编码 $ x_{i} $

\vec{h}_{i}, \vec{c}_{i} = LSTM ({g_{i}}', \vec{h}_{i-1}, \vec{c}_{i-1})

\bar{h}_{i}, \bar{c}_{i} = LSTM ({g_{i}}', \bar{h}_{i+1}, \bar{c}_{i+1})

g(x_{i}, S) = \vec{h}_{i} + \bar{h}_{i} + {g}'(x_{i})

其中$ {g}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.

• $ f(x, S) $

f(x, S) = attLSTM({f}'(x), g(S), K)

其中$ {f}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.

这里和之前类似, 注意力函数也是softmax形式, 用其他所有参考集样本归一化.

换言之, 除了以测试样本作为输入, 在每一个步骤中, 还要根据LSTM状态h, 决定把注意力放在哪一些参考集样本上.

训练策略

训练策略是本文的闪光之处, 再一次验证了机器学习实战中这条颠扑不破的真理: 怎么用, 怎么训.

训练流程

训练过程中，迭代一次的流程如下：

• 选择少数几个类别（例如5类），在每个类别中选择少量样本（例如每类5个）；
• 将选出的集合划分：参考集，测试集；
• 利用本次迭代的参考集，计算测试集的误差；
• 计算梯度，更新参数
  
  这样的一个流程文中称为episode。

在测试过程中，同样遵守此流程：

• 选择少数几个类别，在每个类别中选择少量样本；
• 将选出的集合划分：参考集，测试集；
• 利用本次迭代的参考集，计算测试集的误差；

注意，在完成训练之后，所有训练中用过的类别，都不再出现在后续真正测试中。换言之，训练集和测试集的类别互不包含。

参考资料

论文 Matching Networks for One Shot Learning

平价数据 One Shot Learning

博客 Matching Networks for One Shot Learning

Tensorflow实现: 这里的实现似乎没有对f, g分开处理, 对FCE的处理方式也和文章说的不太一样.