[DeeplearningAI笔记]Multi-class classification多类别分类Softmax regression_02_3.8-3.9

Multi-class classification多类别分类

觉得有用的话,欢迎一起讨论相互学习~Follow Me

3.8 Softmax regression

• 原有课程我们主要介绍的是二分分类(binary classification),这种分类只能有两种可能的标记0或1,如果我们要进行多类别的分类呢...
  
  有一种logistic回归的一般形式叫做Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类.
• 以识别图片的例子而言,我们设总的类别数为C,则此例中设置C为4,最后一层设置神经元个数与C相等为4,计算值为在输入值为X的情况下四种类型每一个的概率有多大.

• 对于输出层的神经元是一个(4, 1)的向量,并且输出的\(\hat{y}\)的四个数字加起来应该等于1

Softmax layer

Softmax函数的特殊性在于输入的是一个向量输出也是一个向量.

---

3.9训练一个softmax分类器

• softmax是相对于hardmax而言的,hardmax会将输出值概率最大的值标记为1,而其他分类都记为0.而softmax还是保存了概率的输出值.
• softmax回归将logistic回归扩展到了C类,可以证明当C=2时,softmax回归就是普通的logistic回归,也可以视为logistic是softmax回归的特殊形式.

怎样训练带有softmax输出层的神经网络

这是单个样本上的loss function情况,对于整个数据集上的cost function 而言是所有数据的loss function之和取平均,所以只要loss function计算方法无误,可以扩展到整个数据集上.

• 整个数据集此时的数据结构为(假设有m个训练数据,即矩阵会有m列),得到的会是一个(1,m)的计算数值: