CS231N Assignment1 softmax 笔记

【CS231N Assignment1 softmax 笔记】的更多相关文章

cs231n assignment1 KNN

title: cs231n assignment1 KNN tags: - KNN - cs231n categories: - 机器学习 date: 2019年9月16日 17:03:13 利用KNN算法做图像分类.python2.7环境首先运行cs231n/datasets下的get_datasets.sh获取数据集,如果你是windows用户,也可以在网盘下载后解压到datasets里. 链接: https://pan.baidu.com/s/1KMh7OoXAX3etAwIfloril…

笔记：CS231n+assignment1（作业一）

CS231n的课后作业非常的好,这里记录一下自己对作业一些笔记. 一.第一个是KNN的代码,这里的trick是计算距离的三种方法,核心的话还是python和machine learning中非常实用的向量化操作,可以大大的提高计算速度. import numpy as np class KNearestNeighbor(object):#首先是定义一个处理KNN的类 """ a kNN classifier with L2 distance """…

【cs231n】神经网络笔记笔记2

) # 对数据进行零中心化(重要) cov = np.dot(X.T, X) / X.shape[0] # 得到数据的协方差矩阵数据协方差矩阵的第(i, j)个元素是数据第i个和第j个维度的协方差.具体来说,该矩阵的对角线上的元素是方差.还有,协方差矩阵是对称和半正定的.我们可以对数据协方差矩阵进行SVD(奇异值分解)运算. U,S,V = np.linalg.svd(cov) U的列是特征向量,S是装有奇异值的1维数组(因为cov是对称且半正定的,所以S中元素是特征值的平方).为了去除数据相…

【cs231n】最优化笔记

): W = np.random.randn(10, 3073) * 0.0001 # generate random parameters loss = L(X_train, Y_train, W) # get the loss over the entire training set if loss < bestloss: # keep track of the best solution bestloss = loss bestW = W print 'in attempt %d the…

cs231n官方note笔记

本文记录官方note中比较新颖和有价值的观点(从反向传播开始) 一反向传播 1 “反向传播是一个优美的局部过程.在整个计算线路图中,每个门单元都会得到一些输入并立即计算两个东西:1. 这个门的输出值,和2.其输出值关于输入值的局部梯度.门单元完成这两件事是完全独立的,它不需要知道计算线路中的其他细节.” 2 反向传播的编程中要学会分段计算,即在前向传播过程中把有用的中间变量缓存下来. 3 输入的大小对梯度有巨大影响,因此数据预处理很重要.例如乘法门会将大梯度分给小输入,小梯度分给大输入,因此当…

[基础]斯坦福cs231n课程视频笔记(三) 训练神经网络

目录 training Neural Network Activation function sigmoid ReLU Preprocessing Batch Normalization 权重初始化 Weight Initialization 交叉验证 Cross Validation 参数更新方法 Parameter Update SGD SGD+momentum Adagrad RMSprop Adam 改善过拟合 Overfiting 模型集成 Model ensemble 正则化 Reg…

【Python 代码】CS231n中Softmax线性分类器、非线性分类器对比举例（含python绘图显示结果）

1 #CS231n中线性.非线性分类器举例(Softmax) #注意其中反向传播的计算 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt N = 100 # number of points per class D = 2 # dimensionality K = 3 # number of classes X = np.zeros((N*K,D)) # data matrix (each row…