title: cs231n assignment1 KNN tags: - KNN - cs231n categories: - 机器学习 date: 2019年9月16日 17:03:13 利用KNN算法做图像分类.python2.7环境 首先运行cs231n/datasets下的get_datasets.sh获取数据集,如果你是windows用户,也可以在网盘下载后解压到datasets里. 链接: https://pan.baidu.com/s/1KMh7OoXAX3etAwIfloril…

支持向量机 一.支持向量机综述 1.研究思路,从最特殊.最简单的情况开始研究 基本的线性的可分 SVM 解决二分类问题,是参数化的模型.定义类标记为 \(+1\) 和 \(-1\)(区别于感知机,感知机是 \(+1\) 和 \(0\)),学习的是分离超平面,分类决策函数是 \[f(x) =sign(w\cdot x + b)\],我是这样看待这个分类决策平面的. \[ f(x) =sign(w\cdot x + b) \] 可以将向量 \(w\) 理解成为向量 \(x\) 的 \(n\) 个特征…

CS231n的课后作业非常的好,这里记录一下自己对作业一些笔记. 一.第一个是KNN的代码,这里的trick是计算距离的三种方法,核心的话还是python和machine learning中非常实用的向量化操作,可以大大的提高计算速度. import numpy as np class KNearestNeighbor(object):#首先是定义一个处理KNN的类 """ a kNN classifier with L2 distance """…

) # 对数据进行零中心化(重要) cov = np.dot(X.T, X) / X.shape[0] # 得到数据的协方差矩阵 数据协方差矩阵的第(i, j)个元素是数据第i个和第j个维度的协方差.具体来说,该矩阵的对角线上的元素是方差.还有,协方差矩阵是对称和半正定的.我们可以对数据协方差矩阵进行SVD(奇异值分解)运算. U,S,V = np.linalg.svd(cov) U的列是特征向量,S是装有奇异值的1维数组(因为cov是对称且半正定的,所以S中元素是特征值的平方).为了去除数据相…

): W = np.random.randn(10, 3073) * 0.0001 # generate random parameters loss = L(X_train, Y_train, W) # get the loss over the entire training set if loss < bestloss: # keep track of the best solution bestloss = loss bestW = W print 'in attempt %d the…

本文记录官方note中比较新颖和有价值的观点(从反向传播开始) 一 反向传播 1 “反向传播是一个优美的局部过程.在整个计算线路图中,每个门单元都会得到一些输入并立即计算两个东西:1. 这个门的输出值,和2.其输出值关于输入值的局部梯度.门单元完成这两件事是完全独立的,它不需要知道计算线路中的其他细节.” 2 反向传播的编程中要学会分段计算,即在前向传播过程中把有用的中间变量缓存下来. 3 输入的大小对梯度有巨大影响,因此数据预处理很重要.例如乘法门会将大梯度分给小输入,小梯度分给大输入,因此当…

目录 training Neural Network Activation function sigmoid ReLU Preprocessing Batch Normalization 权重初始化 Weight Initialization 交叉验证 Cross Validation 参数更新方法 Parameter Update SGD SGD+momentum Adagrad RMSprop Adam 改善过拟合 Overfiting 模型集成 Model ensemble 正则化 Reg…

本博客内容来自 Stanford University CS231N 2017 Lecture 2 - Image Classification 课程官网:http://cs231n.stanford.edu/syllabus.html 从课程官网可以查询到更详细的信息,查看视频需要FQ上YouTube,如果不能FQ或觉得比较麻烦,也可以从我给出的百度云链接中下载. 课程视频&讲义下载:http://pan.baidu.com/s/1gfu51KJ 问题背景 现在我有一张关于猫的图片,如何让计算…

1.前言 SVM(Support Vector Machine)是一种寻求最大分类间隔的机器学习方法,广泛应用于各个领域,许多人把SVM当做首选方法,它也被称之为最优分类器,这是为什么呢?这篇文章将系统介绍SVM的原理.推导过程及代码实践. 2.初识SVM 首先我们先来看看SVM做的是什么样的事,我们先看下面一张图 图中有三个分类实例,都将数据正确分类,我们直观上看,会觉得图中第三个效果会比较好,这是为什么呢?个人觉得人的直观感受更偏向于数据均匀对称的结构.当然,这只是直观感受,我们从专业的角度…

前言 首先声明,以下内容绝大部分转自知乎智能单元,他们将官方学习笔记进行了很专业的翻译,在此我会直接copy他们翻译的笔记,有些地方会用红字写自己的笔记,本文只是作为自己的学习笔记.本文内容官网链接:image classification notes 这是一篇介绍性教程,面向非计算机视觉领域的同学.教程将向同学们介绍图像分类问题和数据驱动方法. 内容列表: 图像分类.数据驱动方法和流程 Nearest Neighbor分类器 k-Nearest Neighbor 验证集.交叉验证集和超参数调参…