Lecture 3 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit (中)https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit (下)https://zhuanlan.zhihu.com/p/21102293?refer=intelligentunit 1．线性分类器(linear classifer): 我们总是希望得到一个函数f(x,w…

 反向传播 课程内容记录:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit 雅克比矩阵(Jacobian matrix) 参见https://www.cnblogs.com/feifanrensheng/p/8615686.html 神经网络一 课程内容记录: (上)https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit (下)https://zhuanlan.z…

Lecture 4 最优化 课程内容记录: (上)https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit (下)https://zhuanlan.zhihu.com/p/21387326?refer=intelligentunit 1．代码注释: numpy.random.randn(): numpy.random.randn(d0,d1,…,dn):rand函数返回一个或一组样本,具有标准正态分布..dn对应每个维度,函数返回值为…

Lecture 2 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit (下)https://zhuanlan.zhihu.com/p/20900216 numpy文档翻译:https://zhuanlan.zhihu.com/p/20878530?refer=intelligentunit 1．最近邻分类器(NN): a[0]为第一行像素.图片像素转换形成的numpy矩阵(800,500,3)中,第一个参数…

Lecture 7 神经网络二 课程内容记录:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 1．协方差矩阵: 协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差.而方差是协方差的一种特殊情况,即当两个变量是相同的情况. 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同. 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间…

Lecture 6  Training Neural Networks 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 本节课内容主要包括三部分:训练前准备.训练和评分.具体包括激活函数的选择,预处理,权重初始化,正则化,梯度检查,监控学习进程,参数更新,超参数优化和最终的模型评估. 一.激活函数 激活函数就是f,在以往线性评分的基础上加上激活函数,引入了非线性项,整体作为评分. 1.     Sigmoid:…

Lecture 1 视频网址:https://www.bilibili.com/video/av17204303/?p=2 https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit 补充材料翻译笔记.https://blog.csdn.net/han_xiaoyang 作业参考 https://zhuanlan.zhihu.com/p/30748903 作业参考 David Marr的1970年出版的书籍<Vision>中认为,为了…

Lecture 7  Training Neural Networks 2 课堂笔记参见:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 本节课主要讲述比较常用的优化算法,正则化方法以及迁移学习. 一.        优化: 随机梯度下降算法是有一些问题的,如图所示,如果目标类似于山坡的最低点,而我们的权重方向W1,W2正好一个竖直,一个水平,对应海森矩阵的最大奇异值和最小奇异值,那么Loss将会对水平更新非常不敏感.这是我…

Lecture 5 CNN 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 不错的总结笔记:https://blog.csdn.net/sugar_girl/article/details/79108709 1.卷积核步长公式:(N-F+2*padding)/stride+1=new_N N:原图形宽,F:filter宽,padding:填充宽度 2.卷积核参数公式:5*5*3的10个filter:5*5*3+…

Lecture 9 CNN Architectures 参见:https://blog.csdn.net/qq_29176963/article/details/82882080#GoogleNet_83 一. LeNet-5: 神经网络的第一个实例,用于识别邮票上的手写数字,使用步长为1,大小为5*5的卷积核,对第一层进行操作,然后进行池化,通过几层卷积和池化,在网络的最后还有一些全连接层.LeNet在数据识别领域取得了成功. 二. AlexNet: Alexnet是2012年ImageNet…

Lecture 8  Deep Learning Software 课堂笔记参见:https://blog.csdn.net/u012554092/article/details/78159316 今天我们来介绍深度学习软件,它们的性能.优劣以及应用流程,包括CPU.GPU和一些流行的深度学习框架. 一.          CPU vs GPU GPU被称作显卡(graphics card),或者图形处理器(Graphics Processing Unit),是一种专门进行图像运算工作的微处理器…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Linear Classification Note,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,巩子嘉和堃堃进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 线性分类器简介 线性评分函数 阐明线性分类器 译者注:上篇翻译截止处 损失函数 多类SVM Softmax分类器 SVM和Softmax的比较 基于Web的可交互线性分类器原型 小结 线性分类 上一篇笔记介绍了图像分类问题.图像分类的…

前言 首先声明,以下内容绝大部分转自知乎智能单元,他们将官方学习笔记进行了很专业的翻译,在此我会直接copy他们翻译的笔记,有些地方会用红字写自己的笔记,本文只是作为自己的学习笔记.本文内容官网链接:Linear Classification Note ] # number of classes, e.g. 10 loss_i = 0.0 for j in xrange(D): # iterate over all wrong classes if j == y: # skip for the…

[学习自CS231n课程] 转载请注明出处:http://www.cnblogs.com/GraceSkyer/p/8824876.html 之前介绍了图像分类问题.图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像.我们还介绍了k-Nearest Neighbor (k-NN)分类器,该分类器的基本思想是通过将测试图像与训练集带标签的图像进行比较,来给测试图像打上分类标签.k-Nearest Neighbor分类器存在以下不足: 分类器必须记住所有训练数据并将其存储起来,以…

#3. 操作文件中的内容/记录 往哪张表去插入 insert into 表名指定字段(id,name) 插入要加values(针对前面字段插入)(2,mike); insert into t1(id,name) values(2,'mike'); insert into t1 values(1,'egon1'); 也可以用逗号隔开 同时插入多条记录 insert into t1(id,name) values(1,'egon1'),(2,'egon2'),(3,'egon3'); 如果默认不写…

前言 感知器是分类的线性分类模型,其中输入为实例的特征向量,输出为实例的类别,取+1或-1的值作为正类或负类.感知器对应于输入空间中对输入特征进行分类的超平面,属于判别模型. 通过梯度下降使误分类的损失函数最小化,得到了感知器模型. 本节为大家介绍实现感知机实现的具体原理代码: 学习从来不是一个人的事情,要有个相互监督的伙伴,需要学习python或者有兴趣学习python的伙伴可以私信回复QQ:或微信:ff186345,一起学习哦!!!   O(∩_∩)O 运行结果如图所示:…

1. 主要观点 线性模型是线性回归和线性分类的基础 线性回归和线性分类模型的差异主要在于损失函数形式上,我们可以将其看做是线性模型在多维空间中“不同方向”和“不同位置”的两种表现形式 损失函数是一种优化技术的具体载体,影响损失函数不同形式的因素主要有: 和谁比:和什么目标比较损失 怎么比:损失比较的具体度量方式和量纲是什么 比之后如何修正参数:如果将损失以一种适当的形式反馈给原线性模型上,以修正线性模式参数 在这篇文章中,笔者会先分别介绍线性回归(linear regression)和线性分类(…

import numpy as np import matplotlib.pyplot as plt from sklearn import datasets, linear_model,svm from sklearn.model_selection import train_test_split def load_data_classfication(): ''' 加载用于分类问题的数据集 ''' # 使用 scikit-learn 自带的 iris 数据集 iris=datasets.lo…

1 APP测试基本流程 1.1流程图 1.2测试周期 测试周期可按项目的开发周期来确定测试时间,一般测试时间为两三周(即15个工作日),根据项目情况以及版本质量可适当缩短或延长测试时间.正式测试前先向主管确认项目排期. 1.3测试资源 测试任务开始前,检查各项测试资源. --产品功能需求文档: --产品原型图: --产品效果图: --行为统计分析定义文档: --测试设备(ios3.1.3-ios5.0.1:Android1.6-Android4.0:Winphone7.1及以上:Symbian…

其实,makefile有点复杂. 文档看了又看,还是要经常翻,做个记录备忘 :) 1.  隐含命令 implicit rules 与 implicit rule 相对应的有 pattern rules 和 suffix rules Compiling C programs n.o is made automatically from n.c with a recipe of the form ‘$(CC) $(CPPFLAGS) $(CFLAGS) -c’. Compiling C++ prog…

一.感知机(Perception) 1.1 原理: 感知机是二分类的线性模型,其输入是实例的特征向量,输出的是事例的类别,分别是+1和-1,属于判别模型. 假设训练数据集是线性可分的,感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面.如果是非线性可分的数据,则最后无法获得超平面. 1.2 感知机模型 感知机从输入空间到输出空间的模型如下: 1.3 求解 思想:错误驱动 损失函数:期望使错误分类的所有样本,到超平面的距离之和最小 (其中M集合是误分类点的集合)…

在学习LDA之前,有必要将其自然语言处理领域的LDA区别开来,在自然语言处理领域, LDA是隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA),是一种处理文档的主题模型.本文只讨论线性判别分析,因此后面所有的LDA均指线性判别分析. 线性判别分析 LDA: linear discriminant analysis 一.LDA思想:类间小,类间大 (‘高内聚,松耦合’) LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的,这点和PCA不同…

一.逻辑回归是什么? 1.逻辑回归 逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的. logistic回归也称为逻辑回归,与线性回归这样输出是连续的.具体的值(如具体房价123万元)不同,逻辑回归的输出是0~1之间的概率,但可以把它理解成回答“是”或者“否”(即离散的二分类)的问题.回答“是”可以用标签“1”表示,回答“否”可以用标签“0”表示. 比如,逻辑回归的输出是“某人生病的概率是多少”,我们可以进一步理解成“某人是否生病了”.设…

软分类:y 的取值只有正负两个离散值,例如 {0, 1} 硬分类:y 是正负两类区间中的连续值,例如 [0, 1] 一.感知机 主要思想:分错的样本数越少越好 用指示函数统计分错的样本数作为损失函数,不可微: 对错误分类样本,∑ -yi * f(xi) = ∑ -yi * WTxi  (因为求和项一定大于0,所以损失函数越小表示错误分类的样本越少) 二.线性判别分析 主要思想:同一类别的样本方差足够小,不同类别之间分散开(类内小,类间大) Rayleigh quotient 和 generali…

看李政轩老师讲的Kernel,讲的非常好!前面有几道作业题,用MATLAB简单做了下,不知道对不对,错误之处还请指出. 题目是这样的. 一.MATLAB版本: clear; clc % 生成training sample MU1 = [1 2]; MU2 = [4 6]; SIGMA1 = [4 4; 4 9]; SIGMA2 = [4 2; 2 4]; M1 = mvnrnd(MU1,SIGMA1,100); M2 = mvnrnd(MU2,SIGMA2,100); %生成testing sa…

一.for循环拥有两类: 1.穷举: 把所有可能的情况都走一遍,使用if条件筛选出来满足条件的情况. 2.迭代: 从初始情况按照规律不断求解中间情况,最终推导出结果. 二.穷举练习 1.单位给发了一张150元购物卡,拿着到超市买三类洗化用品.洗发水15元,香皂2元,牙刷5元.求刚好花完150元,有多少种买法,每种买法都是各买几样? int count = 0;//count数数的意思,多少种买法 int bian = 0;//看循环总共走了多少遍 for (int x = 0; x <= 10;…

Clean Code Part2 对象与数据结构 首先让我们进行一个严肃的思考,对象与数据结构的区别在哪里? 如下两段代码分别用数据结构和对象的方法来描述了一个Point. public class Point { private double x; public double y; } public interface Point { double getX(); double getY(); void setCartesian(double x,double y); double getR(…

多xml文件配置 在开发过程中我们经常会将每一张表(如:user表)的struts.xml文件分开,便于管理,故需要建立struts_user.xml文件管理请求等.那么需要用到inculde标签. 在原生的struts.xml文件里引入管理表的struts.xml文件(如:引入struts_user.xml文件):在原生文件中加入<include file="struts_user.xml"></include> 全局结果集 在开发中,多个action的结果集…

EF连接MySQL可用版本,由于EF.MySQLConnection.mysql-for-visualstudio.VS版本.MySQL.Data.MySQL.Data.Entity版本问题较花时间, 记录下成功的版本 EF6.1.3 mysql-connector-net-6.9.12 mysql-for-visualstudio-1.2.6 MySQL.Data6.9.12 MySQL.Data.Entity6.9.12 vs2017 1.分页 entity.model.Skip(*page…

1.left函数 left(字段,长度):获取指定字段左侧的数据,类似substring函数 2.union / union all 将多个记录合并成一个完整的数据集 3.insert into select 使用selsect语句来代替values语句,需要保证查询出来的记录为单列单条Insert into Table2(field1,field2,...) select value1,value2,... from Table1 4.select into from 将查询的数据存入另一张表…