神经网络与机器学习第3版学习笔记-第1章 Rosenblatt感知器
神经网络与机器学习第3版学习笔记
-初学者的笔记,记录花时间思考的各种疑惑
本文主要阐述该书在数学推导上一笔带过的地方。参考学习,在流畅理解书本内容的同时,还能温顾学过的数学知识,达到事半功倍的效果。
第一章 Rosenblatt感知器
1、第32页
1.1 为什么如果第n次迭代时的内积存在符号错误,第n+1次迭代内积的符号就会正确?
已知 $\eta \left( n \right) X^T\left( n \right) X\left( n \right) >\left| W^T\left( n \right) X\left( n \right) \right|$ ······················································①
(1)假设$X\left( n \right) \in \varphi \left( 1 \right) $,即正确的内积结果大于0:$W^{\begin{array}{c} T\\\end{array}}\left( n \right) X\left( n \right) >0$ 。
$\because $第n次迭代时的内积存在符号错误
$\therefore W^{\begin{array}{c} T\\\end{array}}\left( n \right) X\left( n \right) <0$
$\because X\left( n \right) \in \varphi \left( 1 \right) \,\,\land W^{\begin{array}{c} T\\\end{array}}\left( n \right) X\left( n \right) <0$
$\therefore W\left( n+1 \right) =W\left( n \right) +\eta \left( n \right) X\left( n \right) $ //加上一个正数,使下次内积增大(P30的式1.6)
$\therefore W^T\left( n+1 \right) =W^T\left( n \right) +\eta \left( n \right) X^T\left( n \right) $
$\therefore W^T\left( n+1 \right) X\left( n \right) =W^T\left( n \right) X\left( n \right) +\eta \left( n \right) X^T\left( n \right) X\left( n \right) $
又$\because ①\Rightarrow \eta \left( n \right) X^T\left( n \right) X\left( n \right) >-W^T\left( n \right) X\left( n \right) $
$\therefore W^T\left( n+1 \right) X\left( n \right) >0$
即:第n+1次迭代内积的符号正确。
(2)同理可证当“$X\left( n \right) \in \varphi \left( 2 \right) \land W^{\begin{array}{c} T\\\end{array}}\left( n \right) X\left( n \right) >0$”时,第n+1次迭代内积的符号正确。
2、第33页
2.1 关于“Cij”
Cij的通俗解释:$x\in \varphi \left( i \right) $ 却错误分类到$\varphi \left( j \right) $的风险。
3、第34页
3.1 为什么C11<C21&C22<C12?
因为错误分类的风险更大。
3.2 最优分类策略的由来。
要使分类策略最优,即:实现风险最小。
所以,最优分类为,使得$\int_{\mathscr{X}1}{A\left( x \right) dx}$最小的A(A为1.27中的代数式)。
那么,把所有使得$A\left( x \right) <0$的x都分配给$\mathscr{X}1$,可使得上式最小。
4、第35页
4.1 式1.33的简化过程
$-\frac{1}{2}\left( X-\mu _1 \right) ^TC^{-1}\left( X-\mu _1 \right) +\frac{1}{2}\left( X-\mu _2 \right) ^TC^{-1}\left( X-\mu _2 \right) $
= $-\frac{1}{2}X^TC^{-1}X+\frac{1}{2}X^TC^{-1}\mu _1+\frac{1}{2}\mu _1^TC^{-1}X-\frac{1}{2}\mu _1^TC^{-1}\mu _1$
$\,\,+\frac{1}{2}X^TC^{-1}X-\frac{1}{2}X^TC^{-1}\mu _2-\frac{1}{2}\mu _2^TC^{-1}X+\frac{1}{2}\mu _2^TC^{-1}\mu _2$
= $\,\,\frac{1}{2}X^TC^{-1}\left( \mu _1-\mu _2 \right) +\frac{1}{2}\left( \mu _1^T-\mu _2^T \right) C^{-1}X$
$+\frac{1}{2}\left( \,\,\mu _2^TC^{-1}\mu _2-\mu _1^TC^{-1}\mu _1 \right) $
= $\,\,\frac{1}{2}X^TC^{-1}\left( \mu _1-\mu _2 \right) +\frac{1}{2}\left( \mu _1-\mu _2 \right) ^TC^{-1}X$
$+\frac{1}{2}\left( \,\,\mu _2^TC^{-1}\mu _2-\mu _1^TC^{-1}\mu _1 \right) $
$\because X,C,\mu _1,\mu _2$都是一维向量,且 一维向量X一维向量=常数
$\therefore X^TC^{-1}\left( \mu _1-\mu _2 \right) =\left( \mu _1-\mu _2 \right) ^TC^{-1}X$
$\therefore $原式=$\,\,\left( \mu _1-\mu _2 \right) ^TC^{-1}X+\frac{1}{2}\left( \,\,\mu _2^TC^{-1}\mu _2-\mu _1^TC^{-1}\mu _1 \right) $
5、第37页
5.1 实验所需要的感知器参数中:$\beta =50$ ?
因为区域A的输入向量的最大欧几里得范数应该为大圆半径10,
所以 $\beta =10^2=100$。
5.2 中文版中对于“权向量大小m=20”的描述,在原版中不存在,可忽略。
6、双月模型的计算机实验
见以下开源代码:
(作者3步迭代就收敛,可我的代码大约需要几百步才能收敛,
由于是随机产生的输入向量,收敛步数应该得看脸,好在都能瞬间完成
并生成可分析数据)
https://gitee.com/none_of_useless/nnalm
思路:
①创建感知器。接受输入向量及初始权值,输出收敛后的权值。
②创建双月模型,生成训练与验证数据。
神经网络与机器学习第3版学习笔记-第1章 Rosenblatt感知器的更多相关文章
- tensorflow学习笔记——自编码器及多层感知器
1,自编码器简介 传统机器学习任务很大程度上依赖于好的特征工程,比如对数值型,日期时间型,种类型等特征的提取.特征工程往往是非常耗时耗力的,在图像,语音和视频中提取到有效的特征就更难了,工程师必须在这 ...
- HTML5与CSS3基础教程第八版学习笔记11~15章
第十一章,用CSS进行布局 开始布局注意事项 1.内容与显示分离 2.布局方法:固定宽度和响应式布局 固定宽度,整个页面和每一栏都有基于像素的宽度 响应式布局也称为流式页面,使用百分数定义宽度 3.浏 ...
- 锋利的jQuery第2版学习笔记8~11章
第8章,用jQuery打造个性网站 网站结构 文件结构 images文件夹用于存放将要用到的图片 styles文件夹用于存放CSS样式表,个人更倾向于使用CSS文件夹 scripts文件夹用于存放jQ ...
- 锋利的jQuery第2版学习笔记1~3章
第1章,认识jQuery 注意:使用的jQuery版本为1.7.1 目前流行的JavaScript库 Prototype(http://www.prototypejs.org),成型早,面向对象的思想 ...
- HTML5与CSS3基础教程第八版学习笔记7~10章
第七章,CSS构造块 CSS里有控制基本格式的属性(font-size,color),有控制布局的属性(position,float),还有决定访问者打印时在哪里换页的打印控制元素.CSS还有很多控制 ...
- HTML5与CSS3基础教程第八版学习笔记1~6章
第一章,网页的构造块 网页主要包括三个部分: 1.文本内容(纯文字) 2.对其他文件的引用:图像,音频,视频,样式表文件,js文件 3.标记:对文本内容进行描述并确保引用正确地工作 注:所有这些成分都 ...
- c#高级编程第七版 学习笔记 第三章 对象和类型
第三章 对象和类型 本章的内容: 类和结构的区别 类成员 按值和按引用传送参数 方法重载 构造函数和静态构造函数 只读字段 部分类 静态类 Object类,其他类型都从该类派生而来 3.1 类和结构 ...
- python cookbook第三版学习笔记二十一:利用装饰器强制函数上的类型检查
在演示实际代码前,先说明我们的目标:能对函数参数类型进行断言,类似下面这样: @typeassert(int, int) ... def add(x, y): ... return x + y ...
- 流畅的python学习笔记第七章:装饰器
装饰器就如名字一样,对某样事物进行装饰过后然后返回一个新的事物.就好比一个毛坯房,经过装修后,变成了精装房,但是房子还是同样的房子,但是模样变了. 我们首先来看一个函数.加入我要求出函数的运行时间.一 ...
随机推荐
- [Dart] Dynamic variable in Dart
First way to create dynamic variable is using 'dymaic' keywrod: dynamic a = 123; a = '123'; Second w ...
- SIGAI机器学习第三集 数学知识-2
讲授机器学习相关的高等数学.线性代数.概率论知识 大纲: 最优化中的基本概念梯度下降法牛顿法坐标下降法数值优化算法面临的问题拉格朗日乘数法凸优化问题凸集凸函数凸优化拉格朗日对偶KKT条件 最优化中的基 ...
- php面向对象:类的继承实例讲解
什么是类的继承?说白了,我觉得就是提高代码使用效率的.下面我就给大家介绍下继承.大理石平台维修 类的继承概念 子类继承父类的所有成员变量个方法,包括构造方法,当子类被实例化时,php会现在子类中查询构 ...
- sql server 子查询 和exists使用
概述 子查询的概念: 当一个查询是另一个查询的条件时,称之为子查询.子查询可以嵌套在主查询中所有位置,包括SELECT.FROM.WHERE.GROUP BY.HAVING.ORDER BY. 外面的 ...
- learning scala stripMargin
(1)Scala中创建多行字符串使用Scala的Multiline String. 在Scala中,利用三个双引号包围多行字符串就可以实现. 代码实例如: val foo = "" ...
- 二分算法题目训练(一)——Shell Pyramid详解
HDU2446——Shell Pyramid 详解 Shell Pyramid 题目描述(Google 翻译的) 在17世纪,由于雷鸣般的喧嚣,浓烟和炽热的火焰,海上的战斗与现代战争一样.但那时,大炮 ...
- GitLab获取人员参与项目-贡献项目列表
目录 前言 获取token 登录 获取用户参与项目 完整代码 前言 最近在做的统计报表项目包含人员代码提交量. 要获取人员代码提交量首先要知道人员参与的项目.GitLab个人页面中有Contribut ...
- wx.navigateTo和wx.redirectTo的不同
wx.navigateTo保留当前页面,跳转到应用内的某个页面,使用wx.navigateBack可以返回到原页面. wx.redirectTo关闭当前页面,跳转到应用内的某个页面.就是不能返回了. ...
- BZOJ3236作业
这东西是个应用为O(logn)的莫队. 正常莫队的updata函数转移是O(1)的,可这个题时间非常宽泛,可以套两个树状数组,那两个东西很好维护,第一个直接普通权值树状数组维护,第二个开一个桶,记录当 ...
- nessus在Linux上的安装
Nessus有三种安装方式 1.源文件安装 源文件安装是最复杂的安装方式,用此方式安装可以修改配置参数. 2.rpm安装 rpm安装比起源文件安装更简单一些,它已经把一些底层的东西写好了,用户只要按步 ...