lms算法跟Rosenblatt感知器相比,主要区别就是权值修正方法不一样。lms采用的是批量修正算法,Rosenblatt感知器使用的

是单样本修正算法。两种算法都是单层感知器,也只适用于线性可分的情况。

详细代码及说明如下:

'''
算法:最小均方算法(lms)
均方误差:样本预测输出值与实际输出值之差平方的期望值,记为MES
设:observed 为样本真值,predicted为样本预测值,则计算公式:
(转换为容易书写的方式,非数学标准写法,因为数学符号在这里不好写)
MES=[(observed[0]-pridicted[0])*(observed[0]-pridicted[0])+....
(observed[n]-pridicted[n])*(observed[n]-pridicted[n])]/n
''' '''
变量约定:大写表示矩阵或数组,小写表示数字
X:表示数组或者矩阵
x:表示对应数组或矩阵的某个值
''' '''
关于学习效率(也叫步长:控制着第n次迭代中作用于权值向量的调节)。(下面的参数a):
学习效率过大:收敛速度提高,稳定性降低,即出结果快,但是结果准确性较差
学习效率过小:稳定性提高,收敛速度降低,即出结果慢,准确性高,耗费资源
对于学习效率的确定,有专门的算法,这里不做研究。仅仅按照大多数情况下的选择:折中值
'''
import numpy as np
a=0.1 ##学习率 0<a<1
X=np.array([[1,1],[1,0],[0,1],[0,0]]) ##输入矩阵
D=np.array([1,1,1,0]) ##期望输出结果矩阵
W=np.array([0,0]) ##权重向量
expect_e=0.005 ##期望误差
maxtrycount=20 ##最大尝试次数 ##硬限幅函数(即标准,这个比较简单:输入v大于0,返回1.小于等于0返回-1)
'''
最后的权重为W([0.1,0.1]),则:0.1x+0.1y=0 ==>y=-x
即:分类线方程为:y=-x
'''
def sgn(v):
if v>0:
return 1
else:
return 0 ##跟上篇感知器单样本训练的-1比调整成了0,为了测试需要。-1训练不出结果 ##读取实际输出
'''
这里是两个向量相乘,对应的数学公式:
a(m,n)*b(p,q)=m*p+n*q
在下面的函数中,当循环中xn=1时(此时W=([0.1,0.1])):
np.dot(W.T,x)=(1,1)*(0.1,0.1)=1*0.1+1*0.1=0.2>0 ==>sgn 返回1
'''
def get_v(W,x):
return sgn(np.dot(W.T,x))##dot表示两个矩阵相乘 ##读取误差值
def get_e(W,x,d):
return d-get_v(W,x) ##权重计算函数(批量修正)
'''
对应数学公式: w(n+1)=w(n)+a*x(n)*e
对应下列变量的解释:
w(n+1) <= neww 的返回值
w(n) <=oldw(旧的权重向量)
a <= a(学习率,范围:0<a<1)
x(n) <= x(输入值)
e <= 误差值或者误差信号
'''
def neww(oldW,d,x,a):
e=get_e(oldW,x,d)
return (oldW+a*x*e,e) ##修正权值
'''
此循环的原理:
权值修正原理(批量修正)==>神经网络每次读入一个样本,进行修正,
达到预期误差值或者最大尝试次数结束,修正过程结束
'''
cnt=0
while True:
err=0
i=0
for xn in X:
W,e=neww(W,D[i],xn,a)
i+=1
err+=pow(e,2) ##lms算法的核心步骤,即:MES
err/=float(i)
cnt+=1
print(u"第 %d 次调整后的权值:"%cnt)
print(W)
print(u"误差:%f"%err)
if err<expect_e or cnt>=maxtrycount:
break print("最后的权值:",W.T) ##输出结果
print("开始验证结果...")
for xn in X:
print("D%s and W%s =>%d"%(xn,W.T,get_v(W,xn))) ##测试准确性:
'''
由上面的说明可知:分类线方程为y=-x,从坐标轴上可以看出:
(2,3)属于+1分类,(-2,-1)属于0分类
''' print("开始测试...")
test=np.array([2,3])
print("D%s and W%s =>%d"%(test,W.T,get_v(W,test)))
test=np.array([-2,-1])
print("D%s and W%s =>%d"%(test,W.T,get_v(W,test)))

输出结果:

第 1 次调整后的权值:
[ 0.1 0.1]
误差:0.250000
第 2 次调整后的权值:
[ 0.1 0.1]
误差:0.000000
最后的权值: [ 0.1 0.1]
开始验证结果...
D[1 1] and W[ 0.1 0.1] =>1
D[1 0] and W[ 0.1 0.1] =>1
D[0 1] and W[ 0.1 0.1] =>1
D[0 0] and W[ 0.1 0.1] =>0
开始测试...
D[2 3] and W[ 0.1 0.1] =>1
D[-2 -1] and W[ 0.1 0.1] =>0

从结果看出,经过2次训练,就得出了最优结果。

补充说明:经过多次调整样本或者权重,在20次循环中有时候出结果,有时候找不到最优解。所以在实验过程中,没有达到

预期结果,除了循环次数不够之外,最大的可能就是样本或者权值设置的问题。

机器学习:Python实现最小均方算法(lms)的更多相关文章

  1. 神经网络与机器学习 笔记—LMS(最小均方算法)和学习率退火

    神经网络与机器学习 笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...

  2. 最小均方算法(LMS Algorithm)理论及DSP实现

    LMS算法可认为是机器学习里面最基本也比较有用的算法,神经网络中对参数的学习使用的就是LMS的思想,在通信信号处理领域LMS也非常常见,比如自适应滤波器. 本文主要对LMS(Least Mean Sq ...

  3. 滤波器算法(2)-最小均方(LMS)

    2018.09.09 写的版本 ①残差平方和 ②平方损失函数: ③函数的极值点为偏导数为0的点:(将问题变成一个求极值的问题) ④求解得: matlab代码: ① y=ax+b+e方程 functio ...

  4. 机器学习 Python实践-K近邻算法

    机器学习K近邻算法的实现主要是参考<机器学习实战>这本书. 一.K近邻(KNN)算法 K最近邻(k-Nearest Neighbour,KNN)分类算法,理解的思路是:如果一个样本在特征空 ...

  5. 《机器学习实战》——k-近邻算法Python实现问题记录(转载)

    py2.7 : <机器学习实战> k-近邻算法 11.19 更新完毕 原文链接 <机器学习实战>第二章k-近邻算法,自己实现时遇到的问题,以及解决方法.做个记录. 1.写一个k ...

  6. Python机器学习笔记:异常点检测算法——LOF(Local Outiler Factor)

    完整代码及其数据,请移步小编的GitHub 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/MachineLearningNote 在数据挖掘方面,经常需 ...

  7. 【机器学习】支持向量机(SVM)的优化算法——序列最小优化算法(SMO)概述

    SMO算法是一一种启发式算法,它的基本思路是如果所有变量的解的条件都满足最优化问题的KKT条件,那么这个最优化问题的解就得到了.因为KKT条件是该优化问题的充分必要条件. 整个SMO算法包括两个部分: ...

  8. 机器学习实战笔记-k-近邻算法

    机器学习实战笔记-k-近邻算法 目录 1. k-近邻算法概述 2. 示例:使用k-近邻算法改进约会网站的配对效果 3. 示例:手写识别系统 4. 小结 本章介绍了<机器学习实战>这本书中的 ...

  9. 机器学习(Machine Learning)算法总结-决策树

    一.机器学习基本概念总结 分类(classification):目标标记为类别型的数据(离散型数据)回归(regression):目标标记为连续型数据 有监督学习(supervised learnin ...

随机推荐

  1. IIS7.0发布后关于"不能在此路径中使用此配置节”的解决办法

    在系统为window sever2008,iis7.0上安装后发布出现 IIS Web Core 通知 BeginRequest 处理程序 尚未确定 错误代码 0x80070021 配置错误 不能在此 ...

  2. js设计模式--工厂模式

    工厂模式: 工厂模式的目的是为了创建对象,它经常是在类和类的方法中实现.简单的工厂模式是由一个方法来决定到底要创建哪类的实例,这些实例经常拥有相同的接口,这种模式在所实例化的类型在编译期并不确定,而是 ...

  3. margin-top、margin-bottom的一些分析

    margin-top:表示该容器距离上面容器的距离 情况一:如果该容器上面没有容器,则这个样式属性则被父容器占用了 html代码如下: <div id ="fa"> & ...

  4. Java显式锁学习总结之二:使用AbstractQueuedSynchronizer构建同步组件

    Jdk1.5中包含了并发大神Doug Lea写的并发工具包java.util.concurrent,这个工具包中包含了显示锁和其他的实用同步组件.Doug Lea在构建锁和组件的时候,大多是以队列同步 ...

  5. hashMap4种遍历方式

    package collection; import java.util.Collection; import java.util.HashMap; import java.util.Hashtabl ...

  6. linux 之 tcpdump

    tcpdump详细命令 -i 参数指定监听网口 -c 参数指定监听的数据包数量 -s 参数指定监听数据包大小 -w 参数指定监听数据包写入文件 如果要监听某几台主机数据包 例如10.10.10.10. ...

  7. vs2017 .net core WebApp 去掉ApplicationInsights

    vs2017新建的 .net core WebApp都内置了这个遥测中间件进去,嗯,用AZURE的话是不错能无缝支持.但不用AZURE就没什么用了. 为了不占地方和提高一点点初始启动的速度,对新建的项 ...

  8. 1664: [Usaco2006 Open]County Fair Events 参加节日庆祝

    1664: [Usaco2006 Open]County Fair Events 参加节日庆祝 Time Limit: 5 Sec  Memory Limit: 64 MBSubmit: 255  S ...

  9. swift -- 集合

    swift -- 集合 //注意:集合中的元素是无序的,并且不想数组,字典那样,没有索引和键. 1.创建一个空集合 var set1 : Set<Int> = Set<Int> ...

  10. IIS HTTP 错误 500.19 - Internal Server Error HTTP 错误 401.3 - Unauthorized 解决办法

    前言:IIS是一个强大的服务器管理器,当遇到 IIS HTTP 错误 500.19 - Internal Server Error  HTTP 错误 401.3 - Unauthorized 的解决办 ...