【机器学习】HK算法（LMSE算法） LMS算法改进保证线性可分时均方误差标准能够找到线性可分的超平面

1.其实HK算法思想很朴实，就是在最小均方误差准则下求得权矢量。

他相对于感知器算法的优点在于，他适用于线性可分和非线性可分得情况，对于线性可分的情况，给出最优权矢量，对于非线性可分得情况，能够判别出来，以退出迭代过程。

2.在程序编制过程中，我所受的最大困扰是：关于收敛条件的判决。

对于误差矢量：e=x*w-b

若e>0 则继续迭代

若e=0 则停止迭代，得到权矢量

若e〈0 则停止迭代，样本是非线性可分得，

若e有的分量大于0，有的分量小于0 ，则在各分量都变成零，或者停止由负值转变成正值时，停机。

3.在程序编制中的注意点：

1）关于0的判断，由于计算机的精度原因，严格等于零是很不容易的，而且在很多情况下也没有必要，则只要在0的一个可以接受的delta域内就可接受为零

2）关于判断，迭代前后，变量是否发生变化

在判断时，显然也不能直接判断a(i)==a(i+1)

而应该|a(i)-a(i+1)|〈err

4. HK详细代码如下：

unction [w,flag]=HK(data)

Iteration=20;

flag=0;

% [n,p]=size(data);

n=size(data,1);

b=ones(n,1)./10;

c=0.6;

xx=inv(data'*data)*data';

w=xx*b;

e=data*w-b;

t=0;

while (1)

    temp=min(e);

    temp1=max(e);

    if temp>-1e-4 && temp<0

        temp=0;

    end

    if temp>1e-3      

        deltab=e+abs(e);

        b=b+c.*deltab;

        w=w+c.*xx*deltab;

        e=data*w-b;

    else

        if temp>=0 && temp1<1e-4

            break;

        else

            if temp1<0

                flag=1;

                break;

            else

                deltab=e+abs(e);

                b=b+c.*deltab;

                w=w+c.*xx*deltab;

                e=data*w-b;

                t=t+1;

                if t>=Iteration

                    break;