FM

1、FM （因子分解机）

2、FM的作用：

　　（1）特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接进行建模，很可能会忽略掉特征与特征之间的关联信息，因此，可以通过构建新的交叉特征这一特征组合方式提高模型的效果。

　　（2）高维的稀疏矩阵是实际工程过程中常见的问题，并直接回导致计算量过大，特征权值更新缓慢。试想一个10000*100的表，每一列都有8种元素，经过one-hot独热编码之后，会产生一个10000*800的表。因此表中每行元素只有100个值为1，700个值为0。

而FM的优势就在于这两方面问题的处理。首先是特征组合，通过对两两特征组合，引入交叉项特征，提高模型得分；其次是高维灾难，通过引入隐向量，（对参数矩阵进行矩阵分解），完成对特征的参数估计。

3、FM适应场景：

　　FM可以解决特征组合以及高维系数矩阵问题，而实际业务长江汇总，电商、豆瓣等推荐系统场景是使用最广的领域。

4、FM的样子：

　　首先，看一下线性表达式：

　　

其中w0为初始权值，wi为每个特征xi对应的权值。可以看到，这种线性表达式值描述了每个特征与输出的关系。

FM表达式：（引入了交叉项）

5、FM交叉项的展开

5.1、寻找交叉项

FM表达式的求解核心在于对交叉项的求解。

5.3、交叉项展开式

代码数据集的获取:https://pan.baidu.com/s/1TcCV55sgUbjmMVmipJUgSQ

from __future__ import division
from math import exp
import numpy as np
from numpy import *
from random import normalvariate
from datetime import datetime
import pandas as pd 

trainData = 'diabetes_train.txt'
testData = 'diabetes_test.txt'

def preprocessData(data):
    feature = np.array(data.iloc[:,:-1])#取特征，最后一列之前的列为特征列
    label = data.iloc[:,-1].map(lambda x :1 if x==1 else -1)#取标签并转化为+1，-1
    # 将数组按行进行归一化，按列axis=0取每一列的最大值和最小值
    zmax,zmin = feature.max(axis=0),feature.min(axis = 0)
    feature = (feature -zmin )/(zmax-zmin)
    label = np.array(label)
    # print(type(feature),label)
    return feature,label

def sigmoid(inx):
    return 1.0/(1+exp(-inx))

def SGD_FM(dataMatrix,classLabels,k,iter):
    '''
    dataMatrix特征矩阵
    classLabels类别矩阵
    k辅助向量的大小
    iter迭代次数
    return
    '''
    # dataMatrix用的是mat，classLabels是列表
    m,n = shape(dataMatrix) #矩阵的行列数，即样本数和特征数
    alpha = 0.01
    #初始化参数
    # w = random.randn(n,1)  #n是特征的个数
    w = zeros((n,1))#一阶特征的系数，初始为1   n行1列
    # print (w)
    w_0 = 0.
    v = normalvariate(0,0.2)*ones((n,k)) #即生成辅助向量用来训练二阶交叉特征的系数

    for it in range(iter):
        for x in range(m):
            inter_1 = dataMatrix[x] * v # *表示矩阵的点乘
            inter_2 = multiply(dataMatrix[x],dataMatrix[x]) * multiply(v,v)
            interaction = sum(multiply(inter_1,inter_1) - inter_2) /2
            p = w_0 + dataMatrix[x] *w + interaction
            loss = 1-sigmoid(classLabels[x]*p[0,0])
            w_0 = w_0 + alpha * loss *classLabels[x]
            for i in range(n):
                if dataMatrix[x,i] !=0:
                    w[i,0] = w[i,0] +alpha *loss *classLabels[x] *dataMatrix[x,i]
                    for j in range(k):

                        v[i,j] = v[i,j] + alpha *loss*classLabels[x] * (dataMatrix[x,i]*inter_1[0,j]-v[i,j]*dataMatrix[x,i]*dataMatrix[x,i])
        print("第{}次迭代后的损失为{}".format(it,loss))
    return w_0,w,v

def getAccuracy(dataMatrix,classLables,w_0,w,v):
    m,n = shape(dataMatrix)
    allItem = 0
    error = 0
    result = []
    for x in range(m):
        allItem +=1
        inter_1 = dataMatrix[x] *v
        inter_2 = multiply(dataMatrix[x],dataMatrix[x])*multiply(v,v)
        interaction = sum(multiply(inter_1,inter_1)-inter_2)/2
        p = w_0 + dataMatrix[x]*w +interaction

        pre = sigmoid(p[0,0])
        result.append(pre)

        if pre < 0.5 and classLables[x] == 1.0:
            error +=1
        elif pre >= 0.5 and classLables[x] == -1.0:
            error += 1
        else:
            continue
    return float(error) / allItem

if __name__ == '__main__':
    train = pd.read_csv(trainData)
    test = pd.read_csv(testData)
    dataTrain,labelTrain = preprocessData(train)
    dataTest,labelTest = preprocessData(test)
    date_startTrain = datetime.now()
    print("开始训练")
    w_0,w,v = SGD_FM(mat(dataTrain),labelTrain,20,60)
    print("训练准确率为：%f"%(1-getAccuracy(mat(dataTrain),labelTrain,w_0,w,v)))
    date_endTrain = datetime.now()
    print("训练用时为：%s"%(date_endTrain-date_startTrain))
    print("开始测试")
    print("测试准确性为：%f"%(1-getAccuracy(mat(dataTest),labelTest,w_0,w,v)))

参考：https://blog.csdn.net/sun_wangdong/article/details/86505011