关于fit和transform

Fit是对于数据进行拟合，所谓拟合，就是根据数据，计算获得数据里面的一些指标，比如均值，方差；下一步很多API都是需要这些参数来进行后续对数据的操作，比如下面要讲到的transform。

Transform，对于数据进行变形；常见的变形是标准化和归一化。标准化是需要均值和方差的，标准化本质上将数据进行正态分布化；

很多时候，当需要依次对训练数据和测试数据进行变形处理的时候，首先处理训练数据，这个时候需要调用fit，再调用tranform，或者直接使用fit_transform；然后再处理测试数据，这个时候，直接transform就可以了，因为处理训练数据的时候，其实已经通过fit获取了均值方差等指标；

 rnd.seed(42)

 m = 100

 X = 6 * rnd.rand(m, 1) - 3

 y = 2 + X + 0.5 * X**2 + rnd.randn(m, 1)

 X_train, X_val, y_train, y_val = train_test_split(X[:50], y[:50].ravel(), test_size=0.5, random_state=10)

 poly_scaler = Pipeline((

 ("poly_features", PolynomialFeatures(degree=90, include_bias=False)),

 ("std_scaler", StandardScaler()),

 ))

 X_train_poly_scaled = poly_scaler.fit_transform(X_train)

 X_val_poly_scaled = poly_scaler.transform(X_val)

这里牵涉一个对象就是标准化的伸缩，这个处理是为了避免单个数据过大，进而导致了数据处理异常；于是为了降低单个特征对于整体的影响，对于数据集合进行求导，然后对于所有的数据除以导数；将数据缩小到一定程度，降低了个别数值的影响。Numpy里面是有原始实现的：

 >>> from sklearn import preprocessing

 >>> import numpy as np

 >>> X_train = np.array([[ 1., -1., 2.],

 ... [ 2., 0., 0.],

 ... [ 0., 1., -1.]])

 >>> X_scaled = preprocessing.scale(X_train)

 >>> X_scaled

 array([[ 0. ..., -1.22..., 1.33...],

 [ 1.22..., 0. ..., -0.26...],

 [-1.22..., 1.22..., -1.06...]])

 >>> X_scaled.mean(axis=0)

 array([0., 0., 0.])

 >>> X_scaled.std(axis=0)

 array([1., 1., 1.])

最后看到经过伸缩数据满足了，均值为0，标准差为1（注意这里指定了参数为0，代表是对列求标准差，最后返回的一行数据；如果是1，则代表对行求标准差，最后返回的一列），后面还会以后给予axis的处理。

这个是sklearn中原始的处理；还有一个封装的类专门用于这个处理：StandardScale。

 >>> scaler = preprocessing.StandardScaler().fit(X_train)

 >>> scaler

 StandardScaler(copy=True, with_mean=True, with_std=True)

 >>> scaler.mean_

 array([1. ..., 0. ..., 0.33...])

 >>> scaler.scale_

 array([0.81..., 0.81..., 1.24...])

 >>> scaler.transform(X_train)

 array([[ 0. ..., -1.22..., 1.33...],

 [ 1.22..., 0. ..., -0.26...],

 [-1.22..., 1.22..., -1.06...]])

这个形式变成了我们上面描述的fit-transform，在fit之后，将可以获取到mean以及std；然后将会进行一下数据变形；获取到了最后的矩阵，下面我们要查看一下这个矩阵到底是不是满足均值为0，标准差为1的正态分布呢？

 import numpy as np
 formated_data =scaler.transform(X_train)
 print(np.mean(formated_data, 0))
 print(np.std(formated_data))

返回信息：

[0. 0. 0.]

1.0

注意，在np.mean的时候，传递了第二个参数，且值为0（对列进行均值，返回一行）；注意这个有值和没有值结果是完全不一样，没有传递参数只是返回一个值，应该是对于行列统一做了一下均值；

上面的描述中提到了transform的时候，内部执行的是标准化，到底对数据做了什么，到底为什么要做标准化呢？

首先将归一化/ 标准化，就是将数据缩放（映射）到一个范围内，比如[0,1],[-1,1]，还有在图形处理中将颜色处理为[0,255]；归一化的好处就是不同纬度的数据在相近的取值范围内，这样在进行梯度下降这样的算法的时候，曲线将会更加简单（由原始的椭圆变成了圆形），如下图所示：

至于缩放的原理就是量纲代表，比如身高和指甲宽度，如果统一都是厘米那么两者不是一个数量级，如果把身高的量纲改为米，那么你会发现身高取值范围和指甲宽度其实是相近的取值范围，这样避免了某个维度成为了影响学习结果的主导。

常见的归一化/ 标准化

1. Standard Scala（z-score standardization）：是标准化处理；将元素通过下面的公式进行处理：

x =(x -