Parametric and Nonparametric Algorithms

即参数化算法和非参数化算法。

参数化机器学习算法

可以大大简化学习过程，也可以限制可以学到的东西，将函数简化为已知形式的算法称为参数化机器学习算法。算法包括两个步骤:

1. 为函数选择一个form。
2. 从训练数据中学习函数的系数。

线性回归和逻辑回归就属于参数化机器学习算法。

非参数机器学习算法

没有对映射函数的形式做出强烈假设的算法称为非参数机器学习算法。因为不做假设，非参数算法可以自由地从训练数据中学习任何functional form。

非参数方法通常更灵活，达到更好的精度，但需要更多的数据和训练时间。

向量机、神经网络和决策树都属于非参数算法。