Spark2 Model selection and tuning 模型选择与调优

Model selection模型选择

　　ML中的一个重要任务是模型选择，或使用数据为给定任务找到最佳的模型或参数。 这也称为调优。 可以对诸如Logistic回归的单独Estimators进行调整，或者对包括多个算法，特征和其他步骤的整个Pipeline进行调整。 用户可以一次调整整个Pipeline，而不必单独调整Pipeline中的每个元素。

MLlib支持使用CrossValidator和TrainValidationSplit等工具进行模型选择。这些工具需要以下items：
    Estimator：要调整的algorithm or Pipeline
    Set of ParamMaps：可以选择的参数，有时称为“parameter grid”
    Evaluator：衡量拟合模型对测试数据支持的有多好

在高级别，这些模型选择工具的工作如下：

将输入数据分成单独的训练和测试数据集。
    对于每个（训练，测试）对，遍历ParamMap的集合：
        对于每个ParamMap，它们使用这些参数拟合Estimator，获得拟合的Model，并使用Evaluator评估Model的性能。
    选择由性能最佳的参数集合生成的模型。

　　Evaluator可以是用于回归问题的RegressionEvaluator，用于二进制数据的BinaryClassificationEvaluator，用于多类问题的MulticlassClassificationEvaluator。每个evaluator中的“setMetricName方法”是一个用于选择最佳ParamMap的默认度量。

为了帮助构造parameter grid，用户可以使用ParamGridBuilder实用程序。

Cross-Validation交叉验证
　　CrossValidator开始于将数据集分割为一组folds，用作单独的训练和测试数据集。 例如，k = 3 folds，CrossValidator将生成3个“数据集对(训练，测试)”，其中每个数据集使用2/3的数据进行训练和1/3的测试。 为了评估特定的ParamMap，通过在3个不同“数据集对”上拟合Estimator，CrossValidator为3个Models计算平均评估度量。

　　在识别最好的ParamMap后，CrossValidator最终使用最好的ParamMap和整个数据集重新匹配Estimator。

　　注意，在parameters grid上的CrossValidator是非常耗费资源。 然而，它也是用于选择参数的好的公认的方法，比启发式手动调优在统计上更好。

Train-Validation Split

　　除了CrossValidator，Spark还提供TrainValidationSplit用于超参数调优。 TrainValidationSplit只评估“每个参数的组合”一次，而不是在CrossValidator的情况下k次。 因此，TrainValidationSplit耗费的资源比CrossValidator少一些，但是当训练数据集不够大时，不会产生可靠的结果。

　　与CrossValidator不同，TrainValidationSplit创建一个“数据集对(训练,测试)”。 它使用trainRatio参数将数据集拆分为这两个部分。 例如，trainRatio = 0.75

，TrainValidationSplit将生成训练和测试数据集对，其中75％的数据用于训练，25％用于验证。

　　像CrossValidator，TrainValidationSplit最终使用最好的ParamMap和整个dataset拟合Estimator。