使用PySpark计算AUC,KS与PSI

【使用PySpark计算AUC,KS与PSI】的更多相关文章

MATLAB画ROC曲线，及计算AUC值

根据决策值和真实标签画ROC曲线,同时计算AUC的值步骤: 根据决策值和真实标签画ROC曲线,同时计算AUC的值: 计算算法的决策函数值deci 根据决策函数值deci对真实标签y进行降序排序,得到新的排序$roc_y$ 根据$roc_y$分别对正负类样本进行累积分布$stack_x$,$stack_y$ 根据$stack_x$,$stack_y$计算RUC的值 \[AUC = \sum_{i=2}^{n}(stack_x(i)-stack_x(i-1))*stack_y(i) \] 分别以$…

python计算auc指标

1.安装scikit-learn 1.1Scikit-learn 依赖 Python (>= 2.7 or >= 3.3), NumPy (>= 1.8.2), SciPy (>= 0.13.3). 分别查看上述三个依赖的版本, python -V 结果:Python 2.7.3 python -c 'import scipy; print scipy.version.version' scipy版本结果:0.9.0 python -c "…

pyspark计算最大值、最小值、平均值

需求:使用pyspark计算相同key的最大值.最小值.平均值说明: 最大值和最小值好计算,直接reduceByKey后使用python内置的max.min方法平均值计算提供两种计算方法,直接先上代码和运行结果,后面有代码记录 def main(): sc = SparkContext(conf=SparkConf()) rdd1 = sc.parallelize([("a", 3), ("a", 2), ("b", 5), ("b…

Python计算AUC

AUC(Area under curve)是机器学习常用的二分类评测手段,直接含义是ROC曲线下的面积.另一种解释是:随机抽出一对样本(一个正样本,一个负样本),然后用训练得到的分类器来对这两个样本进行预测,预测得到正样本的概率大于负样本概率的概率. 在有M个正样本,N个负样本的数据集里,利用公式求解: \[ AUC=\frac{\sum_{i \in positiveClass} rank_i-\frac{M(1+M)}{2}}{M*N} \] 在python实现中,相当于使用了计数排序,因为…

matlab 矢量化编程（一）—— 计算 AUC

AUC = sum( (Y(2:end)+Y(1:end-1))/2 .* (X(2:end) - X(1:end-1)) X 和 Y 均是向量: Y(2:end) - Y(1:end-1),是 Y(2) - Y(1), Y(3) - Y(2), Y(4) - Y(3) -., 得到还是一个向量,长度少 1 而已: Y .* X,这是向量的按位相乘:…

SQL->Python->PySpark计算KS，AUC及PSI

KS,AUC 和 PSI 是风控算法中最常计算的几个指标,本文记录了多种工具计算这些指标的方法. 生成本文的测试数据: import pandas as pd import numpy as np import pyspark.sql.functions as F from pyspark.sql.window import Window from pyspark.sql.types import StringType, DoubleType from pyspark.sql import Sp…